修改hadoop/hdfs日志级别

描述：

If a large directory is deleted and namenode is immediately restarted, there are a lot of blocks that do not belong to any file. This results in a log:

2014-11-08 03:11:45,584 INFO BlockStateChange (BlockManager.java:processReport(1901)) - BLOCK* processReport: blk_1074250282_509532 on 172.31.44.17:1019 size 6 does not belong to any file.

This log is printed within FSNamsystem lock. This can cause namenode to take long time in coming out of safemode.

One solution is to downgrade the logging level.

解决方案

tail -f /var/log/hadoop/hdfs/hdfs-namenode.log

http://<namenode:50070>/logLevel

Input "BlockStateChange" and Level is "WARN" and then click "Set Log Level" button

wait 2~3 mins. it works and performance is fine.

时间： 2024-10-12 16:32:35

修改hadoop/hdfs日志级别的相关文章

log4j2和logback动态修改日志级别工具类

工作中,有些场景需要动态修改线上日志记录器的打印日志级别, 本文的两个工具类使用的版本如下: ----------------logback--------------------- <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-core</artifactId> <version>1.1.8</version></d

基于JMX动态配置Log4J日志级别

先来看比较low的修改日志级别的方式,在写程序里面. http://blog.gssxgss.me/java%E8%BF%90%E8%A1%8C%E6%97%B6%E5%8A%A8%E6%80%81%E6%94%B9%E5%8F%98%E6%97%A5%E5%BF%97%E7%BA%A7%E5%88%AB/ 再来通过JMX的方法动态修改程序的日志级别. https://blog.csdn.net/z2007130205/article/details/23910431 package com.m

hadoop 动态设置调整日志级别

Hadoop急诊室的半小时:动态设置调整日志级别技术大数据蜗牛 2015.02.03 本文通过一个在实际工作中所遇到的线上问题来告诉广大数据从业者一条通俗有用的人生哲理:线上遇到这样的问题,千万要冷静,越是着急越容易出乱子!心急吃不了热豆腐. 十万火急上周二,朋友公司的Hadoop集群服务不可用,从早上9点开始一直持续到12点.业务方催得比较急,希望尽快恢复,至少给个可以恢复的时间点.这种心情做过线上服务运维的同学应该都能理解.特别是在没有任何思路的情况下,就只能干着急! 症状了解朋友联

修改Oracle的Job Scheduler 日志级别及删除运行日志

Job 运行久了会产生大量运行日志,这些信息可通过下面的方式清除: 1.创建job: Create job links to previous job class. DBMS_SCHEDULER.create_job ( job_name => 'test_log_job', job_type => 'PLSQL_BLOCK', job_action => 'BEGIN NULL; END;', job_class

SpringBoot系列十一：SpringBoot整合Restful架构（使用 RestTemplate 模版实现 Rest 服务调用、Swagger 集成、动态修改日志级别）

1.概念:SpringBoot整合Restful架构 2.背景 Spring 与 Restful 整合才是微架构的核心,虽然在整个 SpringBoot(SpringCloud)之中提供有大量的服务方便整合,但是这些整合都不如 Rest 重要,因为 Rest 是整个在微架构之中进行通讯的基础模式.那么对于 Rest 首先必须对其有一个最为核心的解释: 利用 JSON 实现数据的交互处理.而且 Spring 里面提供有一个非常强大的 RestTemplate 操作模版,利用此模版可以非常轻松的实

大数据学习——点击流日志每天都10T，在业务应用服务器上，需要准实时上传至（Hadoop HDFS）上

点击流日志每天都10T,在业务应用服务器上,需要准实时上传至(Hadoop HDFS)上 1需求说明点击流日志每天都10T,在业务应用服务器上,需要准实时上传至(Hadoop HDFS)上 2需求分析一般上传文件都是在凌晨24点操作,由于很多种类的业务数据都要在晚上进行传输,为了减轻服务器的压力,避开高峰期. 如果需要伪实时的上传,则采用定时上传的方式 3技术分析 HDFS SHELL: hadoop fs –put xxxx.log /data 还可以使用 Java Api

springboot动态修改日志级别+权限认证

1. springboot动态修改日志级别+权限认证 1.1. 需求网上找到的动态修改日志级别的方式,基本都是没有权限验证的,或者特地关闭权限验证,但也没给出加上验证的解决方式修改日志等级也是一个敏感操作,最好不能暴露地址直接修改,所以我研究了下,把权限验证加上了 1.2. 解决 1.2.1. pom 首先加上pom <dependency> <groupId>org.springframework.boot</groupId> <artifactId>

Spark日志级别修改

摘要在学习使用Spark的过程中,总是想对内部运行过程作深入的了解,其中DEBUG和TRACE级别的日志可以为我们提供详细和有用的信息,那么如何进行合理设置呢,不复杂但也绝不是将一个INFO换为TRACE那么简单. 主要问题调整Spark日志级别的配置文件是$SPARK_HOME/conf/log4j.properties,默认级别是INFO,如果曾经将其改为DEBUG的朋友可能会有这样的经历,有用的信息还没看完,就被大量的心跳检测日志给淹没了. 解决办法只将需要的日志级别调整为_TRAC

Hadoop错误日志

1.错误日志:Directory /tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. 错误原因:在Linux下Hadoop等的各种数据默认保存在 /tmp目录下.当重启系统后 /tmp目录中的数据信息被清除,导致Hadoop启动失败.确定目录 /tmp/hadoop-root/dfs/name是否存在解决方案: 使用命令bin/h