Spark日志级别修改

摘要

在学习使用Spark的过程中，总是想对内部运行过程作深入的了解，其中DEBUG和TRACE级别的日志可以为我们提供详细和有用的信息，那么如何进行合理设置呢，不复杂但也绝不是将一个INFO换为TRACE那么简单。

主要问题

调整Spark日志级别的配置文件是$SPARK_HOME/conf/log4j.properties，默认级别是INFO，如果曾经将其改为DEBUG的朋友可能会有这样的经历，有用的信息还没看完，就被大量的心跳检测日志给淹没了。

解决办法

只将需要的日志级别调整为_TRACE_，而将心跳检测类的设置为_INFO_级别以上，避免干扰。

log4j.properties示范

 # Set everything to be logged to the console
   log4j.rootCategory=INFO, console
   log4j.appender.console=org.apache.log4j.ConsoleAppender
   log4j.appender.console.target=System.err
   log4j.appender.console.layout=org.apache.log4j.PatternLayout
   log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

   # Settings to quiet third party logs that are too verbose
   log4j.logger.org.eclipse.jetty=WARN
   log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
   log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
   log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
   log4j.logger.org.apache.spark.sql.SQLContext=TRACE
   log4j.logger.org.apache.spark.sql.catalyst.analysis.Analyzer=TRACE
   log4j.logger.org.apache.spark=TRACE
   log4j.logger.org.apache.spark.storage.BlockManagerMasterActor=WARN
   log4j.logger.org.apache.spark.HeartbeatReceiver=WARN
   log4j.logger.org.apache.spark.scheduler.local.LocalActor=WARN

原文地址：https://www.cnblogs.com/itboys/p/8321718.html

时间： 2024-08-26 09:14:16

Spark日志级别修改的相关文章

设置Spark日志级别

编辑Spark中conf中配置文件log4j.properties 设置日志级别为WARN,即:log4j.rootCategory=WARN, console 原文地址:https://www.cnblogs.com/zhangtianyuan/p/8384246.html

solr日志级别修改源代码摘取

核心代码: public void setLogLevel(String category, String level) { org.apache.log4j.Logger log; if(LoggerInfo.ROOT_NAME.equals(category)) { log = org.apache.log4j.LogManager.getRootLogger(); } else { log = org.apache.log4j.Logger.getLogger(category); } i

DEBUG技巧-设定合适的日志级别

有些技能只有踩过坑的人才能够掌握,能用来避免后来的坑,很多时候是用凌晨的时间换来的,我们通常把他叫做经验. 故事 这个一个关于springmvc的坑的故事. 某天晚上本打算一个小功能分分钟搞定上线,但页面总是报404错误,肉眼实在找不到原因. 各种手段折腾,断点,重启,重新打包,拍脑袋觉得代码没写错,url路径也ok,真心没问题,无数次f5就是不出来. 很多时候遇到一个bug越着急越搞不定,我就是这种情况,花了一两个小时时间,眼看都过0点了,此时我正用最后的手段,引入spring源码直接一步步d

Spark设置日志级别

默认是INFO级别,输出内容太多,影响真正输出结果的查找,需要修改成 WARN 或 ERROR 级别 1 spark根目录conf/log4j.properties.template拷贝到工程的resources目录下,并改名成 log4j.properties 2 修改log4j.properties配置文件中的日志级别:如下红字ERROR,表示日志级别为ERROR # Set everything to be logged to the console log4j.rootCategory=

修改Oracle的Job Scheduler 日志级别及删除运行日志

Job 运行久了会产生大量运行日志,这些信息可通过下面的方式清除: 1.创建job: Create job links to previous job class.   DBMS_SCHEDULER.create_job (     job_name        => 'test_log_job',     job_type        => 'PLSQL_BLOCK',     job_action      => 'BEGIN NULL; END;',     job_class

SpringBoot系列十一：SpringBoot整合Restful架构（使用 RestTemplate 模版实现 Rest 服务调用、Swagger 集成、动态修改日志级别）

1.概念:SpringBoot整合Restful架构 2.背景 Spring 与 Restful 整合才是微架构的核心,虽然在整个 SpringBoot(SpringCloud)之中提供有大量的服务方便整合,但是这些 整合都不如 Rest 重要,因为 Rest 是整个在微架构之中进行通讯的基础模式.那么对于 Rest 首先必须对其有一个最为核心的解释: 利用 JSON 实现数据的交互处理.而且 Spring 里面提供有一个非常强大的 RestTemplate 操作模版,利用此模版可以非常轻松的实

springboot动态修改日志级别+权限认证

1. springboot动态修改日志级别+权限认证 1.1. 需求 网上找到的动态修改日志级别的方式,基本都是没有权限验证的,或者特地关闭权限验证,但也没给出加上验证的解决方式 修改日志等级也是一个敏感操作,最好不能暴露地址直接修改,所以我研究了下,把权限验证加上了 1.2. 解决 1.2.1. pom 首先加上pom <dependency> <groupId>org.springframework.boot</groupId> <artifactId>

log4j2和logback动态修改日志级别工具类

工作中,有些场景需要动态修改线上日志记录器的打印日志级别, 本文的两个工具类使用的版本如下: ----------------logback--------------------- <dependency>   <groupId>ch.qos.logback</groupId>   <artifactId>logback-core</artifactId>   <version>1.1.8</version></d

Log4cpp配置文件及动态调整日志级别的方法

一.log4cpp概述 Log4cpp是一个开源的C++类库,它提供了C++程序中使用日志和跟踪调试的功能,它的优点如下: 提供应用程序运行上下文,方便跟踪调试: 可扩展的.多种方式记录日志,包括命令行.文件.回卷文件.内存.syslog服务器.Win事件日志等: 可以动态控制日志记录级别,在效率和功能中进行调整: 所有配置可以通过配置文件进行动态调整: 多语言支持,包括Java(log4j),C++(log4cpp.log4cplus),C(log4c),python(log4p)等: 二.原