启用yarn日志聚集功能

在yarn-site.xml配置文件中添加如下内容：

##开启日志聚集功能
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
##日志保存7天（单位秒）
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>600000</value>
        </property>

重启resourcemanager、nodemanager和historyserver守护进程：
            sbin/yarn-daemon.sh start|stop resourcemanager
            sbin/yarn-daemon.sh start|stop nodemanager
            或者
            sbin/start-yarn.sh
            sbin/stop-yarn.sh
           
            sbin/mr-jobhistory-daemon.sh start|stop historyserver

时间： 2024-10-25 03:42:35

启用yarn日志聚集功能的相关文章

YARN日志聚合相关参数配置

日志聚合是YARN提供的日志中央化管理功能,它能将运行完成的Container/任务日志上传到HDFS上,从而减轻NodeManager负载,且提供一个中央化存储和分析机制.默认情况下,Container/任务日志存在在各个NodeManager上,如果启用日志聚合功能需要额外的配置. 参数配置yarn-site.xml 1.yarn.log-aggregation-enable 参数说明:是否启用日志聚合功能,日志聚合开启后保存到HDFS上. 默认值:false 2.yarn.log-aggr

三种方案实现日志记录功能

三种方案实现日志记录功能 方案一.使用拦截器实现日志记录功能 步骤一.首先需要我们自定义一个注解类 package cn.hmy.Util; import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.annotation.Target; /** * 自定义操作日志注解接口类

mysql查看和启用二进制日志

1.查看是否启用了日志 mysql>show variables like 'log_bin'; VALUE值为OFF为关闭状态 2.编辑my.cnf文件 vim /etc/my.cnf 在[mysqld]最下面填上  log-bin 保存退出 3.重启mysql service mysqld restart 4.再次查看是否启用了日志 mysql>show variables like 'log_bin'; 此时VALUE值为ON 5.查看当前的二进制日志 mysql> show ma

MySQL 5.7 启用查询日志

MySQL版本:5.7 新版本的 my.ini 文件改动了,导致原先启用查询日志的方法不再适用 新版本的启用方法如下: 1. 修改 C:\ProgramData\MySQL\MySQL Server 5.7\my.ini 文件  搜索 # General and Slow logging.  将以下几行改动为: # General and Slow logging. log-output=FILE general-log=1 general_log_file="D:/Develop/MySQL/

SQL群集下安装多实例并启用AlwaysOn可用性组功能

SQL群集+安装新实例+启用AlwaysOn可用性组功能 主要内容 并行安装运行SQL server 的不同版本和实例 启用AlwaysOn可用性组功能 实验环境 并行安装SQL Server 2012 +SQL Server 2016 场景1:基于SQL Server 2012搭建了Cluster01-SQL群集.   hostname IP 实例名 端口 说明 AD dc1.contoso.com 192.168.136.150       SQL SQL1.contoso.com 192.

HAproxy增加日志记录功能和自定义日志输出内容、格式

一.增加haproxy日志记录功能 1.1 由于数据分析的需要,我们必须打开haproxy日志,记录相关信息. 在配置前,我们先来了解一下日志的level:local0-local7 16-23保留为本地使用 emerg 0 系统不可用     alert 1 必须马上采取行动的事件     crit 2 关键的事件     err 3 错误事件     warning 4 警告事件     notice 5 普通但重要的事件     info 6 有用的信息     debug 7 调试信息

java动态代理详解，并用动态代理和注解实现日志记录功能

动态代理的概念 动态代理是程序在运行过程中自动创建一个代理对象来代替被代理的对象去执行相应的操作,例如, 我们有一个已经投入运行的项目中有一个用户DAO类UserDao用来对User对象进行数据库的增删改查操作,但是有一天,要求在对用户的增删改查操作时记录相应的日志,这是怎么办呢?难道我们去直接修改UserDao的源代码,然后在UserDao的每个方法中加入日志记录功能,这显然是不合理的,它违背了java的OCP原则,即对修改关闭对扩张开放.比如改现有的代码如下: 接口类 public inte

配置Haproxy增加日志记录功能

CentOS 7上yum安装的Haproxy,默认没有记录日志.需要做一下配置才能记录日志. 1.创建日志文件/var/log/haproxy/haproxy.log cd /var/log sudo mkdir haproxy cd haproxy sudo touch haproxy.log sudo chmod a+w haproxy.log 2.开启rsyslog的haproxy日志记录功能 编辑/etc/rsyslog.conf文件,将 $ModLoad imudp $UDPServe

启用VSFTPD日志及其解读

启用vsftpd日志及其解读(转贴)在vsftpd.conf中有如下内容定义了日志的记录方式:# 表明FTP服务器记录上传下载的情况xferlog_enable=YES# 表明将记录的上传下载情况写在xferlog_file所指定的文件中, 即xferlog_file选项指定的文件中xferlog_std_format=YESxferlog_file=/var/log/xferlog # 启用双份日志.在用xferlog文件记录服务器上传下载情况的同时,# vsftpd_log_file所指定的