mr的logs的查看

在map或者reduce函数中使用System.out.println打印的信息沾满查看呢？

步骤1：启动history server

/usr/local/hadoop-2.6.0/sbin/mr-jobhistory-daemon.sh start historyserver

步骤2：使用http://hadoop26:19888/jobhistory来查看作业log

意外情况：

如果在查看日志的时候，发生了下面的情况

在yarn-default.xml中有这样的一个配置

<property>
<description>Whether to enable log aggregation. Log aggregation collects
each container‘s logs and moves these logs onto a file-system, for e.g.
HDFS, after the application completes. Users can configure the
"yarn.nodemanager.remote-app-log-dir" and
"yarn.nodemanager.remote-app-log-dir-suffix" properties to determine
where these logs are moved to. Users can access the logs via the
Application Timeline Server.
</description>
<name>yarn.log-aggregation-enable</name>
<value>false</value>
</property>

我们需要把这个值改为true，也就是在yarn-site.xml中再配置一遍

配置完成后重启historyserver即可。

现在来看看logs的输出吧：

时间： 2024-10-11 02:24:06

mr的logs的查看的相关文章

docker logs－查看docker容器日志

只限制最后100条的日志,并持续更新日志显示 docker logs -f --tail=100 CONTAINER_ID docker logs -f --tail 100 CONTAINER_ID https://docs.docker.com/engine/reference/commandline/logs/ https://www.jianshu.com/p/1eb1d1d3f25e 分类: docker系列 标签: docker logs-查看docker容器日志 原文地址:http

【docker】docker logs－查看docker容器日志

引用地址 https://www.jianshu.com/p/1eb1d1d3f25e 通过docker logs命令可以查看容器的日志. 命令格式: $ docker logs [OPTIONS] CONTAINER Options: --details 显示更多的信息 -f, --follow 跟踪实时日志 --since string 显示自某个timestamp之后的日志,或相对时间,如42m(即42分钟) --tail string 从日志末尾显示多少行日志, 默认是all -t, -

[MapReduce]MapReduce调试：在TaskTracker节点上查看打印信息

业务背景 MapReduce编程模型的线上调试并不方便,它不像本地Java程序那样可以很方便地及时看到输出结果,本文将提供一种比较简捷的方式对MapReduce Job进行调试. 分析 完全并行模式下的MapReduce Job,使用 System.out.println("xxx"); 并不会打印到控制台上,因为完全并行模式下的MR Job是分布在集群上各个TaskTracker节点上运行的,因此,使用System.out.println的结果,是将打印信息打印到实际运行的Slave

docker logs命令

docker logs命令 查看全部: docker logs -f 51ishare-platform_mall-biz_1 查看最后500行: docker logs --tail 500 51ishare-platform_mall-biz_1 查看最新日志而不读取全部: docker logs --tail 0 -f 51ishare-platform_mall-biz_1 查看指定时间log: docker logs --since="2015-08-31" 51ishare

Window 下mysql binlog开启及查看

查看是否开启了binlog: win+r => cmd => 连接mysql=>show variables like 'log_%'; mysql> show variables like 'log_%'; +---------------------------------+-------------+ | Variable_name | Value | +---------------------------------+-------------+ | log_bin |

【kubernetes】kubectl logs connection refused

因为启动dashboard报CrashLoopBackOff错误,尝试使用logs去查看日志,结果报错,错误如下: [[email protected] ~]# kubectl -s http://192.168.37.130:8080 logs kubernetes-dashboard-v1.4.0-vceyf --namespace=kube-system Using HTTP port: 9090 Using apiserver-host location: http://127.0.0.

mysql 对应 binlog 查看

什么是 binlog binlog,即二进制日志,它记录了数据库上的所有改变. 改变数据库的SQL语句执行结束时,将在binlog的末尾写入一条记录,同时通知语句解析器,语句执行完毕. binlog格式 基于语句,无法保证所有语句都在从库执行成功,比如update ... limit 1; 基于行,将每一次改动记为binlog中的一行.在执行一个特别复杂的update或者delete操作时,基于行的格式会有优势. 如何查看 binlog 1. 只查看第一个 binlog 文件的内容 show b

centos7下安装docker（18docker日志---docker logs）

在微服务架构中,由于容器的数量众多以及快速变化的特性使得记录日志和监控变得越来越重要,考虑到容器的短暂和不固定周期,当我们需要排查问题的时候容器可能不在了.因此,一套集中式的日志管理系统是生产环境中不可或缺的组成部分 docker logs docker 自带的日志功能 对于一个运行的容器,docker 会将日志发送到容器的标准输出(STDOUT)和标准错误设备(STDERR),stdout和stderr实际上就是容器的控制台终端 例如: 当我们用docker run -p 80:80 http

Window 下mysql binlog开启及查看，mysqlbinlog

查看是否开启了binlog: win+r => cmd => 连接mysql=>show variables like 'log_%'; mysql> show variables like 'log_%'; +---------------------------------+-------------+ | Variable_name | Value | +---------------------------------+-------------+ | log_bin |