通过 Job History Server 的 web console 查阅在 Yarn 上 MapReduce job 的 job conf xml 文件

很多时候,Yarn 的用户希望知道自己运行过的某个 MapReduce job 的运行参数,此时可以从MapReduce History Server的 web console上查阅该 job的conf xml 文件内容。当然用户也可以先登录Yarn 的 web console的地址,然后再从上面跳转到 Job History Server 的 web console进行查阅。本文将以一个简单的图文例子来具体演示该功能。

步骤:

1、在启动 Job History Server 前,在mapred-site.xml文件里面对其相关参数进行设置,如下:

<property>

<name>mapreduce.jobhistory.address</name>

<value>hostname:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>hostname:19888</value>

</property>

2、通过命令“sbin/mr-jobhistory-daemon.sh start historyserver”启动 Job History Server

3、执行一个简单的 MapReduce job,比如 wordcount。执行时,不加任何参数调整,使用默认设置。

4、执行完后直接登录Job History Server 的 web console,网址为“ http://hostname:19888/jobhistory”

在网页上可以看到执行过的 job 列表。

5、点击 Job ID号(比如job_1417166623034_0343),进入具体 Job 的描述页面

6、点击“Configuration” 链接,查阅MapReduce job 的 job conf xml 文件内容

7、过滤查看参数‘mapreduce.reduce.shuffle.input.buffer.percent ’的值——为默认值“0.70”:

8、提交执行一个新的MapReduce job,并指定参数‘mapreduce.reduce.shuffle.input.buffer.percent ’的值为“0.69”:“hadoop jar hadoop-examples-2.2.0.jar wordcount -Dmapreduce.reduce.shuffle.input.buffer.percent=0.69 /tmp/wdinput /tmp/wdoutput”。

9、执行完MR Job后,再次登录Job History Server 的 web console,然后查阅该Job的configuration内容——此时,其参数‘mapreduce.reduce.shuffle.input.buffer.percent ’的值为“0.69”。证明通过“-Dmapreduce.reduce.shuffle.input.buffer.percent=0.69”成功传递给了 MR job 新的参数值。

10、另外,除了直接登录Job History Server 的 web console,用户也可以先登录Yarn 的 web console的地址,然后再从上面跳转到 Job History Server 的 web console进行查阅:

时间: 2024-10-15 01:19:15

通过 Job History Server 的 web console 查阅在 Yarn 上 MapReduce job 的 job conf xml 文件的相关文章

Java web 项目读取src或者tomcat下class目录下的xml文件或者properties文件

//生成一个文件对象: File file = new File(getClass().getClassLoader().getResource("test.xml").getPath()); //直接得到一个输入流: InputStream in = getClass().getClassLoader().getResourceAsStream("test.xml"); //在当前线程获取--这个方法不大稳定 //String path = Thread.curr

Spark1.0.0 history server 配置

在运行Spark应用程序的时候,driver会提供一个webUI给出应用程序的运行信息,但是该webUI随着应用程序的完成而关闭端口,也就是说,Spark应用程序运行完后,将无法查看应用程序的历史记录.Spark history server就是为了应对这种情况而产生的,通过配置,Spark应用程序在运行完应用程序之后,将应用程序的运行信息写入指定目录,而Spark history server可以将这些运行信息装载并以web的方式供用户浏览. 要使用history server,对于提交应用程

Spark history Server配置实用

Spark history Server产生背景 以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息:但该WEBUI随着Application的完成(成功/失败)而关闭,也就是说,Spark Application运行完(成功/失败)后,将无法查看Application的历史记录: Spark history Server就是为了应对这种情况而产生的,通过配置可以在Application执行的过程中记录下了日

Spark学习笔记-使用Spark History Server

在运行Spark应用程序的时候,driver会提供一个webUI给出应用程序的运行信息,但是该webUI随着应用程序的完成而关闭端口,也就是 说,Spark应用程序运行完后,将无法查看应用程序的历史记录.Spark history server就是为了应对这种情况而产生的,通过配置,Spark应用程序在运行完应用程序之后,将应用程序的运行信息写入指定目录,而Spark history server可以将这些运行信息装载并以web的方式供用户浏览. 要使用history server,对于提交应用

hadoop 配置history server 和timeline server

一,配置history server 1.配置history server,在etc/hadoop/mapred-site.xml中配置以下内容. <span style="font-size:18px;"><span style="font-size:18px;"> <property> <name>mapreduce.jobhistory.address</name> <value>loca

Spark History Server配置使用

1.Spark History Server的作用 在运行Spark应用程序的时候,driver会提供一个webUI用于展现应用程序的运行信息,但是该webUI随着应用程序的完成而关闭端口.也就是说,这个服务是伴随Spark应用程序的运行周期的,也就是当应用程序运行完成后,将无法查看应用程序的历史记录.Spark History Server就是为了应对这种情况而产生的,通过配置,Spark应用程序在运行完应用程序之后,将应用程序的运行信息写入指定目录,而Spark history server

Spark history Server产生背景

以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息:但该WEBUI随着Application的完成(成功/失败)而关闭,也就是说,Spark Application运行完(成功/失败)后,将无法查看Application的历史记录: Spark History Server就是为了应对这种情况而产生的,通过配置可以在Application执行的过程中记录下日志事件信息,那么在Application执行结束后,

Spark History Server 配置部署

简介 为了可以通过WebUI控制台页面来查看具体的运行细节,解决应用程序运行结束,无法继续查看监控集群信息.无法回顾运行的程序细节,配置开启spark.history服务.Spark History Server可以很好地解决上面的问题. 配置文件位置: $SPARK_HOME$/conf目录下的spark-defaults.conf文件.默认spark-defaults.conf是不存在的,我们可以根据Spark提供的template文件新建. 配置参数描述 spark.master spar

Spark配置Job History Server

PS:在运行Spark应用程序的时候,driver会提供一个webUI给出应用程序的运行信息,但是该webUI随着应用程序的完成而关闭端口,也就是 说,Spark应用程序运行完后,将无法查看应用程序的历史记录.Spark history server就是为了应对这种情况而产生的,通过配置,Spark应用程序在运行完应用程序之后,将应用程序的运行信息写入指定目录,而Spark history server可以将这些运行信息装载并以web的方式供用户浏览. 配置Job History Server