Hadoop学习三十二：Win7下无法提交MapReduce Job到集群环境

一. 对hadoop eclipse plugin认识不足

http://zy19982004.iteye.com/blog/2024467曾经说到我最hadoop eclipse plugin作用的认识。但事实上我犯了一个错误，Win7 Eclipse里的MyWordCount程序一直在本地运行，没有提交到集群环境上运行（查看192.168.1.200:50030）没有这个Job。运行方式分为两种，右键Run As

  1. Java Application
  2. Run on Hadoop

如果说Run As Java Application在本地运行还好说，它直接使用项目下的依赖的Hadoop Jar，使用Hdfs作为input，对MyWordCount main方法的一步步调用，把输出结果写入Hdfs完成。这一切都跟MapReduce集群无关。

但Run on Hadoop为什么不行呢，难道这个插件的作用仅仅如http://zy19982004.iteye.com/blog/2024467说到的这么简单？

二. Hadoop2.x eclispe-plugin

再次下载源码https://github.com/winghc/hadoop2x-eclipse-plugin。简单看了几个类，如

Java代码  

  1. Wizard for publishing a job to a Hadoop server
  2. public class RunOnHadoopWizard extends Wizard {}
  3. Representation of a Map/Reduce running job on a given location
  4. public class HadoopJob {}

从注释就可以看出来插件是支持远程提交Job的。那是我使用不当吗？

三. Hadoop2.x eclispe-plugin工作原理

Run on Hadoop时

  1. 会在EclipseWorkspace\.metadata\.plugins\org.apache.hadoop.eclipse\下生成一个MapReduce Jar和一个对应文件夹（包含core-site.xml）。我们在Eclipse里配置的Hadoop集群信息会写到core-site.xml里面。
  2. 然后把此Job依据配置信息提交到本地或者集群。

我去看了下Job对应的core-site.xml，mapreduce.framework.name居然是local，yarn.resourcemanager.address居然是0.0.0.0:8032，于是回到Eclispe配置集群环境的地方，发现果然是这样的，也就是说插件根本没有把集群环境下的配置信息全部copy到Eclipse下。把Eclipse下这两项修改后，还是在本地运行，我就奇怪了，于是我在程序里加上

Java代码  

  1. conf.set("mapreduce.framework.name", "yarn");
  2. conf.set("yarn.resourcemanager.address", "192.168.1.200:8032");

终于正常提交到集群环境了。我怀疑插件最后在什么地方还是读取到了local和0.0.0.0:8032，写入了core-site.xml，有时间再去看看插件的源码。

四. 继续出问题

Job虽然是提交到了集群环境，但运行失败了。查看日志如下

Java代码  

  1. 2014-04-01 19:50:36,731 INFO org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher: Command to launch container container_1396351641800_0005_02_000001 :
  2. %JAVA_HOME% -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=<LOG_DIR> -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA  -Xmx1024m org.apache.hadoop.mapreduce.v2.app.MRAppMaster 1><LOG_DIR>/stdout 2><LOG_DIR>/stderr
  3. 2014-03-13 22:50:41,317 INFO  org.apache.hadoop.mapreduce.Job - Job job_1394710790246_0003 failed with state FAILED due to: Application application_1394710790246_0003 failed 2 times due to AM Container for appattempt_1394710790246_0003_000002 exited with  exitCode: 1 due to: Exception from container-launch:
  4. org.apache.hadoop.util.Shell$ExitCodeException: /bin/bash: line 0: fg: no job control
  5. at org.apache.hadoop.util.Shell.runCommand(Shell.java:464)
  6. at org.apache.hadoop.util.Shell.run(Shell.java:379)
  7. at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589)
  8. at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)
  9. at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:283)
  10. at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:79)
  11. at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334)
  12. at java.util.concurrent.FutureTask.run(FutureTask.java:166)
  13. at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)
  14. at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603)
  15. at java.lang.Thread.run(Thread.java:722)

上网找答案，发现是Hadoop本身的问题。

https://issues.apache.org/jira/browse/YARN-1298

https://issues.apache.org/jira/browse/MAPREDUCE-5655。

五. 自己编译Hadoop2.2

  1. 下载Hadoop2.2源码http://apache.fayea.com/apache-mirror/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz
  2. 下载https://issues.apache.org/jira/i#browse/MAPREDUCE-5655两个patch
  3. 下载https://issues.apache.org/jira/i#browse/HADOOP-10110这个patch
  4. patch指令。patch -p0 < MRApps.patch。p0的0代表进去层次。不会的参考http://hi.baidu.com/thinkinginlamp/item/0ba1d051319b5ac09e2667f8
  5. 然后按照http://my.oschina.net/yiyuqiuchi/blog/188510去编译。hadoop-2.2.0-src/hadoop-dist/targethadoop-2.2.0.tar.gz就是编译好的。

给两张patch前后的对照图

下图左边为patch前Hadoop源码

下图左边为patch成功后Hadoop源码

六. 使用自己编译的包

  1. 检查看看patch是否被打包进去了。通过查看MRApps.class字节码得知已经被打包进去。通过查看YARNRunner.class字节码也是正确的，我在YARNRunner.java里面设置了一个PATCH_TEST编译时常量，"zy19982004"的字节码已经被内嵌到class的字节码里。
  2. 替换集群Jar，因为上述三个patch只涉及到两个Jar，另外一个pacth是修改pom文件并且是scope test，可以不管。用hadoop-2.2.0\share\hadoop\mapreduce\hadoop-mapreduce-client-common-2.2.0.jar(MRApps.patch)替换集群下的对应jar，用hadoop-2.2.0\share\hadoop\mapreduce\hadoop-mapreduce-client-jobclient-2.2.0.jar(YARNRunner.patch)替换集群下的对应jar。
  3. 修改windows环境下的mapred-site.xml，添加

    Java代码  

    1. <property>
    2. <name>mapred.remote.os</name>
    3. <value>Linux</value>
    4. <description>Remote MapReduce framework‘s OS, can be either Linux or Windows</description>
    5. </property>
  4. 重启集群，这个错误已经没有了，但出现了另外的错误。

    Java代码  

    1. Application application_1396339724108_0014 failed 2 times due to AM Container for appattempt_1396339724108_0014_000002 exited with exitCode: 1 due to: Exception from container-launch:
    2. org.apache.hadoop.util.Shell$ExitCodeException:
    3. 2014-04-01 19:50:36,731 INFO org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher: Command to launch container container_1396351641800_0005_02_000001 :
    4. $JAVA_HOME/bin/java -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=<LOG_DIR> -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA  -Xmx1024m org.apache.hadoop.mapreduce.v2.app.MRAppMaster 1><LOG_DIR>/stdout 2><LOG_DIR>/stderr

    然后

    Java代码  

    1. 1) Add such config property to your mapred-site.xml (client side only):
    2. <property>
    3. <name>mapreduce.application.classpath</name>
    4. <value>
    5. $HADOOP_CONF_DIR,
    6. $HADOOP_COMMON_HOME/share/hadoop/common/*,
    7. $HADOOP_COMMON_HOME/share/hadoop/common/lib/*,
    8. $HADOOP_HDFS_HOME/share/hadoop/hdfs/*,
    9. $HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,
    10. $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*,
    11. $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*,
    12. $HADOOP_YARN_HOME/share/hadoop/yarn/*,
    13. $HADOOP_YARN_HOME/share/hadoop/yarn/lib/*
    14. </value>
    15. </property>

    终于成功了。。。

七. 不使用hadoop eclispe plugin的场景

自己调试Hadoop源码的时候，Debug As Java Application即可。前面两篇博客解决错误都是通过debug源码来解决的。

八. 总结

Window向Linux Hadoop提交作业的方法

  1. 配置好hadoop eclipse plugin。
  2. Job配置文件里mapreduce.framework.name为yarn。其它配置也需要正确。
  3. Run On Hadoop

Run As Application其实也可以提交Job，依赖于上一次Run on Hadoop过程中产生的jar，这为我们debug提供了一种思路。

时间： 2024-10-22 16:52:05

Hadoop学习三十二：Win7下无法提交MapReduce Job到集群环境的相关文章

Win7下无法提交MapReduce Job到集群环境（转）

一. 对hadoop eclipse plugin认识不足 http://zy19982004.iteye.com/blog/2024467曾经说到我最hadoop eclipse plugin作用的认识.但事实上我犯了一个错误,Win7 Eclipse里的MyWordCount程序一直在本地运行,没有提交到集群环境上运行(查看192.168.1.200:50030)没有这个Job.运行方式分为两种,右键Run As Java Application Run on Hadoop 如果说Run A

学习三十二

八周一次课(3月26日)10.23 linux任务计划cron10.24 chkconfig工具10.25 systemd管理服务10.26 unit介绍10.27 target介绍扩展 anacron http://blog.csdn.net/strikers1982/article/details/4787226 xinetd服(默认机器没有安装这个服务,需要yum install xinetd安装) http://blog.sina.com.cn/s/blog_465bbe6b010000

javaweb学习总结(三十二)——JDBC学习入门【转】

原文地址:javaweb学习总结(三十二)——JDBC学习入门 一.JDBC相关概念介绍 1.1.数据库驱动 这里的驱动的概念和平时听到的那种驱动的概念是一样的,比如平时购买的声卡,网卡直接插到计算机上面是不能用的,必须要安装相应的驱动程序之后 才能够使用声卡和网卡,同样道理,我们安装好数据库之后,我们的应用程序也是不能直接使用数据库的,必须要通过相应的数据库驱动程序,通过驱动程序去和数 据库打交道,如下所示: 1.2.JDBC介绍 SUN公司为了简化.统一对数据库的操作,定义了一套Java操作

【WPF学习】第三十二章 执行命令

原文:[WPF学习]第三十二章 执行命令 前面章节已经对命令进行了深入分析,分析了基类和接口以及WPF提供的命令库.但尚未例举任何使用这些命令的例子. 如前所述,RoutedUICommand类没有任何硬编码的功能,而是只表达命令,为触发命令,需要有命令源(也可使用代码).为响应命令,需要有命令绑定,命令绑定将执行转发给普遍的事件处理程序. 一.命令源 命令库中的命令始终可用.触发他们的最简单的方法是将它们关联到实现了ICommandSource接口的控件,其中包括继承自ButtonBase类的

马哥学习笔记三十二——计算机及操作系统原理

缓存方式: 直接映射 N路关联 缓存策略: write through:通写 write back:回写 进程类别: 交互式进程(IO密集型) 批处理进程(CPU密集型) 实时进程(Real-time) CPU: 时间片长,优先级低IO:时间片短,优先级高 Linux优先级:priority 实时优先级: 1-99,数字越小,优先级越低 静态优先级:100-139,数据越小,优先级越高 实时优先级比静态优先级高 nice值:调整静态优先级   -20,19:100,139   0:120 ps

【Unity 3D】学习笔记三十二：游戏元素——游戏光源

游戏光源 在3D游戏中,光源是一个非常具有特色的游戏组件.用来提升游戏画面质感的.如果没有加入光源,游戏场景可能就会显得很昏暗.在unity中提供了三种不同的光源类型:点光源,聚光灯,平行光. 点光源 顾名思义,点光源是从一个点向周围散发出光的光源,就像电灯一样.创建点光源在hierarchy视图中点击create--point light: 创建完以后,点击点光源对象,在右侧inspector视图中可以看到点光源的所有信息: type:光源的类型.有point(点光源),directional

hbase 学习（十二）集群间备份原理

集群建备份,它是master/slaves结构式的备份,由master推送,这样更容易跟踪现在备份到哪里了,况且region server是都有自己的WAL 和HLog日志,它就像mysql的主从备份结构一样,只有一个日志来跟踪.一个master集群可以向多个slave集群推送,收到推送的集群会覆盖它本地的edits日志. 这个备份操作是异步的,这意味着,有时候他们的连接可能是断开的,master的变化不会马上反应到slave当中.备份个格式在设计上是和mysql的statement-based

#HTTP协议学习# （十二）理解转发与重定向

本文转自:http://blog.csdn.net/meiyalei/article/details/2129120  生动清晰 解释一 转发是服务器行为,重定向是客户端行为.为什么这样说呢,这就要看两个动作的工作流程: 转发过程:客户浏览器发送http请求---->web服务器接受此请求-->调用内部的一个方法在容器内部完成请求处理和转发动作---->将目标资源发送给客户:在这里,转发的路径必须是同一个web容器下的url,其不能转向到其他的web路径上去,中间传递的是自己的容器内的r

javascript基础学习（十二）

javascript之BOM 学习要点: 屏幕对象 History对象 Location对象 一.屏幕对象 Screen对象是一个由javascript自动创建的对象,该对象的主要作用是描述客户端的显示器的信息. 目前显示器分辨率为800X600或1024X768两种. screen.height:屏幕的高度 screen.width:屏幕的宽度 screen.availHeigh:屏幕的有效高度 screen.availWidth:屏幕的有效宽度 二.History对象 History对象可以