[转]hadoop运行mapreduce作业无法连接0.0.0.0/0.0.0.0:10020

14/04/04 17:15:12 INFO mapreduce.Job:  map 0% reduce 0%

14/04/04 17:19:42 INFO mapreduce.Job:  map 41% reduce 0%

14/04/04 17:19:53 INFO mapreduce.Job:  map 64% reduce 0%

14/04/04 17:19:55 INFO mapreduce.Job:  map 52% reduce 0%

14/04/04 17:19:57 INFO mapreduce.Job:  map 25% reduce 0%

14/04/04 17:20:00 INFO mapreduce.Job:  map 36% reduce 0%

14/04/04 17:20:00 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000011_0, Status : FAILED

14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000012_0, Status : FAILED

14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000014_0, Status : FAILED

14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000015_0, Status : FAILED

14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000008_0, Status : FAILED

14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000005_0, Status : FAILED

14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000004_0, Status : FAILED

14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000007_0, Status : FAILED

14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000006_0, Status : FAILED

14/04/04 17:20:06 INFO mapreduce.Job:  map 47% reduce 0%

14/04/04 17:20:16 INFO mapreduce.Job:  map 48% reduce 0%

14/04/04 17:20:46 INFO mapreduce.Job:  map 50% reduce 0%

14/04/04 17:20:47 INFO mapreduce.Job:  map 52% reduce 0%

14/04/04 17:20:49 INFO mapreduce.Job:  map 53% reduce 0%

14/04/04 17:21:21 INFO mapreduce.Job:  map 55% reduce 0%

14/04/04 17:21:25 INFO mapreduce.Job:  map 56% reduce 0%

14/04/04 17:21:26 INFO mapreduce.Job:  map 59% reduce 0%

14/04/04 17:26:20 INFO mapreduce.Job:  map 62% reduce 0%

14/04/04 17:26:32 INFO mapreduce.Job:  map 67% reduce 0%

14/04/04 17:26:44 INFO mapreduce.Job:  map 68% reduce 0%

14/04/04 17:27:10 INFO mapreduce.Job:  map 70% reduce 0%

14/04/04 17:27:30 INFO mapreduce.Job:  map 71% reduce 0%

14/04/04 17:27:52 INFO mapreduce.Job:  map 74% reduce 2%

14/04/04 17:27:57 INFO mapreduce.Job:  map 75% reduce 2%

14/04/04 17:27:59 INFO mapreduce.Job:  map 79% reduce 2%

14/04/04 17:28:01 INFO mapreduce.Job:  map 80% reduce 2%

14/04/04 17:28:02 INFO mapreduce.Job:  map 81% reduce 2%

14/04/04 17:28:05 INFO mapreduce.Job:  map 83% reduce 2%

14/04/04 17:28:17 INFO mapreduce.Job:  map 84% reduce 2%

14/04/04 17:28:26 INFO mapreduce.Job:  map 84% reduce 3%

14/04/04 17:28:29 INFO mapreduce.Job:  map 85% reduce 3%

14/04/04 17:28:38 INFO mapreduce.Job:  map 85% reduce 5%

14/04/04 17:28:52 INFO mapreduce.Job:  map 86% reduce 5%

14/04/04 17:29:00 INFO mapreduce.Job:  map 88% reduce 5%

14/04/04 17:29:12 INFO mapreduce.Job:  map 89% reduce 5%

14/04/04 17:29:22 INFO mapreduce.Job:  map 90% reduce 5%

14/04/04 17:29:29 INFO mapreduce.Job:  map 91% reduce 5%

14/04/04 17:29:37 INFO mapreduce.Job:  map 92% reduce 5%

14/04/04 17:29:45 INFO mapreduce.Job:  map 93% reduce 5%

14/04/04 17:29:56 INFO mapreduce.Job:  map 94% reduce 6%

14/04/04 17:30:00 INFO mapreduce.Job:  map 95% reduce 6%

14/04/04 17:30:01 INFO mapreduce.Job:  map 95% reduce 8%

14/04/04 17:30:10 INFO mapreduce.Job:  map 97% reduce 8%

14/04/04 17:30:16 INFO mapreduce.Job:  map 97% reduce 11%

14/04/04 17:30:23 INFO mapreduce.Job:  map 98% reduce 11%

14/04/04 17:30:37 INFO mapreduce.Job:  map 98% reduce 12%

14/04/04 17:30:55 INFO mapreduce.Job:  map 98% reduce 17%

14/04/04 17:30:58 INFO mapreduce.Job:  map 98% reduce 20%

14/04/04 17:31:04 INFO mapreduce.Job:  map 98% reduce 21%

14/04/04 17:31:07 INFO mapreduce.Job:  map 98% reduce 26%

14/04/04 17:31:10 INFO mapreduce.Job:  map 98% reduce 32%

14/04/04 17:31:13 INFO mapreduce.Job:  map 100% reduce 32%

14/04/04 17:31:19 INFO mapreduce.Job:  map 100% reduce 38%

14/04/04 17:31:22 INFO mapreduce.Job:  map 100% reduce 49%

14/04/04 17:31:25 INFO mapreduce.Job:  map 100% reduce 67%

14/04/04 17:31:31 INFO mapreduce.Job:  map 100% reduce 68%

14/04/04 17:31:34 INFO mapreduce.Job:  map 100% reduce 70%

14/04/04 17:31:37 INFO mapreduce.Job:  map 100% reduce 71%

14/04/04 17:31:40 INFO mapreduce.Job:  map 100% reduce 73%

14/04/04 17:31:44 INFO mapreduce.Job:  map 100% reduce 75%

14/04/04 17:31:47 INFO mapreduce.Job:  map 100% reduce 77%

14/04/04 17:31:50 INFO mapreduce.Job:  map 100% reduce 78%

14/04/04 17:31:53 INFO mapreduce.Job:  map 100% reduce 80%

14/04/04 17:31:56 INFO mapreduce.Job:  map 100% reduce 82%

14/04/04 17:31:58 INFO mapreduce.Job:  map 100% reduce 84%

14/04/04 17:32:01 INFO mapreduce.Job:  map 100% reduce 85%

14/04/04 17:32:04 INFO mapreduce.Job:  map 100% reduce 87%

14/04/04 17:32:07 INFO mapreduce.Job:  map 100% reduce 89%

14/04/04 17:32:10 INFO mapreduce.Job:  map 100% reduce 91%

14/04/04 17:32:13 INFO mapreduce.Job:  map 100% reduce 93%

14/04/04 17:32:16 INFO mapreduce.Job:  map 100% reduce 95%

14/04/04 17:32:19 INFO mapreduce.Job:  map 100% reduce 96%

14/04/04 17:32:22 INFO mapreduce.Job:  map 100% reduce 98%

14/04/04 17:32:25 INFO mapreduce.Job:  map 100% reduce 100%

14/04/04 17:32:34 INFO mapred.ClientServiceDelegate: Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server

14/04/04 17:32:35 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:36 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:37 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:38 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:39 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:40 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:41 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:42 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:43 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:44 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:44 INFO mapred.ClientServiceDelegate: Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server

14/04/04 17:32:45 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:46 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:47 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:48 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:49 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:50 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:51 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:52 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:53 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:54 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:54 INFO mapred.ClientServiceDelegate: Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server

14/04/04 17:32:55 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:56 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:57 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:58 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:32:59 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:33:00 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:33:01 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:33:02 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:33:03 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04/04 17:33:04 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

14/04 /04 17:33:05 ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop (auth:SIMPLE) cause:java.io.IOException: java.net.ConnectException: Call From sjfx /192.168.52.170 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒 绝连接; For more details see:  http://wiki.apache.org/hadoop /ConnectionRefused

Exception in thread "main" java.io.IOException: java.net.ConnectException: Call From sjfx/192.168.52.170 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒 绝连接; For more details see:  http://wiki.apache.org/hadoop /ConnectionRefused

    at org.apache.hadoop.mapred.ClientServiceDelegate.invoke(ClientServiceDelegate.java:331)

    at org.apache.hadoop.mapred.ClientServiceDelegate.getTaskCompletionEvents(ClientServiceDelegate.java:383)

    at org.apache.hadoop.mapred.YARNRunner.getTaskCompletionEvents(YARNRunner.java:529)

    at org.apache.hadoop.mapreduce.Job$5.run(Job.java:668)

    at org.apache.hadoop.mapreduce.Job$5.run(Job.java:665)

    at java.security.AccessController.doPrivileged(Native Method)

    at javax.security.auth.Subject.doAs(Subject.java:415)

    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)

    at org.apache.hadoop.mapreduce.Job.getTaskCompletionEvents(Job.java:665)

    at org.apache.hadoop.mapreduce.Job.monitorAndPrintJob(Job.java:1349)

    at org.apache.hadoop.mapred.JobClient$NetworkedJob.monitorAndPrintJob(JobClient.java:407)

    at org.apache.hadoop.mapred.JobClient.monitorAndPrintJob(JobClient.java:855)

    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:835)

    at com.fiveone.game.GameLoginLog.main(GameLoginLog.java:38)

    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)

    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

    at java.lang.reflect.Method.invoke(Method.java:606)

    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)

Caused by: java.net.ConnectException: Call From sjfx/192.168.52.170 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒 绝连接; For more details see:  http://wiki.apache.org/hadoop /ConnectionRefused

    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)

    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

    at java.lang.reflect.Constructor.newInstance(Constructor.java:526)

    at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:783)

    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:730)

    at org.apache.hadoop.ipc.Client.call(Client.java:1351)

    at org.apache.hadoop.ipc.Client.call(Client.java:1300)

    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)

    at com.sun.proxy.$Proxy12.getTaskAttemptCompletionEvents(Unknown Source)

    at org.apache.hadoop.mapreduce.v2.api.impl.pb.client.MRClientProtocolPBClientImpl.getTaskAttemptCompletionEvents(MRClientProtocolPBClientImpl.java:177)

    at sun.reflect.GeneratedMethodAccessor5.invoke(Unknown Source)

    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

    at java.lang.reflect.Method.invoke(Method.java:606)

    at org.apache.hadoop.mapred.ClientServiceDelegate.invoke(ClientServiceDelegate.java:317)

    ... 18 more

Caused by: java.net.ConnectException: 拒绝连接

    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)

    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:735)

    at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)

    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:529)

    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:493)

    at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:547)

    at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:642)

    at org.apache.hadoop.ipc.Client$Connection.access$2600(Client.java:314)

    at org.apache.hadoop.ipc.Client.getConnection(Client.java:1399)

    at org.apache.hadoop.ipc.Client.call(Client.java:1318)

    ... 26 more

1、14/04/04 17:32:35 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

这个问题是由于没有启动historyserver引起的，解决办法：

在mapred-site.xml配置文件中添加：

<property>

<name>mapreduce.jobhistory.address</name>

<value>sjfx:10020</value>

</property>

在namenode上执行命令：mr-jobhistory-daemon.sh start historyserver

这样在，namenode上会启动JobHistoryServer服务，可以在historyserver的日志中查看运行情况

2、14/04/04 17:20:00 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000011_0, Status : FAILED

出现这个问题可能是由于集群性能瓶颈造成的（IO或网络问题等等）

之前在台式机上虚拟出三个slave的集群，数据量稍微大点就会出现这个问题，后来换了台服务器虚拟出两个slave的集群，没有出现这个问题。

3、mapreduce历史作业管理器相关知识（出自：董成西《Hadoop技术内幕 深入解析yarn架构设计与实现原理》）：

为了方便用户查看MapReduce历史作业信息，MRAppMaster提供了一个JobHistoryServer服务，该服务主要由四个子服务组成，具体如下：

a、HistoryClientService.为Web界面展示历史作业信息提供后端实现，它通过调用JobHistory中的相关API获取作业信息，比如提交时间、提交用户、Counter值等，并将这些信息发送到前端。

b、HSAdminServer。管理员可使用“bin/mapred hsadmin” 命令动态更新JobHistoryServer访问和管理权限信息。用户输入该命令后，后端的HSAdminService服务将执行该命令，当前该命令可动态更新以下几种信息：

①管理员列表。历史作业查看器的管理员列表（具有启动和停止JobHistoryServer服务、更新权限信息等权限）是通过core-site.xml中的mapreduce.jobhistory.admin.acl属性（默认是“*”,表示任何人都是管理员）设置的。

②超级用户组列表。超级用户组信息是通过core-site.xml中的hadoop.proxyuser.groups和hadoop.proxyuser.hosts属性设置的，超级用户组是hadoop引入Kerberos安全机制后，为方便上层应用（比如HBase、Oozie等）访问Hadoop内核服务而新增加的配置项。

④用户与用户组映射关系。用户与用户组映射关系是通过core-site.xml中的hadoop.security.group.mapping属性设置的，它需要是一个实现了GroupMappingServiceProvider接口的类，默认实现是ShellBasedUnixGroupsMapping，即采用Linux操作系统的用户和用户组映射关系。

c、AggregatedLogDeletionService。该服务周期性扫描所有历史作业日志目录，如果一个日志目录存放时间超过yarn.nodemanager.log.retain-seconds（单位是秒，默认为3*60*60，即三个小时），则直接将其从HDFS上删除。

d、JobHistory。该服务从HDFS上读取MapReduce历史作业日志，并将其解析成格式化信息，供前端查看。MRAppMaster将执行完成的作业信息保存到mapreduce.jobhistory.intermediate-done-dir指定的目录中，如果用户未设置该属性，则保存到${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate目录中，其中每个作业保存作业配置文件（后缀为.xml）和作业执行日志（后缀为.jhist）两个文件，通过解析作业执行日志，JobHistory能获取作业执行时的所有信息，包括作业提交时间、作业Counter、每个任务提交时间和运行时间、每个任务的Counter等。

时间： 2024-10-06 20:28:29

[转]hadoop运行mapreduce作业无法连接0.0.0.0/0.0.0.0:10020的相关文章

hadoop 原生MapReduce 实现数据连接

业务逻辑 其实很简单,输入两个文件,一个作为基础数据(学生信息文件),一个是分数信息文件. 学生信息文件:存放学生数据:包括学号,学生名称 分数信息数据:存放学生的分数信息:包括学号,学科,分数. 我们将通过M/R实现根据学号,进行数据关联,最终结果为:学生名称,学科,分数. 模拟数据 学生数据 [[email protected] student_data]$ cat students.txt1       Randy2       Tom3       kitty4       Lucy5 

Hadoop之 - 剖析 MapReduce 作业的运行机制（MapReduce 2）

在0.20版本及更早期的系列中,mapred.job.tracker 决定了执行MapReduce程序的方式.如果这个配置属性被设置为local(默认值),则使用本地的作业运行器.运行器在耽搁JVM上运行整个作业.它被设计用来在小的数据集上测试和运行MapReduce程序. 如果 mapred.job.tracker 被设置为用冒号分开的主机和端口对(主机:端口),那么该配置属性就被解释为一个jobtracker地址,运行器则将作业提交给该地址的jobtracker. Hadoop 2.x引入了

剖析MapReduce 作业运行机制

包含四个独立的实体: ·  Client Node 客户端:编写 MapReduce代码,配置作业,提交MapReduce作业. ·  JobTracker :初始化作业,分配作业,与 TaskTracker通信,协调整个作业的运行. jobtracker是一个Java 应用程序,它的主类是 JobTracker. ·  TaskTracker :保持与 JobTracker通信,在分配的数据片段上执行 Map或Reduce 任务.tasktracker是 Java应用程序,它的主类是TaskT

Hadoop2.6.0运行mapreduce之Uber模式验证

前言 在有些情况下,运行于Hadoop集群上的一些mapreduce作业本身的数据量并不是很大,如果此时的任务分片很多,那么为每个map任务或者reduce任务频繁创建Container,势必会增加Hadoop集群的资源消耗,并且因为创建分配Container本身的开销,还会增加这些任务的运行时延.如果能将这些小任务都放入少量的Container中执行,将会解决这些问题.好在Hadoop本身已经提供了这种功能,只需要我们理解其原理,并应用它. Uber运行模式就是解决此类问题的现成解决方案.本文

Hadoop2.6.0运行mapreduce之推断（speculative）执行（一）

前言 当一个应用向YARN集群提交作业后,此作业的多个任务由于负载不均衡.资源分布不均等原因都会导致各个任务运行完成的时间不一致,甚至会出现一个任务明显慢于同一作业的其它任务的情况.如果对这种情况不加优化,最慢的任务最终会拖慢整个作业的整体执行进度.好在mapreduce框架提供了任务推断执行机制,当有必要时就启动一个备份任务.最终会采用备份任务和原任务中率先执行完的结果作为最终结果. 由于具体分析推断执行机制,篇幅很长,所以我会分成几篇内容陆续介绍. 推断执行测试 本文在我自己搭建的集群(集群

在ubuntu上安装eclipse同时连接hadoop运行wordcount程序

起先我是在win7 64位上远程连接hadoop运行wordcount程序的,但是这总是需要网络,考虑到这一情况,我决定将这个环境转移到unbuntu上 需要准备的东西 一个hadoop的jar包,一个连接eclipse的插件(在解压的jar包里有这个东西),一个hadoop-core-*.jar(考虑到连接的权限问题) 一个eclipse的.tar.gz包(其它类型的包也可以,eclipse本身就是不需要安装的,这里就不多说了) 因为我之前在win7上搭建过这个环境,所以一切很顺利,但还是要在

MapReduce作业运行第三方配置文件的共享方法

其实MapReduce作业运行第三方配置文件的共享方法往小了说其实就是参数在MapReduce作业中的传递,往大了说其实就是DistributedCache的应用. 在MapReduce中传递参数普遍用Configuration,Configuration是一个键值对,将所需的参数值表示成键值对(键值对为字符串类型),调用Configuration的set方法就保存进去了,用的时候调用get方法. 这是最基础的,在工作中难免遇到一些特殊的情况,比如,如何传递一个对象型参数?当你的MapReduc

Hadoop之MapReduce WordCount运行

搭建好Hadoop集群环境或者单机环境,并运行,MapReduce进程要起来 1. 假设已经配置了下列环境变量 export JAVA_HOME=/usr/java/default export PATH=$JAVA_HOME/bin:$PATH export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar 2.创建2个测试文件,并上传到Hadoop HDFS中 [[email protected]one temp]$ cat file01 Hello Wor

Linux巩固记录（5） hadoop 2.7.4下自己编译代码并运行MapReduce程序

程序代码为 ~\hadoop-2.7.4\share\hadoop\mapreduce\sources\hadoop-mapreduce-examples-2.7.4-sources\org\apache\hadoop\examples\WordCount.java 第一次  删除了package import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configur