hadoop出现Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name

PriviledgedActionException as:man (auth:SIMPLE) cause:java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
2014-09-24 12:57:41,567 ERROR [RunService.java:206] - [thread-id:17 thread-name:Thread-6] threadId:17,Excpetion:java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
	at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:121)
	at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:83)
	at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:76)
	at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1186)
	at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1182)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:415)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1332)
	at org.apache.hadoop.mapreduce.Job.connect(Job.java:1181)
	at org.apache.hadoop.mapreduce.Job.submit(Job.java:1210)
	at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1234)
	at com.pzoom.hadoop.nerd.biz.job.DomainStatsJob.startJob(DomainStatsJob.java:78)
	at com.pzoom.hadoop.nerd.biz.job.DomainStatsJob.run(DomainStatsJob.java:56)
	at com.pzoom.hadoop.nerd.thrift.service.RunService.runMapReduce(RunService.java:141)
	at com.pzoom.hadoop.nerd.thrift.service.RunService.run(RunService.java:191)
	at java.lang.Thread.run(Thread.java:745)

Hadoop在执行job任务时,有时容易出现这个错误,但是我们在编译的时间并没有发生到什么异常和错误,但是在执行的过程中可能会出现这个初始化异常,一看这个错误,好像是自己配置的地址不对,但是出现这类异常大部分是因为缺少像这样的jar包 :hadoop-mapreduce-client-common

还有一种可能就是你的jar包引入的版本不正确导致的。或者缺少jar包,仔细根据异常去排查,最终都会解决这类错误。

时间: 2024-12-15 22:53:17

hadoop出现Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name的相关文章

Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.

解决方法: <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-common</artifactId> <version>2.4.1</version> </dependency>

sqoop job local 和 Cannot initialize Cluster 问题

hadoop版本:Hadoop 2.3.0-cdh5.0.0 sqoop版本:Sqoop 1.4.4-cdh5.0.0 配置好sqooop-env.xml: #Set path to where bin/hadoop is available export HADOOP_COMMON_HOME=/my/hadoop #Set path to where hadoop-*-core.jar is available export HADOOP_MAPRED_HOME=/my/hadoop/shar

How to install Hadoop 2.7.3 cluster on CentOS 7.3

############################# #ENV #spark01 192.168.51.6 #spark02 192.168.51.18 #spark03 192.168.51.19 #spark04 192.168.51.21 #spark05 192.168.51.24 ############################ ##We must to improve file limits on every nodes echo "ulimit -SHn 204800

Hadoop阅读笔记(四)——一幅图看透MapReduce机制

时至今日,已然看到第十章,似乎越是焦躁什么时候能翻完这本圣经的时候也让自己变得更加浮躁,想想后面还有一半的行程没走,我觉得这样“有口无心”的学习方式是不奏效的,或者是收效甚微的.如果有幸能有大牛路过,请指教如何能以效率较高的方式学习Hadoop. 我已经记不清圣经<hadoop 实战2>在我手中停留了多久,但是每一页每一章的翻过去,还是在脑壳里留下了点什么. 一段时间以来,我还是通过这本书加深以及纠正了我对于MapReduce.HDFS乃至Hadoop的新的认识.本篇主要介绍MapReduce

hadoop学习;自己定义Input/OutputFormat;类引用mapreduce.mapper;三种模式

hadoop切割与读取输入文件的方式被定义在InputFormat接口的一个实现中.TextInputFormat是默认的实现,当你想要一次获取一行内容作为输入数据时又没有确定的键.从TextInputFormat返回的键为每行的字节偏移量,但眼下没看到用过 曾经在mapper中曾使用LongWritable(键)和Text(值),在TextInputFormat中,由于键是字节偏移量.能够是LongWritable类型,而当使用KeyValueTextInputFormat时,第一个分隔符前后

Hadoop学习三十二:Win7下无法提交MapReduce Job到集群环境

一. 对hadoop eclipse plugin认识不足 http://zy19982004.iteye.com/blog/2024467曾经说到我最hadoop eclipse plugin作用的认识.但事实上我犯了一个错误,Win7 Eclipse里的MyWordCount程序一直在本地运行,没有提交到集群环境上运行(查看192.168.1.200:50030)没有这个Job.运行方式分为两种,右键Run As Java Application Run on Hadoop 如果说Run A

Linux巩固记录(5) hadoop 2.7.4下自己编译代码并运行MapReduce程序

程序代码为 ~\hadoop-2.7.4\share\hadoop\mapreduce\sources\hadoop-mapreduce-examples-2.7.4-sources\org\apache\hadoop\examples\WordCount.java 第一次  删除了package import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configur

hive--构建于hadoop之上、让你像写SQL一样编写MapReduce程序

hive介绍 什么是hive? hive:由Facebook开源用于解决海量结构化日志的数据统计 hive是基于hadoop的一个数据仓库工具,可以将结构化的数据映射为数据库的一张表,并提供类SQL查询功能.本质就是将HQL(hive sql)转化为MapReduce程序 我们使用MapReduce开发会很麻烦,但是程序员很熟悉sql,于是hive就出现了,可以让我们像写sql一样来编写MapReduce程序,会自动将我们写的sql进行转化.但底层使用的肯定还是MapReduce. hive处理

Hadoop.2.x_高级应用_二次排序及MapReduce端join

一.对于二次排序案例部分理解 1. 分析需求(首先对第一个字段排序,然后在对第二个字段排序) 杂乱的原始数据 排序完成的数据 a,1 a,1 b,1 a,2 a,2 [排序] a,100 b,6 ===> b,-3 c,2 b,-2 b,-2 b,1 a,100 b,6 b,-3 c,-7 c,-7 c,2 2. 分析[MapRedice过程] 1> 分析数据传入通过input()传入map() 2> map()对数据进行层层过滤,以达到我们想要的数据源, 3> 过滤方法中可添加自