大数据调错系列之:自己总结的myeclipse连接hadoop会出现的问题

在我们学习或者工作中开始hadoop程序的时候,往往会遇到一个问题,我们写好的程序需要打成包放在集群中运行,这无形中在浪费我们的时间,因为程序可以需要不断的调试,然后把最终程序放在集群中即可。为了解决这个问题,现在我们配置远程连接hadoop,远程调试的方法。

一段程序如下:获取更多大数据视频资料请加QQ群:947967114

当我们在运行的时候会有如下众多的错误:

1、基础环境配置:首先需要注意自己使用的hadoop的版本:

这说明是2.6.0的所以需要下载一个连接包:hadoop-eclipse-plugin-2.6.0.jar,一定要注意根据自己的版本下载不同的连接包。放在myeclipse的安装路径下:D:\Program Files\Myeclipse-10

Myeclipse-10和其他版本不同,是有两个目录的:其他版本只有一个目录,直接进入找到plugins即可。这里需要进入Common中找到plugins中,把连接包放在其中即可:

然后把Myeclipse重启。我们这个时候就可以进行hadoop的工程配置了:按照顺序点击:

在Browse中把解压好的hadoop包引入进来,只引入到主目录即可:然后就可以创建hadoop的,mapreduce工程了:获取更多大数据视频资料请加QQ群:947967114

完成后可以看到众多的依赖包都自动进入了:

然后我们配置远程连接hadoop的目录:

新建一个:

经过配置之后可以看到如下界面:

能够感受到已经连接到了hadoop的目录了:

2、Exception in thread “main” java.lang.NullPointerException atjava.lang.ProcessBuilder.start

运行是出现如上错误:

这个问题是Hadoop2以上版本,Hadoop2的bin目录中没有winutils.exe导致的错误。所以需要下载对应的包:

注意一定要是64位的现在很少32位的了:如果两个版本都可以:解压并且把包里的所有内容都复制出来分别放在自己的hadoop的bin解压目录中:

然后把myeclipse对应的hadoop文件重新引入一:获取更多大数据视频资料请加QQ群:947967114

3、Exception in thread "main"java.lang.UnsatisfiedLinkError:

4、main ExitCodeException

这是因为window本地的hadoop没有winutils.exe导致的.原来本地hadoop要去调用这个程序.我们先把上一部的winutils.exe文件中例如hadoop.dll等所有文件都放到c:\windows\System32,然后使得其运行没错才可以.

然而winutils.exe还是无法启动,这个是某些电脑问题.有些人会遇到,双击winutils.exe运行报错,缺少msvcr120.dll.下载之后再去启动提示,“应用程序无法正常启动0xc000007b”.这是内存错误引起的.下载DirectX_Repair修复directx解决问题,最后成功启动了hadoop程序.

可能能够启动winutils.exe但还是不能正常跑应用程序,依然报错,可以试试修改权限验证.

修改hadoop/etc/hadoop/hdfs-site.xml

添加内容:

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

5、atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access遇到这个问题是由于源码文件中需要更改:首先去官网下载hadoop-2.6.0-src.tar.gz源码包,解压:hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java 复制到对应的Eclipse的project,然后修改557行为return true如图所示:

6、org.apache.hadoop.security.AccessControlException: Permissiondenied: user=zhengcy, access=WRITE,inode="/user/root/output"这是由于访问权限的问题。

有两种解决方式:第一种把hadoop的目录的权限扩大:例如 hadoop chmod -R 777 /,都给所有权限。第二种方式是修改配置文件。去掉检查权限的步骤:在这个etc/hadoop下的hdfs-site.xml添加

  <property>

     <name>dfs.permissions</name>

     <value>false</value>

  </property>

7.获取更多大数据视频资料请加QQ群:947967114

原文地址:http://blog.51cto.com/14043271/2320668

时间: 2024-11-10 14:14:12

大数据调错系列之:自己总结的myeclipse连接hadoop会出现的问题的相关文章

大数据调错系列之hadoop在开发工具控制台上打印不出日志的解决方法

(1)在windows环境上配置HADOOP_HOME环境变量 (2)在eclipse上运行程序 (3)注意:如果eclipse打印不出日志,在控制台上只显示 1.log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell). 2.log4j:WARN Please initialize the log4j system properly. 3.log4j:WARN See http://logg

大数据入门基础系列之初步认识大数据生态系统圈(博主推荐)

之前在微信公众平台里写过 大数据入门基础系列之初步认识hadoop生态系统圈 http://mp.weixin.qq.com/s/KE09U5AbFnEdwht44FGrOA 大数据入门基础系列之初步认识大数据生态系统圈 1.概述 最近收到一些同学和朋友的邮件,说能不能整理一下 Hadoop 生态圈的相关内容,然后分享一些,我觉得这是一个不错的提议,于是,花了一些业余时间整理了 Hadoop 的生态系统,并将其进行了归纳总结,进而将其以表格的形式进行了罗列.涉及的内容有以下几点: 分布式文件系统

好程序员大数据教程Scala系列之样例类_Option_偏函数

好程序员大数据教程Scala系列之样例类_Option_偏函数,在Scala中Option类型样例类用来表示可能存在或也可能不存在的值(Option的子类有Some和None).Some包装了某个值,None表示没有值. object?OptionDemo {??def?main(args: Array[String]) {????val?map = Map("a"?-> 1, "b"?-> 2)????val?v = map.get("b&q

大数据开发实战系列之电信客服(1)

大数据实战开发系列,以实战为主,辅以一些基础知识,关于电信客服,在网上也有很多的资料,这里我自然会去参考网上的资料,程序的整体设计是在今天开始的,老夫尽量在本周末钱结束这个电信客服的程序编写.因为我也是一个学习者,所以在程序编写过程中难免会存在问题,有问题还请大家指出,有则改之,无则加勉.大家共同进步.本教程适合接触大数据开发不久或者还没接触大数据开发,或者小萌新.老鸟就多提意见吧,我改. 博客原文地址:大数据开发实战系列之电信客服(1) 项目背景 关于项目背景,我就照搬网上的了.通信运营商每时

大数据教程Scala系列之方法的嵌套和方法多态

大数据教程为大家分享Scala系列之方法的嵌套和方法多态方法里嵌套定义其他方法示例1object EmbedDemo { def add3(x:Int,y:Int,z:Int)={def add2(x:Int,y:Int)={x+y}add2(add2(x,y),z)} def main(args: Array[String]): Unit = {println(add3(1,2,3)) //6}}示例2def factorial(x: Int): Int = {def fact(x: Int,

程序员入门必备的大数据开发实战系列丛书

想要入行大数据却不知从哪里开始?作为入行十年的码农为大家推荐一套"一站式实战型大数据应用开发学习指导"丛书,帮助读者踏上由开发入门到大数据实战的"互联网+大数据"开发之旅! 此套丛书以实用性.案例丰富见长.由国内知名的IT教育机构课工场创始人肖睿主编,人民邮电出版社出版.编撰此书时为满足企业对人才的技能需求,课工场大数据开发教研团队,通过对数百位BAT一线技术专家进行访谈.上千家企业人力资源情况进行调研.上万上企业招聘岗位进行需求分析,在此基础上,整合了大量案例说明

下载基于大数据技术推荐系统实战教程(Spark ML Spark Streaming Kafka Hadoop Mahout Flume Sqoop Redis)

地址:http://pan.baidu.com/s/1c2tOtwc  密码:yn2r 82课高清完整版,转一播放码. 互联网行业是大数据应用最前沿的阵地,目前主流的大数据技术,包括 hadoop,spark等,全部来自于一线互联网公司.从应用角度讲,大数据在互联网领域主要有三类应用:搜索引擎(比如百度,谷歌等),广告系统(比如百度凤巢,阿里妈妈等)和推荐系统(比如阿里巴巴天猫推荐,优酷视频推荐等). 本次培训以商业实战项目作为驱动来学习大数据技术在推荐系统项目中的应用.使得学员能够亲身体会大数

大数据之ES系列——第一篇 ElasticSearch2.2 集群安装部署

第一部分  安装准备 准备三台主机节点: hc11.spads  192.168.160.181 hc12.spads  192.168.160.182 hc13.spads  192.168.160.183 准备软件包: elasticsearch-2.2.0.tar.gz 注:将以上软件包上传至各主机节点/opt/softwareRes/目录下. 第二部分 安装配置 elasticsearch-2.2.0 1.各主机节点分别解压软件包 elasticsearch-2.2.0.tar.gz t

转:Hadoop大数据开发基础系列:七、Hive基础

https://blog.csdn.net/hehe_soft_engineer/article/details/102820968 原文地址:https://www.cnblogs.com/ambdyx/p/11779609.html