windows下在eclipse上远程连接hadoop集群调试mapreduce错误记录

第一次跑mapreduce，记录遇到的几个问题，hadoop集群是CDH版本的，但我windows本地的jar包是直接用hadoop2.6.0的版本，并没有特意找CDH版本的

1.Exception in thread "main" java.lang.NullPointerException atjava.lang.ProcessBuilder.start

下载Hadoop2以上版本时，在Hadoop2的bin目录下没有winutils.exe和hadoop.dll，网上找到对应版本的这两个文件后，放到hadoop的bin下面，并在环境变量里加上HADOOP_HOME和在path里加上%HADOOP_HOME%/bin,重启电脑后再运行就没这个问题了。

2.atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:557)

下载hadoop-2.6.0-src.tar后解压，找到hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java复制到工程里面，包的路径为org.apache.hadoop.io.nativeio，然后更改第557行为return true。如图：

3.运行结果未报错，只是运行结果为false，查看hadoop的激活节点日志发现报错：PartialGroupNameException The user name ‘ushio‘ is not found. id: ushio: No such user

在环境变量里添加HADOOP_USER_NAME变量，值为正确有权限执行hadoop的用户名，cloudera manager安装的cdh版本的hadoop的话，值可为hdfs，重启电脑后就正常运行了。

在下面这个网页找到解决方案的，里面提到的其余的错我没遇到。

http://blog.csdn.net/congcong68/article/details/42043093

时间： 2024-08-10 19:18:15

windows下在eclipse上远程连接hadoop集群调试mapreduce错误记录的相关文章

windows下使用vnc viewer远程连接Linux桌面

在windows下使用vnc viewer远程连接Linux桌面,主要配置步骤: Linux: 1.rpm -qa vnc //查看是否安装vnc服务,如果没有安装,可以使用yum,或者rpm进行安装 2.修改配置文件: vim /etc/sysconfig/vncservers,如下图修改 3.设置vnc密码: vncpasswd 4.启动vncserver: service vncserver start 5.更改xstartup配置: vim /root/.vnc/xstartup,如下图

【hadoop】——window下连接hadoop集群基础超详细版

1.Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本:jdk-6u31-windows-i586.exe Win系统:Windows 7 旗舰版 Eclipse软件:eclipse-jee-indigo-SR1-win32.zip | eclipse-jee-helios-SR2-win32

Eclipse远程提交hadoop集群任务

文章概览: 1.前言 2.Eclipse查看远程hadoop集群文件 3.Eclipse提交远程hadoop集群任务 4.小结 1 前言 Hadoop高可用品台搭建完备后,参见<Hadoop高可用平台搭建>,下一步是在集群上跑任务,本文主要讲述Eclipse远程提交hadoop集群任务. 2 Eclipse查看远程hadoop集群文件 2.1 编译hadoop eclipse 插件 Hadoop集群文件查看可以通过webUI或hadoop Cmd,为了在Eclipse上方便增删改查集群文件,我

Java之美[从菜鸟到高手演变]之eclipse连接hadoop集群

作者:二青个人站点:zhangerqing.cn    邮箱:[email protected]    微博:http://weibo.com/xtfggef 准备工具: Ubuntu 14.10 desktop 64 bit eclipse 4.3 kepler jee version hadoop 2.6.0 hadoop eclipse plugin 2.6.0 起初我是打算用win7做实验,后来遇到一个null pointer的问题很奇怪,在网上找了很多资料都不起作用,有些问题很像,单用

通过eclipse方法来操作Hadoop集群上cassandra数据库（包括创建Keyspace对象以及往数据库写入数据）

(1)下载cassandra,我所用版本为apache-cassandra-2.0.13-bin.tar.gz(hadoop版本为1.0.1),将其上传到hadoop集群,然后解压,tar -xzf apache-cassandra-2.0.13-bin.tar.gz; 并改名为 cassandra,放在目录/usr/下面,然后修改几个文件: vim cassandra.yaml  按照下面的字段修改 data_file_directories: - /usr/cassandra/data # 

编写hadoop程序并打成jar包上传到hadoop集群运行

准备工作: 1. hadoop集群(我用的是hadoop-2.7.3版本),这里hadoop有两种:1是编译好的hadoop-2.7.3:2是源代码hadoop-2.7.3-src: 2. 自己的机器可以是任何系统,只要支持JVM,自己的主机上必须有eclipse,以及hadoop-2.7.3和hadoop-2.7.3-src.(我用的是windows系统,为了方便Linux系统传输数据,我选用了FileZilla,一款ftp工具,具体见www.cnblogs.com/NongSi-Net/p/

myeclipse连接hadoop集群编程及问题解决

原以为搭建一个本地编程测试hadoop程序的环境很简单,没想到还是做得焦头烂额,在此分享步骤和遇到的问题,希望大家顺利. 一.要实现连接hadoop集群并能够编码的目的需要做如下准备: 1.远程hadoop集群(我的master地址为192.168.85.2) 2.本地myeclipse及myeclipse连接hadoop的插件 3.本地hadoop(我用的是hadoop-2.7.2) 先下载插件hadoop-eclipse-plugin,我用的是hadoop-eclipse-plugin-2.

在eclipse上提交任务到集群执行

win7下eclipse远程开发hadoop程序,分为两种: (1)运行[Run As] Java Application, 打包程序为jar,上传集群执行(这里不做解释) (2)运行[Run As] Run on Hadoop 重点来说说Run on Hadoop这种方式,搭建好eclipse远程开发环境,执行Run on Hadoop,程序成功了,心里窃喜,却发现是这个样子: 我明明设置job.setNumReduceTasks(6),最终本应该有6个reduce输出,怎么成了一个? 发现这

Eclipse提交任务至Hadoop集群遇到的问题

环境:Windows8.1,Eclipse 用Hadoop自带的wordcount示例 hadoop2.7.0 hadoop-eclipse-plugin-2.7.0.jar //Eclipse的插件,需要对应Hadoop当前版本 基本步骤有很多博客已经提及,就不再赘述 1. 将hadoop-eclipse-plugin-2.7.0.jar放入Eclipse的plugins目录,启动Eclipse 2. 配置Eclipse的Hadoop location信息 3. 新建MapReduce Pro