目的:
基于上篇的方法介绍,开发很不方便 。[0007] windows 下 eclipse 开发 hdfs程序样例
装上插件,方便后续直接在windows下的IDE开发调试。
环境:
Linux Hadoop 2.6.4,参考文章 [0001]
Win 7 64 下的 Eclipse Version: Luna Service Release 1 (4.4.1)
hadoop-eclipse-plugin-2.6.4.jar 下载地址:http://download.csdn.net/detail/tondayong1981/9437360
Hadoop 2.6.4 安装程序包
1. 准备Hadoop安装包
在windows下解压 Hadoop 2.6.4 安装程序包。 将Linux上的hadoop 安装目录下 etc/hadoop的所有配置文件
全部替换 windows下解压后的配置文件
2 . 安装插件
- eclipse关闭状态下, 将 hadoop-eclipse-plugin-2.6.4.jar 放到该目录下 eclipse安装目录\plugins\
- 启动eclipse
- 菜单栏->窗口windows->首选项preferences->Hadoop mapeduce ,指定hadoop路径为前面的解压路径
- 菜单栏->窗口windows->Open Perspective->Other->选择Map/Reduce ok->Map/Reduce Location选项卡 ->右边蓝色小象 打开配置窗口如图,进行如下设置,点击ok
1位置为配置的名称,任意。
2位置为mapred-site.xml文件中的mapreduce.jobhistory.address配置,如果没有则默认是10020。
3位置为core-site.xml文件中的fs.defaultFS:hdfs://ssmaster:9000 。
这是网上找到图片,我的设置
hadoop2.6伪分布式,ssmaster:50020,ssmaster:9000
设置成功后,在eclipse这里可以直接显示Linux Hadoop hdfs的文件目录
3.可能出现的问题
上面某个目录可能提示:
Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x
用户Administator在hadoop上执行写操作时被权限系统拒,windows eclipse的默认用 用户Administator 去访问hadoop的文件
解决如下:
windows 添加环境变量 HADOOP_USER_NAME ,值为 hadoop (这是Linux上hadoop2.6.4 的用户名)
重启eclipse生效
Z 总结:
加油,干得好。
后续:
照着参考里面的程序,跑一下,测试直接跑程序能否成功
C 参考:
c.1 Win7+Eclipse+Hadoop2.6.4开发环境搭建
c.2 Hadoop学习笔记(4)-Eclipse下搭建Hadoop2.6.4开发环境
c.3 关于使用Hadoop MR的Eclipse插件开发时遇到Permission denied问题的解决办法