Java之美[从菜鸟到高手演变]之eclipse连接hadoop集群

作者:二青
个人站点:zhangerqing.cn    邮箱:[email protected]    微博:http://weibo.com/xtfggef

准备工具:

  • Ubuntu 14.10 desktop 64 bit
  • eclipse 4.3 kepler jee version
  • hadoop 2.6.0
  • hadoop eclipse plugin 2.6.0

起初我是打算用win7做实验,后来遇到一个null pointer的问题很奇怪,在网上找了很多资料都不起作用,有些问题很像,单用的并不是同一个版本,因此也不一定起作用,所以为了方便,我就直接改成用Ubuntu desktop版的了,这样就方便多了。在VirtualBox上装一个Ubuntu 14.10 desktop 64 bit版,配置jdk,下载安装eclipse kepler即可。

1. 将编译好的eclipse hadoop插件拷贝到eclipse安装目录下的plugin目录下,重启eclipse。下载地址  源码地址

2. 打开Window -> Preference -> Hadoop Map/Reduce,配置右面的"Hadoop installation directory"项,指向hadoop安装目录。注意:此处并非是linux上真实的hadoop的安装目录,而是直接将hadoop安装包拷贝到当前系统的某个目录下,解压即可。

3. Window -> Open Perspective -> Other -> Map/Reduce,eclipse的下方会出现如下视图:

点击右上角的蓝色大象

location name随便填入,host填写hadoop集群的master所在的IP,第一个Port填写mapred-site.xml里定义的端口,如下图一,9001,第二个Port填写里core-site.xml定义的端口,如下图二,9000。填写完重启eclipse。

4. 打开上一个设置的页面,切换到Advanced parameters标签,修改如下配置项:

dfs.replication,默认是3,要根据你的Datanode的个数来定,如果你仅有2个datanode,那么就写2,如果只有一个,就写1,大于或者等于3个,写3。
hadoop.tmp.dir,这个要跟上节建立的Hadoop集群配置中core-site.xml 中的hadoop.tmp.dir设置一样,此处我们填写的是/root/hadoop/tmp。重启eclipse。

5. 我们可以看到左侧资源管理器里的DFS Locations视图

右键文件夹可以上传/下载文件或者目录。注意:如果此时报:Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: error,则需要修改dfs的访问权限,编辑hdfs-site.xml文件,加入:

<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>  

注意:生产环境不建议这么做。

6. 运行自带word count示例

新建Map/Reduce项目,进入/home/adam/hadoop/share/hadoop/mapreduce/sources目录,解压hadoop-mapreduce-examples-2.6.0-sources.jar包,将里面的WordCount.java复制到新建的项目里,点击Run Configurations配置启动参数。这里的output文件夹必须是之前没有创建的,这里会自动创建,否则报“目录已存在”的错误。

最后Run As “Run On Hadoop”即可,执行完毕后,去看hdfs上的output1目录,查看输出。

这样eclipse就连接到hadoop集群并且可以执行map/reduce任务了。

有什么问题欢迎与我联系:

作者:二青
个人站点:zhangerqing.cn    邮箱:[email protected]    微博:http://weibo.com/xtfggef

时间: 2024-10-07 05:36:04

Java之美[从菜鸟到高手演变]之eclipse连接hadoop集群的相关文章

Java之美[从菜鸟到高手演变]之JVM内存管理及垃圾回收

很多Java面试的时候,都会问到有关Java垃圾回收的问题,提到垃圾回收肯定要涉及到JVM内存管理机制,Java语言的执行效率一直被C.C++程序员所嘲笑,其实,事实就是这样,Java在执行效率方面确实很低,一方面,Java语言采用面向对象思想,这也决定了其必然是开发效率高,执行效率低.另一方面,Java语言对程序员做了一个美好的承诺:程序员无需去管理内存,因为JVM有垃圾回收(GC),会去自动进行垃圾回收. 其实不然: 1.垃圾回收并不会按照程序员的要求,随时进行GC. 2.垃圾回收并不会及时

Java之美[从菜鸟到高手演变]之设计模式

设计模式(Design Patterns) ——可复用面向对象软件的基础 设计模式(Design pattern)是一套被反复使用.多数人知晓的.经过分类编目的.代码设计经验的总结.使用设计模式是为了可重用代码.让代码更容易被他人理解.保证代码可靠性. 毫无疑问,设计模式于己于他人于系统都是多赢的,设计模式使代码编制真正工程化,设计模式是软件工程的基石,如同大厦的一块块砖石一样.项目中合理的运用设计模式可以完美的解决很多问题,每种模式在现在中都有相应的原理来与之对应,每一个模式描述了一个在我们周

Java之美[从菜鸟到高手演变]之设计模式(zz)

http://blog.csdn.net/zhangerqing/article/details/8194653 设计模式(Design pattern)是一套被反复使用.多数人知晓的.经过分类编目的.代码设计经验的总结.使用设计模式是为了可重用代码.让代码更容易被他人理解.保证代码可靠性. 毫无疑问,设计模式于己于他人于系统都是多赢的,设计模式使代码编制真正工程化,设计模式是软件工程的基石,如同大厦的一块块砖石一样.项目中合理的运用设计模式可以完美的解决很多问题,每种模式在现在中都有相应的原理

Java之美[从菜鸟到高手演练]之Linux下Hadoop的完全分布式安装

作者:二青 邮箱:[email protected]     微博:http://weibo.com/xtfggef 本来是想安装一个单节点的环境就好了,后来按装完了总觉得不够过瘾,于是今天继续研究一下,来一个完全分布式的集群安装.用到的软件和上一篇单节点安装Hadoop一样,如下: Ubuntu 14.10 64 Bit Server Edition Hadoop2.6.0 JDK 1.7.0_71 ssh rsync 准备环境 依然是VirtualBox + Ubuntu 14.10 64

Java之美[从菜鸟到高手演变]之字符串

一.String 1.String简介 初始化: 一般由String声明的字符串,长度是不可变的,这也是它与StringBuffer和StringBuilder最直观的一个区别.一般初始化方式:String s = "hello world";经过这条语句,JVM的栈内存中产生一个s变量,堆内存中产生hello world字符串对象.s指向了hello world的地址.像上面这种方式产生的字符串属于直接量字符串对象,JVM在处理这类字符串的时候,会进行缓存,产生时放入字符串池,当程序

Java之美[从菜鸟到高手演变]之智力题【史上最全】 (转)阻缀锥抓卒租

http://www.ebay.com/cln/739_dtfz/2015-01-30/166610796012 http://www.ebay.com/cln/75r_zflf/2015-01-30/166615324010 http://www.ebay.com/cln/d77_fznp/2015-01-30/166615334010 http://www.ebay.com/cln/j1b_rndz/2015-01-30/166586262014 http://www.ebay.com/cl

Java之美[从菜鸟到高手演变]之Spring源码学习 - 环境搭建

准备工作 1.下载安装STS(Spring Tool Suite),在eclipse market里直接搜索.下载.安装.2.下载安装gradle, Spring源码使用gradle构建,下载后解压到任意目录,设置环境变量: GRADLE_HOME且配置Path. 3.下载安装github windows版本 使用github下载Spring源代码 去官网找到Spring在github上的地址,下载到文件系统下就好了. 将Spring 源代码导入eclipse 为Spring每个模块生成ecli

Java之美[从菜鸟到高手演练]之Arrays类及其方法分析

作者:二青 个人站点:zhangerqing.cn    邮箱:[email protected]    微博:http://weibo.com/xtfggef 本章主要介绍一下 java.util.Arrays类的重点方法,包括怎么使用及实现原理.这是一个算法类,主要是辅助数组类实现一些排序.搜索等功能,同时也支持数组到List的转换.本章系Java之美[从菜鸟到高手演练]系列之Arrays类及其方法分析,如果有任何问题,欢迎通过上面任何一种方式与我联系! 排序 本文使用JDK1.8.0_25

Java之美[从菜鸟到高手演练]之Linux下单节点安装Hadoop

作者:二青 邮箱:[email protected]     微博:http://weibo.com/xtfggef 现在开始要系统地学习下Hadoop了,虽然可能有点儿晚,但是还是想好好学习一下这门火爆的技术,让我们从安装环境开始.官方文档 本文使用的个软件及版本如下: Ubuntu 14.10 64 Bit Server Edition Hadoop2.6.0 JDK 1.7.0_71 ssh rsync 首先自己准备一个装有linux系统的机器,物理机虚拟机都可,推荐使用Oracle Vi