myeclipse配置hadoop开发环境

本文所用软件版本:myeclipe2014    hadoop1.2.1

1、安装Hadoop开发插件

下载hadoop-eclipse-plugin-1.2.1.jar,拷贝到myeclipse根目录下/dropins目录下。

2、 启动myeclipse,打开Perspective:

【Window】->【Open Perspective】->【Other...】->【Map/Reduce】->【OK】

3、 打开一个View:

【Window】->【Show View】->【Other...】->【MapReduce Tools】->【Map/Reduce Locations】->【OK】

4、 添加Hadoop location:

此处添加自己的hadoop安装路径。

5、new Hadoop location

修改其中内容:

Map/Reduce Master 这个框里:这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port

DFS Master 这个框里:这两个参数就是core-site.xml里面fs.default.name里面的ip和port

user name:这个是连接hadoop的用户名

因为我是用root户安装的hadoop,而且没建立其他的用户,所以用root。下面的不用填写。
然后点击finish按钮,此时,这个视图中就有多了一条记录。

修改后:

重启myeclipse并重新编辑刚才建立的那个连接记录,现在我们编辑advance parameters tab页

此页只需修改,其中箭头所示处,后面填core-site.xml里所对应的路径即可。

然后点击finish,然后就连接上了(先要启动sshd服务,启动hadoop进程),连接上的标志如图:

6、再跑wordcount例子

新建Map/Reduce Project:

【File】->【New】->【Project...】->【Map/Reduce】->【Map/Reduce Project】->【Project name: WordCount】->【Configure Hadoop install directory...】->【Hadoop installation directory: usr/local/hadoop/hadoop-1.2.1】->【Apply】->【OK】->【Next】->【Allow output folders for source folders】->【Finish】

新建WordCount类

添加/编写源代码:此代码是hadoop自带的,所以在hadoop安装目录下,如下图:(代码复制过来即可用)

上传模拟数据文件夹:此过程请参考本博客 http://www.cnblogs.com/yangxiao99/p/4574889.html

然后配置运行参数:

在新建的项目WordCount,点击WordCount.java,右键-->Run As-->Run Configurations

点击Run,运行程序

在此刻看到运行结果,如下图:

完毕!!!

以上是亲手所写,欢迎各位来探讨交流:QQ:747861092

QQ群:163354117    (群名称:CodeForFuture) 

时间: 2024-07-28 22:11:13

myeclipse配置hadoop开发环境的相关文章

搭建基于MyEclipse的Hadoop开发环境

前面我们已经搭建了一个伪分布模式的Hadoop运行环境. 我们绝大多数都习惯在Eclipse或MyEclipse中做Java开发,本次随笔我就教大家如何搭建一个基于MyEclipse IDE的Hadoop开发环境. 闲话少说,走起! 第一步 安装MyEclipse的Hadoop插件 1 打开MyEclipse,查看是否已经安装过 window  ->  preferences 没有显示Hadoop Map/Reduce,所以说明是MyEclipse是没有安装过Eclipse的插件. 首先,确认你

Eclipse配置Hadoop开发环境

Step 1:选择Hadoop版本对应的Eclipse插件jar包(可自行编译),我的Hadoop版本是hadoop-0.20.2,对应的插件应该是:hadoop-0.20.2-eclipse-plugin.jar.然后将jar包放到eclipse\dropins目录下,然后启动eclipse,如图: 在Window-->Preferences中的Hadoop Map/Reduce中设置Hadoop路径: 点击下图红框圈中的按钮,切换到:Map/Reduce工作目录: 在出现的界面中选择Map/

win7+eclipse配置Hadoop开发环境注意事项

1.需把hadoop.dll 和 winutils.exe 放到hadoop的bin目录下,我的是:E:\Hadoop\hadoop-2.4.0\bin 2.且需要配置HADOOP_HOME 和 PATH 路径.我的如下: HADOOP_HOME--E:\Hadoop\hadoop-2.4.0 PATH--.;%HADOOP_HOME%\bin; 以上两个注意项可以解决运行wordcount报空指针异常的错误. 3.需在工程src目录下新建一个log4j.properties文件,不然会有log

Eclipse安装Hadoop插件配置Hadoop开发环境

一.编译Hadoop插件 首先需要编译Hadoop 插件:hadoop-eclipse-plugin-2.6.0.jar,然后才可以安装使用. 第三方的编译教程:https://github.com/winghc/hadoop2x-eclipse-plugin 二.放置插件并重启Eclipse 将编译好的插件hadoop-eclipse-plugin-2.6.0.jar放到Eclipse目录下的plugins文件夹中,并重启Eclipse 三.在Eclipse中配置插件 在Eclipse软件中,

在MyEclipse中配置android开发环境

在MyEclipse中配置android开发环境.首先要先安装好java jdk,,然后再安装MyEclipse,并正确配置jdk,即在命令提示符下输入java和javac会出现相应的使用命令说明.下载android SDK,解压(最好解压到MyEclipse安装目件夹下进行安装,我的因为已经安装好了,所以这里没有解压到MyEclipse目录下)如下图所示: 打开该文件夹,运行SDK Manager.exe: 打开可能会有点慢, 选择相应的android API版本,再单击下面的install按

在Fedora18上配置个人的Hadoop开发环境

在Fedora18上配置个人的Hadoop开发环境 1.    背景 文章中讲述了类似于"personalcondor"的一种"personal hadoop" 配置法.主要的目的是配置文件和日志文件有一个单一的源, 可以用软连接到开发生成的二进制库,这样就可以在所生成二进制库更新的时候维护其他的数据和配置项. 2.    用户案例 1.  比较不用改变现有系统中安装软件的情况下,在本地的沙盒环境中做测试 2.  单一源的配置文件盒日志文件 3.    参考 网页:

hadoop开发环境搭建(1)

作为初学Hadoop的新手,搭建Hadoop开发环境花了我很大功夫.倒不是hadoop搭建复杂,由于hadoop本身是一个分布式.多jvm进程的运行环境,我们想达到能用eclipse进行代码跟踪调试目的,还真不是一般的费劲. 一边在网上向给位前辈学习,一边自己动手尝试,花了我整整一天的时间终于完成了,为了使自己好不太容易完成的成就,后续被轻易忘记,也为了帮助其他hadoop小白同类脱贫致富,花了一晚上总结了此篇博文,以兹鼓励. 一.准备篇 言归正传,首先是准备篇.这里我们需要准备不少东东: 1.

Hadoop开发环境搭建 windows下Eclipse

Hadoop开发环境搭建 windows下Eclipse 下载Eclipse www.eclipse.org 解压. 下载Hadoop的Eclipse Plugin 将插件包放到eclipse的plugins目录下.重启eclipse. 下载hadoop的安装包 将下载的hadoop安装包,解压到任一目录,最好是英文且无空格目录. 配置eclipse Hadoop instllation directory:设置为hadoop安装包解压的目录. Window->open persperctive

Hadoop开发环境搭建(linux)

Hadoop开发环境搭建(linux) 零.安装xwindows apt-get install ubuntu-desktop 一.安装Eclipse 下载Eclipse,解压安装,例如安装到/usr/local,即/usr/local/eclipse 二.在eclipse上安装hadoop插件 1.下载hadoop插件 下载地址:http://pan.baidu.com/s/1mgiHFok 此zip文件包含了源码,我们使用使用编译好的jar即可,解压后,release文件夹中的hadoop.