搭建基于MyEclipse的Hadoop开发环境

前面我们已经搭建了一个伪分布模式的Hadoop运行环境。

我们绝大多数都习惯在Eclipse或MyEclipse中做Java开发,本次随笔我就教大家如何搭建一个基于MyEclipse IDE的Hadoop开发环境。

闲话少说,走起!

第一步 安装MyEclipse的Hadoop插件

1 打开MyEclipse,查看是否已经安装过

window  ->  preferences

没有显示Hadoop Map/Reduce,所以说明是MyEclipse是没有安装过Eclipse的插件。

首先,确认你本地的Windows上已经安装JDK和Eclipse或者MyEclipse,并能开发java程序。

2、下载Eclipse的Hadoop插件hadoop-eclipse-plugin-2.2.0

将下载下来的jar文件放入安装的MyEclipse 10\dropins目录下,然后重启MyEclipse。

重启后,会出现下面的这个界面,点击ok即可,

即,出现了Hadoop Map/Reduce,说明成功。

第二步 设置本地的Hadoop安装运行目录

1、hadoop-2.2.0-x64.rar的下载

首先,明确了本地的JDK是64位版本,所以需要下载对应位的hadoop运行包。其实,也是为了与CentOS6.5里的hadoop运行包和jdk对应一致。

2 、解压下载的文件包,存放在你希望的某个目录下,比如:D:\Software\hadoop-2.2.0

重启MyEclipse,菜单的Windows   ->   Preferences 中

会多出一个 Hadoop Map/Reduce的项。点击这一项,右侧选择你的Hadoop存放目录 (D:\Software\hadoop-2.2.0)

解压前,

解压后,

3、配置环境变量

新建环境变量HADOOP_HOME,变量值为D:\Software\hadoop-2.2.0

修改Path变量,添加:

;D:\Software\hadoop-2.2.0\bin   注意分号

4、添加Map/Reduce Location

将Eclipse/MyEclipse切换到Map/Reduce视图,

底部操作区会出现Map/Reduce Locations项,如下图所示:

在上图所示区域点击鼠标右键或者如上图所示点击它也行,然后New Hadoop location.

在弹出的界面中做如下设置:

50020 -> 50070

50040-> 9000

zhouls -> hadoop

5、sbin/start-all.sh , 再 jps

6、 点击windows  à   show view  ->  project Exploer ,可以出现以下

这就表明,hadoop与本地的MyEclipse搭建成功。

7 、新建MapReduce项目

下面,新建一个

File  ->  New  ->  Project

新建包

src   ->    New  Package

New  ->   Class

来看下WordCount自带的程序:

改之前,是

改之后,是

然后,window -> show view -> other ->

运行下程序。

然后,再执行WordCount.java

刷新,查询下结果

这个统计结果跟之前一致。

即表明搭建基于MyEclipse的Hadoop开发环境已经成功!

时间: 2024-12-17 05:51:28

搭建基于MyEclipse的Hadoop开发环境的相关文章

myeclipse配置hadoop开发环境

本文所用软件版本:myeclipe2014    hadoop1.2.1 1.安装Hadoop开发插件 下载hadoop-eclipse-plugin-1.2.1.jar,拷贝到myeclipse根目录下/dropins目录下. 2. 启动myeclipse,打开Perspective: [Window]->[Open Perspective]->[Other...]->[Map/Reduce]->[OK] 3. 打开一个View: [Window]->[Show View]

基于IDEA的JavaWeb开发环境搭建

基于IDEA的JavaWeb开发环境搭建 基于IDEA的JavaWeb开发环境搭建 jdk下载安装配置环境变量 下载 安装 配置环境变量 下载安装激活使用IntelliJ IDEA 下载 安装 激活 1文本编辑器首先打开hosts文件在最下面一行添加如下地址 2从lan yu获取最新激活码 3在激活页面输入激活码 使用 1创建普通Java工程 2创建Web工程 下载安装配置Tomcat 下载 安装 配置 配置Tomcat环境变量 IDEA工程配置Tomcat 常见问题 Tomcat端口被占用 I

开发环境——基于RHEL 6.8开发环境的搭建

开发环境--基于RHEL 6.8开发环境的搭建 本文讲述了基于RHEL 6.8操作系统搭建开发环境,主要安装了GCC 4.9.3.Qt 5.7.Apache 2.4.25.MySQL 5.6.35.本文同时适用于在Linux主机无互联网环境下搭建开发环境,只需要将所需安装包下载后拷贝到Linux主机即可. 一.RHEL6.8安装 1.RHEL 6.8下载 下载RHEL 6.8安装包:rhel-server-6.8-x86_64-dvd.iso 2.RHEL 6.8安装 安装过程中选择Develo

hadoop开发环境搭建

很早就听说hadoop,但项目中一直没怎么接触,今天终于下定决心,花了一天的时间,搭起了基本的开发环境,总结如下. 一.软件准备 jdk.hadoop软件包.eclipse软件包(linux版) 二.安装java 详见http://blog.csdn.net/tonytfjing/article/details/42167599 三.安装hadoop(单机伪分布式) 3.1创建hadoop用户 为hadoop创建一个专门的用户,具体如下: groupadd hadoopGroup //创建had

hadoop开发环境搭建(1)

作为初学Hadoop的新手,搭建Hadoop开发环境花了我很大功夫.倒不是hadoop搭建复杂,由于hadoop本身是一个分布式.多jvm进程的运行环境,我们想达到能用eclipse进行代码跟踪调试目的,还真不是一般的费劲. 一边在网上向给位前辈学习,一边自己动手尝试,花了我整整一天的时间终于完成了,为了使自己好不太容易完成的成就,后续被轻易忘记,也为了帮助其他hadoop小白同类脱贫致富,花了一晚上总结了此篇博文,以兹鼓励. 一.准备篇 言归正传,首先是准备篇.这里我们需要准备不少东东: 1.

Hadoop开发环境搭建 windows下Eclipse

Hadoop开发环境搭建 windows下Eclipse 下载Eclipse www.eclipse.org 解压. 下载Hadoop的Eclipse Plugin 将插件包放到eclipse的plugins目录下.重启eclipse. 下载hadoop的安装包 将下载的hadoop安装包,解压到任一目录,最好是英文且无空格目录. 配置eclipse Hadoop instllation directory:设置为hadoop安装包解压的目录. Window->open persperctive

Hadoop开发环境搭建(linux)

Hadoop开发环境搭建(linux) 零.安装xwindows apt-get install ubuntu-desktop 一.安装Eclipse 下载Eclipse,解压安装,例如安装到/usr/local,即/usr/local/eclipse 二.在eclipse上安装hadoop插件 1.下载hadoop插件 下载地址:http://pan.baidu.com/s/1mgiHFok 此zip文件包含了源码,我们使用使用编译好的jar即可,解压后,release文件夹中的hadoop.

简单地基于thinkphp的网站开发环境搭建

1.安装Notepad,这是一个很好的编辑器,方便后续的编辑(默认安装即可) 2.安装与配置WAMPsever 首先是安装WAMPsever,根据提示一步一步安装 注意安装路径,尽量自己重新设置一下,这里设为d:\wamp 选择创建桌面快捷方式 这个直接点打开 后面都是默认设置,直到安装完成. 将WAMPsever服务打开,会在右下角显示,绿色表示正常 (切换中文的话,右键这个标志选择language,选择chinese即可) 下面打开浏览器,输入localhost,如果显示如下,则WAMPse

利用grunt-contrib-connect和grunt-connect-proxy搭建前后端分离的开发环境

前后端分离这个词一点都不新鲜,完全的前后端分离在岗位协作方面,前端不写任何后台,后台不写任何页面,双方通过接口传递数据完成软件的各个功能实现.此种情况下,前后端的项目都独立开发和独立部署,在开发期间有2个问题不可避免:第一是前端调用后台接口时的跨域问题(因为前后端分开部署):第二是前端脱离后台服务后无法独立运行.本文总结最近一个项目的工作经验,介绍利用grunt-contrib-connect和grunt-connect-proxy搭建前后端分离的开发环境的实践过程,希望能对你有所帮助. 注: