Hadoop Eclipse 开发环境的构建

1.安装eclipse

  下载的eclipse包直接解压即可。

2.hadoop-eclipse插件的配置

本文使用的Hadoop为1.2.1版本,网上很多教程说该插件在hadoop-1.2.1/contrib/目录下,但是我发现该目录下并没有该插件,如下:

查了一下,发现该插件需要自己编译,而该插件的源码在/hadoop-1.2.1/src/contrib/eclipse-plugin/目录下,本文并没有编译,直接在网上下载了一个他人编译好的,具体的编译方法请参考博文http://www.cnblogs.com/alex-blog/p/3160619.html

得到hadoop-eclipse-plugin-1.2.1.jar插件后,我们只需将其移动eclipse安装目录下的plugins目录下即可。

3.eclipse上配置Hadoop环境。

① 打开eclipse,选择window->Preferences菜单,选择左侧的Hadoop Map/Reduce,按下图配置hadoop的安装位置。

② 选择eclipse中的window->Show View->Other,选择MapReduce Tools下的Map/Reduce Locations,如下图

③ 上步操作完成后,会出现如下窗口。

将鼠标放在浅红色区域,右键选择New Hadoop Location

④ 配置Hadoop Location

其中的Location name随便写,Map/Reduce Master配置与hadoop-1.2.1/conf/mapred-site.xml中的一样,DFS Master的配置与hadoop-1.2.1/conf/core-site.xml一样。

至此,配置工作完成。

5.测试是否配置成功

我们新建一个project,然后选择Map/Reduce Project,再点击完成时,由于我们是第一次建Map/Reduce工程,会出现如下的窗口,我们选择Yes即可。

然后,在工程视图窗口,我们看到DFS的文件结构,就说明我们的配置成功了。

在windows下编写hadoop程序时,需要将Linux下的hadoop拷贝到window下,注意配置文件到要完全一样。

错误处理:

修改Linux服务器上的hadoop下的hdfs-core.xml文件,将dfs.permissions属性设置为false即可。并重启一下Hadoop。

来自为知笔记(Wiz)

附件列表

时间: 2024-07-31 14:32:53

Hadoop Eclipse 开发环境的构建的相关文章

(转)Hadoop Eclipse开发环境搭建

来源:http://www.cnblogs.com/justinzhang/p/4261851.html This document is from my evernote, when I was still at baidu, I have a complete hadoop development/Debug environment. But at that time, I was tired of writing blogs. It costs me two day’s spare tim

Hadoop Eclipse开发环境搭建

    This document is from my evernote, when I was still at baidu, I have a complete hadoop development/Debug environment. But at that time, I was tired of writing blogs. It costs me two day's spare time to recovery from where I was stoped. Hope the b

Hadoop集群 -Eclipse开发环境设置

1.Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本:jdk-6u31-windows-i586.exe Win系统:Windows 7 旗舰版 Eclipse软件:eclipse-jee-indigo-SR1-win32.zip | eclipse-jee-helios-SR2-win32

配置Hadoop的Eclipse开发环境

前言 在先前的文章(点击此处浏览)中,已经介绍了如何在Ubuntu Kylin操作系统下搭建Hadoop运行环境,而现在将在之前工作的基础上搭建Eclipse开发环境. 配置 开发环境:Eclipse 4.2 其他同先前 第一步 安装Eclipse4.2 在Eclipse官网获取到Eclipse然后解压到用户目录即可. 第二步 编译Hadoop的Eclipse插件 这一步可以选择使用别人编译好了的插件(需注意hadoop版本号 和编译时的Eclipse版本号要一致),也可以自行编译(较繁琐).

hadoop搭建与eclipse开发环境设置

hadoop搭建与eclipse开发环境设置(转) 1.    Windows下eclipse开发环境配置 1.1 安装开发hadoop插件 将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse的插件目录plugins下. 需要注意的是插件版本(及后面开发导入的所有jar包)与运行的hadoop一致,否则可能会出现EOFException异常. 重启eclipse,打开windows-

Hadoop完全分布式的Eclipse开发环境配置

Hadoop安全分布式的Eclipse开发环境配置 安装Eclipse: 详细见教程:http://blog.csdn.net/wang_zhenwei/article/details/48032001 安装Hadoop-Eclipse-Plugin: 下载 hadoop2x-eclipse-plugin ,将 release 中的 hadoop-eclipse-kepler-plugin-2.2.0.jar (虽然标注的是 2.2.0,但在 2.6.0 下是没问题的,应该在 2.x 版本下都可

windows 7使用eclipse下hadoop应用开发环境搭建

因为一些缘故,这节内容到现在才写,其实弄hadoop有一段时间了,可以编写一些小程序了,今天来还是来说说环境的搭建.... 说明一下:这篇文章的步骤是接上一篇的hadoop文章的:http://blog.csdn.net/enson16855/article/details/37725771 ,如果不是按照上篇的方式安装hadoop,可能会有些错误~百度一下就能解决的哈~ 准备环境: 不用多说了,我用eclipse版本是最新JavaEE版本,叫什么LUA Kepler,本来是用Juno的,因为操

在Windows上使用Eclipse配置Hadoop MapReduce开发环境

在Windows上使用Eclipse配置Hadoop MapReduce开发环境 1. 系统环境及所需文件 windows 8.1 64bit Eclipse (Version: Luna Release 4.4.0) hadoop-eclipse-plugin-2.7.0.jar hadoop.dll & winutils.exe 2. 修改Master节点的hdfs-site.xml 添加如下内容 <property> <name>dfs.permissions<

Go语言Eclipse开发环境配置-windows

1.首先安装eclipse,选择一个适合的版本就好,解压即可 http://www.eclipse.org/downloads/ 2.下载go语言安装包 官网地址 :http://www.golang.org/ 官网地址有时候打不开,百度云盘下载go1.2安装包  http://pan.baidu.com/s/1c0Gf4UO#dir/path=%2FSoft%2FGoLang  32 64位都有 一路Next cmd输入go version 看到这个就安装好了,环境变量什么的会自动配置好的,唯