Eclipse搭建hadoop开发环境

1、  软件环境

a)        Eclipse

b)        运行中的hadoop集群

2、  eclipse上安装hadoop插件

a)        首先将eclipse Hadoop的插件放置到eclipse/plugins目录下,重启eclipse

b)        如果插件安装成功,打开Windows—Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径。

PS:这个路径是hadoop的路径,eclipse会从这里获取一定的jar包

如图:

c)        配置Map/Reduce Locations,打开Windows—Open Perspective—other—Map/ReduceLocations—OK

如图:

d)        点击新增hadoop

如图:

3、  新建WordCount项目

a)        上传两个文件到hadoop集群里面

b)        分别写Mapper、Reducer、Main,如图所示:

c)        运行WordCountMain.java,Run As-----Run Configurations,然后配置如图:

d)        结果如图:

4、  碰到的错误

a)        Windows eclipse配置插件时候,碰到权限不够(org.apache.hadoop.security.AccessControlException),导致不能连接到hadoop,

解决方案:

1、  将windows的账户名和用户组都设置成hadoop启动的账号一样的名字

2、  如果是自己的测试机器,可以关闭dfs的权限检测,在conf/hdfs-site.xml 将dfs.permissions修改成false

b)        Exception inthread "main" java.io.IOException: Failed to set permissions of path:\tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to0700

这个是Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。

  解决方法是,修改hadoop-1.0.4/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue,注释掉即可(有些粗暴,在Window下,可以不用检查)

5、  建议:

在Ubuntu下面运行eclipse



时间: 2024-12-06 19:53:09

Eclipse搭建hadoop开发环境的相关文章

windows上eclipse搭建hadoop开发环境(自用,备忘)

注:本文为自用,随时更新. 一.系统环境 Windows7.Ecplise 4.4.0,Hadoop2.7.2 Hadoop安装教程请看:Hadoop2.7.2安装教程 此处需要注意的是:你的hadoop运行在远程的虚拟机上,但是你的windows上也需要有hadoop的运行环境,这样eclipse才能进行远程调试,所按照上面教程安装完虚拟机上的hadoop,还需要下载同样版本的Hadoop加压到windows上即可,还需要配置相应的环境变量,拷贝winutil.exe.hadoop.dll等文

使用eclipse搭建hadoop开发环境

下载一个 hadoop-eclipse-plugin-*.jar的eclipse插件,并放在plugins目录下 重启eclipse 打开视象,找“大象” 连接HDFS success 编程准备: 1.建个java项目 在项目下建个文件夹,如lib,导入所需的jar包.然后选中所有的jar包builtpath mapreduce-client和hdfs是关键的,还有yarn-client IKAnalyzer用于分词 MR流程:1.切分(不写代码);2.mapper(开始写代码)3. mappe

Eclipse搭建Android开发环境时adb.exe程序无法执行

问题描述:执行Android应用程序时报错 错误信息如下: The connection to adb is down, and a severe error has occured.You must restart adb and Eclipse.Please ensure that adb is correctly located at 'D:\adt-bundle-windows-64\sdk\platform-tools\adb.exe' and can be executed. 首先先

如何用myeclipse和eclipse搭建安卓开发环境

搭建安卓开发环境 1.        下载android开发必备工具之JAVA JDK: :http://www.java.net/download/jdk6/6u10/promoted/b32/binaries/jdk-6u10-rc2-bin-b32-windows-i586-p-12_sep_2008.exe 下载JDK1.6,进行安装 2.        右键我的电脑>属性>高级>环境变量, 查看PATH中是否有D:\JDK\bin;如果没有必须在PATH的开头添加D:\JDK\

Jdk1.7+eclipse搭建Java开发环境

Jdk1.7+eclipse搭建Java开发环境 1.    下载jdk1.7 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 或者云盘下载:http://pan.baidu.com/share/link?shareid=2285218395&uk=4095064718 2.    下载eclipse http://www.eclipse.org/downloads/packa

基于eclipse搭建android开发环境-win7 32bit

基于eclipse搭建android开发环境-win7 32bit 前言:在使用朋友已搭建的Android开发环境时,发现朋友的开发环境版本较低且在update SDk时失败,便决定根据网上文章提示从头搭建一全新的Android开发环境. 1.准备工作 下载Eclipse.JDK(7).Android SDK.ADT插件. 地址: eclipse:http://www.eclipse.org/downloads/ 版本:Luna Service Release 1 (4.4.1) jdk:htt

使用Eclipse搭建JavaWeb开发环境的几个基本问题

Eclipse搭建JavaWeb开发环境 eclipse是一个用于java程序开发的ide软件,tomcat是一个运行javaweb应用的服务器软件,使用eclipse开发javaweb应用的时,首要要把tomcat集成到eclipse中,并且对eclipse做一点简单的设置. 1.安装jdk.安装eclipse.安装tomcat等 ================================ 省略了. 2.eclipse基本设置 ================ 2.1 设置eclipse

Cygwin搭建hadoop开发环境

这篇文章不具体讲一些细的概念东西,如要了解cygwin和hadoop可以去参考其他的文章,该文阐述从下载cygwin到搭建hadoop环境,里面的图片部门来自网上资料,因为本人当时部署时没有保存自己运行图片,但是步骤是一样的. 对于hadoop是个庞大的生态系统,里面光一些技术要点多达几十种,但所谓千里之行,始于足下,对于我这样的技术小白来说,如果想弄一个完全分布式的hadoop环境无异天方夜谭,首先我不懂linux,再说也没那么多机器搭建完全分布式环境.但是cygwin的出现可以让我不用在我本

Android基础之用Eclipse搭建Android开发环境和创建第一个Android项目(Windows平台)

一.搭建Android开发环境 准备工作:下载Eclipse.JDK.Android SDK.ADT插件 下载地址:Eclipse:http://www.eclipse.org/downloads/ JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk7u9-downloads-1859576.html Android SDK:http://developer.android.com/sdk/index.html ADT: