win7+eclipse配置Hadoop开发环境注意事项

1、需把hadoop.dll 和 winutils.exe 放到hadoop的bin目录下，我的是：E:\Hadoop\hadoop-2.4.0\bin

2、且需要配置HADOOP_HOME 和 PATH 路径。我的如下：

HADOOP_HOME——E:\Hadoop\hadoop-2.4.0

PATH——.;%HADOOP_HOME%\bin;

以上两个注意项可以解决运行wordcount报空指针异常的错误。

3、需在工程src目录下新建一个log4j.properties文件，不然会有log4j警告提示，如下：

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

且不方便查找出错信息（非常重要），log4j.properties 文件内容如下：

log4j.rootLogger=debug,stdout,R 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n 
log4j.appender.R=org.apache.log4j.RollingFileAppender 
log4j.appender.R.File=mapreduce_test.log 
log4j.appender.R.MaxFileSize=1MB 
log4j.appender.R.MaxBackupIndex=1 
log4j.appender.R.layout=org.apache.log4j.PatternLayout 
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n 
log4j.logger.com.codefutures=DEBUG

4、配置了log4j后，我会出现一个提示说没有权限写入HDFS的错误，原因是在Hadoop location 那里的username我默认的是Administrator，而HDFS上我新建的目录权限是root，所以我用chown命令把该目录及子目录都改成了Administrator权限，此时就可以正常运行wordcount了。

时间： 2024-08-27 05:13:12

win7+eclipse配置Hadoop开发环境注意事项的相关文章

Eclipse配置Hadoop开发环境

Step 1:选择Hadoop版本对应的Eclipse插件jar包(可自行编译),我的Hadoop版本是hadoop-0.20.2,对应的插件应该是:hadoop-0.20.2-eclipse-plugin.jar.然后将jar包放到eclipse\dropins目录下,然后启动eclipse,如图: 在Window-->Preferences中的Hadoop Map/Reduce中设置Hadoop路径: 点击下图红框圈中的按钮,切换到:Map/Reduce工作目录: 在出现的界面中选择Map/

Eclipse配置Flex开发环境（转）

Eclipse配置Flex开发环境 开发环境:Eclipse3.2.Flex Builder31.下载安装Flex Builder3,下载地址:http://subject.csdn.net/adobedownload/index.html2.安装好Flex Builder后在其安装目录下找到features和plugins目录,在这两个目录下,将凡是以com.adobe开头的所有文件以及目录,复制到对应的ecilpse的features和plugins目录下.3.重新启动eclipse,在 W

在eclipse配置ant开发环境

在eclipse配置ant开发环境 eclipse默认自带了ant,如果要自己写ant的build文件,需要在eclipse做些配置. 1. 配置ant环境变量 下载ant,并解压到某个目录中,假设d:\ant1.9; 环境变量配置:ANT_HOME=D:\ant1.9   path = ;% ANT_HOME %\bin 2. 配置ant的帮助手册 windows-->preferences-->ant 3. 配置ant的home路径 默认eclipse中ant home路径是jdk路径,修

在eclipse配置java开发环境及创建java项目

配置java开发环境 1.eclipse→window→preferences→java→installed jres 查看路径 2.把eclipse中java的编译器版本改成最大,window→preference→java→compiler 3.为避免开发中打开空格出现小黑点,把eclipse中,window→preference→general→editors→text editors(去掉show whitespace characters前面的对号) 创建java项目 1.file→n

Eclipse配置安卓开发环境(解决SDK manager下载慢问题)

Android新手在eclipse搭建安卓开发环境基本都会遇到Android SDK manager下载慢,ADT下载慢的问题,本文将带大家完整的安装一遍开发环境 工具:eclipse     SDK    ADT 第一步: 启动eclipse,依次点击菜单栏的 Help  ->Install new software,如下图,再点击 add,Name一栏随便起个名字,location中找到你的SD压缩文件的位置,点击 OK 全选Select All ,一定要不要勾选Contact all  u

Eclipse安装Hadoop插件配置Hadoop开发环境

一.编译Hadoop插件 首先需要编译Hadoop 插件:hadoop-eclipse-plugin-2.6.0.jar,然后才可以安装使用. 第三方的编译教程:https://github.com/winghc/hadoop2x-eclipse-plugin 二.放置插件并重启Eclipse 将编译好的插件hadoop-eclipse-plugin-2.6.0.jar放到Eclipse目录下的plugins文件夹中,并重启Eclipse 三.在Eclipse中配置插件 在Eclipse软件中,

windows上eclipse搭建hadoop开发环境(自用，备忘)

注:本文为自用,随时更新. 一.系统环境 Windows7.Ecplise 4.4.0,Hadoop2.7.2 Hadoop安装教程请看:Hadoop2.7.2安装教程 此处需要注意的是:你的hadoop运行在远程的虚拟机上,但是你的windows上也需要有hadoop的运行环境,这样eclipse才能进行远程调试,所按照上面教程安装完虚拟机上的hadoop,还需要下载同样版本的Hadoop加压到windows上即可,还需要配置相应的环境变量,拷贝winutil.exe.hadoop.dll等文

Eclipse搭建hadoop开发环境

1.  软件环境 a)        Eclipse b)        运行中的hadoop集群 2.  eclipse上安装hadoop插件 a)        首先将eclipse Hadoop的插件放置到eclipse/plugins目录下,重启eclipse b)        如果插件安装成功,打开Windows-Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径. PS:这个路径是hadoop的路径,ecl

eclipse配置PHP开发环境

下载 http://www.oracle.com/technetwork/java/javase/downloads/index.html下载JDK,Eclipse 安装需要JDK环境:http://www.eclipse.org/downloads/下载Eclipse IDE for Java EE Developers 该版本可以自动提示html/js代码:http://sourceforge.net/projects/phpeclipse/  下载Eclipse  的PHP插件 安装 1.