win7 eclipse 调试hadoop 坑

1 问题 将环境搭建完毕后   运行程序时候 关于log4j报一下错误，而且控制台没有运行日志打印

1）log4j:WARN No appenders could be found for logger (org.apache.ibatis.logging.LogFactory).

log4j:WARN Please initialize the log4j system properly

原因：log4j配置文件配置不全

解决办法：

在你所建立的hadoop项目 src 下创建log4j.propertities 文件 添加配置

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

2. jobclinet jobfailed

原因： 主要是当前为administrator 用户 用户权限不足

解决方案; 在hdfs 上开放响应的用户权限

时间： 2024-12-25 08:03:17

win7 eclipse 调试hadoop 坑的相关文章

Win7 Eclipse调试Centos Hadoop2.2-Mapreduce(转)

一. 自己搭建开发环境 今天自己搭建了一套Centos5.3 + Hadoop2.2 + Hbase0.96.1.1的开发环境,Win7 Eclipse调试MapReduce成功.可能是版本比较高的原因,出了问题,网上找不到完整解决方案,只能靠自己. 二. Hadoop安装 这个就不啰嗦了,网上大把文章.我下载的是hadoop-2.2.0.tar.gz. http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 很详细的介绍了

windows下eclipse调试hadoop详解

1)下载Eclipse http://www.eclipse.org/downloads/ Eclipse Standard 4.3.2 64位 2) 下载hadoop版本对应的eclipse插件 我的hadoop是1.0.4,因此下载hadoop-eclipse-plugin-1.0.4.jar 下载地址:http://download.csdn.net/detail/m_star_jy_sy/7376169 3)安装hadoop插件 将hadoop-eclipse-plugin-1.0.4.

win7+eclipse配置Hadoop开发环境注意事项

1.需把hadoop.dll 和 winutils.exe 放到hadoop的bin目录下,我的是:E:\Hadoop\hadoop-2.4.0\bin 2.且需要配置HADOOP_HOME 和 PATH 路径.我的如下: HADOOP_HOME--E:\Hadoop\hadoop-2.4.0 PATH--.;%HADOOP_HOME%\bin; 以上两个注意项可以解决运行wordcount报空指针异常的错误. 3.需在工程src目录下新建一个log4j.properties文件,不然会有log

eclipse远程调试hadoop源码

1.调试环境 1.1 远程linux运行的hadoop 1.2 本地windows的eclipse中导入hadoop源代码 1.3 本地windows的eclipse中有hadoop的自己写的代码 2.步骤 2.1修改远程linux运行的hadoop程序的hadoop-env.sh, 把第21行注释掉,增加一行代码 export HADOOP_NAMENODE_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=9090,server=y,su

window8.1编译hadoop2 eclipse插件，并远程调试hadoop程序

一.编译hadoop2 eclipse插件     1.安装ant 2.准备eclipse插件包,下载地址:http://pan.baidu.com/s/1i3myDvv 或者https://github.com/nemotan/hadoop2x-eclipse-plugin 3.解压插件包,进入主目录执行: ant jar -Dversion=2.6.0 -Declipse.home=F:\tool\eclipse-jee-juno-SR2\eclipse-jee-juno-SR2 -Dhad

eclipse远程调试Hadoop

环境需求: 系统:window 10 eclipse版本:Mars Hadoop版本:2.6.0 资源需求:解压后的Hadoop-2.6.0,原压缩包自行下载:下载地址 丑话前头说: 以下的操作中,eclipse的启动均需要右键“管理员运行”! 在创建MapReduce的Project那块需要配置log4j(级别是debug),否则打印不出一些调试的信息,从而不好找出错的原因.配置这个log4j很简单,大家可以在网上搜索一下,应该可以找得到相关的配置. 1)首先需要利用ant编译自己的Hadoo

实验二-1 win7下给eclipse安装hadoop插件

使用的教程为: 1. windows7+eclipse+hadoop2.5.2环境配置 http://www.cnblogs.com/huligong1234/p/4137133.html 2. Hadoop 在Windows7操作系统下使用Eclipse来搭建Hadoop开发环境 http://www.linuxidc.com/Linux/2014-12/111061.htm 3. eclipse_win7_hadoop1.2.1开发环境搭建1 http://blog.csdn.net/maj

远程调试hadoop各组件

远程调试对应用程序开发十分有用.例如,为不能托管开发平台的低端机器开发程序,或在专用的机器上(比如服务不能中断的 Web 服务器)调试程序.其他情况包括:运行在内存小或 CUP 性能低的设备上的 Java 应用程序(比如移动设备),或者开发人员想要将应用程序和开发环境分开,等等. 为了进行远程调试,必须使用 Java Virtual Machine (JVM) V5.0 或更新版本. JPDA 简介 Sun Microsystem 的 Java Platform Debugger Archite

小米2在Eclipse 调试，要注意下列步骤。（转）

小米2在Eclipse 调试,要注意下列步骤.1.连接线,打开设置:USB线连接小米2,在设置-->开发者选项->USB 调是打开.如果这一步,就业在Eclipse中真机调试,下面的步骤不要看了.如果不行,请继续:2.检查驱动:检查小米2驱动是否安装成功,如果win7下,安装驱动 稍稍和WinXP不一样.论坛里有相关的帖子:http://itbbs.pconline.com.cn/mobile/15569102.html3.如果还是不确定是否安装成功,请下载最新的 驱动安装精灵2012, 官方