windows下:Failed to set permissions of path: \tmp\ \.staging to 0700

这个官方的bug之前遇到过。。。。。。。。。。。。。。。。。。。。。可是。。。。。。。

==================================================

12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes
where applicable

12/04/24 15:32:44 ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path:
\tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700

Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700

==========================================================================

这个是Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。

解决方法是,修改/hadoop-1.0.2/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue,注释掉即可(有些粗暴,在Window下,可以不用检查)

......
  private static void checkReturnValue(boolean rv, File p,
                                       FsPermission permission
                                       ) throws IOException {
    /**
if (!rv) {
throw new IOException("Failed to set permissions of path: " + p +
" to " +
String.format("%04o", permission.toShort()));
}
**/
  }  

重新编译打包hadoop-core-1.0.2.jar,替换掉hadoop-1.0.2根目录下的hadoop-core-1.0.2.jar即可。

也可以把源码中的org.apache.hadoop.fs包一起拷贝到项目中,然后修改FileUtil.java中的checkReturnValue方法把里面的内容注释掉即可

替换之后,刷新项目,设置好正确的jar包依赖,现在再运行WordCountTest,即可。

====================================================================================

官方BUG参考:

https://issues.apache.org/jira/browse/HADOOP-7682

解决方法:

1、下载并解压http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz

2、修改hadoop-1.1.2\src\core\org\apache\hadoop\fs\FileUtil.java,搜索 Failed to set permissions of path,找到689行,把throw new IOException改为LOG.warn

3、修改hadoop-1.1.2\build.xml,搜索autoreconf,移除匹配的6个executable="autoreconf"的exec配置

4、下载解压ant,将ant目录下的bin目录加入环境变量path

5、在命令行切换到hadoop-1.1.2目录,执行ant

6、用新生成的hadoop-1.1.2\build\hadoop-core-1.1.3-SNAPSHOT.jar替换hadoop-core-1.0.3.jar

时间: 2024-11-03 21:29:31

windows下:Failed to set permissions of path: \tmp\ \.staging to 0700的相关文章

hadoop解决windows下:Failed to set permissions of path: \tmp\ \.staging to 0700

17/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-Hadoop library for your platform... using builtin-Javaclasses where applicable17/04/24 15:32:44 ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause

windows下误修改了环境变量path怎么办

1.在我的电脑图标中右键属性调出系统属性窗口2.在系统属性窗口中找到高级选择卡3.在高级选项卡中找到环境变量按扭并单击打开4.在弹出的环境变量窗口中,在系统变量(S)下的框框中找到并单击选择Path变量名,然后点编辑(N)按扭5.选择变量名为Path的编辑之后,会弹出编辑窗口6.将变量值复制出来然后修改为: %SystemRoot%\system32;%SystemRoot%;%SystemRoot%\System32\Wbem 在粘贴会变量值文本框中 7.点击确定按钮,关闭属性窗口即可

windows下eclipse调试hadoop详解

1)下载Eclipse http://www.eclipse.org/downloads/ Eclipse Standard 4.3.2 64位 2) 下载hadoop版本对应的eclipse插件 我的hadoop是1.0.4,因此下载hadoop-eclipse-plugin-1.0.4.jar 下载地址:http://download.csdn.net/detail/m_star_jy_sy/7376169 3)安装hadoop插件 将hadoop-eclipse-plugin-1.0.4.

【翻译自mos文章】windows下 11gR2 安装报错:"PRKN-1019 : Failed to create directory"

来源于: 11gR2 Installation on Windows fails with "PRKN-1019 : Failed to create directory" (文档 ID 1669683.1) 适用于: Oracle Database - Enterprise Edition - Version 11.2.0.3 and later Microsoft Windows x64 (64-bit) - Version: 2008 R2 症状: 在windows下安装 11.

【转】Windows下PATH等环境变量详解

[转]“肖凡的专栏” 博客,请务必保留此出处http://legend2011.blog.51cto.com/3018495/553255 在学习JAVA的过程中,涉及到多个环境变量(environment variable)的概念,如PATH.正确地配置这些环境变量,是能够顺利学习.开发的前提.而经常出现的问题是:有的学习者能够按照提示一步一步地正确配置,但时间一长就忘了,出现了问题也无从下手.究其原因,就是对这些概念没有理解,知其然但不知其所以然.下面的内容,就是帮助大家知其所以然. 一.基

windows下使用pip安装模块发生“failed with error code 1”的解决方法

win不愧是最烂的开发平台,在安装第三方模块时经常出现些幺蛾子. 今天在window中使用python3自带的pip安装scrapy时,出错,错误代码如下: Command "f:\python\python36\python.exe -u -c "import setuptools, tokenize;__file__='C:\\Users\\WONDER~1\\AppData\\Local\\Temp\\pip-build-90gvzc6m\\Twisted\\setup.py';

windows下openssl config failed

老大让我们去学学webpack, 我在一开始就遇到了坎, 调侃自己"webpack从入门到放弃", 在windows下, 报错是"openssl config failed: error:02001002:system library:fopen:No such file or directory", 我以为是npm有问题, 重装nodejs和npm都没用, 绝望之际, 发现了新大陆, 有人说删掉OPENSSL_CONF就可以了, 我想是有关系的, 当我没删掉, 而

Windows下安装Tensorflow报错 “DLL load failed:找不到指定的模块"

Windows下安装完tensorflow后,在cmd下运行python后import tensorflow出现如下错误: Traceback (most recent call last): File "D:\Python\Python35\lib\site-packages\tensorflow\python\pywrap_tensorflow_internal.py", line 18, in swig_import_helper return importlib.import_

【转】在Windows下搭建React Native Android开发环境

http://my.oschina.net/jackzlz/blog/508210 安装JDK 从Java官网下载JDK并安装.请注意选择x86还是x64版本. 推荐将JDK的bin目录加入系统PATH环境变量. 安装Android SDK 可以单独安装Android SDK,也可以通过Eclipse ADT或者Android Studio一并安装.推荐使用Android Studio,以下说明会默认以Android Studio的方式说明.请注意选择x86还是x64版本. 为了加速下载,推荐从