Unable to load native-hadoop library for your pla

导致这个错的原因:

1.hadoop/lib/native/本地库不存在。

2.hadoop/lib/native/本地库与当前操作系统的版本位数不一致。

确定错误的原因:

1.查看hadoop/lib/native是否存在。

2.设置hadoop的日记级别位debug,在环境变量中添加:export HADOOP_ROOT_LOGGER=DEBUG,console,重启hadoop后,仔细观察日志,看看到底是native lib没找到还是版本不一致。

解决方法:找到合适的native lib

1.如果是apache的hadoop,则直接重新编译hadoop,编译方法网上很多。

2.如果是cloudera的hadoop,则找到tar.gz版本的rpm包(系统、版本都需对应,http://archive.cloudera.com/cdh4/,找到你的的操作系统,centos和rhel归一类,我找的是http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/4.7.0/RPMS/x86_64/hadoop-2.0.0+1604-1.cdh4.7.0.p0.17.el6.x86_64.rpm文件),然后用压缩软件打开rpm,提取里面的lib/native文件,放到hadoop的lib/native下。

rm libhadoop.so libsnappy.so libsnappy.so.1 #移除3个18K大小的软链接,可能失效了
ln -s libhadoop.so.1.0.0 libhadoop.so #重新链接这三个文件
ln -s libsnappy.so.1.1.3 libsnappy.so.1
ln -s libsnappy.so.1.1.3 libsnappy.so

参考文章:

如何获取Hadoop Native Lib

hadoop本地库与系统版本不一致引起的错误解决方法

时间: 2024-07-30 06:11:48

Unable to load native-hadoop library for your pla的相关文章

关于cocos2dx 3.0升级崩溃报错(unable to load native library) 和(Fatal signal 11 (SIGSEGV) at 0x00000000)

最近一直在Windows平台开发cocos-2dx游戏,期间做了一次引擎升级,升级到了3.0正式版本.Windows平台上表现很正常,没有出现什么问题. 上周五准备发布一个安卓包,编译很轻松的就过了,没有花费多少时间,但是安装到手机后,发现运行就崩溃了.没办法只好用模拟机调试,再次吐槽Android的模拟器,真的太他妈慢了,不到万不得已我真的不想再去用它,google真的应该好好整一下了. 好不容易运行起来了,看到崩溃的时候logcat的报错是"unable to load native lib

Hadoop 2.2.0 常见问题之:Ubuntu 64环境下“Unable to load native-hadoop library for your platform”问题”

问题 最近在学习Hadoop(2.2.0),打算写一个MapReduce的小程序在Ubuntu 64位的环境下测试一把,一切环境配置完毕后,执行的过程中,控制台输出下面的内容: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因 在网上搜索了一番,得出如下结论: "The reason

macos解决Hadoop之Unable to load native-hadoop library

很显然,native-hadoop library不支持macos,如果是Linux就不会有这个问题.在百度上搜了,要下载在macos上编译的native hadoop library,我在网上下载了native,但是没有用,还是报错,所以那个package应该只适用linux,网上搜macos的native,但是没有看,所以只有自己去编译hadoop. 要安装maven,protobuf2.50,openssl等,其中参考了很多博客:https://www.jianshu.com/p/75f7

YARN加载本地库抛出Unable to load native-hadoop library解决办法

YARN加载本地库抛出Unable to load native-hadoop library解决办法 用官方的Hadoop 2.1.0-beta安装后,每次hadoop命令进去都会抛出这样一个Warning WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 设置logger级别,看下具体

Hadoop “Unable to load native-hadoop library for your platform” error on CentOS

在NameNode节点上一切正常,并没有提示这个信息,但是在DataNode上出现如下提示信息: 15/01/14 16:42:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 经查原来是DataNode子节点上/home/hadoop/hadoop2.2/lib目录下没有nativ

Hadoop - Unable to load native-hadoop library for your platform

简介 运行hadoop或者spark(调用hdfs等)时,总出现这样的错误“Unable to load native-hadoop library for your platform”,其实是无法加载本地库 解决办法 1.环境变量是否设好(设好但是还不行尝试第二步) export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib

Hadoop “Unable to load native-hadoop library for y

http://devsolvd.com/questions/hadoop-unable-to-load-native-hadoop-library-for-your-platform-error-on-centos The answer depends... I just installed Hadoop 2.6 from tarball on 64-bit CentOS 6.6. The Hadoop install did indeed come with a prebuilt 64-bit

WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable(spark加载hadoop本地库的时候出现不能加载的情况要怎么解决呢?)

原文地址: https://www.zhihu.com/question/23974067/answer/26267153 原文内容: 我64位机器,当时hadoop启动的时候出现这个问题是因为hadoop本身自带的本地库是32位的,我现在hadoop2.2.0已经替换了本地库为64位的了,并且编译spark的时候采用了相对应的版本:SPARK_HADOOP_VERSION=2.2.0 SPARK_YARN=true ./sbt/sbt assembly但是现在进入spark shell的时候依

HADOOP:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable终于解决了

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 参考了网上很多办法,不行. 这个警告总觉得不爽.. 最近部署SPARK时,顺带解决了. URL参考如下“ http://www.mak-blog.com/spark-on-yarn-setup-multinode.html 一,通常编译好的

Hadoop安装—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platf

今天在安装hadoop完成测试创建用户目录失败在网上找到了原因记录一下原文地址 http://blog.csdn.net/l1028386804/article/details/51538611 配置完hadoop启动运行的时候出现如下警告信息: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applica