Hadoop中 Unable to load native-hadoop library for your platform... using builtin-java classes where applicable问题解决

环境

[[email protected] soft]# cat /etc/issue
CentOS release 6.5 (Final)
Kernel \r on an \m

[[email protected] soft]# uname -a
Linux vm8028 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
[[email protected] soft]# hadoop version
Hadoop 2.7.1
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 15ecc87ccf4a0228f35af08fc56de536e6ce657a
Compiled by jenkins on 2015-06-29T06:04Z
Compiled with protoc 2.5.0
From source with checksum fc0a1a23fc1868e4d5ee7fa2b28a58a
This command was run using /usr/local/hadoop-2.7.1/share/hadoop/common/hadoop-common-2.7.1.jar

问题 ,安装完Hadoop之后操作总报这样的警告,但是不影响使用

[WARN ] 2018-04-18 18:07:39,897 method:org.apache.hadoop.util.NativeCodeLoader.<clinit>(NativeCodeLoader.java:62)
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

[email protected] ~]# hadoop fs -ls /
[WARN ] 2018-04-18 18:07:39,897 method:org.apache.hadoop.util.NativeCodeLoader.<clinit>(NativeCodeLoader.java:62)
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 2 items
drwxr-xr-x   - root supergroup          0 2018-04-18 16:49 /park
drwxr-xr-x   - root supergroup          0 2018-04-18 16:32 /user

问题原因:

因为Apache 提供的Hadoop的native库 是32位的,我们的操作系统是64位的,所以需要使用64位操作系统编译。或者下载编译好的64位本地包

这里提供一个下载地址 http://dl.bintray.com/sequenceiq/sequenceiq-bin/

因为没有找到2.7.1版本, (使用hadoop-native-64.tar 不行) 下载了hadoop-native-64-2.7.0.tar 替换本地库

[[email protected] soft]# tar -xvf hadoop-native-64-2.7.0.tar -C hadoop-native-64-2.7.0

[[email protected] lib]# mv /home/soft/hadoop-native-64-2.7.0  ./

[[email protected] lib]# mv hadoop-native-64-2.7.0 native

[[email protected] lib]# chown -R hadoop.hadoop native

重启Hadoop后问题解决

[[email protected] ~]# hadoop fs -ls /
Found 2 items
drwxr-xr-x   - root supergroup          0 2018-04-18 16:49 /park
drwxr-xr-x   - root supergroup          0 2018-04-18 16:32 /user

[[email protected] ~]# hadoop fs -ls /
[WARN ] 2018-04-18 18:07:39,897 method:org.apache.hadoop.util.NativeCodeLoader.<clinit>(NativeCodeLoader.java:62)
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

原文地址:https://www.cnblogs.com/xd502djj/p/8877319.html

时间: 2024-10-02 06:28:04

Hadoop中 Unable to load native-hadoop library for your platform... using builtin-java classes where applicable问题解决的相关文章

关于cocos2dx 3.0升级崩溃报错(unable to load native library) 和(Fatal signal 11 (SIGSEGV) at 0x00000000)

最近一直在Windows平台开发cocos-2dx游戏,期间做了一次引擎升级,升级到了3.0正式版本.Windows平台上表现很正常,没有出现什么问题. 上周五准备发布一个安卓包,编译很轻松的就过了,没有花费多少时间,但是安装到手机后,发现运行就崩溃了.没办法只好用模拟机调试,再次吐槽Android的模拟器,真的太他妈慢了,不到万不得已我真的不想再去用它,google真的应该好好整一下了. 好不容易运行起来了,看到崩溃的时候logcat的报错是"unable to load native lib

react native中Unable to load script from assets &#39;index.android.bundle&#39;解决方案

刚刚朋友问我,说是创建好一个项目,运行后报错:Unable to load script from assets 'index.android.bundle',以前好好的没出现这种现象,于是我找到一个解决方案,分享一下. 解决这个问题的方案是: 进入你该项目的根目录下的 android目录下的app目录下的src文件下的mian文件,(可能说的有点绕),在main件夹下,创建一个assets文件,这个文件是rn的资源文件夹! 之后用dos进入你的项目根目录,执行一下命令: react-nativ

macos解决Hadoop之Unable to load native-hadoop library

很显然,native-hadoop library不支持macos,如果是Linux就不会有这个问题.在百度上搜了,要下载在macos上编译的native hadoop library,我在网上下载了native,但是没有用,还是报错,所以那个package应该只适用linux,网上搜macos的native,但是没有看,所以只有自己去编译hadoop. 要安装maven,protobuf2.50,openssl等,其中参考了很多博客:https://www.jianshu.com/p/75f7

[hadoop读书笔记] 第四章 Hadoop I/O操作

P92 压缩 P102 序列化 序列化:将结构化对象转为字节流便于在网上传输或写到磁盘进行永久性存储的过程 用于进程之间的通信或者数据的永久存储 反序列化:将字节流转为结构化对象的逆过程 Hadoop中的序列化:在Hadoop中,系统中多个节点上进程间的通信是通过远程过程传输RPC来实现的. RPC协议将消息序列化成二进制流后发送到远程节点,远程节点接着将二进制流反序列化成原始信息. Avro:一个独立于编程语言,并基于 IDL的序列化框架,非常适合用于Hadoop的大规模数据处理

Hadoop 2.2.0 常见问题之:Ubuntu 64环境下“Unable to load native-hadoop library for your platform”问题”

问题 最近在学习Hadoop(2.2.0),打算写一个MapReduce的小程序在Ubuntu 64位的环境下测试一把,一切环境配置完毕后,执行的过程中,控制台输出下面的内容: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因 在网上搜索了一番,得出如下结论: "The reason

Hadoop - Unable to load native-hadoop library for your platform

简介 运行hadoop或者spark(调用hdfs等)时,总出现这样的错误“Unable to load native-hadoop library for your platform”,其实是无法加载本地库 解决办法 1.环境变量是否设好(设好但是还不行尝试第二步) export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib

HADOOP:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable终于解决了

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 参考了网上很多办法,不行. 这个警告总觉得不爽.. 最近部署SPARK时,顺带解决了. URL参考如下“ http://www.mak-blog.com/spark-on-yarn-setup-multinode.html 一,通常编译好的

Hadoop安装—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platf

今天在安装hadoop完成测试创建用户目录失败在网上找到了原因记录一下原文地址 http://blog.csdn.net/l1028386804/article/details/51538611 配置完hadoop启动运行的时候出现如下警告信息: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applica

Hadoop问题解决:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

在配置好hadoop的环境之后,命令启动./start-all.sh发现经常出现这样的一个警告: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 关于解决这个问题总结了一下方法: 按警告的描述是说  hadoop的native库导入失败,定位这个问题就是要看下native目录下的静态库