Spark记录-spark报错Unable to load native-hadoop library for your platform

解决方案一：

#cp $HADOOP_HOME/lib/native/libhadoop.so $JAVA_HOME/jre/lib/amd64

#源码编译snappy---./configure make & make install

#cp libsnappy.so $JAVA_HOME/jre/lib/amd64

主要是jre目录下缺少了libhadoop.so和libsnappy.so两个文件。具体是，spark-shell依赖的是scala，scala依赖的是JAVA_HOME下的jdk
当这两个文件准备好后再次启动spark shell不会出现这个问题。

解决方案二：

在spark的conf/spark-env.sh文件加入：export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

在/etc/profile设置一下：export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

时间： 2024-10-07 06:49:39

Spark记录-spark报错Unable to load native-hadoop library for your platform的相关文章

关于cocos2dx 3.0升级崩溃报错(unable to load native library) 和(Fatal signal 11 (SIGSEGV) at 0x00000000)

最近一直在Windows平台开发cocos-2dx游戏,期间做了一次引擎升级,升级到了3.0正式版本.Windows平台上表现很正常,没有出现什么问题. 上周五准备发布一个安卓包,编译很轻松的就过了,没有花费多少时间,但是安装到手机后,发现运行就崩溃了.没办法只好用模拟机调试,再次吐槽Android的模拟器,真的太他妈慢了,不到万不得已我真的不想再去用它,google真的应该好好整一下了. 好不容易运行起来了,看到崩溃的时候logcat的报错是"unable to load native lib

struts 报错 :Unable to load configuration. - action 的解决

初学Struts, 在idea里写Struts项目, 其实还是挺好操作的, 从官网下载min 的jar包, 然后在idea 里新建Struts项目的时候就可以选择用本地包来构建, ctrl shift alt s 配置项目的libraries, 等等在此不表但是在启动tomcat的时候就遇到了很多莫名其妙的报错, 比如说报错, 找不到class, 感觉有点奇怪啊, 明明已经导入了jar 包了, 还是提示找不到包, 没办法, 只好包jar 包复制进lib 目录, 然后右键add as lib

***XAMPP：报错 Unable to load dynamic library的解决方法

A PHP Error was encountered Severity: Core Warning Message: PHP Startup: Unable to load dynamic library '/opt/lampp/lib/php/extensions/no-debug-non-zts-20131226/php_pdo_mysql.dll' - /opt/lampp/lib/php/extensions/no-debug-non-zts-20131226/php_pdo_mysq

TortoiseGit Push报错 “Couldn't load this key(unable to open file)” 解决

TortoiseGit 在push时总报"Couldn't load this key(unable to open file)"的错误,导致无法提交解决方案: 打开工程git目录下的config文件,发现私钥文件的路径的错误的重新指定一下即可. TortoiseGit Push报错 "Couldn't load this key(unable to open file)" 解决原文地址:https://www.cnblogs.com/beeasy/p/835

Svn启动窗口报错 Could not load file or assembly 'SharpSvn.dll' or one of its

win10 64位系统生成没问题,测试都没问题,结果换到win7 64位系统上,点开就出现,网上搜了下,通过以下方式解决, 必须把bin 文件夹全部删除,重新生成.要不还是会报错. Solve it. Change my platform to x86 Output path to "bin\" Downloaded the x86 of SharpSVN (1.7008.2243.14245) Add SharpSVN.dll in GAC. Delete the bin folde

navicat 连接Oracle 报错：Cannot load OCI DLL, 126

1.64位win7 安装了oracle11g 使用Navicat for Oracle cannot load OCI DLL,126 解决方法:navicat 菜单中 -工具->选项->OCI 选择Oracle安装目录下bin里面的oci.dll 但是发现还是报错. Cannot load OCI DLL, 126: Instant Client package is required for Baic and TNS connection ,For more information: ht

Eclipse启动报错[Failed to load the JNI shared library jvm.dll

准备要做java服务器,在安装开发环境时,启动Eclipse报错[Failed to load the JNI shared library jvm.dll] 研究了下,造成错误的原因是由于eclipse与jdk的不一致造成的. 我的开发环境是64位windows8 Pro,安装了64位jdk1.6,eclipse却粗物的安装了32位的版本,由于64位和32位匹配不一致,造成了以上错误的发生. 又尝试了一下,32位jdk+64位eclipse也会发生同样的问题. 好了,解决方法很简单,jdk和e

SQL Developer 4.0 启动报错“unable to create an instance of the java virtual machine located at path”

安装了Oracle之后,第一件事情就是想想怎么去连接,进而操作.SQL Developer是官方提供的强大工具,个人看来也是第一选择. 目前官网提供的最新版是4.0.1.14.48,下载下来之后,就跃跃欲试了.将下载下来的包解压,直接运行sqldeveloper.exe这个文件,选择了本地安装的JDK路径,之后却不幸的报错了,提示"unable to create an instance of the java virtual machine located at path",具体界面

CentOS7图形界面启动报错unable to connect to X server

以前还可以正常启动图形界面,这次启动失败,报错unable to connect to X server 使用的是oracle用户,因为我是在oracle用户下创建的oracle数据库等解决办法: 在/var/run/console/下touch oracle生成oracle文件,重新startx启动就可以了