spark1.1.0 snappy依赖高版本gcc

最近更新了spark到1.1.0版本。跑任务出错。

Caused by: java.lang.UnsatisfiedLinkError: /tmp/snappy-1.0.5.3-6ceb7982-8940-431c-95a8-25b3684fa0be-libsnappyjava.so: /usr/lib64

/libstdc++.so.6: version `GLIBCXX_3.4.9‘ not found (required by /tmp/snappy-1.0.5.3

由于我们的系统是rhel5,glibc版本只到3.4.8,而snappy需要使用3.4.9版本,坑爹。

spark1.0.0没有出现过这个问题,为了减少系统改动,重新编译了spark,并将pom.xml 的snappy版本(1.5.3)手动修改成spark1.0.0中的1.5.0版本。但是问题还是没能解决。

最终只能编译了更高版本的gcc,我用的gcc4.7.3,并将环境变量LD_LIBRARY_PATH指定新版gcc安装路径, 问题解决。

gcc编译时依赖的库:

../configure --prefix=/usr/local/gcc-4.7.3 --enable-threads=posix --disable-bootstrap --disable-multilib --enable-languages=c
,c++,java --with-gmp=/usr/local/gmp-6.0.0/ --with-mpfr=/usr/local/mpfr-3.1.2/ --with-mpc=/usr/local/mpc-1.0.2/

ps:网上那些直接找个库做软连接的方法不用试了,太不靠谱。

时间: 2024-10-10 20:49:29

spark1.1.0 snappy依赖高版本gcc的相关文章

[原]高版本gcc编译哟优化可能导致问题

系统:ubuntu14.04 编译器:gcc4.8.2 问题描述:工作需要,使用libnids,所以就下了最新版本的1.24,编译安装后,发现tcp报文重组工作无法完成,具体表现为虽然通过nids_register_tcp函数注册了回调函数,但函数一直不能被执行,通过对libnids执行流程的跟踪,发现在计算checksum的时候出了问题,checksum的值一直不为零,导致libnids认为数据报损坏. 不明所以,但通过思考,觉得问题应该处在编译器上,是不是64位和32为的问题呢?源码中并没有

CentOS下安装高版本GCC

CentOS下安装高版本GCC 微信分享: 有时编译需要用到4.8以上版本的GCC,由于CentOS源没有提供高版本的GCC安装包,这时就不能通过安装包安装.通常的解决方案就是通过编译安装高版本的GCC. 这里介绍一个更高级.更好用.更简单的方法来升级系统GCC,本文将介绍如何利用CentOS的新特性SCL进行高版本GCC的安装. 什么是SCL 请参考:如何在CentOS上启用软件集Software Collections一文 通过SCL安装GCC 官方SCL仓库 devtoolset-3: h

phpMyAdmin - 错误 您应升级到 MySQL 5.5.0 或更高版本,解决办法。。。

折腾自己的个人网站,装了个数据库管理工具,遇到您应升级到 MySQL 5.5.0 或更高版本... 采用降级phpmyadmin版本的方法解决了: 查找phpmyadmin/libraries/common.inc.php #查找 if (PMA_MYSQL_INT_VERSION < 50500) { #更换为 if (PMA_MYSQL_INT_VERSION < 50100) { ok!搞定

Nmap修复了向FreeBSD10.0或更高版本发送的原始数据包功能

Nmap修复了向FreeBSD10.0或更高版本发送的原始数据包功能 Nmap Nmap修复了向FreeBSD10.0或更高版本发送的原始数据包功能.因为FreeBSD改变了IPv4堆栈的字节顺序,所以SYN扫描和其它的原始数据包功能都被破坏了. 版权声明:本文为博主原创文章,未经博主允许不得转载.

CentOS6 yum升级高版本gcc

gcc 4.8安装 # curl -Lks http://www.hop5.in/yum/el6/hop5.repo > /etc/yum.repos.d/hop5.repo # yum install gcc gcc-g++ –y # gcc  --version gcc 4.9 安装 # yum install centos-release-scl –y # yum install devtoolset-3-toolchain –y # scl enable devtoolset-3 bas

centos6.5 phpmyadmin 您应升级到 MySQL 5.5.0 或更高版本

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 255: ordinal not in range(128) 安装时出错 解决办法: yum clean metadata yum clean all rpm -v --rebuilddb yum update

若要使用 Project Web Access,需要 Internet Explorer 版本 5.0 或更高版本。

使用360安全浏览器 在设置  选择高级设置  内核切换设置 添加IP  内核选择IE8 原文地址:https://www.cnblogs.com/eastward/p/11737237.html

低版本GCC程序向高版本移植的兼容性问题

将低版本gcc编译过的程序移植到高版本GCC时, 可能会出现一些兼容性问题. 原因是, 为了适应新的标准,一些旧的语法规则被废弃了. 关于这方面的一些具体资料可从该处查询. 这里只是自己遇到的其中一个问题. 错误提示: In instantiation of ‘int t(T) [with T = int]’ required from here error: ‘f’ was not declared in this scope, and no declarations were found b

高版本安卓手机的取证未来

近年来的安卓手机取证相较过往,可以施展的手法是愈来愈受限了,大体上可以安卓7.0做为一个分野,在安卓7.0以上的高版本明显有以下反取证的特性出现: 1. 降级(Downgrade)搭配ADB Backup的技法无法备份到App的数据,如此一来即便你知道嫌疑犯明明有用WeChat等IM,但却苦无方法可以提取聊天记录. 2.愈来愈多的手机有锁Bootloader,导致难以透过解BL锁以刷入第三方Recovery ROM的技法进行提权.因为一旦强行解BL锁便会付出整机重置的代价,数据也就不复存在了.换