分享impala-1.3.0-hadoop-2.3.0-cdh5.0.0编译

impala编译 编译系统centos 5.10

一、预装库

1.gcc安装

yum install gcc44

yum install gcc44-c++

下面的单独安装在编译过程中会与系统自带的低版本冲突

mpc-0.9.tar.gz

mpfr-3.1.2.tar.gz

gmp-5.0.1.tar.bz2

gcc-4.4.7.tar.gz

gcc-g++-4.4.7.tar.gz

http://blog.sina.com.cn/s/blog_868618f00101ij4a.html

注:安装之后中需要将原来的/usr/bin 下的4.1.2的cc,gcc 指向4.4.7版本

并且指向的是 /usr/bin/x86_64-redhat-linux6E-gcc44而不是gcc44

g++同样指向/usr/bin/x86_64-redhat-linux6E-g++44

卸载掉gcc-c++,它是4.1.2版本。因为有在编译时使用的有可能是c++而不是g++编译器,造成版本过低会引起无法识别msse4.2参数。具体情况没有证明,我只是把它卸载了。

2.boost库安装

boost_1_53_0.tar.gz

安装到系统默认路径

编译参数

./bjam   --toolset=gcc  --layout=tagged --build-type=complete     --with-regex  --with-system  --with-thread  --with-filesystem install --with-date_time

3.其它库安装

git-1.9.4.tar.gz  ./configure  --prefix=/usr/local/git-1.9.2

Python-2.7.8.tgz  ./configure  --prefix=/usr/local/python-2.7.8

lzo-2.06.tar.gz  ./configure  --enable-shared

yum install cmake libtool zlib-devel openssl-devel bzip2-devel cyrus-sasl-devel

下面的两个LZO库直接解压

hadoop-lzo-0.4.15-gplextras5.0.1-SNAPSHOT.tar.gz

hadoop-lzo-release-0.4.19.tar.gz

impala-lzo-1.3.1-gplextras5.0.1-SNAPSHOT.tar.gz

文件下载地址

http://archive.cloudera.com/gplextras/

不同操作系统下对应的rpm包找到后直接解压就会找到jar包。

4.工具安装

jdk-6u45-linux-x64.bin

apache-maven-3.0.4-bin.tar.gz

setuptools-0.6c11.tar.gz 此工具用来编译python脚本

安装过程:

tar zxvf setuptools-0.6c11.tar.gz
cd setuptools-0.6c11
python setup.py build
python setup.py install

5 .LLVM安装

llvm-3.3.src.tar.gz, cfe-3.3.src.tar.gz,
compiler-rt-3.3.src.tar

所需要的包以及放位置参考或文档《LLVM编译安装.txt》

有一个已经将以上三个包打好的完全源码包vip-llvm-3.3.src.tar

直接解压可编译安装

http://clang.llvm.org/get_started.html

二、环境变量

其它库的环境变量是否需要看安装路径,如果安装在默认路径就不需要,以下库安装在指定路径,其它库在默认路径

export GIT_HOME=/usr/local/git-1.9.2

export HADOOP_LZO=/root/hadoop-lzo-0.4.15

export IMPALA_LZO=/root/impala-lzo-1.3.1

export PYTHON2_HOME=/usr/local/python-2.7.8

export MAVEN_HOME=/root/apache-maven-3.0.4

export JAVA_HOME=/root/jdk

export
PATH=$GIT_HOME/bin:$PYTHON2_HOME/bin:$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH

三、编译

./buildall.sh  -noclean  -skiptests  -codecoverage_release  -codecoverage_debug

错误0:

/usr/local/lib/../lib/libstdc++.so:
could not read symbols: File in wrong format

表示没有安装boost库到标准路径,而直接使用了标准C++造成的,直接将上面编译boosts时安装到标准路径

错误一:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/statestore/failure-detector.cc:
In member function ‘virtual impala::FailureDetector::PeerState
impala::TimeoutFailureDetector::UpdateHeartbeat(const std::string&, bool)’:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/statestore/failure-detector.cc:41:
错误:‘lock_guard’
在此作用域中尚未声明

解决:修改头文件failure-detector.h加入#include <boost/thread/lock_guard.hpp>

错误二:

/home/flh/boost_1_53_0/build/include/boost/move/core.hpp:48:
错误:放松 ‘boost::rv<T>::~rv()
[with T = impala::TNetworkAddress]’ 的 throw 限定

/home/flh/impala-1.3.0-cdh5.0.0/be/generated-sources/gen-cpp/Types_types.h:180: 错误:  覆盖了 ‘virtual
impala::TNetworkAddress::~TNetworkAddress() throw ()’

解决:Types_types.h头文件中产生的所有类的析构函数的后面的throw() 关键词去掉

错误三:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/util/simple-logger.cc:
In member function ‘impala::Status impala::SimpleLogger::AppendEntry(const
std::string&)’:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/util/simple-logger.cc:77:
错误:‘lock_guard’
在此作用域中尚未声明

解决:修改头文件simple-logger.h添加#include <boost/thread/lock_guard.hpp>

错误四:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/transport/TSaslServerTransport.cpp:
In member function ‘virtual
boost::shared_ptr<apache::thrift::transport::TTransport> apache::thrift::transport::TSaslServerTransport::Factory::getTransport(boost::shared_ptr<apache::thrift::transport::TTransport>)’:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/transport/TSaslServerTransport.cpp:110:
错误:‘lock_guard’ is not a member of ‘boost’

解决:修改头文件TSaslServerTransport.h添加#include <boost/thread/lock_guard.hpp>

Impala 编译6.5以上系统

一、预装库

1.gcc编译器安装

yum install gcc

yum install gcc-c++

默认都是4.4.7版本

2.boost库安装

同上

3.其它库安装

同上

4.工具安装

同上

5.LLVM安装

同上

如果有错误,删除了多编译几次

二、环境变量

其它库的环境变量是否需要看安装路径,如果安装在默认路径就不需要,以下库安装在指定路径,其它库在默认路径

export
HADOOP_LZO=/root/hadoop-lzo-0.4.15

export IMPALA_LZO=/root/impala-lzo-1.3.1

export PYTHON2_HOME=/usr/local/python-2.7.8

export MAVEN_HOME=/root/apache-maven-3.0.4

export JAVA_HOME=/root/jdk

export
PATH=$PYTHON2_HOME/bin:$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH

三、编译

同上

时间: 2024-09-28 11:21:35

分享impala-1.3.0-hadoop-2.3.0-cdh5.0.0编译的相关文章

【课程分享】jQuery2.0应用开发:SSH框架整合jQuery2.0实战OA办公自动化(VSS、operamasks-UI框架)

我的qq是2059055336,对这个课程有兴趣的可以加我qq联系. 课程下载地址:链接:http://pan.baidu.com/share/link?shareid=395438909&uk=3611155194 密码:mlvl 课程下载地址:http://www.kuaipan.cn/file/id_192202874577496484.htm?source=1 一.本课程是怎么样的一门课程(全面介绍)    1.1.课程的背景 jQuery 2.0 正式版发布,不在支持 IE 6/7/8

Impala学习笔记(一)CDH5.4.0安装

鲁春利的工作笔记,好记性不如烂笔头 Impala是Cloudra公司发布的实时查询开源项目,基于Hive但使用内存进行计算,是使用CDH的首选PB级大数据实时查询分析引擎. Impala的安装方式有两种,CM方式和手动安装,手动安装比较麻烦,需要额外的步骤验证与其他组件的交互,这里采用CM的方式安装. 1.安装准备 CM当前最新版本为5.5.1,这里安装CM5.4.0和CDH5.4.0. http://www.cloudera.com/content/www/en-us/downloads.ht

Centos6.5安装配置Cloudera Manager CDH5.6.0 Hadoop

环境规划操作系统版本:CentOS-6.5-x86_64-minimal.iso 192.168.253.241    master   虚拟机4G内存192.168.253.242    slave1    虚拟机2G内存192.168.253.243    slave2    虚拟机2G内存 一.环境初始化1.修改主机名(每台机器都执行) 192.168.253.241    master 192.168.253.242    slave1 192.168.253.243    slave2

【无私分享:从入门到精通ASP.NET MVC】从0开始,一起搭框架、做项目 (13)客户管理

声明:本系列为原创,分享本人现用框架,未经本人同意,禁止转载!http://yuangang.cnblogs.com 希望大家好好一步一步做,所有的技术和项目,都毫无保留的提供,希望大家能自己跟着做一套,还有,请大家放心,只要大家喜欢,有人需要,绝对不会烂尾,我会坚持写完~ 如果你感觉文章有帮助,点一下推荐,让更多的朋友参与进来,也是对本人劳动成果的鼓励,谢谢大家!由于还要工作,所以基本都是牺牲午休时间来写博客的,写博客呢不是简单的Ctrl+C.Ctrl+V,我是要挨着做一遍的,这也是对大家负责

Hadoop 2.2.0 在CentOS6.2 64位下的编译

最近在学习搭建Hadoop,直接从Apache官方网站直接下载最新版本Hadoop2.2,结果运行时发现提示 “libhadoop.so.1.0.0 which might have disabled stack guard” 的警告.Google了一下发现是因为 hadoop 2.2.0提供的是libhadoop.so库是32位的,而我们的机器是64位. 所以需要重新在64位的机器上编译hadoop. 1.安装JDK 下载JDK1.7的Linux 64位版本jdk-7u15-linux-x64

数据采集+调度:cdh5.8.0+mysql5.7.17+hadoop+sqoop+hbase+oozie+hue

一.前期准备 1.操作系统版本 # cat /etc/redhat-release CentOS release 6.5 (Final) # uname –aLinux enc-bigdata05 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux 2.前期软件准备 2-1. jdk版本: jdk-7u80-linux-x64.tar.gz [jdk1.7.80下载地址]

cdh4.6.0到cdh5.2.0 upgrade和rollback问题小结

upgrade小结:1.dfsadmin -upgradeProgress status 在cdh5.2.0中没有,在4.6.0有(见源码org.apache.hadoop.hdfs.tools.DFSAdmin)升级的时候不能通过这个看到升级状态rollingUpgrade这个参数在4.6.0中不存在,在5.2.0中有,可以用于滚动升级2.在cdh5.2.0中执行upgrade,nn中调用的命令是 hadoop-daemon.sh start namenode -upgrade 最终调用org

Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程

Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程 linux环境:Oracle Linux Server release 6.3 (64位) 编译环境:由于公司服务器不能联网,故在本机win8下的虚拟机中编译(虚拟机中同样是Oracle Linux Server release 6.3 (64位)) 节点:一共配置了三个节点,主节点qzj05(ip:192.168.10.199),子节点qzj02(ip:1

在CDH5.5.0上安装Kudu6.0

1. 下载安装文件: a. CSD文件:KUDU-0.6.0.jar b. kudu parcel:KUDU-0.6.0-1.kudu0.6.0.p0.334-el6.parcel和manifest.json文件 c. impala-kudu:IMPALA_KUDU-2.3.0-1.cdh5.5.0.p0.15-el6.parcel + manifest.json文件 2.将CSD文件KUDU-0.6.0.jar移到/opt/cloudera/csd下面并重启服务器 3.将KUDU-0.6.0-

Hadoop第3周练习--Hadoop2.X编译安装和实验

1    练习题目 2    编译Hadoop2.X 64bit 2.1  运行环境说明 2.1.1   硬软件环境 2.1.2   集群网络环境 2.2  环境搭建 2.2.1   JDK安装和Java环境变量配置 2.2.2   安装并设置maven 2.2.3   以root用户使用yum安装svn 2.2.4   以root用户使用yum安装autoconf automake libtool cmake 2.2.5   以root用户使用yum安装ncurses-devel 2.2.6