Ubuntu14下Hadoop开发<2> 编译64位Hadoop2.4

  • Hadoop官方网站只提供了32位的Hadoop包,我装的是64位的系统,自然无法使用,会报错误,导致的结果是无法启动hadoop
libhadoop.so.1.0.0 which might have disabled stack guard.
  • 我们可以在${Hadoop-Home}/lib/native文件夹下找到libhadoop.so.1.0.0文件,会出现如下
[email protected]:$ file /usr/mytools/hadoop-2.4.0/lib/native/libhadoop.so.1.0.0
/usr/mytools/hadoop-2.4.0/lib/native/libhadoop.so.1.0.0:ELF 32-bit LSB shared object, Intel 80386,version 1 (SYSV), dynamically linked, not stripped
  • 我没有使用svn,直接在官网下载的hadoop的src包,解压后,进入该目录,直接运行(别忘了,你的当前用户要有这个文件夹的操作权限)
mvn package -Pdist,native,docs -DskipTests -Dtar
  • 漫长的调试工作开始了,搜资料,搜集这些包真是崩溃的节奏
  • 下午3点一种弄到凌晨1点,经过几个小时的努力,应该安装的依赖软件包括
sudo apt-get install maven
sudo apt-get install protobuf-compiler
sudo apt-get install cmake
sudo apt-get install zlib1g.dev
sudo apt-get install g++
sudo apt-get install libglib2.0-dev
sudo apt-get install libssl-dev
  • 其中maven是maven3,我错误的认为maven是1;ant是系统自带的1.9版本
  • 大多数的错误网上都能搜出解决,除了libglib2.0-dev和zlib1g.dev这两个依赖包,搜的时间较长
  • 整个过程最崩溃的是cmake,装好之后,查看版本,正常,但依然报
an ant buildxception has occured exec returned 1
  • 仔细看了运行日志,才发现,我最开始的hadoop-src目录是在中文下,我在编译过程中怕中文对编译有影响,便将整个目录拷贝到某英文路径下,在移动之前执行过编译操作,但是没有安装zlib1g.dev和libglib2.0-dev,所以之后就算安装了这俩依赖包,还是会报错,解决的方式是删除这个hadoop-src,重新解压一份放到英文路径一下,再次执行打包操作
  • 大概40分钟左右,搞定,生成的hadoop-2.4.0-src/hadoop-dist/target/hadoop-2.4.0,用这个替换掉之前的32位hadoop-2.4.0即可

Ubuntu14下Hadoop开发<2> 编译64位Hadoop2.4

时间: 2024-12-28 18:42:16

Ubuntu14下Hadoop开发<2> 编译64位Hadoop2.4的相关文章

Ubuntu14下Hadoop开发&lt;1&gt; 基础环境安装

准备了一台淘汰的笔记本,单核CPU,3G内存,160G硬盘:准备一个2G的U盘 在官网下载了64位的14.04版本(麒麟)的ISO,下载UNetbootin(Ubuntu专用U盘安装工具) 使用UNetbootin将ISO文件写入到U盘中,将笔记本设置为U盘启动,将U盘插入笔记本,打开笔记本电源即可,接下来就根据提示一步一步来就可以了 安装过程很快,期间如果有网络的话,可能会比较慢,会下载一些更新包 下载64位的JDK1.7,有个帖子写的很详细,我按照这个来的(根据实际情况进行修改即可),感谢作

Ubuntu14下Hadoop开发&amp;lt;2&amp;gt; 编译64位Hadoop2.4

Hadoop官方站点仅仅提供了32位的Hadoop包.我装的是64位的系统.自然无法使用,会报错误,导致的结果是无法启动hadoop libhadoop.so.1.0.0 which might have disabled stack guard. 我们能够在${Hadoop-Home}/lib/native目录下找到libhadoop.so.1.0.0文件,会出现例如以下 [email protected]:$ file /usr/mytools/hadoop-2.4.0/lib/native

Ubuntu14下Hadoop开发&amp;lt;1&amp;gt; 基础环境安装

准备了一台淘汰的笔记本.单核CPU.3G内存.160G硬盘:准备一个2G的U盘 在官网下载了64位的14.04版本号(麒麟)的ISO.下载UNetbootin(Ubuntu专用U盘安装工具) 使用UNetbootin将ISO文件写入到U盘中,将笔记本设置为U盘启动,将U盘插入笔记本,打开笔记本电源就可以,接下来就依据提示一步一步来就能够了 安装过程非常快.期间假设有网络的话,可能会比較慢.会下载一些更新包 下载64位的JDK1.7.有个帖子写的非常具体,我依照这个来的(依据实际情况进行改动就可以

在Win7 64位旗舰版下,利用Vs2008编译64位的Qt 4.8.2

1.下载qt-everywhere-opensource-src-4.8.2.zip. 2.VS2008需要安装x64编译器. 3.将qt-everywhere-opensource-src-4.8.2.zip解压(如解压在F盘). 4.在开始菜单里找到VS2008 x64编译器"Visual Studio 2008 x64 Win64命令提示". 5.在命令窗口里进入到F:\qt-everywhere-opensource-src-4.8.2目录(通过cd命令). 6.输入:conf

hadoop 2.4.1 64位编译记录

hadoop 2.4.1 64位编译 安装jdk 安装maven sudo apt-get install maven 安装g++ sudo apt-get install g++ 安装protobuf-2.5.0 下载解压 cd protobuf-2.5.0/,进行如下操作: sudo ./configure sudo make sudo make check sudo make install sudo ldconfig sudo nano /etc/profile export LD_LI

本地编译64位hadoop并进行部署。

我是接着用上次已经部署好的环境,故已经有ssh以及java.没有安装这两个的朋友可以看本人关于伪分布式安装的博文. 首先是输入命令sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev,安装完这些准备工具后,下载protobuf-2.5.0.tar.gz,解压到主目录下,输入./configure,make & make install 这三个命令进行安装,安装成

Window下编译 64位ffmpeg 引入libx264 libmp3lame库

好记性不如烂笔头,每次编译总要有些时间折腾,记录下编译过程,方便后来者. 本文 介绍windows下编译64位Ffmpeg库 (版本V4.02)如何引入libx264及libmp3lame(编码mp3)库. 编译环境选择MinGW64.MinGW64如何安装可参考前面的文章https://www.cnblogs.com/wanggang123/p/9896564.html 一.. 编译x264库,如需要ffmpeg支持h264编码编译时需要将它添加进来.编译x264库相对容易,一次搞定. 首先下

VS2012编译64位程序

安装64位操作系统不是编译64位程序的必要条件,关键是要装64位程序的编译器. 1. 选择“Build” – “Configuration Manager”菜单,打开配置管理器.点击新建解决方案平台. 2. 选择“x64”平台,点击确定按钮. 3. 这时候配置管理器中的平台已经改成刚才选择的x64了,这时候编译出来的就是64位程序了.可以在工具栏的平台下拉框中快速切换目标平台. 注意:一个工程调用的另一个工程的DLL时,位数必须一致,即本工程要编译为64位,DLL也必须编译为64位.如果本工程要

VSTO 学习笔记(十一)开发Excel 2010 64位自定义公式

原文:VSTO 学习笔记(十一)开发Excel 2010 64位自定义公式 Excel包含很多公式,如数学.日期.文本.逻辑等公式,非常方便,可以灵活快捷的对数据进行处理,达到我们想要的效果.Excel的内置公式虽然强大,但是在ERP等系统中,往往需要进行很多业务上的计算,如收发存台账.指定年.月.部门的消耗查询等,都是需要从数据库中查询的,且和业务紧密相连.这时仅仅依靠Excel的内置公式就不够了,需要添加自定义的公式来进行这些业务计算. 测试代码下载 本系列所有测试代码均在Visual St