Ubuntu14下Hadoop开发<2> 编译64位Hadoop2.4

  • Hadoop官方站点仅仅提供了32位的Hadoop包。我装的是64位的系统。自然无法使用,会报错误,导致的结果是无法启动hadoop
libhadoop.so.1.0.0 which might have disabled stack guard.
  • 我们能够在${Hadoop-Home}/lib/native目录下找到libhadoop.so.1.0.0文件,会出现例如以下
[email protected]:$ file /usr/mytools/hadoop-2.4.0/lib/native/libhadoop.so.1.0.0
/usr/mytools/hadoop-2.4.0/lib/native/libhadoop.so.1.0.0:ELF 32-bit LSB shared object, Intel 80386,version 1 (SYSV), dynamically linked, not stripped
  • 我没有使用svn,直接在官网下载的hadoop的src包。解压后。进入该文件夹。直接执行(别忘了,你的当前用户要有这个文件夹的操作权限)
mvn package -Pdist,native,docs -DskipTests -Dtar
  • 漫长的调试工作開始了,搜资料,搜集这些包真是崩溃的节奏
  • 下午3点一种弄到凌晨1点,经过几个小时的努力,应该安装的依赖软件包含
sudo apt-get install maven
sudo apt-get install protobuf-compiler
sudo apt-get install cmake
sudo apt-get install zlib1g.dev
sudo apt-get install g++
sudo apt-get install libglib2.0-dev
sudo apt-get install libssl-dev
  • 当中maven是maven3,我错误的觉得maven是1。ant是系统自带的1.9版本号
  • 大多数的错误网上都能搜出解决,除了libglib2.0-dev和zlib1g.dev这两个依赖包,搜的时间较长
  • 整个过程最崩溃的是cmake,装好之后,查看版本号,正常,但依旧报
an ant buildxception has occured exec returned 1
  • 细致看了运行日志,才发现,我最開始的hadoop-src文件夹是在中文下,我在编译过程中怕中文对编译有影响,便将整个文件夹复制到某英文路径下,在移动之前运行过编译操作,可是没有安装zlib1g.dev和libglib2.0-dev。所以之后就算安装了这俩依赖包,还是会报错,解决的方式是删除这个hadoop-src,又一次解压一份放到英文路径一下,再次运行打包操作
  • 大概40分钟左右,搞定。生成的hadoop-2.4.0-src/hadoop-dist/target/hadoop-2.4.0,用这个替换掉之前的32位hadoop-2.4.0就可以
时间: 2024-10-28 19:09:16

Ubuntu14下Hadoop开发<2> 编译64位Hadoop2.4的相关文章

Ubuntu14下Hadoop开发<2> 编译64位Hadoop2.4

Hadoop官方网站只提供了32位的Hadoop包,我装的是64位的系统,自然无法使用,会报错误,导致的结果是无法启动hadoop libhadoop.so.1.0.0 which might have disabled stack guard. 我们可以在${Hadoop-Home}/lib/native文件夹下找到libhadoop.so.1.0.0文件,会出现如下 [email protected]:$ file /usr/mytools/hadoop-2.4.0/lib/native/l

Ubuntu14下Hadoop开发<1> 基础环境安装

准备了一台淘汰的笔记本,单核CPU,3G内存,160G硬盘:准备一个2G的U盘 在官网下载了64位的14.04版本(麒麟)的ISO,下载UNetbootin(Ubuntu专用U盘安装工具) 使用UNetbootin将ISO文件写入到U盘中,将笔记本设置为U盘启动,将U盘插入笔记本,打开笔记本电源即可,接下来就根据提示一步一步来就可以了 安装过程很快,期间如果有网络的话,可能会比较慢,会下载一些更新包 下载64位的JDK1.7,有个帖子写的很详细,我按照这个来的(根据实际情况进行修改即可),感谢作

Ubuntu14下Hadoop开发<1> 基础环境安装

准备了一台淘汰的笔记本.单核CPU.3G内存.160G硬盘:准备一个2G的U盘 在官网下载了64位的14.04版本号(麒麟)的ISO.下载UNetbootin(Ubuntu专用U盘安装工具) 使用UNetbootin将ISO文件写入到U盘中,将笔记本设置为U盘启动,将U盘插入笔记本,打开笔记本电源就可以,接下来就依据提示一步一步来就能够了 安装过程非常快.期间假设有网络的话,可能会比較慢.会下载一些更新包 下载64位的JDK1.7.有个帖子写的非常具体,我依照这个来的(依据实际情况进行改动就可以

本地编译64位hadoop并进行部署。

我是接着用上次已经部署好的环境,故已经有ssh以及java.没有安装这两个的朋友可以看本人关于伪分布式安装的博文. 首先是输入命令sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev,安装完这些准备工具后,下载protobuf-2.5.0.tar.gz,解压到主目录下,输入./configure,make & make install 这三个命令进行安装,安装成

Window下编译 64位ffmpeg 引入libx264 libmp3lame库

好记性不如烂笔头,每次编译总要有些时间折腾,记录下编译过程,方便后来者. 本文 介绍windows下编译64位Ffmpeg库 (版本V4.02)如何引入libx264及libmp3lame(编码mp3)库. 编译环境选择MinGW64.MinGW64如何安装可参考前面的文章https://www.cnblogs.com/wanggang123/p/9896564.html 一.. 编译x264库,如需要ffmpeg支持h264编码编译时需要将它添加进来.编译x264库相对容易,一次搞定. 首先下

VS2012编译64位程序

安装64位操作系统不是编译64位程序的必要条件,关键是要装64位程序的编译器. 1. 选择“Build” – “Configuration Manager”菜单,打开配置管理器.点击新建解决方案平台. 2. 选择“x64”平台,点击确定按钮. 3. 这时候配置管理器中的平台已经改成刚才选择的x64了,这时候编译出来的就是64位程序了.可以在工具栏的平台下拉框中快速切换目标平台. 注意:一个工程调用的另一个工程的DLL时,位数必须一致,即本工程要编译为64位,DLL也必须编译为64位.如果本工程要

QT5.6.2基于VS2013开发环境配置(Win7 64位)

1) 在https://www.qt.io/download-open-source/#section-2页面下载如下文件: Qt 5.6.2 for Windows 64-bit (VS 2013, 832 MB) Visual Studio Add-in 2.0.0 for Qt5 MSVC 2013 (9 MB) 2) 自动安装上述两个文件,可选QT安装路径(如D盘),安装完成之后打开VS2013,可发现多出QT VS TOOLS菜单 3) 打开QT VS TOOLS菜单下的Qt Opti

VS2013编译64位boost

为了编译CGAL库,必须要先编译boost,在编译64位库时遇到了一些问题,主要解决办法是: 1. 选择VS2013安装目录下的"x64兼容命令提示"命令行对话框: 2. 切换到boost代码目录,例如 CD D:\boost_1_56_0\: 3. 输入:bootstrap.bat 命令,源代码文件夹中会新增了2个文件b2.exe和 bjam.exe: 4. 输入命令: bjam stage --prefix="D:\Boost\bin" --with-syste

编译64位boost

最近一直在Window下编译64位的boost,找到这篇博文,好好学习一下: 一直以来都是在Win32环境下Build和使用boost,但现在基本上每天都在64位Win7下工作,所以很有必要把这几天的经验总结下来.和32位环境不同,x64环境下编译得先从开始菜单启动Visual Studio的Visual Studio 2008 x64 Win64 Command Prompt进入命令提示符,而不是随便打开任意一个命令行窗口就行.然后转到boost根文件夹,运行bootstrap.bat生成x6