Mac OS X 10.10编译Hadoop 2.6.0笔记

原本通过brew 安装了Hadoop 2.6.0,但是使用过程中报一个错误(错误描述),查了资料说是因为native库的问题,看了一下,发现通过brew安装的版本根本就没有native目录,所以下载了源码自己编译。结果陆续出了不少问题,记录如下:

1.错误: 程序包com.sun.javadoc不存在

这个错误尝试了很多方法,包括在pom.xml中指定tools.jar文件等等

最后通过’export JAVA_HOME=/usr/libexec/java_home -v 1.6’命令切换JDK版本为1.6(OS X上安装了最新的1.8.x版本)才解决

2.[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.6.0:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: ‘protoc --version‘ did not return a version -> [Help 1]

查了资料说是缺少protobuf库,通过brew安装之后,结果编译时提示需要的是2.5.0版本,但是brew安装的是2.6.1版,所以只好卸载了,然后手动下载2.5.0版(https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz),然后自行编译安装

$ sudo ./configure

$ sudo make

$ sudo make check

$ sudo make install

$ sudo ldconfig

$ protoc --version

3.[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-common: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "cmake" (in directory "/usr/local/Cellar/hadoop/hadoop-2.6.0-src/hadoop-common-project/hadoop-common/target/native"): error=2, No such file or directory

通过brew install cmake安装cmake

4.[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-common: An Ant BuildException has occured: exec returned: 1

再往前翻,看到

main:

[exec] -- Configuring incomplete, errors occurred!

[exec] See also "/usr/local/Cellar/hadoop/hadoop-2.6.0-src/hadoop-common-project/hadoop-comCMake Error at /usr/local/Cellar/cmake/3.1.0/share/cmake/Modules/FindPackageHandleStandardArgs.cmake:138 (message):

[exec] Could NOT mon/target/native/CMakeFiles/CMakeOutput.log".

[exec] find JNI (missing: JAVA_AWT_LIBRARY JAVA_JVM_LIBRARY

[exec] JAVA_INCLUDE_PATH JAVA_INCLUDE_PATH2 JAVA_AWT_INCLUDE_PATH)

[exec] Call Stack (most recent call first):

[exec] /usr/local/Cellar/cmake/3.1.0/share/cmake/Modules/FindPackageHandleStandardArgs.cmake:374 (_FPHSA_FAILURE_MESSAGE)

[exec] /usr/local/Cellar/cmake/3.1.0/share/cmake/Modules/FindJNI.cmake:286 (FIND_PACKAGE_HANDLE_STANDARD_ARGS)

[exec] JNIFlags.cmake:123 (find_package)

[exec] CMakeLists.txt:24 (include)

查了之后发现主要是因为cmake没有找到jni.h文件,再一看,在$JAVA_HOME目录下根本没有include目录,这个mac自带的jdk1.6好像有问题,于是下载了JDK 1.7,并重新export JAVA_HOME

5.提示tools.jar错误

在$JAVA_HOME下mkdir classes, 然后ln -s ../lib/tools.jar classes.jar

时间: 2024-11-03 21:53:27

Mac OS X 10.10编译Hadoop 2.6.0笔记的相关文章

mac OS X Yosemite 上编译hadoop 2.6/2.7及TEZ 0.5.2/0.7 注意事项

1.jdk 1.7问题 hadoop 2.7.0必须要求jdk 1.7.0,而oracle官网已经声明,jdk 1.7 以后不准备再提供更新了,所以趁现在还能下载,赶紧去down一个mac版吧 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 应该选择mac ox 64位的版本 http://download.oracle.com/otn-pub/java/jdk/7u79-b1

使用CocoaPods的pod install 遇到的错误,未解决(Xcode版本v6.4,Mac OS版本v10.10.4)

转载请标明出处:http://blog.csdn.net/android_ls/article/details/47059957 一.CocoaPods 是一款很好的依赖管理工具,其安装步骤大致如下: 1.首先确保开发环境中已经安装了 Ruby(一般安装了 XCode,Ruby 会被自动安装上) 建议使用淘宝提供的 Gem源,在终端执行下列命令: $ gem sources --remove https://rubygems.org/ $ gem sources -a http://ruby.t

在Mac OS X Yosemite 10.10.3 中搭建第一个 ASP.NET 5 Web 项目

终于有时间在 Mac 上安装一下 ASP.NET 5,网上有许多教程,但是多数的时间比较早了,版本不是最新,搭着 Build 2015 的春风,我也实践一下 Mac OS X 上的 ASP.NET 5. 经常使用 Windows 8.1,对 Mac 并不太熟悉,也一并把安装中的问题趟一遍. 前几天刚刚更新了 Mac 的操作系统,操作系统版本 Mac OS X Yosemite 10.10.3. 1. 在 Mac OS X 上安装 ASP.NET 5 ASP.NET 5 运行在 DNX 之上,DN

Ubuntu下使用VirtualBox安装Mac OS X Mavericks(10.9)下篇

关闭 Mac OS X Mavericks 虚拟机后, 在设置的 Storage -> Storage Type  Controller SATA 属性 退出 OSXMavericks2.iso. 点击下面的那个删除按钮,就会弹出上图所示的对话框,点击remove即可. 然后CD / DVD Drive 的光盘图标 Add CD/DVD Drive 选择 HackBoot_Mav.iso 文件.类似上篇时介绍的那样.添加好后如下图: 启动Mac OS X Mavericks虚拟机.在引导盘的引导

How to install Maven on Mac OS X Mavericks (10.9)

Step 1: Download Maven binaries from Maven Download Page. I was using Maven 3.0.5, so I downloaded apache-maven-3.0.5-bin.tar.gz. Step 2: You can install Maven at any location but since it's a one time process, I didn't wanted it in my user directory

64位centos 下编译 hadoop 2.6.0 源码

64位os下为啥要编译hadoop就不解释了,百度一下就能知道原因,下面是步骤: 前提:编译源码所在的机器,必须能上网,否则建议不要尝试了 一. 下载必要的组件 a) 下载hadoop源码 (当前最新的稳定版是2.6.0)地址  http://mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.6.0-src.tar.gz b) 下载apache-ant (centos自带的ant版本太低,编译过程中会报错)地址: http://mi

CentOS 6.4 64位 源码编译hadoop 2.2.0

CentOS 6.4 64位 源码编译hadoop 2.2.0 搭建环境:Centos 6.4 64bit 1.安装JDK 参考这里2.安装mavenmaven官方下载地址,可以选择源码编码安装,这里就直接下载编译好的wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.zip解压文件后,同样在/etc/profie里配置环境变量vim /etc/profieexport

Mac OS X Yosemite 10.10 配置 Apache+PHP 教程注意事项

首先启动 Apache,在终端里输入命令: sudo apachectl start 查看 Apache 版本: httpd -v 在Yosemite 10.10下,apache更新了 Server version: Apache/2.4.9 (Unix) Server built: Sep 9 2014 14:48:20 接着测试,我就发现如下几点需要修正,如有其它疑问欢迎交流: 1.重新启用PHP,避免脚本直接显示在页面上 首先是 http://localhost/ 会将 PHP 代码直接显

Mac OS X Yosemite 10.10.3 apache+mysql+django web开发环境的搭建

准备工作: 1.确认mac os x 的版本号为10.10.3: 2.mac os x yosemite预装了apache.python,因此无需下载该包: 在shell下输入python即可查看版本: Python 2.7.6 (default, Sep 9 2014, 15:04:36) [GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.39)] on darwin Type "help", "copyright"