mac OS X Yosemite 上编译hadoop 2.6/2.7及TEZ 0.5.2/0.7 注意事项

1、jdk 1.7问题

hadoop 2.7.0必须要求jdk 1.7.0,而oracle官网已经声明,jdk 1.7 以后不准备再提供更新了,所以趁现在还能下载,赶紧去down一个mac版吧

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

应该选择mac ox 64位的版本

http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-macosx-x64.dmg

注:Yosemite上,只能安装jdk 1.7.0_79 这个版本,比它低的jdk 1.7版本已经没法正常安装了。

2、yum -install 问题

mac 虽然也是linux内核,但是很多其它linux版本下有用的东西,却被apple阉割掉了,比如apt-get,yum这些都没有,解决办法有二个:

a) 使用Mac Ports代替,官网地址:http://www.macports.org/

还有一篇网友的入门文章:http://www.ccvita.com/434.html

b) 使用HomeBrew,官网地址:http://brew.sh/

使用教程见: http://blog.csdn.net/delphiwcdj/article/details/19679891

3、maven 仓库的国内镜象问题

maven仓库的官网站点实在是太慢了,怪不得李总理强烈要求要提网速、降网费,不然实在严重阻碍中国IT事业的发展啊!!!

好在oschina做了件功德无量的好事,在国内搭建了一个镜像,把maven的settings.xml改成下面这样:

 1 <?xml version="1.0" encoding="UTF-8"?>
 2
 3 <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"
 4           xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
 5           xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">
 6
 7
 8   <mirrors>
 9     <mirror>
10       <id>nexus</id>
11       <mirrorOf>*</mirrorOf>
12       <url>http://maven.oschina.net/content/groups/public/</url>
13     </mirror>
14   </mirrors>
15
16   <profiles>
17     <profile>
18       <id>nexus</id>
19       <repositories>
20         <repository>
21           <id>nexus</id>
22           <name>Nexus</name>
23           <url>http://maven.oschina.net/content/groups/public/</url>
24           <releases><enabled>true</enabled></releases>
25           <snapshots><enabled>true</enabled></snapshots>
26         </repository>
27       </repositories>
28       <pluginRepositories>
29         <pluginRepository>
30           <id>nexus</id>
31             <name>Nexus</name>
32             <url>http://maven.oschina.net/content/groups/public/</url>
33             <releases><enabled>true</enabled></releases>
34             <snapshots><enabled>true</enabled></snapshots>
35         </pluginRepository>
36       </pluginRepositories>
37     </profile>
38   </profiles>
39   <activeProfiles>
40     <activeProfile>nexus</activeProfile>
41   </activeProfiles>
42
43
44  </settings>

4、hadoop 2.6.0 编译过程中,找不到jdk 7下的classes.jar、tools.jar问题

hadoop 2.7的编译,在mac下还算顺利,基本上按 64位centos 下编译 hadoop 2.6.0 源码 的套路来就行了,一次成功。

但是hadoop 2.6就有点二了,编译过程中会报一个错,大意是找到不jdk 7目录下的classes.jar文件,原因是这个文件现在已经更名成rt.jar,放在jre/lib下了。

所以解决办法是:

进入 cd $JAVA_HOME (默认是/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home/ 这个目录)

sudo mkdir Classes 手动创建这个目录

cd Classes

sudo cp ../jre/lib/rt.jar classes.jar 手动把rt.jar复制到这个目录下,并改名为classes.jar

sudo cp ../lib/*.jar 为防止其它jar包也找不到,把lib下所有jar包全放进来

再编译hadoop 2.6.0 就ok了

5、tez 0.7.0 编译过程中 nodejs 无法下载的问题

TEZ 0.5.2可以一路顺畅的编译,但是0.7.0就没这么好运了,会联到nodejs官网下载很多东西,所以编译ted 0.7.0这个版本,要选网速快的时段,比如月黑风高的夜晚,大家都在梦乡,不跟你抢带宽的时候编译。淘宝君提供了一个国内镜像 http://npm.taobao.org/ ,大家可以修改hosts,把官网地址直接指镜像地址试试。

时间: 2024-10-07 05:06:17

mac OS X Yosemite 上编译hadoop 2.6/2.7及TEZ 0.5.2/0.7 注意事项的相关文章

在Mac OS X Yosemite上 安装 TrueCrypt

今天在 OS X Yosemite  10.10.3 上安装 TrueCrypt 7.1a,出现如下错误 解决步骤: 1.打开 .dmg 文件,把里面的 .mpkg 文件拖到桌面(这个步骤是为了让.mpkg文件可以修改) 2.右键 .mpkg 文件,点击"显示包内容",双击"Contents"文件夹,找到"distribution.dist"文件,用文本编辑器打开,找到下面的代码 修改为下面的代码 3.保存 .mpkg 文件,然后执行安装即可 参

Mac OS X 10.10编译Hadoop 2.6.0笔记

原本通过brew 安装了Hadoop 2.6.0,但是使用过程中报一个错误(错误描述),查了资料说是因为native库的问题,看了一下,发现通过brew安装的版本根本就没有native目录,所以下载了源码自己编译.结果陆续出了不少问题,记录如下: 1.错误: 程序包com.sun.javadoc不存在 这个错误尝试了很多方法,包括在pom.xml中指定tools.jar文件等等 最后通过'export JAVA_HOME=/usr/libexec/java_home -v 1.6'命令切换JDK

Mac OS X Yosemite 上安装 MySql 5.6.26的几个坑

坑1,缺省端口不是3306 使用mysql-5.6.26-osx10.9-x86_64.dmg安装以后会在"系统偏好设置"中添加一个"MySql"控制面板 但是启动MySql Server的端口有可能为3307不是缺省的3306,如果想使用3306需要修改配置文件 /Library/LaunchDaemons/com.oracle.oss.mysql.mysqld.plist <string>--port=3307</string> 改为 &

Mac OS X Yosemite &amp; Arduino安装CH340 USB转串口驱动

新买的Arduino开发板 USB转串口使用了CH340芯片,在Mac OS X Yosemite上正常安装驱动后,在Arduino IDE的端口没发现相应的设备,使用以下方法后就能使用USB转串口调试和烧录程序.1.安装CH340驱动(驱动下载地址:http://www.wch.cn/download/CH341SER_MAC_ZIP.html)2.打开终端运行以下命令:  sudo nvram boot-args="kext-dev-mode=1"  sudo Reboot

MAC OS X Yosemite的PyQt4配置记录 by tsy

声明: 1)本报告由博客园bitpeach撰写,版权所有,免费转载,请注明出处,并请勿作商业用途. 2)若本文档内有侵权文字或图片等内容,请联系作者bitpeach删除相应部分. 3)本文档内容涉及Mac OS X Yosemite的PyQt4配置. 4)仅仅作为参考用途,抛砖引玉,不作为证据证明用途,请自行取舍,核实引用. 0目录 1.1参考文献 主要是汇总一下,我参考阅读的一些文献.以此为坚实基础,进行实践.这些参考博客或文章是非常宝贵的经验记录. 1.2环境 需要准备些什么 1.3过程步骤

在Mac OS X Yosemite 10.10.3 中搭建第一个 ASP.NET 5 Web 项目

终于有时间在 Mac 上安装一下 ASP.NET 5,网上有许多教程,但是多数的时间比较早了,版本不是最新,搭着 Build 2015 的春风,我也实践一下 Mac OS X 上的 ASP.NET 5. 经常使用 Windows 8.1,对 Mac 并不太熟悉,也一并把安装中的问题趟一遍. 前几天刚刚更新了 Mac 的操作系统,操作系统版本 Mac OS X Yosemite 10.10.3. 1. 在 Mac OS X 上安装 ASP.NET 5 ASP.NET 5 运行在 DNX 之上,DN

Mac OS X Yosemite 10.10.3 apache+mysql+django web开发环境的搭建

准备工作: 1.确认mac os x 的版本号为10.10.3: 2.mac os x yosemite预装了apache.python,因此无需下载该包: 在shell下输入python即可查看版本: Python 2.7.6 (default, Sep 9 2014, 15:04:36) [GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.39)] on darwin Type "help", "copyright"

Mac OS X 10.10 编译代码出错 fatal error: &#39;__debug&#39; file not found #include &lt;__debug&gt;

1. 错误描述 在mac系统升级到yosemite,或者Xcode版本升级后,在编译c++程序的时候无法通过,错误类型如下: 2. 解决方案 创建一个临时文件"__debug",可以解决这个问题.在命令行中执行以下代码: $ echo '#define _LIBCPP_ASSERT(x, m) ((void)0)' | sudo tee -a /Library/Developer/CommandLineTools/usr/include/c++/v1/__debug > /dev

Mac OS X Yosemite安装盘U盘制作

从App Store下载Mac OS X Yosemite安装程序,下载后的安装文件保存在应用程序(/Applications)文件夹中.请注意,此时一定不要直接启动该程序安装 OS X Yosemite,因为一旦安装完后该安装程序会被删除.至少,你应该先做完独立安装介质之后再启动该程序安装. 准备独立安装盘介质:你需要一个容量至少大于 8GB 的移动存储设备,比如 U 盘.移动硬盘或 SD 卡,将其插入 Mac,并启动磁盘工具对该介质执行”抹掉”操作,抹掉前请备份好该介质中的重要数据.盘符名请