apache 网站上面已经有了已经构建好了的版本，我这里还是自己利用午休时间重新构建一下（jdk,python,scala的安装就省略了，自己可以去安装）
http://www.apache.org/dist/spark/spark-1.0.1/ 具体官网的下载链接可以去这里
我下载的是http://www.apache.org/dist/spark/spark-1.0.1/spark-1.0.1.tgz源码包
下载对应的linux服务器上面，然后解压
wget http://www.apache.org/dist/spark/spark-1.0.1/spark-1.0.1.tgztar zxf spark-1.0.1.tgz cd spark-1.0.1
我们可以大概的ls浏览一下目录中有哪些文件，心中有个数
如果想要构建对应的安装包，apache已经为我们提供了一个构建脚本make-distribution.sh（也可以自己去参考官方提供的文档http://spark.apache.org/docs/latest/building-with-maven.html 不过脚本里面都给我们封装好了）
可以查看下脚本，里面肯定有介绍怎么用，看到下面这一段
# Optional Arguments # --tgz: Additionally creates spark-$VERSION-bin.tar.gz # --hadoop VERSION: Builds against specified version of Hadoop. # --with-yarn: Enables support for Hadoop YARN. # --with-hive: Enable support for reading Hive tables. # --name: A moniker for the release target. Defaults to the Hadoop verison.
下面我们开始执行构建命令
sh make-distribution.sh --hadoop 2.2.0 --with-yarn --with-hive --tgz
漫长的等待......
公司网络真慢，maven下载一些依赖要下老半天，人家午休都睡醒了，我还在呆呆的看着屏幕在滚，shit...
Spark 1.0.1源码安装
时间： 2024-10-01 00:16:48