铭文一级：
第五章：实战环境搭建
Spark源码编译命令:
./dev/make-distribution.sh \
--name 2.6.0-cdh5.7.0 \
--tgz \
-Pyarn -Phadoop-2.6 \
-Phive -Phive-thriftserver \
-Dhadoop.version=2.6.0-cdh5.7.0
铭文二级：
第五章：实战环境搭建(所有都配置到环境变量)
1、Scala的安装：Download->previous releases //课程使用2.11.8
2、Maven的安装：Download->archives->binaries //课程使用3.3.9
修改settings.xml的默认仓库地址
3、下载hadoop的安装包（CDH5的地址里有）
生成ssh公钥指令：ssh-keygen -t rsa
拷贝公钥：cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
解压hadoop安装包：
env/hadoop目录下6个配置文件需要修改(*#* //对应name与value配对)：
hadoop.env.sh //修改java_home地址
core-site.xml /* fs.defaultFS#hdfs://hadoop000:8020 hadoop.tmp.dir#/home/hadoop/app/tmp */
hdfs-site.xml //副本系数自行设置: dfs.replication#1
slaves //修改主机localhost为hadoop000
修改完这四个文件可以格式化hadoop：
进入hadoop目录的bin目录，执行：./hadoop namenade -format
配置到环境变量
到sbin目录下：./start-dfs.sh //hadoop000:50070
mapred-site.xml //cp一份模板出来 运行在yarn上：mapreduce.framework.name#yarn
yarn-site.xml //整合mapreduce：yarn.nodemanager.aux-services#mapredue-shuffle
到sbin目录下：./start-yarn.sh //hadoop000:8088
hadoop fs -ls /
hadoop fs -mkdir /data
hadoop fs -put $FILE /data/
hadoop fs -test $FILE //查看详细内容
Spark环境搭建，具体操作看笔记一的铭文二、铭文四或者：https://www.imooc.com/article/18419
原文地址：https://www.cnblogs.com/kkxwz/p/8366348.html