搭建Spark分布式集群

0.准备

先准备好以下软件：

1.设置静态IP

Ubuntu系统设置静态IP

l 设置静态IP

Sudogedit /etc/network/interfaces

修改文件：

autolo

ifaceio inet loop back

autoeth0

ifaceeth0 inet static

address202.114.24.88

netmask255.255.255.192

gateway  202.114.24.126

保存，并关闭gedit。

这样，IP并没有立即生效。需要执行

$sudo/etc/init.d/networking restart

l 修改DNS

DNS信息保存在/etc/resolv.conf中，一旦更改，立即生效。

$sudogedit /etc/resolv.conf

nameserver202.114.0.242

nameserver202.112.20.131

改完上面，如果重启的话，还是会变为原来的样子，所以要让其永久改变，因此执行

Vim/etc/resolveconf/resolv.conf.d/base

在里面添加

nameserver202.114.0.242

nameserver202.112.20.131

2.搭建Hadoop分布式集群

本教程基于 Hadoop 2.4.1，但应该适用于所有 2.x
版本。我在 Ubuntu
下多次安装过，按照本教程一般都可以配置成功。本教程只是基础的安装配置，更多功能、配置、技巧就需要各位自行探索了。

环境

·        系统: Ubuntu 14.0464bit

·        Hadoop版本: hadoop 2.4.1 (stable)

·        JDK版本: jdk1.8.0_25

·        集群环境:
三台主机，一台作为master，局域网IP为202.114.24.88；另一台作为slave1，局域网IP为202.114.24.89；另一台作为slave2，局域网IP为202.114.24.90；.

网络配置

我使用了三台主机搭建集群，主机名与IP地址对应如下：

master 202.114.24.88

slave1 202.114.24.89

slave2 202.114.24.90

首先选定哪台主机要作为master（比如我选择的是ip为  202.114.24.88
这台），然后在该主机的 /etc/hostname 中，修改机器名为master，将其他主机命令为slave1、slave2等。接着在 /etc/hosts 中，把所有集群的主机信息都写进去。

sudo vim /etc/hostname

sudo vim /etc/hosts

完成后，如下图所示(/etc/hosts
中只能有一个127.0.0.1，对应为localhost，否则会出错)。最好重启一下，在终端中才会看到机器名的变化。

Hadoop中的hosts设置

注意，该网络配置需要在所有主机上进行

如上面讲的是 Master
主机的配置，而在其他的 Slave
主机上，也要对 /etc/hostname（修改为 Slave1、Slave2等）和
/etc/hosts（一般跟 Master
上的配置一样）这两个文件进行相应的修改！

配置好后可以在各个主机上执行ping Master和ping Slave1测试一下，看是否相互ping得通。

ping

设置环境变量

用户环境变量设置，为了不影响之前的伪分布式安装，修改本用户的环境变量文件（~/.bashrc）

$gedit ~/.bashrc

exportJAVA_HOME=/home/spark/software/jdk1.8.0_25

export JRE_HOME=/home/spark/software/jdk1.8.0_25/jre

exportHADOOP_HOME=/home/spark/software/hadoop-2.4.1

exportSCALA_HOME=/home/spark/software/scala-2.10.4

exportSPARK_HOME=/home/spark/software/spark-1.1.0-bin-hadoop2.4

exportM2_HOME=/home/spark/software/apache-maven-3.2.3

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$M2_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME:$PATH

SSH无密码登陆节点

这个操作是要让Master节点可以无密码SSH登陆到Slave节点上。

首先生成 Master
的公匙，在 Master
节点终端中执行：

cd ~/.ssh                # 如果没有该目录，先执行一次ssh localhost

ssh-keygen -t rsa              #
一直按回车就可以，生成的密钥保存为.ssh/id_rsa

Master 节点需能无密码 ssh
本机，这一步还是在 Master
节点上执行：

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

完成后可以使用 ssh Master 验证一下。接着将公匙传输到
Slave1 节点：

scp ~/.ssh/[email protected]:/home/hadoop/

scp时会要求输入Slave1上hadoop用户的密码(hadoop)，输入完成后会提示传输完毕。

接着在 Slave1节点 上将ssh公匙保存到相应位置，执行

cat ~/id_rsa.pub >>~/.ssh/authorized_keys

如果有其他 Slave
节点，也要执行将公匙传输到 Slave
节点、在 Slave
节点上加入授权这两步。

最后在 Master
节点上就可以无密码SSH到Slave1节点了。

ssh Slave1

ssh错误

1 ssh localhost

SSH生成id_rsa, id_rsa.pub后，连接服务器却报：

Agent admitted failure to sign using the key错误。

解决方法：

在当前用户下执行命令：

ssh-add

即可解决。

配置集群/分布式环境

集群/分布式模式需要修改 etc/hadoop
中的5个配置文件，后四个文件可点击查看官方默认设置值，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。

1, 文件 slave

cd /usr/local/hadoop/etc/hadoop

vim slaves

将原来 localhost 删除，把所有Slave的主机名写上，每行一个。例如我只有一个
Slave节点，那么该文件中就只有一行内容： Slave1。

2, 文件 core-site.xml ，将原本的如下内容：

<property>

</property>

改为下面的配置。后面的配置文件的修改类似。

<property>

<name>fs.defaultFS</name>

<value>hdfs://Master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

3, 文件hdfs-site.xml，因为只有一个Slave，所以dfs.replication的值设为1。

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>Master:50090</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

4, 文件mapred-site.xml，这个文件不存在，首先需要从模板中复制一份：

cp mapred-site.xml.templatemapred-site.xml

然后配置修改如下：

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

5, 文件yarn-site.xml：

<property>

<name>yarn.resourcemanager.hostname</name>

<value>Master</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

配置好后，将 Master
上的 Hadoop
文件复制到各个节点上(虽然直接采用 scp
复制也可以正确运行，但会有所不同，如符号链接 scp
过去后就有点不一样了。所以先打包再复制比较稳妥)。

cd /usr/local

sudo tar -zcf ./hadoop.tar.gz ./hadoop

scp ./hadoop.tar.gz Slave1:/home/hadoop

在Slave1上执行：

sudo tar -zxf ~/hadoop.tar.gz -C/usr/local

sudo chown -R hadoop:hadoop/usr/local/hadoop

如果之前有跑过伪分布式模式，建议切换到集群模式前先删除之前的临时文件：

rm -r /usr/local/hadoop/tmp

切换 Hadoop
模式应删除之前的临时文件

切换 Hadoop
的模式，不管是从集群切换到伪分布式，还是从伪分布式切换到集群，如果遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。或者可以为集群模式和伪分布式模式设置不同的临时文件夹（未验证）。所以如果集群以前能启动，但后来启动不了，特别是 DataNode
无法启动，不妨试着删除所有节点（包括 Slave
节点）上的 tmp
文件夹，重新执行一次 bin/hdfs namenode -format，再次启动试试。

然后在Master节点上就可以启动hadoop了。

cd /usr/local/hadoop/

bin/hdfs namenode -format       #
首次运行需要执行初始化，后面不再需要

sbin/start-dfs.sh

sbin/start-yarn.sh

通过命令jps可以查看各个节点所启动的进程。

通过jps查看Master的Hadoop进程

可以看到Master节点启动了NameNode、SecondrryNameNode、ResourceManager进程。

通过jps查看Slave的Hadoop进程

Slave节点则启动了DataNode和NodeManager进程。

另外也可以在Master节点上通过命令bin/hdfs
dfsadmin -report查看DataNode是否正常启动。例如我这边一共有1个Datanodes。

通过dfsadmin查看DataNode的状态

通过查看启动日志分析启动失败原因

有时Hadoop集群无法正确启动，如 Master
上的 NameNode
进程没有顺利启动，这时可以查看启动日志来排查原因，不过新手可能需要注意几点：

·        启动时会提示 “Master:starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.out”，但其实启动日志信息是记录在/usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.log
中；

·        每一次的启动日志都是追加在日志文件之后，所以得拉到最后面看，这个看下记录的时间就知道了。

·        一般出错的提示在最后面，也就是写着 Error
或者 Java
异常的地方。

也可以通过Web页面看到查看DataNode和NameNode的状态，http://master:50070/

关闭Hadoop集群也是在Master节点上执行：

sbin/stop-dfs.sh

sbin/stop-yarn.sh

执行WordCount实例

执行WordCount实例过程与伪分布式模式一样。首先创建所需的几个目录

bin/hdfs dfs -mkdir /user

bin/hdfs dfs -mkdir /user/hadoop

将etc/hadoop中的文件作为输入文件复制到分布式文件系统中。

bin/hdfs dfs -put etc/hadoop input

通过查看DataNode的状态（占用大小有改变），输入文件确实复制到了DataNode中。

通过Web页面查看DataNode的状态

接着就可以运行MapReduce作业了。

bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar grep input output‘dfs[a-z.]+‘

运行时的信息如下所示，显示Job的进度。可能会比较慢，但如果迟迟没有进度，比如10分钟都没看到进度，那不妨重启Hadoop再试试。

显示MapReduce Job的进度

同样可以通过Web界面查看任务进度 http://master:8088/cluster

通过Web页面集群状态和MapReduce作业的信息

在 Web
界面点击 “Tracking UI”
这一列的 History，可能会提示网页无法打开，遇到这种情况需要手动开启 jobhistoryserver，开启之后刷新页面再点击就可以打开了。

/usr/local/hadoop/sbin/mr-jobhistory-daemon.shstart historyserver

执行完毕后的输出结果：

MapReduce作业的输出结果

3.Spark1.1.0 on Standalone 模式部署

选择的是Spark1.1.0，进行分布式安装，共三台机器，一台master，两台worker

规划

master(IP地址为202.114.24.88)作为Master

slave1(IP地址为202.114.24.89)、slave2(IP地址为202.114.24.90)作为worker

由于master、slave1、slave2之前已经安装了hadoop2.4.1集群，所以省却了安装JAVA、建立用户hadoop的SSH无密码登录过程。当然，Spark集群可以独立于hadoop集群外安装，但是需要安装JAVA、建立SSH无密码登录。另外，为了避免Spark应用程序要打包scala包（详见Spark1.0.0
多语言编程之Scala实现），在集群的每个节点上安装了scala2.10.4（安装目录/home/spark/software/scala2.10.4）。

配置集群文件

$ vi conf/slaves

$ catconf/slaves

slave1

slave2

$ cp conf/spark-env.sh.templateconf/spark-env.sh

$ viconf/spark-env.sh

$ catconf/spark-env.sh

exportSPARK_MASTER_IP=master

exportSPARK_MASTER_PORT=7077

exportSPARK_WORKER_CORES=1

exportSPARK_WORKER_INSTANCES=1

exportSPARK_WORKER_MEMORY=1g

派发安装文件到slaves

$ scp -r spark-1.1.0-bin-hadoop2.4 slave1:/home/spark/software

$ scp -r spark-1.1.0-bin-hadoop2.4 slave2:/home/spark/software

启动集群

在Master主机上启动spark standalone集群

$sbin/start-all.sh

通过浏览器访问http://master:8080可以监控spark Standalone集群

Spark启动错误

[email protected]:~/software/spark-1.1.0-bin-hadoop2.4$sbin/start-all.sh

startingorg.apache.spark.deploy.master.Master, logging to/home/spark/software/spark-1.1.0-bin-hadoop2.4/sbin/../logs/spark-spark-org.apache.spark.deploy.master.Master-1-master.out

slave2: startingorg.apache.spark.deploy.worker.Worker, logging to/home/spark/software/spark-1.1.0-bin-hadoop2.4/sbin/../logs/spark-spark-org.apache.spark.deploy.worker.Worker-1-slave2.out

slave1: startingorg.apache.spark.deploy.worker.Worker, logging to /home/spark/software/spark-1.1.0-bin-hadoop2.4/sbin/../logs/spark-spark-org.apache.spark.deploy.worker.Worker-1-slave1.out

slave2: failed to launchorg.apache.spark.deploy.worker.Worker:

slave2:  JAVA_HOME is not set

slave2:full log in /home/spark/software/spark-1.1.0-bin-hadoop2.4/sbin/../logs/spark-spark-org.apache.spark.deploy.worker.Worker-1-slave2.out

其实，明明有设置JAVA_HOME,slave1都没问题，估计是ubuntu的问题

解决办法：在slave2的software/spark-1.1.0-bin-hadoop2.4/conf/spark-env.sh中添加

export JAVA_HOME=/home/spark/jdk1.8.0_25

测试

最好的spark测试程序就是spark-shell了，关于spark-shell，在spark1.0.0有了较大的变动，会在专门的章节里加以描述，然后给以链接。

在本实验standalone集群中，设置了3个节点，每个节点一个worker实例，每个worker实例使用1个core和3G内存。下面将启动2个spark-shell客户端：

·        前者运行在standalone集群中的hadoop1上，后者运行在standalone集群外的客户端wyy上。

·        前者的executor使用缺省的内存；后者executor使用2g内存。

·        前者的executor使用2个core；后者不加限制，因为整个集群总共3个core，前者使用了2个，所以后者只能使用1个。如果前者的spark-shell不限制core的话，会使用掉3个core，导致第二个spark-shell将无法申请到资源，处于等待状态。

A：在集群中启动spak-shell

[[email protected] spark100]$ bin/spark-shell--master spark://hadoop1:7077  --total-executor-cores 2

B：在集群外一台ubuntu客户端wyy上启动spak-shell（注意配置文件和集群中的一致）

[email protected]:/app/hadoop/spark100$bin/spark-shell --master spark://hadoop1:7077 --executor-memory 2g

C：监控spark集群

附 各项配置

本实验平台是在三台物理机上搭建的，物理机的配置是2G内存，2核CPU。平台的环境配置如下：

/etc/hostname

/etc/hosts

~/.bashrc

——2015.2.14