因为开发需要在本地组建一个Hadoop/Spark集群，但公司IT政策不允许本地集群接入互联网，所以只能离线安装各种组件。
下面把安装过程记录下来，作为项目文档。
安装准备工作
主机和系统
| HadoopMaster | Cent OS 6.4 x64 | 16G | 192.168.1.10 |
| HadoopSlave1 | Cent OS 6.4 x64 | 16G | 192.168.1.11 |
| HadoopSlave2 | Cent OS 6.4 x64 | 8G | 192.168.1.12 |
安装包下载
可以自行到下面列出的文件目录里去找最新版本或直接点文件链接下载parcel和sha文件
注意：这里我们用的是Cent OS 6.4所以下载的时候要选择带el6标记的
Cloudera Manager:
文件目录：http://archive.cloudera.com/cm5/cm/5/
Cloudera Manager5.7.1包：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.7.1_x86_64.tar.gz
CDH:
文件目录：http://archive.cloudera.com/cdh5/parcels/5/
CHD5.7.1 parcel: http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel
CHD5.7.1 sha: http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1
Kafka:
文件目录：http://archive.cloudera.com/kafka/parcels/2.0.1/
Kafka1.2.0.1 parcel: http://archive.cloudera.com/kafka/parcels/2.0.1/KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel
Kafka1.2.0.1 sha: http://archive.cloudera.com/kafka/parcels/2.0.1/KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel.sha1
系统和环境配置
主机名和host文件配置
更改主机名：
打开网络配置
sudo vim /etc/sysconfig/network
如下方式更改主机名，把本台机器的主机名分别改为HadoopMaster/HadoopSlave1/HadoopSlave2
NETWORKING=yes HOSTNAME=HadoopMaster
重启网络
sudo service network restart
配置hosts文件:
打开hosts文件
sudo vim /etc/hosts
改为如下配置
192.168.1.10 HadoopMaster 192.168.1.11 HadoopSlave1 192.168.1.12 HadoopSlave2
主机之间SSH免密码登录配置
生成SSH密钥
执行下面命令，一路回车~
ssh-keygen -t rsa
执行完之后在~/.ssh/目录下会生成一个保存有公钥的文件：id_rsa.pub
把HadoopMaster公钥追加到SSH验证文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
把HadoopSlave1和HadoopSlave2的公钥写入HadoopMaster的~/.ssh/authorized_keys文件，最终生成如下的内容的authorized_keys文件：
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEArYU2kMXsu75Gzwvuby7OoGzC7GVwxVo+ol/7nJVD BpKpJLRHRe/d2HSNe9ZZRWLK2tU0e41baMxrYRoAKJA2ujcWfy7t57c3ArO9hA7KJy7MqMiT8WHQ M3I2Afsx6sVKeQU/czDLXHn+KjwKbR8z0tuycgtxgkaWx1PCpCKeFDAXDVvxYcurSUNaIGL5Egzu Iy97N52ld/WxUZnRRsTPdpW88JkhWdOV1Bdo4O67rNv5tSYKHXfPwqi8NekqoHIExgVRsHLvM8fe xvV4mo8lXYdQPRCyrtM9/V+4kSW8eaBO7w6hM9YVZIspSqx0+OqibWTvqSmiAVh0JmUT0MCeVQ== [email protected] ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA7n27x4qSzRQNGQAL+rT1+91IQnM9cwZYFeSUzrJD GDfwCTJMKnRBYxrDMxTAM6MKjfwwkPzXnbKHLQnDiJKUSdF8H2xcgDMBJLssVQjOc2jSEg/VppQN hJwObbIL3k1FbU2KxkOp7yW5PIodZrgUwlH5wdXtfsPKimvv72uA1KUiqPbYA3ZJqXw9Bt87K6Sv IAkvUjshnfaS+wNEBVwW1dhXyz6DHuY+Tn9330+1oYfdmgSjS4ZqvZVothhhV58DNwzAYwINCpBA tkjFbk/SOf0q/4rSJRpe2yH9xOuZdwqXMfk3dkp0UFZkV2EVSLyaCNKwTbSuKN75FWhgl8QB7w== [email protected] ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAw91O/1NWnbr6/vop+xwnqR/XYNpwkWselzyHNqgD PYgXXsDHsvOZbpTX7pgOTgVSmlZetCdX4C1lsc/PO8IitvvBS/qWU216lXaqlW61RcliCrYH/RwN f8XTLx/Ga04w2qEIFlLOiuH6x/KA22muOLYaSIefXv38xj0Hj41iE5ZIseaLuJogn7iqJ6Fq0wQH i6ueF9BasSWnOHhn6CJamYz3FC9r2m3vwPMkgagPp1FdYyDxodK+MZlwu6TxqP6QQ7BY/Wh5DZK8 C8zpDOZGQgWOrghF58TlZSmJYmukv1NqsY8PCFuoj7vfoUzVKQkyKcEiohwBcTb50vGPl06bMQ== [email protected]
把HadoopMaster的authorized_keys拷贝到HadoopSlave1和HadoopSlave2
scp ~/.ssh/authorized_keys [email protected]:~/.ssh/ scp ~/.ssh/authorized_keys [email protected]:~/.ssh/
详细步骤请参考：http://www.cnblogs.com/keitsi/p/5653520.html
安装Java 8
旧版本卸载
#查看安装的Java rpm -qa | grep java #卸载相应的Java包 rpm -e --nodeps Java包名
安装包下载
打开下面链接下载相关的rpm包
http://www.oracle.com/technetwork/java/javase/downloads/index.html
安装
sudo rpm -ivh jdk-8u91-linux-x64.rpm
在主节点安装配置MySQL(HadoopMaster)
安装
#安装 sudo yum install mysql-server #开机启动 sudo chkconfig mysqld on #启动 sudo service mysqld start #设置root用户密码 sudo mysqladmin -u root password ‘xxxx‘
关闭防火墙和SELinux
如果一个配置端口的话会比较麻烦，所以在安装过程中就把防火墙关闭，可以在安装完成后再根据需求配置
关闭防火墙
临时关闭
sudo service iptables stop
如果要永久关闭，可以修改配置：
sudo chkconfig iptables off
关闭SELinux
临时关闭
sudo setenforce 0
如果要永久关闭，可以修改配置：
sudo vim /etc/selinux/config
设置SELINUX=disabled
安装配置NTP
NTP用于同步各个服务器的时间，如果服务器之间的时间相差太大的话会导致一些服务down掉。
如果是可连接外网并可以连接到时间服务器的话，可以配置，但是这里是内网的测试环境没有办法连接到同步服务器，所以只能自己手机控制时间了！
Cloudera Manager安装
文件上传
把cloudera-manager-el6-cm5.7.1_x86_64.tar上传到Master机并拷贝到所有的Slave机子上
scp cloudera-manager-el6-cm5.7.1_x86_64.tar.gz [email protected]:~ scp cloudera-manager-el6-cm5.7.1_x86_64.tar.gz [email protected]:~
解压文件
在所有机器上执行下面命令，把cm的压缩文件解压到/opt/
sudo tar xzvf cloudera-manager-el6-cm5.7.1_x86_64.tar.gz -C /opt/
Agent配置
在所有Slave机上配置Master机的主机名
sudo vim /opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini
把server_host设置成Master机的主机名
server_host=HadoopMaster
新建用户cloudera-scm
为所有的机器新建cloudera-scm用户，注意把--home设置为对应的路径：
sudo useradd --system --home=/opt/cm-5.7.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
为Cloudera Manager建立数据库
下载MySQL驱动
http://dev.mysql.com/downloads/connector/j/
解压把驱动的jar文件上传到/opt/cm-5.7.1/share/cmf/lib
创建数据库
sudo /opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot [email protected] --scm-host localhost scm scm scm
mysql -uroot -pxxxx
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;