测试集群简介:一共有4台机器:10.10.244.136、10.10.244.137、10.10.244.138、10.10.244.139。10.10.244.136是管理节点,另外3台是存储节点。准备工作详情如下:
1 在四台机器上安装CentOS release 6.5 (Final) 64位(管理节点需要安装Mysql\Postgresql\redhat_lsb)
2 CDH5.2(包含了Spark1.1) YUM源搭建、CM5.2 YUM源搭建、impala2 YUM 源搭建
CDH5.2仓库地址:http://archive-primary.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/
CM5.2仓库地址:http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/
impala2仓库地址:http://archive-primary.cloudera.com/impala/redhat/6/x86_64/impala/2/
3 关闭4台机器的selinux
cd /etc/selinux; vi config;SELINUX=disabled(找到它,修改成这样)
4 关闭4台机器的iptables(防火墙,CentoOS7.0 中就不是它了,好像是firewalk)
chkconfig --level 35 iptables off;
5 修改四台机器的hostname分别为master01.pmsc.gov.cn、datanode01.pmsc.gov.cn、datanode02.pmsc.gov.cn、 datanode03.pmsc.gov.cn
cd /etc/sysconfig; vi network;HOSTNAME=master01.pmsc.gov.cn(类似于这样修改)
6 在4台机器分别创建cloudera用户
groupadd cloudera;useradd -g cloudera cloudera;passwd cloudera;
7 让4台机器上的cloudera用户可以无密码获得sudo权限
cd /etc;chmod u+w sudoers;vi sudoers;cloudera ALL=(ALL) ALL;%cloudera ALL=(ALL)NOPASSWD : ALL(这两句话添加在root ALL=(ALL) ALL下方);chmod u-w sudoers
8 在4台机器间配置cloudera用户的SSH无密码通信
cd /etc;vi hosts;添加如下内容
10.10.244.136 master01.pmsc.gov.cn
10.10.244.137 datanode01.pmsc.gov.cn
10.10.244.138 datanode02.pmsc.gov.cn
10.10.244.139 datanode03.pmsc.gov.cn
10.10.244.129 archive.cloudera.com (YUM源本地机器)
cd /home/cloudera/.ssh;rm -rf *;ssh-keygen -t rsa -P ‘‘;cat id_rsa.pub>>authorized_keys(在4台机器上执行相同的操作,合并authorized_keys文件内容,并覆盖每个机器上的authorized_keys文件);chmod 600 authorized_keys;
9 在4台机器之间做时钟同步,保证时间的一致性(136 自己同步自己,其它机器同步136的时间。)
136上的配置(/etc/ntp.conf)
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server 127.127.1.0
fudge 127.127.1.0 stratum 8
137\138\139上的配置(/etc/ntp.conf)
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server 10.10.244.136
fudge 10.10.244.136 stratum 8
136\137\138\139设置ntpd服务开机自启动
sudo chkconfig ntpd on
137\138\139上在cloudera用户下每天同步一次时间(使用crontab)
30 21 * * * sudo ntpdate 10.10.244.131
10 在4台机器上安装JDK(最小版本1.7.0_67)
sudo vi /etc/profile;添加如下配置
export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
11 Mysql数据的安装配置
默认字符编码设置为utf-8:
[mysqld]
character-set-server=utf8
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
[client]
port = 3306
socket = /var/lib/mysql/mysql.sock
default-character-set=utf8
[mysql]
no-auto-rehash
default-character-set=utf8
修改root账户密码:update user set Password = Password(‘test‘) where Host = ‘%‘ and User = ‘root‘;flush
privileges;
开启远程登录:update user set host = ‘%’ where user = ‘root’;flush privileges;
修改数据文件存储位置:
[mysqld]
datadir=/home/mysql
设置开机自启动:sudo chkconfig mysqld on