老的集群服务器:
192.168.11.131 master1
192.168.11.132 master2
192.168.11.133 slave1
192.168.11.134 slave2
192.168.11.135 slave3
新加入的节点:
192.168.11.136 slave4
192.168.11.137 slave5
一、hadoop扩容
1、配置各节点hosts文件,加入新加入的两个节点的IP和主机名
新添加的节点添加下面内容
192.168.11.131 master1
192.168.11.132 master2
192.168.11.133 slave1
192.168.11.134 slave2
192.168.11.135 slave3
新节点互相加入对方的主机名解析
老的节点添加下面内容
192.168.11.136 slave4
192.168.11.137 slave5
2、准备工作
参照之前的博客生产环境下hadoop HA集群及Hbase HA集群配置为新添加的节点做以下操作:
配置主机名
关闭防火墙和selinux
配置yum源
配置时间同步(作为ntp服务客户端)
创建组和用户
创建目录
无密码登陆
配置java环境
3、修改hadoop配置文件并拷贝hadoop文件
登录master1节点
$ cd /data1/usr/hadoop-2.7.3/etc/hadoop
$ vi slaves
添加新加入的节点信息
slave4
slave5
$ for ip in 2 3 4 5;do scp /data1/usr/hadoop-2.7.3/etc/hadoop/slaves 192.168.11.13$ip:/data1/usr/hadoop-2.7.3/etc/hadoop/;done
拷贝hadoop文件到新节点
$ scp -rpq /data1/usr/hadoop-2.7.3 [email protected]:/data1/usr
$ scp -rpq /data1/usr/hadoop-2.7.3 [email protected]:/data1/usr
4、清空日志
登录到新添加的服务器
$ cd /data1/usr/hadoop-2.7.3/logs
$ rm *.log.*
$ rm *.out.*
$ for i in `find . -name "*.log" -o -name "*.out"`;do cat /dev/null >$i;done
删除其他项目和文件
对比datanode老的节点,把/data1/usr/hadoop-2.7.3下多余的文件和目录删除。
5、启动服务
分别登陆新节点,启动datanode
$ cd /data1/usr/hadoop-2.7.3/sbin
$ ./hadoop-daemon.sh start datanode
登陆master1节点,刷新datanode列表
$ cd /data1/usr/hadoop-2.7.3/bin
$ ./hdfs dfsadmin -refreshNodes
查看列表信息
$ ./hdfs dfsadmin -report
8、对hdfs负载均衡
$ cd /data1/usr/hadoop-2.7.3/sbin
$ ./start-balancer.sh
启动yarn
$ cd /data1/usr/hadoop-2.7.3/sbin
$ ./yarn-daemon.sh start nodemanager
查看集群情况
$ cd /data1/usr/hadoop-2.7.3/bin
$ yarn rmadmin -refreshNodes
$ ./yarn node -list
二、hbase扩容
1、登陆master1,修改配置文件
$ cd /data1/usr/hbase-1.2.4/conf
$ vi regionservers
添加新节点主机
slave4
slave5
$ for ip in 2 3 4 5;do scp /data1/usr/hbase-1.2.4/conf/regionservers 192.168.11.13$ip:/data1/usr/hbase-1.2.4/etc/hadoop/;done
登陆新节点,创建目录,修改权限
2、拷贝hbase文件到新节点
登陆master1节点
$ scp -rpq /data1/usr/hbase-1.2.4 [email protected]:/data
$ scp -rpq /data1/usr/hbase-1.2.4 [email protected]:/data
清理日志
$ cd /data1/usr/hbase-1.2.4/logs
$ rm *.out.*
$ >hbase-hduser-master-master1.log
$ >hbase-hduser-master-master1.out
3、登陆新节点,启动服务
$ cd /data1/usr/hbase-1.2.4/bin
$ ./hbase-daemon.sh start regionserver
$ ./hbase shell
status
原文地址:http://blog.51cto.com/xiaoxiaozhou/2138807