Hadoop-HBASE 热添加新节点

环境:
192.168.137.101 hd1
192.168.137.102 hd2
192.168.137.103 hd3
192.168.137.104 hd4
四节点hadoop和hbase

1、设置hostname
vi /etc/sysconfig/network
hostname hd5
设置完毕后需要退出重新登录下方可生效
查看防火墙状态:service iptables status
停用防火墙:service iptables stop

2、hd5中修改/etc/hosts
加入        192.168.137.105 hd5

3、分发其到所有hd1, hd2, hd3, hd4
scp /etc/hosts hd1:/etc
scp /etc/hosts hd2:/etc
scp /etc/hosts hd3:/etc
scp /etc/hosts hd4:/etc

4、在hd5节点删除原来的.ssh中的共钥私钥文件,重新生成
cd ~/.ssh
rm id_rsa
rm id_rsa.pub
ssh-keygen -t rsa

5、将原先hd1节点中的authorized_keys文件拷贝到hd5,再加入新共钥
cat ~/.ssh/id_rsa.pub >> authorized_keys

6、分发改文件到其它各节点
scp ~/.ssh/authorized_keys hd1:/home/hadoop/.ssh
scp ~/.ssh/authorized_keys hd2:/home/hadoop/.ssh
scp ~/.ssh/authorized_keys hd3:/home/hadoop/.ssh
scp ~/.ssh/authorized_keys hd4:/home/hadoop/.ssh

7、前往各个节点进行第一次到hd5的ssh登录(hd5本地的也做一次回环ssh登录比较好)
在hd1, ssh hd5 date
在hd2, ssh hd5 date
在hd3, ssh hd5 date
在hd4, ssh hd5 date
在hd5, ssh hd5 date

8、将某节点上的hadoop和hbase安装文件拷贝到新节点上,然后修改配置文件
在hd5修改hadoop的slave文件
vim /home/hadoop/hadoop/etc/hadoop/slaves
加入hd5
分发其到其它节点
scp /home/hadoop/hadoop/etc/hadoop/slaves hd1:/home/hadoop/etc/hadoop
scp /home/hadoop/hadoop/etc/hadoop/slaves hd2:/home/hadoop/etc/hadoop
scp /home/hadoop/hadoop/etc/hadoop/slaves hd3:/home/hadoop/etc/hadoop
scp /home/hadoop/hadoop/etc/hadoop/slaves hd4:/home/hadoop/etc/hadoop

9、在hd5启动datanode
./hadoop-daemon.sh start datanode

10、在hd5启动start-balancer.sh均衡当前hdfs块
start-balancer.sh

11、如果还有hbase在上面运行则需要部署hbase的hserver
修改
vim /home/hadoop/hbase/conf/regionservers
加入hd5 并复制regionservers文件到hd1,hd2,hd3,hd4
scp regionservers hd1:/home/hadoop/hbase/conf
scp regionservers hd2:/home/hadoop/hbase/conf
scp regionservers hd3:/home/hadoop/hbase/conf
scp regionservers hd4:/home/hadoop/hbase/conf

13、在hd5启动hbase regionserver
hbase-daemon.sh start regionserver

14、在hd1和hd5启动hbase shell
用status命令确认一下集群情况

时间: 2024-08-01 10:46:42

Hadoop-HBASE 热添加新节点的相关文章

大数据实操3 - hadoop集群添加新节点

hadoop集群支持动态扩展,不需要停止原有集群节点就可以实现新节点的加入. 我是使用docker搭建的进群环境,制作了镜像文件,这里以我的工作基础为例子介绍集群中添加集群的方法 一.制作一个新节点 1.为新节点搭建hadoop环境 如果是一般情况下,将一个新物理机添加到集群中,参照集群中其他节点,在新机器上安装与集群中其他节点相同版本的jdk.hadoop等必要程序,安装路径最好一致,这样比较容易管理.这里我使用docker搭建的环境,所以只需要启动一个容器即可. 2.修改新节点主机名映射 v

Hadoop集群添加新节点步骤

1.在新节点中进行操作系统配置,包括主机名.网络.防火墙和无密码登录等. 2.在所有节点/etc/host文件中添加新节点 3.把namenode的有关配置文件复制到该节点 4.修改master节点slaves文件,增加改节点 5.单独启动该节点上的datanode和nodemanager $hadoop-daemon.sh start datanode(在新增加节点启动 datanode) $yarn-daemon.sh start nodemanager 运行start-balancer.s

Hadoop 2.2.0 热添加新节点 (含HBASE)

环境: 192.168.137.101 hd1 192.168.137.102 hd2 192.168.137.103 hd3 192.168.137.104 hd4 四节点hadoop和hbase 1.hd5中修改/etc/hosts 加入 192.168.137.105hd5 2.分发其到所有hd1,hd2,hd3,hd4 scp/etc/hostshd1:/etc scp/etc/hostshd2:/etc scp/etc/hostshd3:/etc scp/etc/hostshd4:/e

Cassandra 集群管理-添加新节点

Cassandra 集群添加节点 注意 本文档只是体系文档中的一部分,前面文档信息详见:https://blog.51cto.com/michaelkang/2419518 场景: 用于节点扩容,测试方法:清理(172.20.101.165)节点上所有数据,模拟新节点加入: 确认内容: 1:使用相同版本的Cassandra 2:注意,种子节点不能引导.确保新节点没有在-seeds列表中列出,不要使所有节点种子节点. 3:copy加入DC现有节点配置文件到新节点,然后进行配置修改,文件如下: 在c

redis集群添加新节点

一.创建节点(接上文) 1.在H1服务器/root/soft目录下创建7002目录 2.将7001目录的配置文件redis.conf拷贝到7002,并修改配置文件的端口 3.进入 redis-5.0.5 目录下,执行启动命令 ./src/redis-server ../7002/redis.conf 4.进入H2创建7002的salve,步骤与前三个步骤一样 二.添加节点 1.第一个ip:port 为需要添加的节点ip和端口,第二个ip:port为当前集群中的节点和端口:先后执行以下命令: ./

treeview右键添加新节点

private void advTree1_MouseDown(object sender, MouseEventArgs e) { if (e.Button == MouseButtons.Right)//判断你点的是不是右键 { Point ClickPoint = new Point(e.X, e.Y); Node CurrentNode =advTree1.GetNodeAt(ClickPoint); if (CurrentNode != null)//判断你点的是不是一个节点 { Co

hadoop及hbase集群增加节点

老的集群服务器: 192.168.11.131 master1 192.168.11.132 master2 192.168.11.133 slave1 192.168.11.134 slave2 192.168.11.135 slave3 新加入的节点: 192.168.11.136 slave4 192.168.11.137 slave5 一.hadoop扩容 1.配置各节点hosts文件,加入新加入的两个节点的IP和主机名 新添加的节点添加下面内容 192.168.11.131 maste

Hadoop概念学习系列之Hadoop集群动态增加新节点或删除已有某节点及复制策略导向

hadoop-2.6.0动态添加新节点 https://blog.csdn.net/baidu_25820069/article/details/52225216 Hadoop集群动态增加新节点 一.在新增节点配置运行环境 1.安装和其他节点相同的java环境,jdk版本要相同. 2.修改/etc/hosts配置文件,添加ip与hostname的对应关系并分发到集群各个节点. 3.关闭防火墙.相关软件工具的安装等. 4.配置ssh免密码登录,使新增节点和集群其他节点能实现免密码登录. 5.修改s

Hadoop动态添加/删除节点(datanode和tacktracker)

总的来说,正确的做法是优先通过配置文件,再在具体机器上进行相应进程的启动/停止操作. 网上一些资料说在调整配置文件的时候,优先使用主机名而不是IP进行配置. 总的来说添加/删除DataNode和TaskTracker的方法非常相似,只是操作的配置项和使用的命令有微小差异. 1. DataNode 1.0 配置文件 在master/namenode下修改配置文件conf/mapred-site.xml. 关键参数dfs.hosts和dfs.hosts.exclude. 注意:不同hadoop版本的