Hadoop 2.2.0 热添加新节点 (含HBASE)

环境:

192.168.137.101 hd1

192.168.137.102 hd2

192.168.137.103 hd3

192.168.137.104 hd4

四节点hadoop和hbase

1、hd5中修改/etc/hosts

加入

192.168.137.105hd5

2、分发其到所有hd1,hd2,hd3,hd4

scp/etc/hostshd1:/etc

scp/etc/hostshd2:/etc

scp/etc/hostshd3:/etc

scp/etc/hostshd4:/etc

3、修改hd5节点的

/home/hadoop/hadoop/etc/hadoop/slaves

加添hd5作为最后一个节点

4、在hd5节点删除原来的.ssh中的共钥私钥文件,重新生成

cd~/.ssh

rmid_rsa

rmid_rsa.pub

ssh-keygen-trsa

5、将原先hd1节点中的authorized_keys文件拷贝到hd5,再加入新共钥

cat~/.ssh/id_rsa.pub>>authorized_keys

6、分发改文件到其它各节点

scp~/.ssh/authorized_keyshd1:/home/hadoop/.ssh

scp~/.ssh/authorized_keyshd2:/home/hadoop/.ssh

scp~/.ssh/authorized_keyshd3:/home/hadoop/.ssh

scp~/.ssh/authorized_keyshd4:/home/hadoop/.ssh

7、前往各个节点进行第一次(不确认也可以)到hd5的ssh登录(hd5本地的也做一次回环ssh登录比较好)

在hd1,ssh hd5 date

在hd2,ssh hd5 date

在hd3,ssh hd5 date

在hd4,ssh hd5 date

在hd5,ssh hd5 date

8、在hd5修改hadoop的slave文件

vim /home/hadoop/hadoop/etc/hadoop/slaves

加入hd5

分发其到其它节点

scp /home/hadoop/hadoop/etc/hadoop/slaves hd1:/home/hadoop/etc/hadoop

scp /home/hadoop/hadoop/etc/hadoop/slaves hd2:/home/hadoop/etc/hadoop

scp /home/hadoop/hadoop/etc/hadoop/slaves hd3:/home/hadoop/etc/hadoop

scp /home/hadoop/hadoop/etc/hadoop/slaves hd4:/home/hadoop/etc/hadoop

9、在hd5启动yarn

start-dfs.sh

yarn-daemon.shstartdatanode

(如果是虚拟机复制的产物,请删除/home/hadoop/tmp和/hoem/hadoop/hdfs中的文件,当然这两个路径还是要保留的)

10、在hd5启动start-balancer.sh均衡当前hdfs块

Start-balancer.sh

11、如果还有hbase在上面运行则需要部署hbase的hserver

修改

vim/home/hadoop/hbase/conf/regionservers

加入hd5

vim/home/hadoop/hbase/conf/hbase-site.xml

加入

hbase.zookeeper.quorum

hd1,hd2,hd3,hd4,hd5

12、复制上面两个文件到hd1,hd2,hd3,hd4

scpregionservershd1:/home/hadoop/hbase/conf

scpregionservershd2:/home/hadoop/hbase/conf

scpregionservershd3:/home/hadoop/hbase/conf

scpregionservershd4:/home/hadoop/hbase/conf

scphbase-site.xmlhd1:/home/hadoop/hbase/conf

scphbase-site.xmlhd2:/home/hadoop/hbase/conf

scphbase-site.xmlhd3:/home/hadoop/hbase/conf

scphbase-site.xmlhd4:/home/hadoop/hbase/conf

13、在hd5启动hbaseregionserver

hbase-daemon.shstartregionserver

14、在hd1和hd5启动hbaseshell

用status命令确认一下集群情况

时间: 2024-08-27 04:16:36

Hadoop 2.2.0 热添加新节点 (含HBASE)的相关文章

Hadoop-HBASE 热添加新节点

环境:192.168.137.101 hd1192.168.137.102 hd2192.168.137.103 hd3192.168.137.104 hd4四节点hadoop和hbase 1.设置hostnamevi /etc/sysconfig/networkhostname hd5设置完毕后需要退出重新登录下方可生效查看防火墙状态:service iptables status停用防火墙:service iptables stop 2.hd5中修改/etc/hosts加入        1

大数据实操3 - hadoop集群添加新节点

hadoop集群支持动态扩展,不需要停止原有集群节点就可以实现新节点的加入. 我是使用docker搭建的进群环境,制作了镜像文件,这里以我的工作基础为例子介绍集群中添加集群的方法 一.制作一个新节点 1.为新节点搭建hadoop环境 如果是一般情况下,将一个新物理机添加到集群中,参照集群中其他节点,在新机器上安装与集群中其他节点相同版本的jdk.hadoop等必要程序,安装路径最好一致,这样比较容易管理.这里我使用docker搭建的环境,所以只需要启动一个容器即可. 2.修改新节点主机名映射 v

Hadoop集群添加新节点步骤

1.在新节点中进行操作系统配置,包括主机名.网络.防火墙和无密码登录等. 2.在所有节点/etc/host文件中添加新节点 3.把namenode的有关配置文件复制到该节点 4.修改master节点slaves文件,增加改节点 5.单独启动该节点上的datanode和nodemanager $hadoop-daemon.sh start datanode(在新增加节点启动 datanode) $yarn-daemon.sh start nodemanager 运行start-balancer.s

解析Hadoop 2.3.0版本的新特性

2014年2月20日,Hadoop 2.3.0版本发布,这是apache 在2014年发布的第一个Hadoop版本,揭开了Hadoop 2014发展的序幕. 该版本引入了很多大家期待已久的特性,包括HDFS 的异构层次化存储架构.DataNode Cache,YARN的单点故障解决方案,以及MapReduce的自动化部署等.本文尝试为大家解析这些特性,并给出一些资料供大家深入了解. HDFS新特性. 2.3.0中引入了两个大的HDFS特性,分别是异构层次化存储架构和DataNode Cache.

Cassandra 集群管理-添加新节点

Cassandra 集群添加节点 注意 本文档只是体系文档中的一部分,前面文档信息详见:https://blog.51cto.com/michaelkang/2419518 场景: 用于节点扩容,测试方法:清理(172.20.101.165)节点上所有数据,模拟新节点加入: 确认内容: 1:使用相同版本的Cassandra 2:注意,种子节点不能引导.确保新节点没有在-seeds列表中列出,不要使所有节点种子节点. 3:copy加入DC现有节点配置文件到新节点,然后进行配置修改,文件如下: 在c

redis集群添加新节点

一.创建节点(接上文) 1.在H1服务器/root/soft目录下创建7002目录 2.将7001目录的配置文件redis.conf拷贝到7002,并修改配置文件的端口 3.进入 redis-5.0.5 目录下,执行启动命令 ./src/redis-server ../7002/redis.conf 4.进入H2创建7002的salve,步骤与前三个步骤一样 二.添加节点 1.第一个ip:port 为需要添加的节点ip和端口,第二个ip:port为当前集群中的节点和端口:先后执行以下命令: ./

vSphere 5.0热添加

vSphere环境支持通过vCenter热添加硬件的功能,之前比较多的用的是添加硬盘和网卡,最近因为比较多的情况需要在线添加内存和CPU.之前曾经尝试过几次,因为每次添加完成之后都没有办法识别到增加的部分,今天刚好在网上找资料的时候看到了相关内容,自己尝试了一下,结果很有效,把过程记录下来. 首先需要通过vCenter开启热插拔的功能. 需要注意的是,开启该功能需要在关机的情况下启用. 之后打开虚拟机之后看到虚拟机的内存为4G. 接下来修改内存的大小,将内存大小改为6G. 登陆系统中查看,内存大

yii2.0中添加新的模块

比如现在需要添加一个新的hnews模块:复制frontend改名hnews 1.在common文件下的config下的 bootstrap.php 2.修改命名空间 在具体实例的main.config下 修改 3.主要修改的就是这两块,之后就是关联命名空间的修改了.

treeview右键添加新节点

private void advTree1_MouseDown(object sender, MouseEventArgs e) { if (e.Button == MouseButtons.Right)//判断你点的是不是右键 { Point ClickPoint = new Point(e.X, e.Y); Node CurrentNode =advTree1.GetNodeAt(ClickPoint); if (CurrentNode != null)//判断你点的是不是一个节点 { Co