hadoop及hbase集群增加节点

老的集群服务器:

192.168.11.131 master1

192.168.11.132 master2

192.168.11.133 slave1

192.168.11.134 slave2

192.168.11.135 slave3

新加入的节点:

192.168.11.136 slave4

192.168.11.137 slave5

一、hadoop扩容

1、配置各节点hosts文件,加入新加入的两个节点的IP和主机名

新添加的节点添加下面内容

192.168.11.131 master1

192.168.11.132 master2

192.168.11.133 slave1

192.168.11.134 slave2

192.168.11.135 slave3

新节点互相加入对方的主机名解析

老的节点添加下面内容

192.168.11.136 slave4

192.168.11.137 slave5

2、准备工作

参照之前的博客生产环境下hadoop HA集群及Hbase HA集群配置为新添加的节点做以下操作:

配置主机名

关闭防火墙和selinux

配置yum源

配置时间同步(作为ntp服务客户端)

创建组和用户

创建目录

无密码登陆

配置java环境

3、修改hadoop配置文件并拷贝hadoop文件

登录master1节点

$ cd /data1/usr/hadoop-2.7.3/etc/hadoop

$ vi slaves

添加新加入的节点信息

slave4

slave5

$ for ip in 2 3 4 5;do scp /data1/usr/hadoop-2.7.3/etc/hadoop/slaves 192.168.11.13$ip:/data1/usr/hadoop-2.7.3/etc/hadoop/;done

拷贝hadoop文件到新节点

$ scp -rpq /data1/usr/hadoop-2.7.3 [email protected]:/data1/usr

$ scp -rpq /data1/usr/hadoop-2.7.3 [email protected]:/data1/usr

4、清空日志

登录到新添加的服务器

$ cd /data1/usr/hadoop-2.7.3/logs

$ rm *.log.*

$ rm *.out.*

$ for i in `find . -name "*.log" -o -name "*.out"`;do cat /dev/null >$i;done

删除其他项目和文件

对比datanode老的节点,把/data1/usr/hadoop-2.7.3下多余的文件和目录删除。

5、启动服务

分别登陆新节点,启动datanode

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./hadoop-daemon.sh start datanode

登陆master1节点,刷新datanode列表

$ cd /data1/usr/hadoop-2.7.3/bin

$ ./hdfs dfsadmin -refreshNodes

查看列表信息

$ ./hdfs dfsadmin -report

8、对hdfs负载均衡

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./start-balancer.sh

启动yarn

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./yarn-daemon.sh start nodemanager

查看集群情况

$ cd /data1/usr/hadoop-2.7.3/bin

$ yarn rmadmin -refreshNodes

$ ./yarn node -list

二、hbase扩容

1、登陆master1,修改配置文件

$ cd /data1/usr/hbase-1.2.4/conf

$ vi regionservers

添加新节点主机

slave4

slave5

$ for ip in 2 3 4 5;do scp /data1/usr/hbase-1.2.4/conf/regionservers 192.168.11.13$ip:/data1/usr/hbase-1.2.4/etc/hadoop/;done

登陆新节点,创建目录,修改权限

2、拷贝hbase文件到新节点

登陆master1节点

$ scp -rpq /data1/usr/hbase-1.2.4 [email protected]:/data

$ scp -rpq /data1/usr/hbase-1.2.4 [email protected]:/data

清理日志

$ cd /data1/usr/hbase-1.2.4/logs

$ rm *.out.*

$ >hbase-hduser-master-master1.log

$ >hbase-hduser-master-master1.out

3、登陆新节点,启动服务

$ cd /data1/usr/hbase-1.2.4/bin

$ ./hbase-daemon.sh start regionserver

$ ./hbase shell

status

原文地址:http://blog.51cto.com/xiaoxiaozhou/2138807

时间: 2024-10-28 06:52:50

hadoop及hbase集群增加节点的相关文章

hadoop及hbase集群启停的几种方式

1.生产环境集群 2.web管理页面 hadoop web管理页面(主备) http://192.168.10.101:50070 http://192.168.10.102:50070 hbase web管理页面(主备) http://192.168.10.101:16010 http://192.168.10.102:16010 3.启动和停止服务 3.1.启动顺序 Hadoop及hbase集群启动顺序 zookeepeer->hadoop->hbase Hadoop及hbase集群关闭顺

hadoop+Spark+hbase集群动态增加节点

分布式系统的一个优势就是动态可伸缩性,如果增删节点需要重启那肯定是不行的.后来研究了一下,发现的确是不需要重启集群,直接在新增的节点上分别启动以下进程即可:以hadoop.spark和hbase为例: 一.hadoop增加datanode节点 因为1.x版本和2.x版本有比较大的差异,我这里是以2.7为例.在namenode节点上,将hadoop-2.7复制到新节点上,并在新节点上删除data和logs目录中的文件. 1.增加hdfs数据节点datanode 在此节点上启动hdfs: ./sbi

kubeadm 生成的token过期后,集群增加节点

通过kubeadm初始化后,都会提供node加入的token. [[email protected]-1 kubernetes]# kubeadm init --config ./kubeadm-init.yaml --skip-preflight-checks [kubeadm] WARNING: kubeadm is in beta, please do not use it for production clusters. [init] Using Kubernetes version:

Hadoop2.0集群、Hbase集群、Zookeeper集群、Hive工具、Sqoop工具、Flume工具搭建总结

实验开发环境所用软件: [[email protected] local]# ll total 320576 -rw-r--r-- 1 root root 52550402 Mar 6 10:34 apache-flume-1.6.0-bin.tar.gz drwxr-xr-x 7 root root 4096 Jul 15 10:46 flume drwxr-xr-x. 11 root root 4096 Jul 10 21:04 hadoop -rw-r--r--. 1 root root

基于外部ZooKeeper的GlusterFS作为分布式文件系统的完全分布式HBase集群安装指南

(WJW)基于外部ZooKeeper的GlusterFS作为分布式文件系统的完全分布式HBase集群安装指南 [X] 前提条件 服务器列表: 192.168.1.84 hbase84 #hbase-master 192.168.1.85 hbase85 #hbase-regionserver,zookeeper 192.168.1.86 hbase86 #hbase-regionserver,zookeeper 192.168.1.87 hbase87 #hbase-regionserver,z

HBase集群环境搭建

本文档环境基于ubuntu14.04版本,如果最终不使用SuperMap iServer 9D ,可以不配置geomesa-hbase_2.11-2.0.1-bin.tar.gz (转发请注明出处:http://www.cnblogs.com/zhangyongli2011/ 如发现有错,请留言,谢谢) 一.准备 1.1 软件版本 hadoop-2.6.5 zookeeper-3.4.10.tar.gz hbase-1.3.1-bin.tar.gz geomesa-hbase_2.11-2.0.

Phoenix连接安全模式下的HBase集群

Phoenix连接安全模式下的HBase集群 HBase集群开启安全模式(即启用kerberos认证)之后,用户无论是用HBase shell还是Phoenix去连接HBase都先需要通过kerberos认证.如果没有通过kerberos认证,则hbase shell或phoenix都会报找不到kerberos tgt的错误而无法访问HBase(以下以phoenix为例): 对于HBase shell来说,用户可以在命令行先用kinit命令(kinit -kt <user keytab> &l

Hbase集群搭建及所有配置调优参数整理及API代码运行

最近为了方便开发,在自己的虚拟机上搭建了三节点的Hadoop集群与Hbase集群,hadoop集群的搭建与zookeeper集群这里就不再详细说明,原来的笔记中记录过.这里将hbase配置参数进行相应整理,方便日后使用. 首先vi ~/.bash_profile将hbase的环境变量进行配置,最后source ~./bash_profile使之立即生效 1.修改hbase-env.sh 由于我使用的是外置的zookeeper,所以这里HBASE_MANAGES_ZK设置为,设置参数: # The

Kubernetes+Flannel 环境中部署HBase集群

注:目前方案不满足加入新节点(master节点或regionserver节点)而不更改已运行节点的参数的需求,具体讨论见第六部分. 一.背景知识 先看下HBase的组成: Master:Master主要负责管理RegionServer集群,如负载均衡及资源分配等,它本身也可以以集群方式运行,但同一时刻只有一个master处于激活状态.当工作中的master宕掉后,zookeeper会切换到其它备选的master上. RegionServer:负责具体数据块的读写操作. ZooKeeper:负责集