Hbase 完全分布式 高可用 集群搭建

1、准备

Hadoop 版本:2.7.7

ZooKeeper 版本:3.4.14

Hbase 版本:2.0.5

四台主机: s0, s1, s2, s3

搭建目标如下:

HMaster:s0,s1(备份HMaster)

HRegionServer:s1, s2, s3

主机映射信息如下

192.168.32.100 s0
192.168.32.101 s1
192.168.32.102 s2
192.168.32.103 s3

Hadoop 安装步骤参考(示例版本与HDFS端口配置略有差异,根据实际情况调整):

https://www.cnblogs.com/jonban/p/hadoop.html

ZooKeeper 安装步骤参考:

https://www.cnblogs.com/jonban/p/zookeeper.html

2、下载 hbase-2.0.5-bin.tar.gz

下载地址:

https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.0.5/hbase-2.0.5-bin.tar.gz

3、解压到 /opt 下

tar -zxvf hbase-2.0.5-bin.tar.gz -C /opt/

4、配置

进入到 /opt/hbase-2.0.5/conf 下

cd /opt/hbase-2.0.5/conf

① 修改 hbase-env.sh 文件,修改jdk配置和ZooKeeper配置,如下所示:

# The java implementation to use.  Java 1.8+ required.
export JAVA_HOME=/opt/jdk1.8.0_192

# Tell HBase whether it should manage it‘s own instance of ZooKeeper or not.
export HBASE_MANAGES_ZK=false

② 修改 hbase-site.xml 文件,内容如下:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://s0/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>s1,s2,s3</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
    </property>
</configuration>

③ 修改 regionservers 文件 ,内容如下:

s1
s2
s3

④ 创建 backup-masters 文件

echo ‘s1‘ > backup-masters

⑤ 复制Hadoop 配置文件 hdfs-site.xml 和 core-site.xml 到Hbase配置目录下

cp /opt/hadoop-2.7.7/etc/hadoop/hdfs-site.xml /opt/hbase-2.0.5/conf/
cp /opt/hadoop-2.7.7/etc/hadoop/core-site.xml /opt/hbase-2.0.5/conf/

5、远程复制 hbase-2.0.5 安装目录到其它三台主机 s1, s2, s3

scp -r /opt/hbase-2.0.5 [email protected]:/opt/
scp -r /opt/hbase-2.0.5 [email protected]:/opt/
scp -r /opt/hbase-2.0.5 [email protected]:/opt/

6、配置环境变量

vi /etc/profile

添加如下内容:

export HBASE_HOME=/opt/hbase-2.0.5
export PATH=$PATH:$HBASE_HOME/bin

使用source命令使配置立即生效

source /etc/profile

7、启动

启动ZooKeeper 集群

zkServer.sh start

启动 HDFS

start-dfs.sh

启动Hbase

start-hbase.sh

8、查看状态

在四台主机上分别输入  jps  命令,查看集群状态,内容如下:

[[email protected] conf]# jps
1632 NameNode
2024 HMaster
[[email protected] ~]# jps
1489 QuorumPeerMain
1607 HRegionServer
1449 DataNode
1674 HMaster
[[email protected] ~]# jps
1475 DataNode
1640 HRegionServer
1519 QuorumPeerMain
[[email protected] ~]# jps
1534 QuorumPeerMain
1487 DataNode
1647 HRegionServer

符合集群预期结果

HMaster:s0,s1(备份HMaster)
HRegionServer:s1, s2, s3

9、 验证

浏览器输入地址:

http://s0:16010

http://s1:16010

效果截图如下:

下面是备份 HMaster,地址为自动跳转

集群状态完美!!!

.

原文地址:https://www.cnblogs.com/jonban/p/hbase.html

时间: 2024-11-09 07:03:25

Hbase 完全分布式 高可用 集群搭建的相关文章

linux 下heartbeat简单高可用集群搭建

Heartbeat 项目是 Linux-HA 工程的一个组成部分,它实现了一个高可用集群系统.通过Heartbeat我们可以实现双机热备,以实现服务的持续性. linux下基于heartbeat的简单web服务的高可用集群搭建 首先规划好两台主机作为heartbeat的双机热备,命名为node1.lvni.cc(主) ;node2.lvni.cc, node1的eth0IP :192.168.157.148  Vip eth0:0:192.168.157.149 node2的eth0IP :19

MySQL主从复制、读写分离、高可用集群搭建

MySQL主从复制.读写分离.高可用集群搭建  一.服务介绍   1.1 Keepalived     Keepalived,见名知意,即保持存活,其目的是解决单点故障,当一台服务器宕机或者故障时自动切换到其他的服务器中.Keepalived是基于VRRP协议实现的.VRRP协议是用于实现路由器冗余的协议,VRRP协议将两台或多台路由器设备虚拟成虚拟设备,可以对外提供虚拟路由器IP(一个或多个),即漂移IP(VIP). 1.2 ProxySQL ProxySQL是一个高性能,高可用性的MySQL

Flume 学习笔记之 Flume NG高可用集群搭建

Flume NG高可用集群搭建: 架构总图: 架构分配: 角色 Host 端口 agent1 hadoop3 52020 collector1 hadoop1 52020 collector2 hadoop2 52020 agent1配置(flume-client.conf): #agent1 name agent1.channels = c1 agent1.sources = r1 agent1.sinks = k1 k2 #set gruop agent1.sinkgroups = g1 #

MHA 高可用集群搭建(二)

MHA 高可用集群搭建安装scp远程控制http://www.cnblogs.com/kevingrace/p/5662839.html yum install openssh-clients mysql5.7运行环境:centos6.51 主机部署 manager:192.168.133.141test1: 192.168.133.138test2:192.168.133.139 (为master1的备用)test3: 192.168.133.140 test1为主,test2和test3为备

CentOS7/RHEL7 pacemaker+corosync高可用集群搭建

目录 一.集群信息... 4 二.集群搭建... 4 1.制作软件源... 4 2.主机基础配置... 5 3.集群基础环境准备... 7 4.集群资源准备... 9 5.资源配置... 11 6.constraint配置... 12 7.stonith配置... 13 8.集群功能验证... 14 三.集群常用命令及作用... 17 1.验证群集安装... 17 2.查看群集资源... 17 3.使用群集脚本... 17 4.STONITH 设备操作... 17 5.查看群集配置... 17

LVS+Keepalived+Nginx+Tomcat高可用集群搭建(转)

LVS+Keepalived+Nginx+Tomcat高可用集群搭建 最近公司重整架构,十几台服务器而且还要尽可能节约成本.我就谷歌了一下在几种集群之前进行比较最终采用了Keepalived+Nginx做负债均衡高可用.虽然之前也研究过集群,看过很多集群方面的原理和架构,但毕竟没有真正操作过以下案例是在虚拟机中完成实验其实对于高可用搭建来说只用给出Keepalived和Nginx的配置即可后面的一些安装搭建完全是本人项目需要可以不用理睬仅供参考. 本文只是实验搭建记录方便以后在服务器中实施搭建.

Redis安装、主从配置及两种高可用集群搭建

Redis安装.主从配置及两种高可用集群搭建 一.            准备 Kali Linux虚拟机 三台:192.168.154.129.192.168.154.130.192.168.154.131 用户名/密码:root/... ssh设置 修改sshd_config文件,命令为:vim /etc/ssh/sshd_config 将#PasswordAuthentication no的注释去掉,并且将NO修改为YES //kali中默认是yes 将PermitRootLogin wi

dubbo+Springmvc+zookeeper高可用集群搭建

核心技术:Maven,Springmvc mybatis shiro, Druid, Restful, Dubbo, ZooKeeper,Redis,FastDFS,ActiveMQ,Nginx 1.     项目核心代码结构截图    项目模块依赖 特别提醒:开发人员在开发的时候可以将自己的业务REST服务化或者Dubbo服务化 核心技术:Maven,Springmvc mybatis shiro, Druid, Restful, Dubbo, ZooKeeper,Redis,FastDFS,

heartbeat v1(CRM)+DRBD实现数据库服务器高可用集群搭建

一. 方案简介 本方案采用Heartbeat双机热备软件来保证数据库的高稳定性和连续性,数据的一致性由DRBD这个工具来保证.默认情况下只有一台mysql在工作,当主mysql服务器出现问题后,系统将自动切换到备机上继续提供服务,当主数据库修复完毕,又将服务切回继续由主mysql提供服务. 二. 方案优缺点 优点:安全性高.稳定性高.可用性高,出现故障自动切换, 缺点:只有一台服务器提供服务,成本相对较高.不方便扩展.可能会发生脑裂. 三. 方案架构图 四.  方案适用场景 本方案适用于数据库访