HBase 高可用搭建

一、节点规划

hadoop1、hadoop2 HMaster
hadoop3、hadoop4、hadoop5 HRegionServer

二、配置环境变量

export HBASE_HOME=/usr/local/hbase
export PATH=:$HBASE_HOME/bin:$PATH

三、解压hbase

四、修改配置参数

1.hbase-env.sh

[[email protected] ~]# cat /usr/local/hbase/conf/hbase-env.sh | grep -v [#] | grep -v ‘^$‘
export JAVA_HOME=/usr/local/jdk
export HBASE_CLASSPATH=/usr/local/hbase/conf
export HADOOP_HOME=/usr/local/hadoop
export HBASE_OPTS="-XX:+UseConcMarkSweepGC"
export HBASE_MANAGES_ZK=false

2.hbase-site.xml

<configuration>
	<property>    
		<name>hbase.rootdir</name>    
		<value>hdfs://master:/hbase</value>    
	</property>    
    <property>
        <name>hbase.master</name>
        <value>60000</value>
    </property>
	<property>    
		<name>hbase.cluster.distributed</name>    
		<value>true</value>    
	</property>    
	<property>    
		<name>hbase.zookeeper.property.dataDir</name>    
		<value>/usr/local/zookeeper</value>    
	</property>    
	<property>
		<name>hbase.tmp.dir</name>
		<value>/usr/local/hbase/tmp</value>
	</property>
	<property>    
		<name>hbase.zookeeper.quorum</name>    
		<value>hadoop3,hadoop4,hadoop5</value>    
	</property>
	<property>
		<name>hbase.zookeeper.property.clientPort</name>        
		<value>2181</value>         
	</property> 
</configuration>

3.regionservers

[[email protected] ~]# cat /usr/local/hbase/conf/regionservers 
hadoop3
hadoop4
hadoop5

五、拷贝到其他节点

scp -r /usr/local/hbase [email protected]:/usr/local/

六、启动hbase(需要先启动hdfs)

start-hbase.sh
[[email protected] ~]# jps
3040 DFSZKFailoverController
4281 HMaster
5034 Jps
2303 NameNode

在hadoop2上启动HMaster实现HA

[[email protected] ~]# hbase-daemon.sh start master
starting master, logging to /usr/local/hbase/logs/hbase-root-master-hadoop2.out
[[email protected] ~]# jps
2450 NameNode
2714 DFSZKFailoverController
3085 HMaster
3150 Jps

时间: 2024-07-29 18:19:11

HBase 高可用搭建的相关文章

网易视频云技术分享:HBase高可用原理与实践

网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,提供稳定流畅.低时延.高并发的视频直播.录制.存储.转码及点播等音视频的PAAS服务,在线教育.远程医疗.娱乐秀场.在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台.现在,网易视频云的技术专家给大家分享一则技术文:HBase高可用原理与实践. 前言 前段时间有套线上HBase出了点小问题,导致该套HBase集群服务停止了2个小时,从而造成使用该套HBase作为数据存储的应用也出现了服务异常.在排查问

HBase 高可用(HA)

HMaster没有单点问题,HBase中可以启动多个HMaster,通过Zookeeper的Master Election机制保证总有一个Master运行. 所以这里要配置HBase高可用的话,只需要启动两个HMaster,让Zookeeper自己去选择一个Master Acitve. HBase配置: 在$HBASE_HOME/conf目录下 1.hbase-site.xml  export HBASE_OPTS="$HBASE_OPTS -XX:+HeapDumpOnOutOfMemoryE

OpenStack Mitaka HA高可用搭建

OpenStack Mitaka HA高可用搭建mini试看版version 1.0环境虚拟机列表:10.1.1.120 controller1 controller1.test.com10.1.1.121 controller2 controller2.test.com10.1.1.122 controller3 controller3.test.com10.1.1.133 compute1 compute1.test.com10.1.1.134 glance-backend backend.

专职DBA-基于MHA高可用搭建MySQL读写分离架构-Atlas

专职DBA-基于MHA高可用搭建MySQL读写分离架构-Atlas 1.Atlas介绍 Atlas是由Qihoo360,Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目. 它是在mysql-proxy-0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性. 360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条. 下载地址:https://github.com/Qihoo360/Atlas/releases 注意: 1.Atlas只能安装运

Keepalived Httpd的简单高可用搭建及设定sorry_server

环境: K1:192.168.11.26 K2:192.168.11.28 R1:192.168.11.21 R2:192.168.11.30 VIP:192.168.11.99 一.K1配置 [[email protected] ~]# cd /etc/keepalived/                     [[email protected] keepalived]# cat keepalived.conf    #查看配置文件 ! Configuration File for ke

redis+keepalived高可用搭建

一.Redis高可用部署及监控 目录 [相关资料脚本配置文件在此文件夹内]   Redis达到的目的:  1.主拥有读写权限,从拥有读和复制的权限. sentinel达到的目的:1.监控主从redis, 2.当其中一个redis宕机遇到故障后自动切换主从关系. 一.Redis Sentinel简介 二.硬件需求 三.拓扑结构 1.单M-S结构 2.双M-S结构 3.优劣对比 四.配置部署 1.Redis配置 2.Redis Sentinel配置 3.启动服务 4.故障模拟检测 五.备份恢复 1.

阿里云环境迁移记录 - MYSQL高可用搭建

MYSQL高可用方案主要分为两大类,一类是前置管理,一类是后置管理.前置管理的思想是利用各种前置管理工具,动态切换或者分发请求到不同的实例并切换master,如keepalived.MHA.packmaker+Corosync.MySQLProxy等,一般通过暴露VIP将整个MYQL集群隐藏起来,其中Proxy主要用以读写分离.后置管理则是利用共享存储的思想,如NDB方案.由于我们的用户尚不足百万,所以一开始的计划是选择最简单的前置管理模式-双主+keepalived方案,后来因为阿里云停用了V

zabbix高可用搭建--基础(1)

总架构:2016年开始接触zabbix,因为监控数据的增加以及后期的可扩展性,着手搭建zabbix的高可用.因本人之前是做网络工作,根本不知道php.nginx.keepalive.lvs.mariadb等,搭建高可用用时2个周时间才最终完成.以下是一名网络工程师的搭建心得:一.搭建成功的秘诀:1.查看各系统的日志信息,然后百度寻找解决办法:2.购买相关书籍<zabbix分布式监控系统>.<zabbix最佳实践>:3.购买相关视频,可以从淘宝上看看,其他网络教育平台费用有点高:4.

阿里HBase高可用8年“抗战”回忆录

2017年开始阿里HBase走向公有云,我们有计划的在逐步将阿里内部的高可用技术提供给外部客户,目前已经上线了同城主备,将作为我们后续高可用能力发展的一个基础平台.本文分四个部分回顾阿里HBase在高可用方面的发展:大集群.MTTF&MTTR.容灾.极致体验,希望能给大家带来一些共鸣和思考. 大集群 一个业务一个集群在初期很简便,但随着业务增多会加重运维负担,更重要的是无法有效利用资源.首先每一个集群都要有Zookeeper.Master.NameNode这三种角色,固定的消耗3台机器.其次有些