HBase集群安装

环境:CentOS 6.4,Hadoop 2.6.0,ZooKeeper 3.4.6,HBase 1.0.1.1

集群角色规划:


HostName

HBase Role

ZooKeeper
Hadoop Role

HDP1
Master YES Slave

HDP2

Backup Master & RegionServer

YES

Master

HDP3

RegionServer

YES

Slave

HDP4

RegionServer

YES

Slave

1. 任意Master(HDP1)节点解压HBase

sudo tar zxvf hbase-1.0.1.1-bin.tar.gz -C /usr/local/

sudo mv hbase-1.0.1.1 hbase

sudo chown -R hdp:hdp hbase

2. 修改hbase-env.sh 

vim conf/hbase-env.sh,出掉JAVA_HOME的注释,并修改为本地的JAVA_HOME

export JAVA_HOME=/usr/lib/jdk7

修改HBASE_MANAGES_ZK为false,默认为true,表示HBase托管zookeeper实例,如果是HBase独占的zookeeper,可以设定为true。

export HBASE_MANAGES_ZK=false

3. 修改hbase-site.xml

以下只配置几个必需要修改的项,其它的项使用默认值。hbase-site.xml的默认配置可以从帮助文档(Default Configuration)获得。

<configuration>

<property>

<name>hbase.rootdir</name>

<value>hdfs://HDP2:9000/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.master.port</name>

<value>16000</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/usr/local/zookeeper/data</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>HDP1,HDP2,HDP3,HDP4</value>

</property>

<property>

<name>hbase.zookeeper.property.clientPort</name>

<value>2181</value>

</property>

</configuration>

hbase.rootdir:Region Servers共享的HBase持久化数据的存储地址。需要使用包含文件系统scheme的完全限定地址。

hbase.cluster.distributed:指定Hbase集群是否以分布式方式运行。

hbase.master.port:Master绑定的端口,包括backup-master.

hbase.zookeeper.property.dataDir:这个是ZooKeeper配置文件zoo.cfg中的dataDir。zookeeper存储数据库快照的位置。

hbase.zookeeper.quorum:ZooKeeper的所有成员服务器列表,服务器名之间用逗号分隔。

hbase.zookeeper.property.clientPort:这个是ZooKeeper配置文件zoo.cfg中的clientPort。ZooKeeper提供给客户端连接的端口,默认是2181。

4. 修改regionservers,将RegionServers写入。

vim conf/regionservers

HDP2,HDP3,HDP4

5. 修改backup-masters,将Backup Master写入

vim conf/backup-masters

HDP2

6. 添加环境变量方便调用HBase

vim /etc/profile

#HBase Env

export HBASE_HOME=/usr/local/hbase

export PATH=$PATH:$HBASE_HOME/bin:$HBASE_HOME/conf

7. 将修改好的安装目录分发到所有节点,一并修改环境变量。

8. 启动HBase

在HDP1上调用start-hbase即可。

9.通过jps查看进程

HDP1上有HMaster,HDP2上有HMaster和HRegionServer,HDP3和HDP4上是HRegionServer。

总结:

1. hbase.master.port需要指定,不然启动backup-master时会报Already in use的错误。

2. HMaster(包括backup-master)需要能够passwordless ssh到其它服务器

3. 我这里的ZooKeeper使用是偶数个节点,其实是不合理的,应该用奇数个节点。

时间: 2024-07-29 16:03:40

HBase集群安装的相关文章

HBase集群安装过程中的问题集锦

1.HRegionServer启动不正常 在namenode上执行jps,则可看到hbase启动是否正常,进程如下: [[email protected] bin]# jps26341 HMaster26642 Jps7840 ResourceManager7524 NameNode7699 SecondaryNameNode 由上可见,hadoop启动正常.HBase少了一个进程,猜测应该是有个节点regionserver没有启动成功. 进入节点slave1 ,执行jps查看启动进程: [[e

“挖掘机”升级路 一篇(03)--HBase集群安装中的收获

粗略算算,从上周五到这周二,折腾Hadoop已经三天了.这三天我是过得诚惶诚恐,作为一个学徒,老大虽然没有说啥,但是我恨不得立马完成这些基本的部署工作,感觉拖了好久好久.简单的总结一下,第一天折腾Hadoop单机和伪分布式的安装,第二天在折腾Hive的安装,以失败告终,第三天折腾HBase的集群安装,在主节点上安装成功. 也就来具体的谈谈今天的收获,今天的参考资料主要是这么两篇1.分布式实时日志系统(四) 环境搭建之centos 6.4下hbase 1.0.1 分布式集群搭建(我FQ看的,不知道

Apache HBase 集群安装文档

简介: Apache HBase 是一个分布式的.面向列的开源 NoSQL 数据库.具有高性能.高可靠性.可伸缩.面向列.分布式存储的特性. HBase 的数据文件最终落地在 HDFS 之上,所以在 Hadoop 集群中,DataNode 节点都需安装 HBase Worker Node. 另外,HBase 受 ZooKeeper 管理,还需安装 ZooKeeper 单机或集群.建议 HBase Master 节点不要与集群中其余 Master 节点安装在同一台物理服务器. HBase Mast

hbase集群安装文档

1. 搭建hbase集群的前提条件是: (1) 需要有一个可用的hdfs分布式文件系统(2) 需要有一个可用的zookeeper或者集群 (3)搭建机器需要有jdk 的环境 2. 上传 用root用户和其他用户来安装都是可行的. 这个用 root用户,用工具将hbase安装包hbase-0.99.2-bin.tar.gz上传到/home/hadoop下,确保hbase-0.99.2-bin.tar.gz的用户是root,如果不是,执行chown命令,见上文 3.   解压 su – hadoop

HBase学习之路 (二)HBase集群安装

前提 1.HBase 依赖于 HDFS 做底层的数据存储 2.HBase 依赖于 MapReduce 做数据计算 3.HBase 依赖于 ZooKeeper 做服务协调 4.HBase源码是java编写的,安装需要依赖JDK 版本选择 打开官方的版本说明http://hbase.apache.org/1.2/book.html JDK的选择 Hadoop的选择 此处我们的hadoop版本用的的是2.7.5,HBase选择的版本是1.2.6 安装 1.zookeeper的安装 参考http://w

安转hbase集群----安装Zookeeper和Hbase

1.zookeeper安装 把解压文件从桌面移到安装目录software 解压 显示文件 修改zoo.cfg文件 我的丛机就是主机 注意:如果有多台丛机应该这样配 创建datadir指定目录和创建myid文件 我是在一台机子上配的,主机就是丛机,如果要配置多台丛机,则使用以下命令 发送zookeeper给从节点 修改从节点myid中的值 启动每个节点的zookeeper服务 检查zookeeper是否安装成功 我的是一台机子,所以显示standalone 如果丛机不是本机,则显示follower

hbase集群安装(1)-ssh安装及配置

安装ssh服务器端 赋予tg用户权限 sudo chown -R tg:tg /software/ 查看用户被赋予的权限 1.检查ssh客户端是否安装: which ssh 2.检查sshd服务器端是否安装: which sshd 如下显示表示没有安转 [email protected]:~$ which sshd [email protected]:~$ 3.安转ssh服务器端: sudo apt-get install openssh-server 4.查看ssh服务器进程: ps –e |

hbase集群安装(3)-安转Hadoop

     安转Hadoop 我的安装路径是根目录下的software 把Hadoop压缩包解压到software目录下 解压后查看目录 要修改的配置文件有四个 修改hadoop-env.sh 修改core-site.xml文件 配置hdfs-site.xml 配置mapred-site.xml 配制yarn-site.xml 配制slaves 格式化hdfs文件系统 成功信息 启动hadoop 通过命令jps可以查看各个节点所启动的进程 查看信息  有四个进程(我是因为重新安装了,有一个没关)

HBase简介及集群安装

一.Hbase概述 Apache HBase?是Hadoop数据库,是一个分布式,可扩展的大数据存储. 当您需要对大数据进行随机,实时读/写访问时,请使用Apache HBase?.该项目的目标是托 管非常大的表 - 数十亿行X百万列 - 在商品硬件集群上.Apache HBase是一个开源的,分布式 的,版本化的非关系数据库,模仿Google的Bigtable: Chang等人的结构化数据分布式存储系 统.正如Bigtable利用Google文件系统提供的分布式数据存储一样,Apache HB