Hbase集群搭建

JDK版本和HBASE对应关系

HBase Version JDK 6 JDK 7 JDK 8
2 Not Supported Not Supported yes
1.3 Not Supported yes yes
1.2 Not Supported yes yes
1.1 Not Supported yes Running with JDK 8 will work but is not well tested.
1 Not Supported yes Running with JDK 8 will work but is not well tested.
0.98 yes yes Running with JDK 8 works but is not well tested. Building
with JDK 8 would require removal of the deprecated remove() method of
thePoolMap class and is under consideration. See HBASE-7608 for more
information about JDK 8 support.
0.94 yes yes N/A

Hadoop和HBASE对应关系

HBase-0.94.x HBase-0.98.x

(Support for Hadoop 1.1+ is eprecated.)

HBase-1.0.x (Hadoop 1.x is NOT supported) HBase-1.1.x HBase-1.2.x HBase-1.3.x
Hadoop-1.0.x X X X X X X
Hadoop-1.1.x S NT X X X X
Hadoop-0.23.x S X X X X X
Hadoop-2.0.x-alpha NT X X X X X
Hadoop-2.1.0-beta NT X X X X X
Hadoop-2.2.0 NT S NT NT X X
Hadoop-2.3.x NT S NT NT X X
Hadoop-2.4.x NT S S S S S
Hadoop-2.5.x NT S S S S S
Hadoop-2.6.0 X X X X X X
Hadoop-2.6.1+ NT NT NT NT S S
Hadoop-2.7.0 X X X X X X
Hadoop-2.7.1+ NT NT NT NT S S

Hadoop version support matrix

"S" = supported "X" = not supported "NT" = Not tested

我们这里选用的软件版本如下

Hadoop 2.7.1

Hbase hbase-1.2.4

jdk1.8.0_101
第一步,从apache基金会下载最新版本

https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/1.2.4/hbase-1.2.4-bin.tar.gz

第二步,解压到服务器

tar -zxvf hbase-1.2.4

第三步,配置hbase集群,要修改3个文件(首先zk集群已经安装好了)

注意:由于hbase最终数据存放到hdfs,故需要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下

1.在master 上修改hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_101

//告诉hbase使用外部的zk,如果使用内部的zk,设置为true(单机伪分布式)

export HBASE_MANAGES_ZK=false
# The maximum amount of heap to use. Default is left to JVM default.
export HBASE_HEAPSIZE=8G

2.修改hbase-site.xml

<configuration>
    <property>
            <name>hbase.rootdir</name>
            <value>hdfs://node1:9000/hbase</value>
    </property>
    <property>
            <name>hbase.cluster.distributed</name>
            <value>true</value>
    </property>
    <property>
            <name>hbase.zookeeper.quorum</name>
            <value>node1:2181,node2:2181,node3:2181</value>
    </property>
</configuration>

3.指定机器为regionserver,不单独指定master。其中:在哪个机器上启动,哪台就是master,在regionservers文件说明要启动的HRegionServer

vim regionservers
node1
node2
node3
node4

第四步,拷贝配置好的hbase文件到其他节点

第五步:

1.启动所有的hbase

分别启动zk

./zkServer.sh start

启动hdfs集群

start-dfs.sh

启动hbase,在主节点上运行:

start-hbase.sh

6.通过浏览器访问hbase1.2.4版本管理页面

node1:16010(于0.98 版本不同)

7.为保证集群的可靠性,要启动多个HMaster(可选)

hbase-daemon.sh start master

时间: 2024-12-07 16:30:04

Hbase集群搭建的相关文章

hbase 集群搭建(公司内部测试集群)

我用的是cdh4.5版本:配置文件:$HBASE_HOME/conf/hbase-env.shexport JAVA_HOME=$JAVA_HOMEexport JAVA_HOME=/home/hadoop/jdk1.7.0_51export HBASE_CLASSPATH=$HBASE_HOME/conf# Tell HBase whether it should manage it's own instance of Zookeeper or not.export HBASE_MANAGES

Hbase架构,组件分析 ,Hbase集群搭建

1.hbase的架构 Hbase主要由master,regionserver,zookeeper,client,hdfs文件系统构成. Zk:记录hbase的表的元数据信息 hamster:进行region的分配,发出操作指令 Hlog:记录HregionServer的操作日志,保证数据的可靠性 HRegion:存储Hbase表的信息 store:Hbase表的不同列族的存储 DataNode:存储Hbase的Hlog及Hbase表的Hfile的文件持久化存储 2.hbase的组件及作用 1)C

Hbase集群搭建及所有配置调优参数整理及API代码运行

最近为了方便开发,在自己的虚拟机上搭建了三节点的Hadoop集群与Hbase集群,hadoop集群的搭建与zookeeper集群这里就不再详细说明,原来的笔记中记录过.这里将hbase配置参数进行相应整理,方便日后使用. 首先vi ~/.bash_profile将hbase的环境变量进行配置,最后source ~./bash_profile使之立即生效 1.修改hbase-env.sh 由于我使用的是外置的zookeeper,所以这里HBASE_MANAGES_ZK设置为,设置参数: # The

Hbase 集群搭建

配置hbasse 先配置一台 然后 给两台分发 1.上传tar包 2.解压 tar -zxvf hbase-1.1.2-bin.tar.gz 3.配环境 vim /etc/profile export HBASE_HOME=/root/Downloads/hbase-1.1.2 export PATH=$PATH:$HBASE_HOME/bin source /etc/profile 4.到hbase ---conf路径下 vim hbase-env.sh export HBASE_MANAGE

zookeeper和hbase集群搭建

zookeeper与hbase分布式搭建 zookeeper集群 1.zookeeper,故名思意,就是动物园管理员的意思,Hadoop生态里面的东西基本上都是一些小动物的昵称,所以,就这么来了 这里接前篇的Hadoop分布式搭建,所有平台都搭建在/root/app目录下 (千万别学我用根用户弄,我是为了懒得敲sudo) 我们将下载的zookeeper安装包上传至虚拟机中,然后解压 tar -zxvf zookeeper-3.4.10.tar.gz 解压好了之后,我们建立两个文件夹,一个是zkd

Hbase集群搭建一(Mesos搭建)

服务器准备:下述内容绑定 /etc/hosts 10.110.110.10 master 10.110.110.11 slave1 10.110.110.12 slave2 操作用户准备:root,hbase Mesos:分布式内核系统,apache mesos 在整个数据中心根据资源利用率和资源占用情况在整个数据中心进行任务调度.利用zookeeper实现master和slave的高可用 开始安装 Mesos rpm报软件下载地址:http://open.mesosphere.com/down

HBase集群搭建及hbaseshell使用

标签(空格分隔): hbase 大数据 (Hadoop)数据库 HBase功能 .表的设计 .环境配置与 Shell基本使用练习,最好与 RDBMS数据中的库和表进行对比 ,以下几点要注意 : 1) 企业中海量数据存储和实时查询的需求 2) HBase功能 ,与 RDBMS相比,优势在哪 3) HBase服务组件的说明.配置部署启动 4) HBase Shell中基本命令的使用 5) HBase 数据存储模型理解,结合实际操作 hadoop,spark,kafka交流群:459898801 1,

虚拟机zookeeper和hbase集群搭建

集群zookeeper dataDir=/usr/local/zookeeper/dataDir dataLogDir=/usr/local/zookeeper/dataLogDir # the port at which the clients will connect clientPort=2181 # master server.1=sjck-node01:2888:3888 server.2=sjck-node02:2888:3888 server.3=sjck-node03:2888:

Hbase集群搭建二(Hadoop搭建)

服务器准备:下述内容绑定 /etc/hosts 10.110.110.10 master 10.110.110.11 slave1 10.110.110.12 slave2 操作用户准备:hbase 1. 下载源码:mesos hadoop 源码并解压至 hadoop 2. 进入hadoop文件夹,编辑 pom.xml 文件确认 mesos 版本 <mesos.version>1.0.0</mesos.version> 3. 安装jdk:下载地址 (root用户安装) [[emai