hbase-0.98.1-cdh5.1.0 完全分布式搭建

cdh版与0.98版的配置一样

1.环境

master:c1

slave:c2,c3

CentOS 6.5 x64 ,hadoop-2.3.0-cdh5.1.0,zookeeper-3.4.5-cdh5.1.0

下载地址:

http://archive.cloudera.com/cdh5/cdh/5/

2. 前提条件

安装好hadoop集群,zookeeper集群

3. 环境变量配置

export HBASE_HOME=/usr/local/cdh/hbase
export PATH=$PATH:$HADOOP_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin

4.  配置hbase-env.sh

在$HBASE_HOME/conf/hbase-env.sh 
 添加

export JAVA_HOME=/usr/local/java/jdk1.7.0_67
export HBASE_CLASSPATH=/usr/local/cdh/hadoop/etc/hadoop
export HBASE_MANAGES_ZK=false

5. 配置 hbase-site.xml

<configuration>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://c1:9000/hbase</value>
  </property>
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
  </property>
 <property>
  <name>hbase.zookeeper.quorum</name>
  <value>c1,c2,c3</value>
 </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/usr/local/cdh/zookeeper/data/</value>
  </property>
 <property>
  <name>hbase.master</name>
  <value>hdfs://c1:60000</value>
 </property>
</configuration>

以上配置简单解释:

     hbase.rootdir          :Hbase数据存储目录(HDFS中目录)

   hbase.cluster.distributed        :指定Hbase是否运行在分布式模式

   hbase.zookeeper.property.dataDir :Zookeeper写数据目录(与ZooKeeper集群上配置相一致)

     hbase.zookeeper.quorun           :指定Hbase在每个节点上开启和管理一个Zookeeper instance,即指定ZooKeeper集群位置
    hbase.master           :指定Hbase的master的位置

6.配置regionservers

regionservers文件列出了所有运行Hbase RegionServer CHRegion Server的机器。此文件的配置和Hadoop的slaves文件十分类似,每一行指定一台机器。当Hbase的时候,会将此文件中列出的所有机器启动;同样,当Hbase关闭的时候,也会同时自动读取文件并将所有机器关闭。

删除localhost,添加

c1
c2
c3

7.新建 $HBASE_HOME/conf/backup-masters

c2

8. 其它节点做一样的配置

scp -r hbase-0.98.4-hadoop2 c2:~/
scp -r hbase-0.98.4-hadoop2 c3:~/

9.启动及查看进程

1、启动

  Hbase的启动顺序为:  HDFS -> ZooKeeper -> Hbase

master节点:

在$HADOOP_HOME目录下启动Hadoop集群

sbin/start-all.sh

每个节点:

在$ZOOKEEPER_HOME目录下启动ZooKeeper集群

bin/zkServer.sh start

master节点:

在$HBASE_HOME目录下启动Hbase集群

bin/start-hbase.sh

2、命令查看

master节点

[[email protected] hbase]# jps
6382 QuorumPeerMain
5724 NameNode
5912 SecondaryNameNode
7666 Jps
6089 ResourceManager
6580 HMaster
6713 HRegionServer

slave节点:

[[email protected] zookeeper]# jps
5087 HRegionServer
4681 DataNode
5326 Jps
5156 HMaster
4974 QuorumPeerMain
4807 NodeManager
时间: 2024-10-05 00:32:16

hbase-0.98.1-cdh5.1.0 完全分布式搭建的相关文章

hadoop2.3.0cdh5.0.2 升级到cdh5.7.0

后儿就放假了,上班这心真心收不住,为了能充实的度过这难熬的两天,我决定搞个大工程.....ps:我为啥这么期待放假呢,在沙发上像死人一样躺一天真的有意义嘛....... 当然版本:hadoop2.3.0cdh5.0.2 机器:   nn dn jn rm nm jh hmaster hregionserver mast1 是 是 是 是 是   是 是 mast2 是 是 是 是 是   是 是 mast3   是 是   是 是   是 目标版本:hadoop2.6.0cdh5.7.0 升级方

hbase 0.98.1集群安装

本文将基于hbase 0.98.1解说其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:http://blog.csdn.net/bluishglc/article/details/24593597,转载请注明出处. 1. 安装与配置 1.1. 前置条件 确保已经安装了hadoop并保证hadoop运行正常.关于hbase与hadoop的版本号依赖关系,请參考:  https://hbase.apache.org/book/configuration.html#hado

在Eclipse上建立hbase 0.98.3/0.96.2源代码阅读环境

2.1. 切换到源代码目录,执行: mvn install -DskipTests -Dhttp.proxyHost=proxy01.cd.intel.com -Dhttp.proxyPort=911 黄色部分作用为设置代理.由于本人的编译环境在公司内网,所以需要设置代理 2.2. 生成eclipse项目环境: mvn eclipse:eclipse -DskipTests -Dhttp.proxyHost=proxy01.cd.intel.com -Dhttp.proxyPort=911 2.

HTablePool 在Hbase 0.94、0.95、0.97被废弃,在0.98中被清除( HTablePool 对比HConnection.getTable)

HTablePool会被逐渐废弃,直到0.98的发行版本中会被清楚.使用新的API,HConnection.getTable(...). 它的设计思想: "默认情况下,当需要的时候,HConnectionInplementation将会创建一个ExecutorService. 这个ExecutorService能够选择性地传递,传入进去进行处理.HTableInterfaces从HConnection 中检索得到.默认情况下,HConnection的ExecutorService被使用,但是这能

hadoop2 hive0.13.0 hbase 0.98.2版本集成错误总结

一. hadoop2.2.0的安装启动错误总结 关于hadoop在启动时datanode无法启动问题 1.core-site.xml文件中没有配置从节点 2.slave配置文件中没有添加从节点 3.所有节点的host链表不统一或有错位 4.因为多次formate namenode造成namenode和datanode的clusterID不一致 解决方案: 删除所有节点/home/hadoop/hadoop-2.2.0/dfs/data/下 curren目录 <name>hadoop.tmp.d

Spark 1.1.0 编译(为了支持hbase 0.98.6)

为了支持hbase0.98.6,需要重新编译spark 1. 下载spark 1.1.0源代码,以及 scala-2.10.4的bin包. 将环境变量 SCALA_HOME 设置为 scala-2.10.4 的目录位置. 2. 下载较新的pom.xml (https://github.com/tedyu/spark) 将该repository中的 spark/pom.xml和spark/examples/pom.xml下载下来,覆盖至用于编译的spark源代码中. 3. 进入源代码目录编译 ex

数据采集+调度:cdh5.8.0+mysql5.7.17+hadoop+sqoop+hbase+oozie+hue

一.前期准备 1.操作系统版本 # cat /etc/redhat-release CentOS release 6.5 (Final) # uname –aLinux enc-bigdata05 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux 2.前期软件准备 2-1. jdk版本: jdk-7u80-linux-x64.tar.gz [jdk1.7.80下载地址]

Cloudera Hadoop 5&amp; Hadoop高阶管理及调优课程(CDH5,Hadoop2.0,HA,安全,管理,调优)

1.课程环境 本课程涉及的技术产品及相关版本: 技术 版本 Linux CentOS 6.5 Java 1.7 Hadoop2.0 2.6.0 Hadoop1.0 1.2.1 Zookeeper 3.4.6 CDH Hadoop 5.3.0 Vmware 10 Hive 0.13.1 HBase 0.98.6 Impala 2.1.0 Oozie 4.0.0 Hue 3.7.0 2.内容简介 本教程针对有一定Hadoop基础的学员,深入讲解如下方面的内容: 1.Hadoop2.0高阶运维,包括H

CDH5.2.0集群优化配置

HDFSdfs.block.size HDFS中的数据block大小,默认是64M,对于较大集群,可以设置为128或264M dfs.datanode.socket.write.timeout/dfs.socket.timeout 增加dfs.datanode.socket.write.timeout和dfs.socket.timeout两个属性的设置(默认300),比如30000,避免可能出现的IO超时异常 dfs.datanode.max.transfer.threads 增加datanod