搭建HBase的本地模式、伪分布式、全分布式和HA模式

一、安装HBase:

我这里选择的是hbase-1.3.1-bin.tar.gz版本解压HBase:

tar -zxvf hbase-1.3.1-bin.tar.gz -C ~/training

配置HBase的环境变量:

export HBASE_HOME=/root/training/hbase-1.3.1
?
export PATH=$HBASE_HOME/bin:$PATH

生效环境变量:

source ~/.bash_profile

  

二、HBase的安装模式:

1、本地模式:

特点:只有HMaster ,没有Hregionserver

修改两个配置文件:

1)hbase-env.sh
export JAVA_HOME=/root/training/jdk1.8.0_144 
2)hbase-site.xml
<configuration>
<!--配置HBase在本地磁盘中数据存放路径-->
<property>
<name>hbase.rootdir</name>
<value>file:///root/training/hbase-1.3.1/data</value>
</property>
</configuration>

2、伪分布式模式:

特点:具备HBase的所有功能

修改两个配置文件:

1)hbase-env.sh

添加java环境变量:

export JAVA_HOME=/root/training/jdk1.8.0_144

配置HBase管理Zookeeper的方式:

HBASE_MANAGES_ZK=true   

注:默认使用HBase自带的一个zookeeper

2)hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://bigdata11:9000/hbase</value>
</property>
?
<!--配置HBase在HDFS中数据备份的个数-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
?
<!--配置HBase集群分布式模式-->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
?
<!--配置HBase的zookeeper地址-->
<property>
<name>hbase.zookeeper.quorum</name>
<value>localhost</value>
?
<!--配置HBase的zookeeper数据存放路径-->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/zk</value>
</property> 

3、全分布式模式:

特点:至少三台机器以上 原因:主从架构

修改三个配置文件:

1)hbase-env.sh

添加java环境变量:

export JAVA_HOME=/root/training/jdk1.8.0_144  

配置HBase管理Zookeeper的方式:

HBASE_MANAGES_ZK=true 

注:默认使用HBase自带的一个zookeeper

2)hbase-site.xml
<!--配置HBase在HDFS中数据存放路径-->
<property>
<name>hbase.rootdir</name>
<value>hdfs://bigdata12:9000/hbase</value>
</property>
?
<!--配置HBase在HDFS中数据备份的个数-->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
?
<!--配置HBase集群分布式模式-->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
?
<!--配置HBase的zookeeper地址-->
<property>
<name>hbase.zookeeper.quorum</name>
<value>bigdata12</value>
</property>
?
<!--配置HBase主节点最大时钟偏离-->
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>
3)slaves:配置从节点的地址
bigdata13
bigdata14 

4、HA模式:

特点:添加一个新的HMaster

HA的思想:多几个主节点

在HBase的全分布式模式安装完成以后,再在某一个从节点上:bigdata13/bigdata14手动启动一个Hmaster

hbase-daemon.sh start master 

三、操作HBase:

hbase shell:Hbase的命令行工具:一种客户端

创建HBase表:

create ‘students‘,‘info‘,‘grade‘

添加数据:

put ‘students‘,‘stu001‘,‘info:name‘,‘Tom‘
put ‘students‘,‘stu001‘,‘info:age‘,‘18‘
put ‘students‘,‘stu001‘,‘info:gender‘,‘M‘
put ‘students‘,‘stu002‘,‘info:name‘,‘Mary‘
put ‘students‘,‘stu002‘,‘info:boy friend‘,‘Peter‘

查看stu001的所有信息:

get ‘students‘,‘stu001‘  

版权声明:本文为博主原创文章,未经博主允许不得转载。http://www.cnblogs.com/lijinze-tsinghua/

原文地址:https://www.cnblogs.com/lijinze-tsinghua/p/9268455.html

时间: 2024-10-13 04:29:39

搭建HBase的本地模式、伪分布式、全分布式和HA模式的相关文章

Spark 伪分布式 & 全分布式 安装指南

0.前言 3月31日是 Spark 五周年纪念日,从第一个公开发布的版本开始,Spark走过了不平凡的5年:从刚开始的默默无闻,到13年的鹊起,14年的大爆发.Spark核心之上有分布式的机器学习,SQL,streaming和图计算库. 4月1日 spark 官方正式宣布 Spark 2.0 对Spark重构,更好支持手机等移动终端.Databricks创始人之一hashjoin透漏了相关的重构方法:利用Scala.js项目把Spark代码编译成JavaScript,然后利用Safari / C

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)【转】

[转自:]http://blog.csdn.net/hitwengqi/article/details/8008203 最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文. 首先要了解一下Hadoop的运行模式: 单机模式(standalone)       单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Hadoop在处理海量数据分析方面具有独天优势.今天花时间在自己的Linux上搭建了伪分布模式,期间经历很多曲折,现在将经验总结如下. 首先,了解Hadoop的三种安装模式: 1. 单机模式. 单机模式是Hadoop的默认模.当配置文件为空时,Hadoop完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开发调试MapReduce程序的应用逻辑. 2. 伪分布模式. Hadoop守护进程运行在本地机器上,模拟一个小规模的的集群.

Linux系统zookeeper环境搭建(单机、伪分布式、分布式)

本人现在对zookeeper的环境搭建做一个总结,一般zookeeper的安装部署可以有三种模式,单机模式.伪分布式和分布式,这三种模式在什么时候应用具体看大家的使用场景,如果你只有一台机器且只是想自己开发测试时用,你可以安装个单机模式,简单又实用.如果想装逼但又没有足够的机器,那你可以选择伪分布式的方式搭建,这可以满足你内心高大上的分布式需求又可以满足没有机器的屌丝现状.如果手头有三台以上的服务器,那就可以大展高富帅的风采,直接上真的分布式,真的分布式部署一般是在系统的正式环境中应用.下面我来

hadoop2.7【单节点】单机、伪分布、分布式安装指导

问题导读 1.从本文部署实际部署,总结本地模式.伪分布.分布式的区别是什么?2.单机是否是伪分布?3.本地模式是否可以运行mapreduce? 来源:about云 http://www.aboutyun.com/thread-12798-1-1.html hadoop2.7发布,这一版不太适合用于生产环境,但是并不影响学习:由于hadoop安装方式有三种,并且三种安装方式都可以在前面的基础上继续配置,分别是: 本地模式 伪分布 分布式 ##############################

ZooKeeper搭建系列集 (这套很全,也很详细)

原文链接:http://blog.csdn.net/shatelang/article/details/7596007 本篇文章结构: 总共包括10个系列 ZooKeeper系列之一:ZooKeeper简介 ZooKeeper系列之二:ZooKeeper数据模型.命名空间以及节点的概念 ZooKeeper系列之三:ZooKeeper的安装 ZooKeeper系列之四:ZooKeeper的配置 ZooKeeper系列之五:ZooKeeper的运行 ****************** ------

搭建Hbase和Spark环境

前期准备: 1.默认已经搭建好了hadoop环境(我的hadoop版本是2.5.0) 2.这里我用的Hbase是0.98.6,spark是1.3.0 一.搭建Hbase 1.上传Hbase安装包,将/opt/software下的hbase安装包解压到/opt/app目录下 2.进入hbase目录下,修改配置文件 1>修改hbase-env.sh文件 将export  JAVA_HOME = 你的Java安装路径,我的路径是/opt/app/jdk1.7.0_79 所以改完后是 export  J

Hadoop2.4.0-Hbase-098.9-完全分布式安装部署

1准备环境 1.1所需软件包 a.CentOS-6.5-i386-LiveDVD.iso 32位centos系统 b.jdk-7u71-linux-i586.rpm 32位jdk-Linux rpm文件 c.hadoop-2.2.0.tar.gz  hadoop安装包 d.zookeeper-3.4.6.tar.gz  zookeeper安装包 1.2运行环境 a.VMware9.0及以上版本虚拟机工具 b.创建三个虚拟机节点 c.网卡模式设置为桥接模式 1.3节点信息 Hadoop1 192.

gocode+auto-complete搭建emacs的go语言自动补全功能

上篇随笔记录了在emacs中使用go-mode和goflymake搭建了go语言的简单编程环境(推送门),今天来记录一下使用gocode+auto-complete配置emacs中go语言的自动补全功能.先看一下效果图??,我的emacs配置可以参考myemacs-conf. 关于gocode gocode是nsf写的各种编辑器提供go语言自动补全功能的工具.参考github中的README.md对gocode进行一下安装. $ go get -u github.com/nsf/gocode 安