Zookeer-- 上搭建 hbase

一、HBase的相关概念
1.HBase的概念:
大量数据进行随机近实时读写时使用Hbase。
2.HBase是一个模仿Gootable’s Bigtable的,开源的、分布式的、版本化的非关系型数据库。
3.Hbase是一个非关系型数据库。
4.HBase是用来在大量数据中进行低延迟的随机查询的

2.什么是nosql?
Not Only SQL ,意即“不仅仅是SQL”
3.常见的nosql数据库类型
非关系型数据库——列存储(HBase)
非关系型数据库——文档型存储(MongoDb)
非关系型数据库——内存式存储(redis)

二、Hbase的环境搭建
http://hbase.apache.org/

(1).集群规划:
Node Name Master ZooKeeper RegionServer
Hadoop001 yes yes yes
Hadoop002 backup yes yes
Hadoop003 no yes yes

(2).三台机器配置JDK及环境变量:JAVA_HOME
(3).配置一个独立的zookeeper集群
--------------------------------------------------
在Hadoop001节点上操作:
上传、解压、重命名、配置zoo.cfg
vi zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/bigdata/zkmyid
clientPort=2181
server.1=Hadoop001:2888:3888
server.2=Hadoop002:2888:3888
server.3=Hadoop003:2888:3888

将zookeeper包发送到Hadoop002、Hadoop003:
scp -r zookeeper [email protected]:/opt/
scp -r zookeeper [email protected]:/opt/

在Hadoop001配置profile环境变量并且发送给Hadoop002、Hadoop003节点:

vi /etc/profile
export ZK_HOME=/opt/zookeeper
export PATH=$PATH:$ZK_HOME/bin

刷新配置
source /etc/profile

发送环境变量:
scp /etc/profile [email protected]:/etc/
scp /etc/profile [email protected]:/etc/
--------------------------------------------------

在Hadoop001、Hadoop002、Hadoop003分别执行
mkdir /home/bigdata/zkmyid -p
echo "1" > /home/bigdata/zkmyid/myid

mkdir /home/bigdata/zkmyid -p
echo "2" > /home/bigdata/zkmyid/myid

mkdir /home/bigdata/zkmyid -p
echo "3" > /home/bigdata/zkmyid/myid

--------------------------------------------------
启动zookeeper集群并且查看服务状态
在三台机器分别执行:zkServer.sh start
查看状态:zkServer.sh status

====================================================
====================================================
(4)配置Hbase
上传、解压、重命名
配置:
vi hbase-env.sh
export JAVA_HOME=/opt/jdk
#使用自己安装的zk管理Hbase集群
export HBASE_MANAGES_ZK=false
export HADOOP_HOME=/opt/hadoop

#根据集群规划,在Hadoop001、Hadoop002、Hadoop003三个街道上启动HRegionServer服务
vi regionservers
Hadoop001
Hadoop002
Hadoop003

vi hbase-site.xml

<!-- 配置HBase使用分布式方式-->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!--hbase中的数据在HDFS上的位置-->
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop001:8020/hbase</value>
</property>
<!--hbase需要连接的zookeeper集群-->
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop001,hadoop002,hadoop003</value>
</property>
<!--hbase中保存zookeeper数据的地址-->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/data/zookeeper</value>
</property>

新建backup文件配置backup-master
vi backup-masters
Hadoop002

将Hbase框架发送到Hadoop002、Hadoop003上:
scp -r hbase [email protected]:/opt/
scp -r hbase [email protected]:/opt/

在Hadoop001配置profile环境变量并且发送给Hadoop002、Hadoop003节点:
vi /etc/profile
export HBASE_HOME=/opt/hbase
export PATH=$PATH:$HBASE_HOME/bin

发送环境变量:
scp /etc/profile [email protected]:/etc/
scp /etc/profile [email protected]:/etc/

刷新配置
source /etc/profile

(5)、先启动Zookeer集群或者Hadoop集群,在启动Hbase集群
====Zookeer集群=====Zookeer集群
在三台机器上分别执行:
zkServer.sh start
查看Zookeer集群服务状态:
zkServer.sh status

Hadoop集群=======
start-all.sh

启动Hbase集群(在启动hbase之前,先执行时间同步 date -s "00:00:00")
start-hbase.sh

链接hbase客户端:
hbase shell

进入客户端之后,检查Hbase是否正确链接Zookeeper
list

时间: 2024-10-10 05:21:55

Zookeer-- 上搭建 hbase的相关文章

AWS EMR上搭建HBase环境

0. 概述 AWS的EMR服务为客户提供的托管 Hadoop 框架可以让您轻松.快 速.经济高效地在多个动态可扩展的 Amazon EC2 实例之间分发和处理 大量数据.您还可以运行其他常用的分发框架(例如 Amazon EMR 中的 Spark 和 Presto)与其他 AWS 数据存储服务(例如 Amazon S3 和 靠地处理大数据使用案例,包括日志分析.Web 索引.数据仓库.机器 学习.财务分析.科学模拟和生物信息. 通过EMR服务,我们不必再去手动一个个的安装JDK,Hadoop,

搭建Hbase和Spark环境

前期准备: 1.默认已经搭建好了hadoop环境(我的hadoop版本是2.5.0) 2.这里我用的Hbase是0.98.6,spark是1.3.0 一.搭建Hbase 1.上传Hbase安装包,将/opt/software下的hbase安装包解压到/opt/app目录下 2.进入hbase目录下,修改配置文件 1>修改hbase-env.sh文件 将export  JAVA_HOME = 你的Java安装路径,我的路径是/opt/app/jdk1.7.0_79 所以改完后是 export  J

搭建hbase cluster

借助于hdfs(具体可参考 搭建hadoop),再搭建hbase就十分方便 hbase需要hdfs,zookeeper.所以自建一个zk server 环境: master:主机名/ip都是master d1-d3:主机名/ip分别是d1-d3,统称为ds zk在d1上 以下操作均在master上完成 首先下载hbase并解压到/opt/hbase wget http://www-eu.apache.org/dist/hbase/stable/hbase-1.2.6-bin.tar.gz 进入c

利用tinyproxy在Linux上搭建HTTP Proxy Server

之所以需要用到HTTP Proxy Server并不是为了要翻墙,而是为了让没有公网IP地址的内网主机通过有公网IP地址的外网主机访问Internet.举个例子,阿里云ECS在购买时可以不购买公网IP地址,但这种没有公网IP地址的ECS云主机(实例)是没有访问Internet的能力的,也就是说无法在这台实例上下载文件,这在部署应用如部署MySQL时可能遇到无法完成安装问题.解决的办法有两种,一种是在另一台具有公网访问能力的ECS实例上搭建VPN服务,另一种是在另一台具有公网访问能力的ECS实例上

在阿里云 CentOS 服务器(ECS)上搭建 nginx + mysql + php-fpm 环境

阿里云的云服务器(ECS)可以选择多种操作系统,打算用它运行 Drupal或者 WordPress ,你最好选择 Linux 系统,这篇文章的演示是基于阿里云的 CentOS 操作系统的服务器.我们在上面搭建一个 nginx + mysql + php-fpm 的环境,这就是常说的 LNMP .我们不过多解释什么是什么,而是着重讲流程与方法,想了解具体的细节,去搜索下吧:)这个手册是在阿里云上测试的,不过应该也适用于其它使用 CentOS 系统的服务器. 背景 宁皓网的< CentOS:在阿里云

Sublime Text2上搭建C/C++环境

环境:Sublime Text2 win7 64位 1.下载Sublime Text2并安装 下载地址:http://www.sublimetext.com/ 2.需要用到gcc/g++编译器,下载MinGW并安装 下载地址:http://www.mingw.org/ 3.配置MinGW环境: 把MinGW的安装路径:“c:\MinGW\bin”(这是c盘)添加到环境变量里 4.配置ST环境 #1.找到:Tools –> Build System –> New Build System… #2

关于如何在服务器上搭建tomcat并发布自己的web项目

最近在学习如何在服务起上搭建tomcat,并发布自己的项目,自己是花了一下午的时间才把里面的东西弄明白,各种百度,各种请教大神,真的是备受折磨啊.好了废话不多说,直接进入主题. 1:众所周知,tomcat运行是需要jdk的支持,所以第一步,当然是安装jdk了,如果没有jdk的朋友可以去Oracle的官网下载   找不到的朋友可以点击这个链接oracle官网jdk下载地址 2:jdk下载好了当然是安装jdk了.安装jdk必不可少的一个环节就是配置环境变量了, 至于怎么配置这个我也就不多说了,不会的

JMeter--二、在Windows环境上搭建wordpress

为了学习使用JMeter,在Windows环境上搭建了wordpress. 使用JMeter录制或是编写登录worepress.编辑文章.删除文章的脚本. 首先了解一下wordpress是什么? WordPress是一个免费的开源项目,是博客平台:也可以把 WordPress当作一个CMS(Content Manager System,内容管理系统)来使用. wordpress是使用PHP语言和MySQL数据库开发的. 因此,为了能够正常使用wordpress,我们需要在windows环境上搭建

CentOS 6.3上搭建PPTP VPN

系统版本:CentOS 6.3_x86_64 eth0:172.16.10.72(实验环境当公网IP使用) eth1:192.168.100.50 1.检测是否支持ppp模块 # cat /dev/ppp cat: /dev/ppp: No such device or address 如出现上面的结果,表明PPP模块开启,可以继续安装过程. 2.安装ppp # yum -y install ppp iptables 3.安装pptp 下载pptp的rpm包并安装: # wget http://

如何在一台ESXi主机上搭建一整套VSAN集群的环境

从上周起,我开始翻译一本新书.IT类中文书籍的翻译往往有一个术语的问题,如何选择最准确的中文术语,让读者清楚明白而且在实际操作和配置的时候不至于误解,是一件不那么容易的事情.一个简单的例子就是cluster,中文可以译作"集群"或者"群集".这两者本身都广为使用,而且是完全相同的意思.我查了一下中文亚马逊书店,136本IT类中文图书用了"集群",29本用了"群集".看上去"集群"更为普及一些,而且我本人也习