HBase 的安装与配置

实验简介

本次实验学习和了解 HBase 在不同模式下的配置和安装,以及 HBase 后续的启动和停止等。

一、实验环境说明

1. 环境登录

无需密码自动登录,系统用户名shiyanlou,密码shiyanlou

2. 环境介绍

本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序:

  • XfceTerminal: Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令;
  • Firefox:浏览器,可以用在需要前端界面的课程里,只需要打开环境里写的HTML/JS页面即可;
  • GVim:非常好用的编辑器,最简单的用法可以参考课程Vim编辑器

3. 环境使用

使用GVim编辑器输入实验所需的代码,然后使用XfceTerminal命令行环境进行编译运行,查看运行结果,运行后可以截图并分享自己的实验成果,实验楼提供的截图是后台截图,无法作弊,可以真实有效证明您已经完成了实验。

实验记录页面可以在“我的课程”中查看,其中含有每次实验的截图及笔记,以及每次实验的有效学习时间(指的是在实验桌面内操作的时间,如果没有操作,系统会记录为发呆时间)。这些都是您学习的真实性证明。


二、安装之前 - 检查必要条件

(1) Java (需要安装1.6.x及其以上版本)

在终端输入 java -version 来查看你机子上的 Java 版本;

(2) Hadoop

Hadoop的具体安装可以参见我们以前的课程:Hadoop部署及管理。需要注意的是伪分布模式下,HBase 的版本需要和 Hadoop版本 匹配 ,不然很可能容易出错。你可以在HBase的lib目录下看到对应的Hadoop的Jar文件版本。

在这里,我们使用了Hadoop V2.4.1版本以及HBase V0.98.11版本。

(3) SSH

SSH的安装,在Hadoop部署及管理中也涵盖了这部分内容。SSH用来管理远程Hadoop和HBase守护进程。

本实验环境下,为了大家的方便,我们已经为大家准备好了这些必要条件,你只需要专注于HBase的安装配置即可。


三、安装进行时 - 安装和配置HBase

确认上面的条件我们都准备好了之后,就可以开始安装HBase了。实验开始前,你应该切换到 hadoop 用户:

$ su hadoop

HBase的安装通常分为3种模式:

1. 单机模式 安装

(1)下载和解压

单机模式的安装非常简单,几乎不用对安装文件做什么修改就可以使用。单机模式下,HBase并不使用HDFS,因此将安装文件解压后就几乎可以直接运行。输入命令下载HBase:

$ wget http://labfile.oss.aliyuncs.com/hbase-0.98.11-hadoop2-bin.tar.gz

再将其压缩包解压:

$ tar zxvf hbase-0.98.11-hadoop2-bin.tar.gz

由于解压出来的文件名可能很长,建议修改为较短文件名,例如:

$ mv hbase-0.98.11-hadoop2 hbase

(2)配置 hbase-site.xml

在运行之前,我们需要对HBase进行相关配置。建议大家修改 ${HBase-Dir}/conf/hbase-site.xml 文件,因为即使你修改了hbase-default.xml文件,也会被hbase-site.xml中的配置所覆盖。也就是说,最终是以 hbase-site.xml 中的配置为准的。我们做如下修改:

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>file:///tmp/hbase-${user.name}/hbase</value>
    </property>
</configuration>

注意:修改 ${user.name}为你自己的 hadoop 用户名

2. 伪分布模式 安装

伪分布模式是一个运行在单台机器上的分布式模式。此模式下,HBase所有的守护进程将运行在同一个节点之上,而且需要依赖HDFS,因此在此之前必须保证HDFS已经成功运行,请参考我们前面的课程:Hadoop伪分布模式配置部署。确认无误后,我们就可以开始配置HBase的参数了。

(1)配置 hbase-site.xml 文件

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
</configuration>

hbase.rootdir:该参数制定了HReion服务器的位置,即数据存放的位置。主要端口号要和Hadoop相应配置一致。hbase.cluster.distributed:HBase的运行模式。false是单机模式,true是分布式模式。若为false, HBase和Zookeeper会运行在同一个JVM里面。默认为false.

(2)设置环境变量

另外,我们需要设置一些环境变量。修改HBase下的conf目录中的hbase-env.sh文件(你的jdk路径可能不一样):

export JAVA_HOME=/usr/local/jdk1.7.0_67
export HBASE_MANAGES_ZK=true

export HBASE_MANAGES_ZK=true 此配置信息,表示设置由hbase自己管理zookeeper,不需要单独的zookeeper, 本文搭建的 Hbase 用的是自带的 zookeeper,故设置为true.

最后修改添加PATH, 则输入:

$ sudo vim /etc/profile

来修改 /etc/profile 文件:

# set hbase path
export PATH=$PATH:/usr/local/hadoop/hbase/bin

3. 完全分布模式 安装

由于完全分布模式需要多台机器,在这里我们就不给出演示了。


四、安装之后 - 运行和停止 HBase

正如上面我们提到的,HBase安装分为3个模式,因此HBase的运行自然也分为同样的3个模式。

1. 单机模式 运行

(1)启动

单机模式下不需要HDFS,因此不需要事先启动Hadoop,直接启动HBase即可。终端下输入命令:./start-hbase.sh

注意:路径要正确,应为:$HBASE_HOME/bin 目录,否则会找不到 start-hbase.sh 这个文件,就会出现错误

(2)查看进程

我们可以通过 jps 来查看当前 HBase 的进程:

(3)停止 HBase 服务

输入 ./stop-hbase.sh

2. 伪分布模式 运行

(1)启动和查看进程

前面我们提到过,伪分布模式下,必须先确保 HDFS 已经启动。因此,我们先启动 HDFS,输入命令: ./start-all.sh

使用 jps 查看目前 Hadoop 的进程:

HDFS 成功启动之后,我们再启动 HBase,这里和单机模式下启动 HBase 的方法一样,输入命令: ./start-hbase.sh

此时再使用 jps查看,可以看到多了HBase的相关进程:

(2)进入 HBase Shell

通过HBase Shell用户可以方便地创建、删除以及修改表,还可以向表中添加数据、列出表中的相关相信等。

输入 help 来查看其所支持的命令,可以根据自己的需要选择。

(3)停止 HBase

根据依赖关系,我们需要先关闭HBase, ./stop-hbase.sh

通过 jps 可以看到,HBase相关的进程没有了:

再关闭HDFS, ./stop-all.sh.

最后,再通过 jps 发现 HDFS 的进程也没有了:

3. 完全分布模式 运行

略。


作业

有条件的同学,可以尝试 HBase 的完全分布模式下的配置与安装。


参考文档

时间: 2024-08-05 02:22:05

HBase 的安装与配置的相关文章

Hbase的安装与配置

1.什么是Hbase HBase – Hadoop Database,是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群. HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处

Hbase的安装和配置

1,准备好hbase的linux环境下的压缩包,这里hadoop版本为hadoop2.5.0,hbase版本为 2,解压缩这个版本,不选src的,其实两个任一都行 进入到hbase安装包目录,我这里的是 cd /usr/local/bigdata/hbase/ 命令行命令:  tar -zxvf  hbase-0.98.6-cdh5.3.6.tar.gz 3,解压缩以后的列表为 打开cd conf之后 修改第一个文件vi hbase-env.sh,进入后界面,修改两处值,如果没有新建,如果有,删

HBase安装与配置(完全分布式)

------------------------------------------------ 一.前言 二.环境 三.配置 1.解压hbase安装包 2.配置系统环境变量 3.修改conf/hbase-env.sh脚本,设置环境变量 4.编辑hbase-site.xml进行配置 5.修改regionservers,添加所有slave主机 6.修改hadoop下的hdfs-site.xml 7.分发到各个slave主机 8.启动Hbase 9.验证Hmaster已经启动 四.测试 ------

[HBase_1] HBase安装与配置

0. 说明 [HBase_1] HBase安装与配置 原文地址:https://www.cnblogs.com/share23/p/10365888.html

HBASE的安装过程及运行HBASE程序的需要配置的内容

HBase安装配置 ①下载压缩包(选择与自己安装的Hadoop版本的兼容版本,见后面附录) 官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/ 选择稳定版hbase-1.4.9-bin.tar.gz,在Windows里面下载. ②将压缩包从Windows传输到Linux当前目录下 SecureCRT [File]→[Connect SFTP Session]开启sftp操作 ③安装 解压安装到指定目录下/opt/mod

Hadoop集群内lzo的安装与配置

LZO压缩,可分块并行处理,解压缩的效率也是可以的. 为了配合部门hadoop平台测试,作者详细的介绍了如何在Hadoop平台下安装lzo所需要软件包:gcc.ant.lzo.lzo编码/解码器并配置lzo的文件:core-site.xml.mapred-site.xml.希望对大家有所帮助.以下是正文: 最近我们部门在测试云计算平台hadoop,我被lzo折腾了三四天,累了个够呛.在此总结一下,也给大家做个参考. 操作系统:CentOS 5.5,Hadoop版本:hadoop-0.20.2-C

1. 初探MongoDB —— 介绍、安装和配置

一.写在前面 之前一直以来,都是使用关系型数据库.也很早就听闻,当数据量大的时候,关系型数据库使用起来会有很多问题.诸如查询数据慢,加载花费时间长等等. 也早就耳闻NOSQL(NoSQL = Not Only SQL ),泛指非关系型数据库.这种数据库主要以哈希表的形式存储.即:这个表中有一个指定的键和一个指针指向特定的数据,key.value键值对模式.这种方式的好处就是简单,容易部署. 而在NOSQL数据库中,主要有Cassandra.Mongodb.CouchDB.Redis. Riak.

flume详细介绍,安装,配置

一.什么是Flume? flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用.Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera.但随着 FLume 功能的扩展,Flume OG 代码工程臃肿.核心组件设计不合理.核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版本 0.94.0 中,日志传输不稳定的现象尤为严重,为了解决这些问题,2011 年 10 月 22 号,c

自学总结redis第一部分(简介、虚拟机配置、安装、配置、连接方式、密码设置)

Redis学习部分 一.NoSql简介 NoSql泛指非关系型数据库. 更多简介请见 "http://baike.baidu.com/link?url=sYV3qpYWs3RDlz1RZbVP18luQwubYrboLUt2qRDhSJrhctvLL1tYBtDFf736ypSocpnmZE5eLvyYzd34k5T2xa" 1.1NoSql数据库的四大分类 键值(key-value)存储数据库:这一类数据库主要会使用一个哈希表,这个表中有一个特定的键和一个指针执行特定的数据.Key/