HBase单机和集群版部署

1. HBase安装部署

HBase有两种部署模式：单机版模式和集群版模式。无论哪种模式，都需要配置HBase conf目录下的文件。至少，必须在conf/hbase-env.sh文件中添加JAVA_HOME。在hbase-env.sh这个文件中，可以设置HBase的环境变量，如堆内存大小、JVM的其他配置，日志文件的存放位置等。

注意：HBase的安装版本需要与Hadoop的版本相对应，否则会出现HBase使用不了的情况，主要体现在HBase shell操作命令非常慢，甚至出错。HBase与Hadoop的版本对应可以查看HBase官网文档https://hbase.apache.org/book.html#basic.prerequisites 第四节点basic.prerequisites介绍，如图：

从上图可以知道hadoop-2.8.0以上的版本都不支持HBase或者存在不稳定性，故最好安装hadoop-2.7.1+或者hadoop-2.8.3+的版本，避免HBase无法使用，这里我采用hadoop-2.7.1+版本。

HBase2.0以上的版本要求使用Jdk8以上，故这里采用Java8。

1.1 软件配置选择

JDK:1.8 （jdk1.8.0_151）
Hadoop:2.7.6 (hadoop-2.7.6.tar.gz)
HBase:2.1.2 (hbase-2.1.1-bin.tar.gz)

1.2 服务器环境准备

1.2.1 更改主机名

输入 hostname 查看本机的主机名，然后输入命令 vi /etc/sysconfig/network 编辑 /etc/sysconfig/network 文件

注：主机名称更改之后，要重启(reboot)才会生效。

输入 vim /etc/hosts 添加主机IP和对应的主机名称，做映射。

注：在配置文件中使用主机名的话，这个映射必须做！

1.2.2 关闭防火墙

关闭防火墙，方便外部访问。
CentOS 7版本以下输入:
关闭防火墙
service iptables stop
CentOS 7 以上的版本输入：
systemctl stop firewalld.service

1.2.3 时间设置

输入:
date
查看服务器时间是否一致，若不一致则更改
更改时间命令

date -s ‘MMDDhhmmYYYY.ss’

2. HBase单机版部署

HBase独立实例包含全部HBase的守护进程，如：Master、RegionServers以及ZooKeeper，它们运行在单个JVM里面，并持久化到本地文件系统。

2.1 从官网下载HBase安装包，并通过Xftp5上传到单节点机器上

目前使用的HBase版本为hbase-2.1.2-bin.tar.gz

通过Xftp5上传到机器节点node1上的/opt/frame/目录

2.2 解压hbase-2.1.2.tar.gz，并把解压的安装包移动到/opt/app/目录上。

tar xzvf hbase-2.1.2-bin.tar.gz

mv hbase-2.1.2 /opt/app

2.3 修改配置hbase-env.sh、hbase-site.xml文件

编辑hbase-env.sh，添加以下配置：

export JAVA_HOME=/usr/lib/java/jdk1.8.0_181
export HBASE_HOME=/opt/app/hbase-2.1.2
export HBASE_CLASSPATH=/opt/app/hadoop-2.7.6/etc/hadoop
export HBASE_PID_DIR=/opt/app/hbase-2.1.2/pids
export HBASE_MANAGES_ZK=false

说明：配置的路径以自己的为准，HBASE_MANAGES_ZK=false是不启用HBase自带的Zookeeper集群。

编辑hbase-site.xml文件，添加以下配置：

<configuration>
 <!-- 存储目录 这里的hdfs可以是单机版的-->
 <property>
  <name>hbase.rootdir</name>
  <value>hdfs://node1:9000/hbase</value>
  <description>The directory shared byregion servers.</description>
 </property>
 <property>
  <name>hbase.tmp.dir</name>
  <value>/opt/app/hbase-2.1.2/tmp</value>
 </property>
 <!-- false是单机模式，true是分布式模式  -->
 <property>
  <name>hbase.cluster.distributed</name>
  <value>false</value>
 </property>
 <!-- zk主机地址和端口采用默认的，不用配置  -->
</configuration>

2.4 HBase启动

在成功启动单机版Hadoop之后，切换到HBase目录下

cd /opt/app/hbase-2.1.2/bin

输入：

./start-hbase.sh

在浏览器输入：

http://192.168.187.201:16010/

显示这个界面则成功！

3. HBase集群版部署

3.1 从官网下载HBase安装包，并通过Xftp5上传到机器集群上

目前使用的HBase版本为hbase-2.1.2-bin.tar.gz

下载hbase-2.1.2-bin.tar.gz版本：

通过Xftp5上传到hadoop机器集群的第一个节点node1上的/opt/frames/目录：

3.2 解压hbase-2.1.2-bin.tar.gz，并把解压的安装包移动到/opt/app/目录上。

tar zxvf hbase-2.1.2-bin.tar.gz 

mv hbase-2.1.1 /opt/app/  && cd /opt/app/

3.3 修改环境变量(每台机器都要执行)

编辑/etc/profile，并生效环境变量，输入如下命令：

sudo vi /etc/profile

添加如下内容：

export HBASE_HOME=/opt/app/hbase-2.1.2
export PATH=:PATH:PATH:HBASE_HOME/bin

使环境变量生效：source /etc/profile

3.4 修改配置hbase-env.sh、hbase-site.xml、Regionservers文件

进入hbase配置文件的目录，cd  /opt/app/hbase-2.1.2/conf/

①修改hbase-env.sh文件 vi hbase-env.sh，将以下内容写入到hbase-env.sh文件中：

export JAVA_HOME=/usr/lib/java/jdk1.8.0_151
# hadoop配置文件的位置
export HBASE_CLASSPATH=/opt/app/hadoop-2.7.5/etc/hadoop
# 如果使用独立安装的zookeeper，这个地方就是false，不使用内部的zookeeper，而是使用自己外部搭建的zookeeper集群
export HBASE_MANAGES_ZK=true

②修改hbase-site.xml配置文件 vi hbase-site.xml，并将以下内容写入到hbase-site.xml文件中：

<configuration>
# hbasemaster的主机和端口
<property>
<name>hbase.master</name> 
<value>hadoop1:60000</value>
</property>

# 时间同步允许的时间差
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>

# hbase共享目录，持久化hbase数据
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop1:9000/hbase</value>
</property>

# 是否分布式运行，false即为单机
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>

# zookeeper地址
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop1,hadoop2,hadoop3</value>
</property>

# zookeeper配置信息快照的位置
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hbase/tmp/zookeeper</value>
</property>
</configuration>

③修改Regionservers配置文件vi Regionservers，并将以下内容写入到Regionservers文件中：

hadoop1
hadoop2
hadoop3

3.5 把hadoop的hdfs-site.xml和core-site.xml放到hbase/conf下

cp /opt/app/hadoop-2.7.6/etc/hadoop/hdfs-site.xml  /opt/app/hbase-2.1.2/conf/
cp /opt/app/hadoop-2.7.6/etc/hadoop/core-site.xml  /opt/app/hbase-2.1.2/conf/

3.6 发送到其他节点机器

scp -r /opt/app/hbase-2.1.2/  [email protected]:/opt/app/
scp -r /opt/app/hbase-2.1.2/  [email protected]:/opt/app/

3.7 启动

①启动HBase命令：start-hbase.sh
②进入hbase的shell：hbase shell
注：先启动才能进入HBase shell

3.8 查看

进程：jps
退出hbase的shell：quit
页面：http://master:60010/

4. 总结

参考资料：

http://hbase.apache.org/book.html

原文地址：https://www.cnblogs.com/momoyan/p/11616453.html

时间： 2024-11-10 13:34:35

HBase单机和集群版部署的相关文章

zookeeper（单机、伪集群、集群）部署

ZooKeeper是一个分布式的.开源的分布式应用程序协调服务,可以在分布 式环境中实现应用配置管理.统一命名服务.状态同步服务等功能.ZooKeeper是一种为分布式应用所设计的高可用.高性能的开源协调服务,它提供了一项基本服务:分布式锁 服务.由于ZooKeeper开源的特性,在其分布式锁实现的基础上,又被摸索出了其它的功用,譬如:配置维 护.组服务.分布式消息队列等等. ZooKeeper维护了一个类似文件系统的数据结构,其内部每个子目录都被 称作znode(目录节点),与文件系统一样,我

Storm集群安装部署步骤【详细版】

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1. Storm集群组件 Storm集群中包含两

Redis单机版和集群版的安装和部署

1.单机版的安装 本次使用redis3.0版本.3.0版本主要增加了redis集群功能. 安装的前提条件: 需要安装gcc:yum install gcc-c++ 1.1 安装redis 1.下载redis的源码包. 从官网下载 http://download.redis.io/releases/redis-3.0.0.tar.gz 2.把源码包上传到linux服务器 3.解压源码包并进入其目录 tar -zxvf redis-3.0.0.tar.gz 4.make cd /usr/local/

apache2.4+tomcat7 单机垂直集群 64位 windows操作系统

随着现在服务器的廉价,大多数的生产环境内存大多都已经达到 16G,但是java的运行环境,最大只能停留在2G ,这样就造成了这台服务器资源的浪费,所以单机的垂直集群就显得太有必要!本文需要具备 windows操作基础以及javaEE基础 生产环境大多都是 linux操作系统,鉴于写博客的方便性,我只能在自己电脑专供的win7 64位的操作系统中展示这个集群的部署方法,当然了在 windows和linux 中部署集群大同小异,大家重点看方法和步骤即可,好啦,正式入题! 因为我本机是 64位操作系统

HBase简介及集群安装

一.Hbase概述 Apache HBase?是Hadoop数据库,是一个分布式,可扩展的大数据存储. 当您需要对大数据进行随机,实时读/写访问时,请使用Apache HBase?.该项目的目标是托 管非常大的表 - 数十亿行X百万列 - 在商品硬件集群上.Apache HBase是一个开源的,分布式 的,版本化的非关系数据库,模仿Google的Bigtable: Chang等人的结构化数据分布式存储系 统.正如Bigtable利用Google文件系统提供的分布式数据存储一样,Apache HB

asp.net core 从单机到集群

asp.net core 从单机到集群 Intro# 这篇文章主要以我的活动室预约的项目作为示例,看一下一个 asp.net core 应用从单机应用到分布式应用需要做什么. 示例项目# 活动室预约提供了两个版本,集群版 和 单机版 单机版方便部署,不依赖其他环境,数据库使用的是 sqlite,详细部署文档可以参考:https://github.com/WeihanLi/ActivityReservation/blob/dev/docs/deploy/standalone.md 集群版,目前依赖

windows下hadoop的集群分布式部署

下面我们进行说明一下hadoop集群的搭建配置. 本文假设读者具有hadoop单机配置的基础,相同的部分不在重述. 以三台测试机为例搭建一个小集群,三台机器的ip分别为 192.168.200.1;192.168.200.2;192.168.200.3 cygwin,jdk的安装同windows下hadoop的单机伪分布式部署(1),这里略过. 1.配置 hosts 在三台机子的hosts文件中加入如下记录: 192.168.200.1 hadoop1  #master namenode 192

Greenplum源码编译安装（单机及集群模式）完整版

公司有个项目需要安装greenplum数据库,让我这个gp小白很是受伤,在网上各种搜,结果找到的都是TMD坑货帖子,但是经过4日苦战,总算是把greenplum的安装弄了个明白,单机及集群模式都部署成功,下面由我给大家分享一下整个部署过程,并小分析一下安装过程中遇到的各种坑. 首先,说一下我的环境,CentOS 7.2.1511,64位操作系统,全新安装,没有更新过 [[email protected] ~]# cat /etc/redhat-release CentOS Linux relea

Redis发布了集群版3.0.0 beta

Redis不是比较成熟的Memcache或者Mysql的替代品,是对于大型互联网类应用在架构上很好的补充.现在有越来越多的应用也在纷纷基于Redis做架构的改造. Redis已经发布集群版3.0.0beta,相信在不久的将来就会出稳定版本. redis cluster 集群规范 安装 Redis集群版3.0.0beta版的功能介绍如下: This is the first beta of Redis 3.0.0. Redis 3.0 features support for Redis Clus