27-hadoop-hbase安装

hbase的安装分为单机模式和完全分布式

单机模式

单机模式的安装很简单, 需要注意hbase自己内置一个zookeeper, 如果使用单机模式, 那么该机器的zookeepr不可以启动

1, 添加java的环境变量  vim {HBASE_HOME}/conf/hbase-env.sh

export JAVA_HOME=/usr/opt/jdk1.7.0_79

2, 修改配置文件  {HBASE_HOME}/conf/hbase-site.xml

<property>
<name>hbase.rootdir</name>
<value>file:////data/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/data/zkData</value>
</property>

3, 启动

./bin/start-hbase.sh

4, 链接

./bin/hbase shell

5, 查看命令

help

6, 查看表

list

ok, 单机模式搭建完成

集群模式

前提: zookeeper集群正常启动, hadoop集群正常启动

1, ./conf/hbase-site.xml

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://hdfscluster/hbase</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>192.168.208.106,192.168.208.107,192.168.208.108</value>
  </property>
</configuration>

其中, root.dir是在{HADOOP_HOME}/etc/hadoop/core-site.xml 中

2, ./conf/regionserver中, 配置2台从, 即regionserver

192.168.208.106
192.168.208.107
192.168.208.108

可选配置: 在 backup-mater中配置高可用 ( 我没配置)

192.168.208.107
192.168.208.108

3, hdoop.conf.dir 配置在 hbase-env.sh中 的hbase_classpath下

有3种配置方式, 我们选第一种

  1. Add a pointer to your HADOOP_CONF_DIR to the HBASE_CLASSPATH environment variable in hbase-env.sh.
  2. Add a copy of hdfs-site.xml (or hadoop-site.xml) or, better, symlinks, under ${HBASE_HOME}/conf, or
  3. if only a small set of HDFS client configurations, add them to hbase-site.xml.

最终 hbae-env.sh的需要配置:

export JAVA_HOME=/usr/opt/jdk1.7.0_79
export HBASE_CLASSPATH=/usr/opt/hadoop-2.5.1/etc/hadoop/
export HBASE_MANAGES_ZK=false    # 设置内置zookeeper不可用

4, 分发到从机

scp -r hbase-1.1.3/ [email protected]192.168.208.107:/opt
scp -r hbase-1.1.3/ [email protected]192.168.208.108:/opt

5, 需要的话配置环境变量

6, 启动:

./bin/start-hbase.sh

7, 链接

hbase shell

或者访问: 192.168.208.106:16010

8, 杀掉hbase

使用命令 stop-hbase.sh, 然后等待杀死即可, 如果杀不死, 需要到zookeeper下删除 hbase节点下的元素据信息, 如果仍然杀不死, 需要删除数据信息

集群模式需要开放的端口, 粘贴一段官网文档的原话: ( http://hbase.apache.org/book.html#_introduction)

Each HMaster uses three ports (16010, 16020, and 16030 by default). The port offset is added to these ports, so using an offset of 2, the backup HMaster would use ports 16012, 16022, and 16032. The following command starts 3 backup servers using ports 16012/16022/16032, 16013/16023/16033, and 16015/16025/16035.

Each RegionServer requires two ports, and the default ports are 16020 and 16030.

The following command starts four additional RegionServers, running on sequential ports starting at 16202/16302 (base ports 16200/16300 plus 2).

几个简单的shell命令:

创建

create ‘table‘,‘cf1‘,‘cf2‘

查看表结构

desc ‘table‘

表删除

disable ‘table‘
drop ‘table‘

查看表数据

scan ‘table‘

系类来自尚学堂极限班视频

时间: 2024-10-13 17:25:22

27-hadoop-hbase安装的相关文章

hbase安装,以及安装前置hadoop(单节点)

1.hadoop下载 https://archive.apache.org/dist/hadoop/common/ 这里我下载的是: hadoop-2.7.4.tar.gz 1-1首先做ssh免密码登录设置 ssh-keygen -t rsa,三次回车后,在/root/.ssh/会生成id_rsa,id_rsa.pub文件1-2 将id_rsa.pub公钥内容拷贝到authorized_keys文件中 cat id_rsa.pub >> authorized_keys 1-3.授权 chmod

Apache Hadoop集群离线安装部署(三)——Hbase安装

Apache Hadoop集群离线安装部署(一)--Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apache Hadoop集群离线安装部署(二)--Spark-2.1.0 on Yarn安装:http://www.cnblogs.com/pojishou/p/6366570.html Apache Hadoop集群离线安装部署(三)--Hbase安装:http://www.cnblogs.com/po

hadoop生态圈安装详解(hadoop+zookeeper+hbase+pig+hive)

目录 1.hadoop分布式安装 2.zookeeper分布式安装 3.hbase分布式安装 4.pig分布式安装 5.hive客户端安装

hbase安装配置(整合到hadoop)

hbase安装配置(整合到hadoop) 如果想详细了解hbase的安装:http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/ 1.  快速单击安装 在单机安装Hbase的方法.会引导你通过shell创建一个表,插入一行,然后删除它,最后停止Hbase.只要10分钟就可以完成以下的操作. 1.1下载解压最新版本 选择一个 Apache 下载镜像:http://www.apache.org/dyn/closer.cgi/hbase

[精华]Hadoop,HBase分布式集群和solr环境搭建

1. 机器准备 1.1 准备了2台机器,安装win7系统(64位) 两台windows物理主机: 192.168.131.44 administrator/(密码是一个空格) 192.168.131.67 administrator/(密码是一个空格) 1.2. 每台机器上安装VMwareWorkstation8.0.3 VMwareWorkstation8.0.3序列号:JG2TD-DJL95-FZZZ8-DU1NH-33GH7 1.3. 创建虚拟机CentOS-6.5-x86_64-bin-

Hadoop+Hbase分布式集群架构“完全篇

1.认识Hadoop和Hbase 1.1 hadoop简单介绍 Hadoop是一个使用java编写的Apache开放源代码框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理.Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作.Hadoop旨在从单一服务器扩展到数千台机器,每台机器都提供本地计算和存储. 1.2 Hadoop架构 Hadoop框架包括以下四个模块: Hadoop Common:这些是其他Hadoop模块所需的Java库和实用程序.这些

Ubuntu: GlusterFS+HBase安装教程

HBase通常安装在Hadoop HDFS上,但也可以安装在其他实现了Hadoop文件接口的分布式文件系统上,如KFS.glusterfs是一个集群文件系统可扩展到几peta-bytes.它集合了各种存储在infiniband rdma或互连成一个大型并行网络文件系统.存储可以由任何商品等硬件x86_64服务器和sata-ii和infiniband HBA.GlusterFS比Hadoop HDFS可以提供更高的性能,HBase也因此可以获得更高的性能.将HBase安装在GlusterFS上,是

hbase学习(二)-hbase安装

本篇介绍两种HBase的安装方式:本地安装方式和伪分布式安装方式. 安装的前提条件是已经成功安装了hadoop,而且hadoop的版本要和hbase的版本相匹配. 我将要安装的hbase是hbase-0.94.11版本,需要的hadoop是hadoop-1.2.1版本. hbase下载地址:http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.11/ 将下载的hbase-0.94.11解压到相应的目录,如/usr/hbase-0.94.11 将hbas

构建Hadoop+Hbase+ZooKeeper分布式存储

前言* Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊.Facebook和Yahoo等等.对于我来说,最近的一个使用点就是服务集成平台的日志分析.服务集成平台的日志量将会很大,而这也正好符合了分布式计算的适用场景(日志分析和索引建立就是两大应用场景). 今天我们来实际搭建一下Hadoop 2.2.0版,实战环境为目前主流服务器操作系统CentOS 6.5系统. 一.实战环境 系统版本:CentOS 6.5 x86_64 JAVA版本:JDK

【汇总】 HBase 安装配置

HBase 默认配置 Centos6.5下Hbase配置 官网配置文档:http://hbase.apache.org/book.html#_configuration_files 中文翻译转自:http://eclecl1314-163-com.iteye.com/blog/1474286 Hbase集群搭建及所有配置调优参数整理及API代码运行 HBase集群安装部署(完全分布式) hbase安装配置(整合到hadoop)