搭建hbase cluster

借助于hdfs(具体可参考 搭建hadoop),再搭建hbase就十分方便

hbase需要hdfs,zookeeper。所以自建一个zk server

环境:

master:主机名/ip都是master

d1-d3:主机名/ip分别是d1-d3,统称为ds

zk在d1上

以下操作均在master上完成

首先下载hbase并解压到/opt/hbase

wget http://www-eu.apache.org/dist/hbase/stable/hbase-1.2.6-bin.tar.gz

进入conf开始配置

hbase-env.sh

# The java implementation to use.  Java 1.7+ required.
export JAVA_HOME=/usr/lib/jvm/java-8-oracle

hbase-site.xml

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/hbase</value>
  </property>
  <property>
    <name>hbase.master</name>
    <value>master</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>d1</value>
  </property>
  <property>
    <name>zookeeper.session.timeout</name>
    <value>60000000</value>
  </property>
  <property>
    <name>dfs.support.append</name>
    <value>true</value>
  </property>
</configuration>

可以看到这里主要指定hadoop namenode和zk的位置

regionservers:

d1

d2

d3

依次把hbase节点填入

然后把/opt/hbase用scp拷贝到ds

在master,执行start-hbase.sh即可全部启动

自带的管理web ui:http://master:16010/master-status

来做一些常用数据操作

xxx$hbase shell
...
Type "exit<RETURN>" to leave the HBase Shell
Version 1.2.6, rUnknown, Mon May 29 02:25:32 CDT 2017

hbase(main):001:0> list
TABLE
test
1 row(s) in 0.1550 seconds

=> ["test"]
hbase(main):002:0> create ‘table1‘,‘cf1‘,‘cf2‘
0 row(s) in 2.3260 seconds

=> Hbase::Table - table1
hbase(main):003:0> put ‘table1‘,‘row1‘,‘cf1:c1‘,‘i am cf1.c1 value‘
0 row(s) in 0.1480 seconds

hbase(main):004:0> put ‘table1‘,‘row1‘,‘cf1:c2‘,‘i am cf1.c2 value‘
0 row(s) in 0.0090 seconds

hbase(main):005:0> put ‘table1‘,‘row1‘,‘cf2:c1‘,‘i am cf2.c1 value‘
0 row(s) in 0.0070 seconds

hbase(main):007:0> put ‘table1‘,‘row2‘,‘cf2:c4‘,‘i am cf2.c4 value‘
0 row(s) in 0.0050 seconds

hbase(main):008:0> scan ‘table1‘
ROW                                                COLUMN+CELL
 row1                                              column=cf1:c1, timestamp=1513669511645, value=i am cf1.c1 value
 row1                                              column=cf1:c2, timestamp=1513669522464, value=i am cf1.c2 value
 row1                                              column=cf2:c1, timestamp=1513669539419, value=i am cf2.c1 value
 row2                                              column=cf2:c4, timestamp=1513669561824, value=i am cf2.c4 value
2 row(s) in 0.0140 seconds

hbase(main):011:0> scan ‘table1‘, {ROWPREFIXFILTER => ‘row2‘}
ROW                                                COLUMN+CELL
 row2                                              column=cf2:c4, timestamp=1513669561824, value=i am cf2.c4 value
1 row(s) in 0.0100 seconds

hbase(main):013:0> create ‘table2‘,‘xx‘
0 row(s) in 1.2270 seconds

hbase(main):014:0> list
TABLE
table1
table2
test
3 row(s) in 0.0040 seconds

base(main):016:0> disable ‘table2‘
0 row(s) in 2.2380 seconds

hbase(main):017:0> drop ‘table2‘
0 row(s) in 1.2390 seconds

hbase(main):018:0> list
TABLE
table1
test
2 row(s) in 0.0060 seconds

建表,删表,插入,条件查询等

可以看到跟hadoop一样,数据节点只需做ssh设置,其他操作都在master完成

时间: 2024-10-17 00:00:47

搭建hbase cluster的相关文章

Zookeer-- 上搭建 hbase

一.HBase的相关概念1.HBase的概念:大量数据进行随机近实时读写时使用Hbase.2.HBase是一个模仿Gootable's Bigtable的,开源的.分布式的.版本化的非关系型数据库.3.Hbase是一个非关系型数据库.4.HBase是用来在大量数据中进行低延迟的随机查询的 2.什么是nosql?Not Only SQL ,意即"不仅仅是SQL"3.常见的nosql数据库类型非关系型数据库--列存储(HBase)非关系型数据库--文档型存储(MongoDb)非关系型数据库

centos7搭建ELK Cluster集群日志分析平台(三)

续  centos7搭建ELK Cluster集群日志分析平台(一) 续  centos7搭建ELK Cluster集群日志分析平台(二) 已经安装好elasticsearch 5.4集群和logstash 5.4 安装kibana步骤 1.下载安装Kibana  ~]#wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.0-x86_64.rpm 如果链接失效,官网下载:https://www.elastic.co/down

通过tarball形式安装HBASE Cluster(CDH5.0.2)——配置分布式集群中的YARN ResourceManager 的HA

<?xml version="1.0"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses

centos7搭建ELK Cluster集群日志分析平台(二)

续  centos7搭建ELK Cluster集群日志分析平台(一) 已经安装完Elasticsearch 5.4 集群. 安装Logstash步骤 1. 安装Java 8 官方说明:需要安装Java 8 ,不支持Java 9... //自行安装,略过 2. 安装Logstash 可以同elasticsearch一样建立repo文件通过yum安装,也可以去官网直接下载rpm包进行本地安装:   ~]# rpm -ivh logstash-5.4.0.rpm  //这里直接下载好进行本地安装 3.

【甘道夫】Eclipse+Maven搭建HBase开发环境及HBaseDAO代码示例

环境: Win764bit Eclipse Version: Kepler Service Release 1 java version "1.7.0_40" 第一步:Eclipse中新建Maven项目,编辑pom.xml并更新下载jar包 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance&qu

通过tarball形式安装HBASE Cluster(CDH5.0.2)系列随笔

本系列文章只是记录了笔者本人在学习实验安装和使用基于CDH5.0.2的HBASE集群过程中的一些经验教训和心得,绝不是详细的安装过程,因本人不过一初学者,很多方面不甚了了,如果能让不幸读到的人有所得则不胜欣喜,否则大家一笑置之即可. 通过tarball形式安装HBASE Cluster(CDH5.0.2)——集群安装总览 通过tarball形式安装HBASE Cluster(CDH5.0.2)——如何配置分布式集群中的zookeeper 通过tarball形式安装HBASE Cluster(CD

搭建Hbase和Spark环境

前期准备: 1.默认已经搭建好了hadoop环境(我的hadoop版本是2.5.0) 2.这里我用的Hbase是0.98.6,spark是1.3.0 一.搭建Hbase 1.上传Hbase安装包,将/opt/software下的hbase安装包解压到/opt/app目录下 2.进入hbase目录下,修改配置文件 1>修改hbase-env.sh文件 将export  JAVA_HOME = 你的Java安装路径,我的路径是/opt/app/jdk1.7.0_79 所以改完后是 export  J

通过tarball形式安装HBASE Cluster(CDH5.0.2)——如何配置分布式集群中的zookeeper

集群安装总览参见这里 Zookeeper的配置 1,/etc/profile中加入zk的路径设置,见上面背景说明. 2,进入~/zk/conf目录,复制zoo_sample.cfg为zoo.cfg vim zoo.conf tickTime=2000 initLimit=10 syncLimit=5 dataDir=/home/hadoop/hdfs/zk/data dataLogDir=/home/hadoop/hdfs/zk/log clientPort=2181 server.21=zk1

搭建mysql cluster

虚拟机搭建Mysql Cluster 参考文档:http://www.cnblogs.com/jackluo/archive/2013/01/19/2868152.html http://www.cnblogs.com/StanBlogs/archive/2011/06/14/2080986.html 需要三台服务器.一个管理节点服务器.另外两个均充当数据节点和sql节点. 这里选用ubuntu64位操作系统.mysql cluster 对应也必须是64位的.去官方站点下载mysql-clust