hbase伪分布式搭建和完全分布式搭建

hbase配置

(前提是zookeeper能正常使用)

HBase是主从式结构,HMaster、HRegionServer

HBase的伪分布

1.配置环境变量HBASE_HOME

2.         修改文件$HBASE_HOME/conf/hbase-env.sh,修改内容如下

export JAVA_HOME=/usr/local/jdk  (自定义)

export HBASE_MANAGES_ZK=true

3.修改文件hbase-site.xml,修改内容如下

<property>
    <name>hbase.root.dir</name>  
       <value>hdfs://master:9000/hbase</value>  
     </property>  
     <property>  
       <name>hbase.cluster.distributed</name>  
       <value>true</value>  
     </property>  
     <property>  
       <name>hbase.zookeeper.quorum</name>  
       <value>master</value>  (master是zookeeper节点)
     </property>  
     <property>  
       <name>dfs.replication</name>  
       <value>1</value>  
     </property>

HBase的完全分布集群

1.hbase的机群搭建过程(在原来的m1上的hbase伪分布基础上进行搭建)

1.1 集群结构,主节点(hmaster)是m1,从节点(region server)是s1和s2

1.2 修改m1上的hbase的几个文件

(1)修改hbase-env.sh的最后一行export HBASE_MANAGES_ZK=false

(2)修改hbase-site.xml文件的hbase.zookeeper.quorum的值为m1,s1,s2

(3)修改regionservers文件(存放的region server的hostname),内容修改为s1、s2

1.3 复制m1中的hbase文件夹到s1、s2中

复制m1中的/etc/profile到s1、s2中,在s1、s2上执行source /etc/profile

1.4 启动集群

?  首先启动hadoop(在m1上start-all.sh),

?  然后启动zookeeper集群(分别在三台机器上zkServer.sh  start;可以使用zkServer.sh status查看zk的状态)。

?  最后在m1上启动hbase集群(start-hbase.sh)。

HBase Shell操作(增删改查)

1.bin/hbase shell进入hbase命令窗口

创建表

>create ‘users‘,‘user_id‘,‘address‘,‘info‘

         (说明:users,有三个列族user_id,address,info)

2.列出全部表

>list

3.描述表

>describe ‘users‘

时间: 2024-10-09 23:58:58

hbase伪分布式搭建和完全分布式搭建的相关文章

ZooKeeper的伪分布式集群搭建以及真分布式集群搭建

zk集群的一些基本概念 zookeeper集群搭建: zk集群,主从节点,心跳机制(选举模式) 配置数据文件 myid 1/2/3 对应 server.1/2/3 通过 zkCli.sh -server [ip]:[port] 命令检测集群是否配置成功 和其他大多数集群结构一样,zookeeper集群也是主从结构.搭建集群时,机器数量最低也是三台,因为小于三台就无法进行选举.选举就是当集群中的master节点挂掉之后,剩余的两台机器会进行选举,在这两台机器中选举出一台来做master节点.而当原

完全分布式模式的Hadoop环境搭建

一.本文说明:本次测试在五台虚拟机系统上进行完全分布式搭建.Hadoop分布式模式是在多台机器上分布式部署,配置非常类似于伪分布式,名称节点和数据节点都分布在不同的主机上,每台数据节点上都有相应的任务调度. 二.环境说明:       虚拟软件:VM10.0       操作系统:Cent Os 6.7       hadoop版本:hadoop-2.7.2       JDK版本:jdk1.8_77备注:基于独立模式基础上搭建,参考文章:独立模式的Hadoop环境搭建. 三.基本环境配置   

分布式HBase-0.98.3环境搭建

Hbase是一个分布式,版本化(versioned),构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.本文使用默认的Zookeeper,构造HDFS基础上的分布式Hbase. 1 安装环境 操作系统:Ubuntu-12.04 JDK版本:jdk1.7.0_51 计算机台数:2 (master:192.168.44.130   slave1:192.168.44.131) 2 预安装配置 安装Hadoop-2.2.0集群 安装SSH及设置SSH免密码登录 配置/

Hbase伪分布式安装

前面的文章已经讲过hadoop伪分布式安装,这里直接介绍hbase伪分布式安装. 1. 下载hbase 版本hbase 1.2.6 2. 解压hbase 3. 修改hbase-env.sh 新增如下内容 export JAVA_HOME=/home/cauchy/software/jdk export HADOOP_HOME=/home/cauchy/software/hadoop export HBASE_HOME=/home/cauchy/software/hbase export HBAS

高效搭建Spark完全分布式集群

写在前面一: 本文详细总结Spark分布式集群的安装步骤,帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境. 写在前面二: 使用软件说明 约定,Spark相关软件存放目录:/usr/local/yujianxin/spark, Hadoop相关软件存放目录: /home/yujianxin/hadoop. Spark集群示意图 一.具体安装步骤 1.安装jdk 2.安装Hadoop集群,参考http://blog.csdn.net/aaronhadoop/article/det

高效搭建Storm完全分布式集群

环境说明 1.硬件说明 使用三台PC机,角色分配如下 2.软件说明 约定所有软件都放在/usr/local/路径下 准备工作 1.安装jdk 2.配置SSH Storm集群安装 安装流程图 1.安装Zookeeper集群 2.安装Storm依赖 zeromq.jzmq.python 2.1.安装zeromq tar -zxvf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 是源码,需先编译 ./configure 检查编译环境 安装依赖 rpm -ivh libstdc

【web】 亿级Web系统搭建——单机到分布式集群

当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题.为了解决这些性能压力带来问题,我们需要在Web系统架构层面搭建多个层次的缓存机制.在不同的压力阶段,我们会遇到不同的问题,通过搭建不同的服务和架构来解决. Web负载均衡 Web负载均衡(Load Balancing),简单地说就是给我们的服务器集群分配“工作任务”,而采用恰当的分配方式,对于保护处于后端的Web服务器来说,非常重要. 负载均衡的策略有很

很不错的文章---【问底】徐汉彬:亿级Web系统搭建——单机到分布式集群

原文:很不错的文章---[问底]徐汉彬:亿级Web系统搭建--单机到分布式集群 [导读]徐汉彬曾在阿里巴巴和腾讯从事4年多的技术研发工作,负责过日请求量过亿的Web系统升级与重构,目前在小满科技创业,从事SaaS服务技术建设. 大规模流量的网站架构,从来都是慢慢“成长”而来.而这个过程中,会遇到很多问题,在不断解决问题的过程中,Web系统变得越来越大.并且,新的挑战又往往出现在旧的解决方案之上.希望这篇文章能够为技术人员提供一定的参考和帮助. 以下为原文 当一个Web系统从日访问量10万逐步增长

Zabbix分布式监控系统的初步搭建

昨天搞了整整一天,各种问题.搭建环境为LAMP,我天真的用LNMP去搭建,结果死活运行不起来zabbix的前台页面. 还有PHP的时区问题.mysql的连接问题.今天从开始安装,尽量整理重现碰到的所有问题,以及后续的解决办法 1.linux系统安装,用的是6.0minimal,安装过程就不写了. 2.环境搭建 LAMP apache我直接使用的yum安装 yum -y install httpd PHP同样也是yum 安装,也可以用源码. yum安装 yum install php php-fp