hbase完成分布式搭建

1.解压缩hbase的软件包,使用命令:

tar -zxvf hbase-1.3.0-bin.tar.gz

2.进入hbase的配置目录,在hbase-env.sh文件里面加入java环境变量.即:

JAVA_HOME=export JAVA_HOME=/opt/jdk1.8.0_121

关闭HBase自带的Zookeeper,使用Zookeeper集群:

export  HBASE_MANAGES_ZK=false

3. 编辑hbase-site.xml ,添加配置文件:

<?xml version="1.0"?>

<?xml-stylesheet
type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>hbase.rootdir</name>

    <value>hdfs://c7001:8020/hbase</value>

  </property>

  <property>

    <name>hbase.cluster.distributed</name>

    <value>true</value>

  </property>

  <property>

    <name>hbase.zookeeper.quorum</name>

    <value>c7003,c7004,c7005</value>

  </property>

  <property>

    <name>hbase.zookeeper.property.dataDir</name>

    <value>/opt/hbase-1.3.0/tmp/zk/data</value>

  </property>

</configuration>

4. 编辑配置目录下面的文件regionservers. 命令:

vi   regionservers

加入如下内容:

c7004

c7005

5. 把Hbase复制到其他机器,命令如下:

[[email protected] opt]$ scp -r
hbase-1.3.0 [email protected]:/opt/

[[email protected]
opt]$ scp -r hbase-1.3.0 [email protected]:/opt/

6. 在c7003机器开启hbase服务。命令如下:

[[email protected] hbase-1.3.0]$
bin/start-hbase.sh

在c7003、c7004、c7005中的任意一台机器使用bin/hbase shell 进入hbase自带的shell环境,然后使用命令version等,进行查看hbase信息及建立表等操作。

时间: 2024-10-10 07:23:27

hbase完成分布式搭建的相关文章

hbase伪分布式搭建和完全分布式搭建

hbase配置 (前提是zookeeper能正常使用) HBase是主从式结构,HMaster.HRegionServer HBase的伪分布 1.配置环境变量HBASE_HOME 2.         修改文件$HBASE_HOME/conf/hbase-env.sh,修改内容如下 export JAVA_HOME=/usr/local/jdk  (自定义) export HBASE_MANAGES_ZK=true 3.修改文件hbase-site.xml,修改内容如下 <property>

hbase完全分布式搭建笔记

搭建完全分布式hbase集群 ------------------------- 1.配置master主机上的文件 [conf/hbase-site.xml] <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://s1:8020/hbase</value> </property> <property> <name>hb

Hadoop、Hbase完全分布式搭建

一.Hadoop1.0到2.0的架构变化 1.Hadoop 2.0由HDFS.MapReduce和YARN三个分支构成 2.HDFSNN Federation.HA 3.MapReduce运行在YARN上的MR 4.YARN资源管理系统 二.HDFS 2.0 1.解决HDFS 1.0中单点故障和内存受限问题. 2.解决单点故障 HDFS HA通过主备NameNode解决 如果主NameNode发生故障则切换到备NameNode上 3.解决内存受限问题 HDFS Federation(联邦) 水平

基于Hadoop的数据分析综合管理平台之Hadoop、HBase完全分布式集群搭建

能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事. 现将前期手里面的一个项目做一个大致的总结,与大家一起分享.交流.进步.项目现在正在线上运行,项目名--基于Hadoop的数据分析综合管理平台. 项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-->热点话题发现-->报表"实时"展示,使用到的技术也是当今互联网公司常用的技术:Hadoop.Mahout.HBase.Spring Data Had

基于HBase Hadoop 分布式集群环境下的MapReduce程序开发

HBase分布式集群环境搭建成功后,连续4.5天实验客户端Map/Reduce程序开发,这方面的代码网上多得是,写个测试代码非常容易,可是真正运行起来可说是历经挫折.下面就是我最终调通并让程序在集群上运行起来的一些经验教训. 一.首先说一下我的环境: 1,集群的环境配置请见这篇博文. 2,开发客户机环境:操作系统是CentOS6.5,JDK版本是1.7.0-60,开发工具是Eclipse(原始安装是从google的ADT网站下载的ADT专用开发环境,后来加装了Java企业开发的工具,启动Flas

HBase介绍、搭建、环境、安装部署

hadoop培训课程:HBase介绍.搭建.环境.安装部署 1.搭建环境 部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放Hadoop等组件运行包.因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app). Hadoop搭建环

Hbase架构,组件分析 ,Hbase集群搭建

1.hbase的架构 Hbase主要由master,regionserver,zookeeper,client,hdfs文件系统构成. Zk:记录hbase的表的元数据信息 hamster:进行region的分配,发出操作指令 Hlog:记录HregionServer的操作日志,保证数据的可靠性 HRegion:存储Hbase表的信息 store:Hbase表的不同列族的存储 DataNode:存储Hbase的Hlog及Hbase表的Hfile的文件持久化存储 2.hbase的组件及作用 1)C

zookeeper和hbase集群搭建

zookeeper与hbase分布式搭建 zookeeper集群 1.zookeeper,故名思意,就是动物园管理员的意思,Hadoop生态里面的东西基本上都是一些小动物的昵称,所以,就这么来了 这里接前篇的Hadoop分布式搭建,所有平台都搭建在/root/app目录下 (千万别学我用根用户弄,我是为了懒得敲sudo) 我们将下载的zookeeper安装包上传至虚拟机中,然后解压 tar -zxvf zookeeper-3.4.10.tar.gz 解压好了之后,我们建立两个文件夹,一个是zkd

hadoop2.2.0伪分布式搭建

一.准备linux环境 1.更改VMware适配器设置 由于是在单机环境下进行学习的,因此选择适配器模式是host-only模式,如果想要联网,可以选择桥接模式,配置的方式差不多. 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.85.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络