hbase完全分布式搭建笔记

搭建完全分布式hbase集群

-------------------------

1.配置master主机上的文件

[conf/hbase-site.xml]

<configuration>

<property>

<name>hbase.rootdir</name>

<value>hdfs://s1:8020/hbase</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/ubuntu/hbase/zookeeper</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.property.clientPort</name>

<value>2222</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>s2,s3,s4</value>

</property>

</configuration>

[conf/regionservers]

s200

s300

s400

2.需要注意的问题是master节点需要登录到regionserver启动进程,配置ssh。

推荐namenode做master节点。

3.分发安装包。

a.每个节点tar开hbase软件包。

b.将master节点的配置文件分发到个regionservers上。

/etc/environment //颁发环境变量  ------》 /etc/environment [email protected]:/etc/

conf/hbase-site.xml //颁发

conf/regionservers

4.启动集群

1.先启动hadoop

start-all.sh

2.启动hbase

start-hbase.sh

5.通过16010端口查看成不成功

时间: 2024-11-05 15:52:40

hbase完全分布式搭建笔记的相关文章

hbase伪分布式搭建和完全分布式搭建

hbase配置 (前提是zookeeper能正常使用) HBase是主从式结构,HMaster.HRegionServer HBase的伪分布 1.配置环境变量HBASE_HOME 2.         修改文件$HBASE_HOME/conf/hbase-env.sh,修改内容如下 export JAVA_HOME=/usr/local/jdk  (自定义) export HBASE_MANAGES_ZK=true 3.修改文件hbase-site.xml,修改内容如下 <property>

Hadoop、Hbase完全分布式搭建

一.Hadoop1.0到2.0的架构变化 1.Hadoop 2.0由HDFS.MapReduce和YARN三个分支构成 2.HDFSNN Federation.HA 3.MapReduce运行在YARN上的MR 4.YARN资源管理系统 二.HDFS 2.0 1.解决HDFS 1.0中单点故障和内存受限问题. 2.解决单点故障 HDFS HA通过主备NameNode解决 如果主NameNode发生故障则切换到备NameNode上 3.解决内存受限问题 HDFS Federation(联邦) 水平

hbase完成分布式搭建

1.解压缩hbase的软件包,使用命令: tar -zxvf hbase-1.3.0-bin.tar.gz 2.进入hbase的配置目录,在hbase-env.sh文件里面加入java环境变量.即: JAVA_HOME=export JAVA_HOME=/opt/jdk1.8.0_121 关闭HBase自带的Zookeeper,使用Zookeeper集群: export  HBASE_MANAGES_ZK=false 3. 编辑hbase-site.xml ,添加配置文件: <?xml vers

基于Hadoop的数据分析综合管理平台之Hadoop、HBase完全分布式集群搭建

能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事. 现将前期手里面的一个项目做一个大致的总结,与大家一起分享.交流.进步.项目现在正在线上运行,项目名--基于Hadoop的数据分析综合管理平台. 项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-->热点话题发现-->报表"实时"展示,使用到的技术也是当今互联网公司常用的技术:Hadoop.Mahout.HBase.Spring Data Had

《Node.js入门》Windows 7下Node.js Web开发环境搭建笔记

近期想尝试一下在IBM Bluemix上使用Node.js创建Web应用程序.所以须要在本地搭建Node.js Web的开发測试环境. 这里讲的是Windows下的搭建方法,使用CentOS 的小伙伴请參考:<Node.js入门>CentOS 6.5下Node.js Web开发环境搭建笔记 Node.js是什么? 我们看看百科里怎么说的? JavaScript是一种执行在浏览器的脚本,它简单,轻巧.易于编辑,这样的脚本通经常使用于浏览器的前端编程.可是一位开发人员Ryan有一天发现这样的前端式

基于HBase Hadoop 分布式集群环境下的MapReduce程序开发

HBase分布式集群环境搭建成功后,连续4.5天实验客户端Map/Reduce程序开发,这方面的代码网上多得是,写个测试代码非常容易,可是真正运行起来可说是历经挫折.下面就是我最终调通并让程序在集群上运行起来的一些经验教训. 一.首先说一下我的环境: 1,集群的环境配置请见这篇博文. 2,开发客户机环境:操作系统是CentOS6.5,JDK版本是1.7.0-60,开发工具是Eclipse(原始安装是从google的ADT网站下载的ADT专用开发环境,后来加装了Java企业开发的工具,启动Flas

HBase介绍、搭建、环境、安装部署

hadoop培训课程:HBase介绍.搭建.环境.安装部署 1.搭建环境 部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放Hadoop等组件运行包.因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app). Hadoop搭建环

Hbase架构,组件分析 ,Hbase集群搭建

1.hbase的架构 Hbase主要由master,regionserver,zookeeper,client,hdfs文件系统构成. Zk:记录hbase的表的元数据信息 hamster:进行region的分配,发出操作指令 Hlog:记录HregionServer的操作日志,保证数据的可靠性 HRegion:存储Hbase表的信息 store:Hbase表的不同列族的存储 DataNode:存储Hbase的Hlog及Hbase表的Hfile的文件持久化存储 2.hbase的组件及作用 1)C

zookeeper和hbase集群搭建

zookeeper与hbase分布式搭建 zookeeper集群 1.zookeeper,故名思意,就是动物园管理员的意思,Hadoop生态里面的东西基本上都是一些小动物的昵称,所以,就这么来了 这里接前篇的Hadoop分布式搭建,所有平台都搭建在/root/app目录下 (千万别学我用根用户弄,我是为了懒得敲sudo) 我们将下载的zookeeper安装包上传至虚拟机中,然后解压 tar -zxvf zookeeper-3.4.10.tar.gz 解压好了之后,我们建立两个文件夹,一个是zkd