虚拟机zookeeper和hbase集群搭建

集群zookeeper

dataDir=/usr/local/zookeeper/dataDir
dataLogDir=/usr/local/zookeeper/dataLogDir
# the port at which the clients will connect
clientPort=2181
# master
server.1=sjck-node01:2888:3888
server.2=sjck-node02:2888:3888
server.3=sjck-node03:2888:3888

myid

[[email protected] dataDir]# cat /usr/local/zookeeper/dataDir/myid
1
[[email protected] dataDir]# cat /usr/local/zookeeper/dataDir/myid
2
[[email protected] dataDir]# cat /usr/local/zookeeper/dataDir/myid
3

环境配置

export ZK_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZK_HOME/bin

source  /etc/profile

集群启动,在每台机子上都执行

/usr/local/zookeeper/bin/zkServer.sh start
/usr/local/zookeeper/bin/zkServer.sh stop

查看集群状态

[[email protected] dataDir]# /usr/local/zookeeper/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[[email protected] dataDir]# /usr/local/zookeeper/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[[email protected] dataDir]# /usr/local/zookeeper/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader

hbase环境配置

export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin

source  /etc/profile

查看版本

[[email protected] hbase]# hbase version
HBase 1.3.1
Source code repository git://mantonov-mbp1/Users/mantonov/hbase revision=930b9a55528fe45d8edce7af42fef2d35e77677a
Compiled by mantonov on Thu Apr  6 19:36:54 PDT 2017
From source with checksum a34b810bed77b3a56af797405bea7c78

hbase-env.sh

export JAVA_HOME=/usr/local/src/jdk/jdk1.8
export HBASE_MANAGES_ZK=false
export HADOOP_HOME=/usr/local/hadoop
export HBASE_HOME=/usr/local/hbase
export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop/

hbase-site.xml

<configuration>
? ? <property>
? ? ? ? <name>hbase.rootdir</name>
? ? ? ? <value>hdfs://sjck-node01:9000/hbase</value>
? ? </property>
? ? <property>
? ? ? ? <name>hbase.master</name>
? ? ? ? <value>sjck-node01:60000</value>
? ? </property>
? ? <property>
? ? ? ? <name>hbase.cluster.distributed</name>
? ? ? ? <value>true</value>
? ? </property>
? ? <property>
? ? ? ? <name>hbase.zookeeper.property.clientPort</name>
? ? ? ? <value>2181</value>
? ? </property>
? ? <property>
? ? ? ? <name>hbase.zookeeper.quorum</name>
? ? ? ? <value>sjck-node01,sjck-node02,sjck-node03</value>
? ? </property>
? ? <property>
? ? ? ? <name>zookeeper.session.timeout</name>
? ? ? ? <value>120000</value>
? ? </property>
? ? <property>
? ? ? ? <name>dfs.support.append</name>
? ? ? ? <value>true</value>
? ? </property>
</configuration>

regionservers

sjck-node02
sjck-node03

master启动hbase

start-hbase.sh
stop-hbase.sh

集群启动状态,主节点是HMaster,其余是HRegionServer

[[email protected] bin]# jps
3104 NameNode
3893 HMaster
4133 Jps
3273 SecondaryNameNode
3739 QuorumPeerMain
3455 ResourceManager
[[email protected] local]# jps
3157 DataNode
3477 HRegionServer
3270 NodeManager
3403 QuorumPeerMain
3679 Jps
[[email protected] local]# jps
3731 HRegionServer
3923 Jps
3399 DataNode
3656 QuorumPeerMain
3517 NodeManager

web管理页面

http://172.16.92.128:16010/master-status

hbase shell

[[email protected] bin]# hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/hbase/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
hbase(main):001:0> 

原文地址:https://www.cnblogs.com/wanli002/p/10706816.html

时间: 2024-10-08 07:10:20

虚拟机zookeeper和hbase集群搭建的相关文章

zookeeper和hbase集群搭建

zookeeper与hbase分布式搭建 zookeeper集群 1.zookeeper,故名思意,就是动物园管理员的意思,Hadoop生态里面的东西基本上都是一些小动物的昵称,所以,就这么来了 这里接前篇的Hadoop分布式搭建,所有平台都搭建在/root/app目录下 (千万别学我用根用户弄,我是为了懒得敲sudo) 我们将下载的zookeeper安装包上传至虚拟机中,然后解压 tar -zxvf zookeeper-3.4.10.tar.gz 解压好了之后,我们建立两个文件夹,一个是zkd

hbase 集群搭建(公司内部测试集群)

我用的是cdh4.5版本:配置文件:$HBASE_HOME/conf/hbase-env.shexport JAVA_HOME=$JAVA_HOMEexport JAVA_HOME=/home/hadoop/jdk1.7.0_51export HBASE_CLASSPATH=$HBASE_HOME/conf# Tell HBase whether it should manage it's own instance of Zookeeper or not.export HBASE_MANAGES

Hbase架构,组件分析 ,Hbase集群搭建

1.hbase的架构 Hbase主要由master,regionserver,zookeeper,client,hdfs文件系统构成. Zk:记录hbase的表的元数据信息 hamster:进行region的分配,发出操作指令 Hlog:记录HregionServer的操作日志,保证数据的可靠性 HRegion:存储Hbase表的信息 store:Hbase表的不同列族的存储 DataNode:存储Hbase的Hlog及Hbase表的Hfile的文件持久化存储 2.hbase的组件及作用 1)C

Hbase集群搭建及所有配置调优参数整理及API代码运行

最近为了方便开发,在自己的虚拟机上搭建了三节点的Hadoop集群与Hbase集群,hadoop集群的搭建与zookeeper集群这里就不再详细说明,原来的笔记中记录过.这里将hbase配置参数进行相应整理,方便日后使用. 首先vi ~/.bash_profile将hbase的环境变量进行配置,最后source ~./bash_profile使之立即生效 1.修改hbase-env.sh 由于我使用的是外置的zookeeper,所以这里HBASE_MANAGES_ZK设置为,设置参数: # The

阿里云ECS服务器部署HADOOP集群(三):ZooKeeper 完全分布式集群搭建

本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里云ECS服务器:master, slave1, slave2 操作系统:CentOS 7.3 Hadoop:hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar.gz ZooKeeper: zookeeper-3.4.14.tar.gz 1.2 各节点角色

Hbase集群搭建

JDK版本和HBASE对应关系 HBase Version JDK 6 JDK 7 JDK 8 2 Not Supported Not Supported yes 1.3 Not Supported yes yes 1.2 Not Supported yes yes 1.1 Not Supported yes Running with JDK 8 will work but is not well tested. 1 Not Supported yes Running with JDK 8 wi

Zookeeper简介与集群搭建

Zookeeper简介 Zookeeper是一个高效的分布式协调服务,可以提供配置信息管理.命名.分布式同步.集群管理.数据库切换等服务.它不适合用来存储大量信息,可以用来存储一些配置.发布与订阅等少量信息.Hadoop.Storm.消息中间件.RPC服务框架.分布式数据库同步系统,这些都是Zookeeper的应用场景. Zookeeper集群中节点个数一般为奇数个(>=3),若集群中Master挂掉,剩余节点个数在半数以上时,就可以推举新的主节点,继续对外提供服务. 客户端发起事务请求,事务请

Hbase 集群搭建

配置hbasse 先配置一台 然后 给两台分发 1.上传tar包 2.解压 tar -zxvf hbase-1.1.2-bin.tar.gz 3.配环境 vim /etc/profile export HBASE_HOME=/root/Downloads/hbase-1.1.2 export PATH=$PATH:$HBASE_HOME/bin source /etc/profile 4.到hbase ---conf路径下 vim hbase-env.sh export HBASE_MANAGE

2. zookeeper介绍及集群搭建

ZooKeeper 概述 Zookeeper 是一个分布式协调服务的开源框架. 主要用来解决分布式集群中 应用系统的一致性问题,例如怎样避免同时操作同一数据造成脏读的问题. ZooKeeper 本质上是一个分布式的小文件存储系统. 提供基于类似于文件系 统的目录树方式的数据存储,并且可以对树中的节点进行有效管理.从而用来维 护和监控你存储的数据的状态变化.通过监控这些数据状态的变化,从而可以达 到基于数据的集群管理. 诸如: 统一命名服务(dubbo).分布式配置管理(solr的配置集中管理).