HBase配置

下载安装包,解压 tar xzf 名

与hadoop一样 先放在 /usr

在解压后的zookeeper文件中的conf目录下面找到zoo_sample.cfg 复制一份,更改为zoo.cfg,修改其中内容,vi  zoo.cfg

添加:

操作步骤

2.1 复制以上文件到/usr/下

2.2 解压后得到目录: /usr/zookeeper-3.3.3

2.3 进入zookeeper-3.3.3目录下,把conf目录下的zoo_sample.cfg 复制成zoo.cfg文件

2.4 打开zoo.cfg并修改和添加配置项目,如下:

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the port at which the clients will connect
clientPort=2181
# the directory where the snapshot is stored.
#dataDir=/export/crawlspace/mahadev/zookeeper/server1/data
dataDir=/usr/zookeeper-3.3.3/data

clientPort=2181

Server.0=master.hadoop:2888:3888

Server.1=slave1.hadoop:2888:3888

Server.2=
slave2.hadoop:2888:3888

Server.3=
slave3.hadoop:2888:3888

Server.4=
slave4.hadoop:2888:3888

直到:

Server.13=
slave12.hadoop:2888:3888

新建两个目录

mkdir /usr/zookeeper-3.3.3/{data,log}

2.6 在/usr/zookeeper-3.3.3/data目录下创建一个文件:myid

2.7 分别在myid上按照配置文件的server.<id>中id的数值,在不同机器上的该文件中填写相应过的值

master.hadoop的myid内容为1

slave1.hadoop的为2
slave12.hadoop的为13

使用scp 把zookeeper-3.9.8 文件夹拷贝到其余节点,在每个节点的/usr 目录下新建一个文件夹zookeeper,在该目录下新建名为myid的文件。如果在hadoop用户下建立,权限则不够。权限根据zoo.cfg中的配置,在各自的myid文件中写入各自的编号,如:0,1,2,3,4 在所有节点的zookeeper/bin文件夹下启动zookeeper

./zkServer.sh
start

时间同步操作,以主节点为准。

创建一个环境变量ZOOKEEPER并把该环境变量添加到系统路径:

vim /etc/profile

在export PATH语句前添加两行:

ZOOKEEPER=/usr/zookeeper-3.3.3/

PATH=$PATH:$ZOOKEEPER/bin:

并执行 source /etc/profile

启动检测zookeeper

3.1 在三台机器上分别执行shell脚本,由于已经把可执行路径添加到环境变量中了,所以可以直接执行:

zkServer.sh start

3.2 在其中一台机器上执行客户端脚本,来查看这台服务器是否启动:

zkCli.sh -server 192.168.201.128(所需IP地址):2181

4,查看状态

4.1 执行jps查看状态

jps

4.2 查看zookeeper集群是否启动

zkServer.sh status

[[email protected] ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/zookeeper-3.3.3/bin/../conf/zoo.cfg
Mode: follower

leader的显示是:

JMX enabled by default
Using config: /usr/zookeeper-3.3.3/bin/../conf/zoo.cfg
Mode: leader

4.3 查看zookeeper的启动状态

echo ruok | nc 192.168.201.128 2181

控制台输出: imok

接下来安装HBase:http://blog.csdn.net/hguisu/article/details/7244413

HBase 基本操作:http://blog.csdn.net/kky2010_110/article/details/12616137

首先需要将hbase下的bin目录添加到系统的path中,修改/etc/profile,添加如下的内容:

export  PATH=$PATH:/usr/hbase/bin       主节点有即可。

首先解压hbase-0.98.8-hadoop2.4.1-bin文件,此文件就是预备阶段自己编译好的那个文件。

修改hbase-env.sh

hbase-0.98.8/conf

#vi hbase-env.sh

export
HBASE_PID_DIR=/usr/hbase/pids

export
HBASE_CLASSPATH=/usr/hadoop/etc/hadoop/

export
JAVA_HOME=/usr/java/jdk1.7.0_67/

export
JAVA_HOME=/usr/java/jdkXXX

export
HBASE_MANAGES_ZK=false

注解:

HBASE_MANAGES_ZK=false
指示HBase 使用已有的Zookeeper 而不是自带的。

修改hbase-site.xml

#cd
/home/hadoop/hbase-0.94.3/conf

#vi
hbase-site.xml

修改regionservers

#cd
/home/hadoop/hbase-0.94.3/conf

#vi
regionservers

把从节点主机名全部写上。

拷贝hbase

将配置好的hbase安装目录下所有文件分发到集群中所有节点的/usr/hadoop/

时间: 2024-08-02 01:05:54

HBase配置的相关文章

HDFS和Hbase配置同步

在Hbase中服务器先读取hbase-defalut.xml文件,然后读取hbase-site.xml文件,也就是说后者会覆盖前者 hbase的配置中有一些和hdfs关联的配置,当hdfs中修改了,但是hbase中修改了,hbase中是不会知道的,比如 dfs.replication,有时候我们想增加备份的数量,在hdfs中设置为5了,但是hbase中默认为3,这样hbase还是只保存3份. 那么有什么方法可以使他们的配置文件同步,有三种方法: (1)在hbase-env.sh的HBASE_CL

Hbase配置中出现的问题总结

在create table的时候出现如下问题 1. ERROR: java.io.IOException: Table Namespace Manager not ready yet, try again later 解决方案:这个问题是从单机配置到多机配置的时候出的问题,修改conf/hbase-env.sh 注释掉export HBASE_MANAGES_ZK=true 2. java.net.SocketTimeoutException: Call to datanode1/172.16.

Hadoop 管理工具HUE配置-HBase配置

1 前言 首先要陪只好HBase,可以参见http://www.cnblogs.com/liuchangchun/p/4096891.html,完全分布式类似 2 HBase配置 2.1 HUE 配置文件设置,找到hbase标签,配置如下 # Comma-separated list of HBase Thrift servers for clusters in the format of '(name|host:port)'. # Use full hostname with security

图说HBase配置

1.  搭建HBase大纲 2.  搭建HBase架构 3.  HBase设置模板 4.  HBase参考配置 5.  有关Linux基础配置 6.  涉及的分布式Zk的配置

nutch2.3+hbase配置

1,版本是个很重要的问题 nutch上面有介绍和nutch配合使用的各框架的版本 2,下载hbase,放在opt/下 3,tar -zxvf hbase-* 4,更改conf 下的 hbase-site.xml文件 添加属性: <configuration> <property> <name>hbase.rootdir</name> <value>hbase-data</value> </property> <pro

Hadoop学习之第六章节:Hbase配置安装

1.安装Hbase 1)下载,注意要与hadoop版本兼容,且选择稳定版较好 wget http://mirrors.hust.edu.cn/apache/hbase/hbase-0.98.5/hbase-0.98.5-hadoop2-bin.tar.gz 2)解压  tar -zxvf hbase-0.98.5-hadoop2-bin.tar.gz 3)修改conf/hbase-site.xml文件  <property>   <name>hbase.rootdir</na

HBase配置性能调优(转)

因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果.所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正. 配置优化 zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间.当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的region

Hbase配置手册

环境: 操作系统:ubuntu 12.10 64bit jdk:sun jdk 1.6 64bit hadoop:apache hadoop 1.02 hbase:apache hbase 0.92 先决条件:配置apache hadoop append,默认这个属性是false,需要设置为true 1)下载hbase 解压到每台服务器的/data/soft 解压 [email protected]:/data/soft# tar zxvf hbase-0.92.0.tar.gz 建立软连 [e

HADOOP HBASE配置注意事项

1.yum安装的jdk工具1.8版本,在配置hbase1.2版本需要在hbase-env.sh配置文件中注释掉下面的内容: export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m" export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=12