hbase centOS生产环境配置笔记 (1 NameNode, 1 ResourceManager, 3 DataNode)

本次是第一次在生产环境部署HBase，本文若有配置上的不妥之处还请高手指正。

hadoop版本：hadoop-2.4.1

HBase版本：hbase-0.98.6.1-hadoop2

JDK：1.6

操作系统：centOS6.3 64bit

1. 安装snappy

#yum install snappyInstalled: snappy.x86_64 0:1.1.0-1.el6
#yum install snappy-devel

记录一下，当前GCC版本4.4.7

2. 由于hadoop官网下载的bin包中包含的native lib是32bit环境编译的，需要重新编译hadoop源码以获得64bit的native lib。

$ file libhadoop.so.1.0.0
libhadoop.so.1.0.0: ELF 32-bit LSB shared object, Intel 80386, version 1 (SYSV), dynamically linked, not stripped

(1) 在hadoop官网下载 hadoop-2.4.1-src.tar.gz。解压后打开 BUILDING.txt

Requirements:

* Unix System
* JDK 1.6+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer (if compiling native code)
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)

按照上述指示，

(2) 下载 Maven：http://maven.apache.org/download.cgi

(3) 下载 ProtocolBuffer 2.5.0: https://code.google.com/p/protobuf/downloads/list，解压编译

$ cd protobuf-2.6.1
$ ./configure

出现以下错误：

configure: error: C++ preprocessor "/lib/cpp" fails sanity check

经过网上搜索，需要安装c++相关的库：

# yum install glibc-headers
# yum install gcc-c++

再次执行 ./configure，这次通过了。

然后就可以make了

$ make
# make install

安装成功后，可以在/usr/local/lib/下看到库文件：

-rw-r--r-- 1 root root 22955150 Oct 23 11:41 libprotobuf.a
-rwxr-xr-x 1 root root      988 Oct 23 11:41 libprotobuf.la
-rw-r--r-- 1 root root  2233428 Oct 23 11:41 libprotobuf-lite.a
-rwxr-xr-x 1 root root     1023 Oct 23 11:41 libprotobuf-lite.la
lrwxrwxrwx 1 root root       25 Oct 23 11:41 libprotobuf-lite.so -> libprotobuf-lite.so.9.0.1
lrwxrwxrwx 1 root root       25 Oct 23 11:41 libprotobuf-lite.so.9 -> libprotobuf-lite.so.9.0.1
-rwxr-xr-x 1 root root  1038614 Oct 23 11:41 libprotobuf-lite.so.9.0.1
lrwxrwxrwx 1 root root       20 Oct 23 11:41 libprotobuf.so -> libprotobuf.so.9.0.1
lrwxrwxrwx 1 root root       20 Oct 23 11:41 libprotobuf.so.9 -> libprotobuf.so.9.0.1
-rwxr-xr-x 1 root root  9300568 Oct 23 11:41 libprotobuf.so.9.0.1
-rw-r--r-- 1 root root 39008232 Oct 23 11:41 libprotoc.a
-rwxr-xr-x 1 root root     1004 Oct 23 11:41 libprotoc.la
lrwxrwxrwx 1 root root       18 Oct 23 11:41 libprotoc.so -> libprotoc.so.9.0.1
lrwxrwxrwx 1 root root       18 Oct 23 11:41 libprotoc.so.9 -> libprotoc.so.9.0.1
-rwxr-xr-x 1 root root 13252621 Oct 23 11:41 libprotoc.so.9.0.1

(4) 安装cmake

# yum install cmake

(5) 安装openssl

# yum install openssl
# yum install openssl-devel

(6) 安装zlib相关

# yum install zlib
# yum install zlib-devel

(7) 下载 ant 1.9.4

下载 http://ant.apache.org/bindownload.cgi

也可以直接 yum install ant

(8) 设置环境变量：

export JAVA_HOME=/usr/java/jdk1.6.0_43export PATH="$JAVA_HOME/bin:$PATH"

export MAVEN_HOME=/data2/hadoop_source/apache-maven-3.2.3export PATH="$MAVEN_HOME/bin:$PATH"
export ANT_HOME=/data2/hadoop_source/apache-ant-1.9.4
export PATH="$PATH:$ANT_HOME/bin"

(9) 编译hadoop的native库：

/data2/hadoop_source/apache-maven-3.2.3/bin/mvn package -X -Pdist,native -Dtar -DskipTests -Drequire.snappy

最后即使有部分project编译出错也没有关系，只要 hadoop-hdfs-project，hadoop-common-project 编译通过就可以了。

(10) 编译完成后，可以找到native lib：

# find . -name ‘lib*.so*‘
./hadoop-hdfs-project/hadoop-hdfs/target/hadoop-hdfs-2.4.1/lib/native/libhdfs.so
./hadoop-hdfs-project/hadoop-hdfs/target/hadoop-hdfs-2.4.1/lib/native/libhdfs.so.0.0.0
./hadoop-hdfs-project/hadoop-hdfs/target/native/target/usr/local/lib/libhdfs.so
./hadoop-hdfs-project/hadoop-hdfs/target/native/target/usr/local/lib/libhdfs.so.0.0.0
./hadoop-common-project/hadoop-common/target/hadoop-common-2.4.1/lib/native/libhadoop.so.1.0.0
./hadoop-common-project/hadoop-common/target/hadoop-common-2.4.1/lib/native/libhadoop.so
./hadoop-common-project/hadoop-common/target/native/target/usr/local/lib/libhadoop.so.1.0.0
./hadoop-common-project/hadoop-common/target/native/target/usr/local/lib/libhadoop.so

将库文件拷贝至系统目录 /usr/local/lib64/

cp ./hadoop-hdfs-project/hadoop-hdfs/target/hadoop-hdfs-2.4.1/lib/native/* /usr/local/lib64/
cp ./hadoop-common-project/hadoop-common/target/hadoop-common-2.4.1/lib/native/* /usr/local/lib64/

进入/usr/local/lib64/，创建symbol link

# ln -s libhdfs.so.0.0.0 libhdfs.so
# ln -s libhadoop.so.1.0.0 libhadoop.so

(11) 下载hbase, http://mirrors.cnnic.cn/apache/hbase/hbase-0.98.7/

解压后进入目录，确认native lib是否已经安装成功：

$ LD_LIBRARY_PATH=/usr/local/lib64 ./bin/hbase org.apache.hadoop.util.NativeLibraryChecker

log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.NativeCodeLoader).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Native library checking:
hadoop: true /usr/local/lib64/libhadoop.so.1.0.0
zlib: true /lib64/libz.so.1
snappy: true /usr/lib64/libsnappy.so.1
lz4: true revision:99
bzip2: false

由于打算仅使用snappy作为压缩算法，所以仅仅需要确认 hadoop, snappy 是true就行了。

本次编译native lib过程中，出现了各种错误，都是因为上面列出的某些软件未安装。

无须在每个机器上再次编译，只需将编译过程中产生的那些 .a, .so, 文件拷贝至每个机器即可。当然了，symbol link还是要重新创建的。

---------------------------- 分割线 上方是 hadoop native lib 的编译 ------------------------------------------

3. 配置hbase分布式环境的总体流程

本次安装部署的服务器为5台，hbase-0为NameNode, hbase-r为ResourceManager，hbase-1、hbase-2、hbase-3为DataNode。

所有服务器的安装的目录为:

hadoop程序目录：/hbase/hadoop

hbase程序目录：/hbase/hbase

zookeeper的程序目录：/hbase/zookeeper

hdfs数据目录(data node用)：/hbase/hdfs

hdfs元数据目录(name node用)：/hbase/hdfsmeta

hdfs临时目录：/hbase/hdfstmp

yarn中间数据目录：/hbase/yarnlocal

yarn日志目录：/hbase/yarnlog

job history server的临时目录：/hbase/mr-history/tmp

job history server的done目录：/hbase/mr-history/done

各个deameon的pid目录(安全起见，目录权限700)：/hbase/var/pid

zookeeper的数据目录：/hbase/zookeeperdata

zookeeper的log目录：/hbase/zookeeperlog

hbase临时目录：/hbase/hbasetmp

ZooKeeper的下载地址：http://mirrors.cnnic.cn/apache/zookeeper/stable/

本次下载的是 ZooKeeper3.4.6。

本次安装采用独立的ZooKeeper，不使用hbase自带的ZooKeeper。

(1) 配置host name, /etc/hosts，为了方便使用，我将hostname配置成了以下样子：

10.161.150.10 hbase-0
10.161.150.20 hbase-r
10.161.150.11 hbase-1
10.161.150.12 hbase-2
10.161.150.13 hbase-3 

为了方便，还添加了1个 hbase-me，代表当前服务器的内网IP。

注意：上述配置hostname要放在靠前的位置，hbase的Master启动的时候，会根据ip查找hostname，相同ip的有多个hostname的时候，排在第1个的会被采用，然后被传播到RegionServer。

同时，将主机hostname修改成对应的名字。修改/etc/sysconfig/network，或者立即生效：

hostname hbase-0

(2) 配置免密码ssh

参考我的另一篇文章：http://www.cnblogs.com/got-my-way/p/4030923.html

(3) 解压hadoop包。

(4) 解压hbase包。

(5) 为了方便运行，将需要的环境变量配置在当前用户的.bashrc

vi ~/.bashrc

如下：

# For hadoop and hbase -------------------------------------
export JAVA_HOME="/usr/java/jdk1.6.0_43"
export PATH="$JAVA_HOME/bin:$PATH"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/lib64:/usr/lib64:/usr/local/lib"
export HADOOP_PREFIX="/hbase/hadoop"
export HADOOP_YARN_HOME=$HADOOP_PREFIX
export HADOOP_CONF_DIR="/hbase/hadoop/etc/hadoop"
export HBASE_HOME="/hbase/hbase"
export HBASE_CONF_DIR="/hbase/hbase/conf"
export ZOOKEEPER_HOME="/hbase/zookeeper"
#log dir -----
export HADOOP_LOG_DIR="/hbase/var/log"
export YARN_LOG_DIR="/hbase/var/log"
#pid dir -----
export HADOOP_PID_DIR="/hbase/var/pid"
export HADOOP_SECURE_DN_PID_DIR="/hbase/var/pid"
export HADOOP_MAPRED_PID_DIR="/hbase/var/pid"
#java options -----
export HADOOP_JVM_GC_OPTS="-XX:PermSize=512m -XX:MaxPermSize=512m -XX:+DisableExplicitGC -XX:SurvivorRatio=1 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=0 -XX:+CMSClassUnloadingEnabled -XX:LargePageSizeInBytes=128M -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0"
export HADOOP_JVM_SECURITY_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
export HADOOP_NAMENODE_OPTS="${HADOOP_JVM_SECURITY_OPTS} ${HADOOP_JVM_GC_OPT}"
export HADOOP_DATANODE_OPTS="${HADOOP_JVM_SECURITY_OPTS} ${HADOOP_JVM_GC_OPT}"
export HADOOP_SECONDARYNAMENODE_OPTS="${HADOOP_JVM_SECURITY_OPTS} ${HADOOP_JVM_GC_OPT}"
export YARN_RESOURCEMANAGER_OPTS="${HADOOP_JVM_SECURITY_OPTS} ${HADOOP_JVM_GC_OPT}"
export YARN_NODEMANAGER_OPTS="${HADOOP_JVM_SECURITY_OPTS} ${HADOOP_JVM_GC_OPT}"
export YARN_PROXYSERVER_OPTS="${HADOOP_JVM_SECURITY_OPTS} ${HADOOP_JVM_GC_OPT}"
export HADOOP_JOB_HISTORYSERVER_OPTS="${HADOOP_JVM_SECURITY_OPTS} ${HADOOP_JVM_GC_OPT}"
export HADOOP_HEAPSIZE="1536"
export YARN_HEAPSIZE="1024"
export HBASE_OPTS="-XX:MaxDirectMemorySize=128m ${HADOOP_JVM_SECURITY_OPTS} ${HADOOP_JVM_GC_OPT}"
export HBASE_HEAPSIZE="2048"
export HBASE_MANAGES_ZK=false
#export YARN_RESOURCEMANAGER_HEAPSIZE=
#export YARN_NODEMANAGER_HEAPSIZE=
#export YARN_PROXYSERVER_HEAPSIZE=
#export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=

(6) 安装上述“编译native lib”步骤中所安装过的包

yum install snappy
yum install snappy-devel
yum install glibc-headers
yum install gcc-c++
yum install cmake
yum install openssl
yum install openssl-devel
yum install zlib
yum install zlib-devel

至此基本的环境准备好了。接下来是具体的配置

4. 进入hadoop程序目录，配置hadoop (参考文档：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html)

(1) 修改配置文件

　　a. etc/hadoop/core-site.xml　

<configuration>
    <property>
         <name>fs.defaultFS</name>
         <value>hdfs://hbase-0:9000/</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hbase/hdfstmp</value>
    </property>
    <property>
        <name>hadoop.logfile.size</name>
        <value>104857600</value>
    </property>
    <property>
        <name>hadoop.logfile.count</name>
        <value>20</value>
    </property>
    <property>
        <name>io.bytes.per.checksum</name>
        <value>1024</value>
    </property>
    <property>
        <name>io.skip.checksum.errors</name>
        <value>false</value>
    </property>
    <property>
        <name>io.serializations</name>
        <value>org.apache.hadoop.io.serializer.WritableSerialization</value>
    </property>
    <property>
        <name>io.seqfile.compress.blocksize</name>
        <value>1048576</value>
    </property>
    <property>
        <name>io.compression.codecs</name>
        <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.SnappyCodec</value>
    </property>
</configuration>

　　b. etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>2147483648</value>
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>128</value>
    </property>

    <!-- config for NameNode below -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/hbase/hdfsmeta</value>
    </property>

    <!-- config for DataNode below -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/hbase/hdfs</value>
    </property>
</configuration>

　　c. etc/hadoop/yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <!-- config for Node Manager below -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/hbase/yarnlocal</value>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/hbase/yarnlog</value>
    </property>
    <property>
        <name>yarn.nodemanager.log.retain-seconds</name>
        <value>10800</value>
    </property>

    <!-- config for Resource Manager below -->
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>hbase-me:18040</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hbase-me:18030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>hbase-me:18025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>hbase-me:18141</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>hbase-me:18088</value>
    </property>

    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>256</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>1024</value>
    </property>

</configuration>

　　d. etc/hadoop/mapred-site.xml

<configuration>
    <!-- config for MapReduce Applications below -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
      <name>mapred.output.compress</name>
      <value>true</value>
      <description>Should the job outputs be compressed?</description>
    </property>
    <property>
        <name>mapred.output.compression.type</name>
        <value>RECORD</value>
    </property>
    <property>
        <name>mapred.output.compression.codec</name>
        <value>org.apache.hadoop.io.compress.SnappyCodec</value>
    </property>
    <property>
        <name>mapred.compress.map.output</name>
        <value>true</value>
    </property>
    <property>
        <name>mapred.map.output.compression.codec</name>
        <value>org.apache.hadoop.io.compress.SnappyCodec</value>
    </property>
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1536</value>
    </property>
    <property>
        <name>mapreduce.map.java.opts</name>
        <value>-Xmx1024M</value>
    </property>
    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>2048</value>
    </property>
    <property>
        <name>mapreduce.reduce.java.opts</name>
        <value>-Xmx2048M</value>
    </property>
    <property>
        <name>mapreduce.task.io.sort.mb</name>
        <value>512</value>
    </property>
    <property>
        <name>mapreduce.task.io.sort.factor</name>
        <value>100</value>
    </property>
    <property>
        <name>mapreduce.reduce.shuffle.parallelcopies</name>
        <value>50</value>
    </property>

    <!-- config for MapReduce JobHistory Server below -->
    <property>
        <name>mapreduce.jobhistory.intermediate-done-dir</name>
        <value>/hbase/mr-history/tmp</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>/hbase/mr-history/done</value>
    </property>

　　f. etc/hadoop/slaves

　　将作为DataNode的host name添加进去：

hbase-1
hbase-2
hbase-3

　　

　　g. 上述配置好的hadoop目录复制到各台服务器。

5. 进入zookeeper目录，修改配置文件

　　(1) cp conf/zoo_sample.cfg conf/zoo.cfg，修改conf/zoo.cfg以下配置：

dataDir=/hbase/zookeeperdata
dataLogDir=/hbase/zookeeperlog

server.1=hbase-0:2888:3888server.2=hbase-r:2888:3888server.3=hbase-1:2888:3888server.4=hbase-2:2888:3888server.5=hbase-3:2888:3888

　　(2) 在各台机器上 /hbase/zookeeperdata/下建立文件名myid，分别写入对应的1,2,3,4,5 ZooKeeper序号。

6. 进入hbase程序目录，配置hbase (参考文档：http://hbase.apache.org/book.html#quickstart-fully-distributed )

　　本次配置的架构为：hbase-0为Master，hbase-1、hbase-2、 hbase-3为RegionServer，ZooKeeper配置在所有服务器(文档中推荐3,5,7)。

　　(1) 修改配置文件

　　a. conf/regionservers

hbase-1
hbase-2
hbase-3

　　b. conf/backup-masters

　　将hbase-r设置为master的backup

hbase-r

　　c. conf/hbase-env.sh

export HBASE_OPTS="-XX:+UseConcMarkSweepGC ${HBASE_OPTS}"

　　d. conf/hbase-site.xml

<configuration>
    <property>
        <name>hbase.tmp.dir</name>
        <value>/hbase/hbasetmp</value>
    </property>
    <property>
      <name>hbase.rootdir</name>
      <value>hdfs://hbase-0:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.master.info.port</name>
        <value>16010</value>
    </property>
    <property>
        <name>hbase.master.info.bindAddress</name>
        <value>0.0.0.0</value>
    </property>
    <property>
        <name>hbase.column.max.version</name>
        <value>1</value>
    </property>

    <!-- for Zoo Keeper -->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hbase-0,hbase-r,hbase-1,hbase-2,hbase-3</value>
    </property>
    <property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/hbase/zookeeperdata</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.maxClientCnxns</name>
        <value>300</value>
    </property>
    <property>
        <name>zookeeper.session.timeout</name>
        <value>90000</value>
    </property>

    <!-- setting for region server -->
    <property>
        <name>hbase.hregion.max.filesize</name>
        <value>2147483648</value>
    </property>
    <property>
        <name>hbase.regionserver.port</name>
        <value>16020</value>
    </property>
    <property>
        <name>hbase.regionserver.codecs</name>
        <value>snappy,lz4</value>
    </property>
    <property>
        <name>hbase.regionserver.info.port</name>
        <value>16030</value>
    </property>
    <property>
        <name>hbase.regionserver.info.bindAddress</name>
        <value>hbase-me</value>
    </property>
    <property>
        <name>hbase.regionserver.handler.count</name>
        <value>128</value>
    </property>
    <property>
        <name>hbase.ipc.server.callqueue.read.ratio</name>
        <value>0.2</value>
    </property>
    <property>
        <name>hbase.ipc.server.callqueue.scan.ratio</name>
        <value>0.2</value>
    </property>
    <property>
        <name>hbase.zookeeper.peerport</name>
        <value>2888</value>
    </property>
    <property>
        <name>hbase.zookeeper.leaderport</name>
        <value>3888</value>
    </property>
    <property>
        <name>hbase.offpeak.start.hour</name>
        <value>0</value>
    </property>
    <property>
        <name>hbase.offpeak.end.hour</name>
        <value>7</value>
    </property>
    <property>
        <name>hbase.rpc.timeout</name>
        <value>60000</value>
    </property>
    <property>
        <name>hbase.rpc.shortoperation.timeout</name>
        <value>10000</value>
    </property>
    <property>
        <name>hbase.ipc.client.tcpnodelay</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.rest.port</name>
        <value>19080</value>
    </property>

    <!-- setting for client -->
    <property>
      <name>hbase.client.pause</name>
      <value>100</value>
    </property>
    <property>
      <name>hbase.ipc.client.tcpnodelay</name>
      <value>false</value>
    </property>
    <property>
      <name>ipc.ping.interval</name>
      <value>10000</value>
    </property>
    <property>
        <name>hbase.client.write.buffer</name>
        <value>2097152</value>
    </property>
    <property>
        <name>hbase.client.retries.number</name>
        <value>35</value>
    </property>
    <property>
        <name>hbase.client.max.total.tasks</name>
        <value>100</value>
    </property>
    <property>
        <name>hbase.client.max.perserver.tasks</name>
        <value>20</value>
    </property>
    <property>
        <name>hbase.client.max.perregion.tasks</name>
        <value>1</value>
    </property>
    <property>
        <name>hbase.client.scanner.caching</name>
        <value>100</value>
    </property>

</configuration>

7. 检查某些系统设置

　(1) 各台服务器关闭防火墙，或者将下列端口加入防火墙允许访问列表(/etc/sysconfig/iptables)

　以下列表中部分端口号没有在配置的xml出现过，是hadoop或hbase的缺省值。

2181 hbase.zookeeper.property.clientPort
2888 hbase.zookeeper.peerport
3888 hbase.zookeeper.leaderport
9000 fs.defaultFS
10020 mapreduce.jobhistory.address
16010 hbase.master.info.port
16020 hbase.regionserver.port
16030 hbase.regionserver.info.port
18025 yarn.resourcemanager.resource-tracker.address
18030 yarn.resourcemanager.scheduler.address
18040 yarn.resourcemanager.address
18088 yarn.resourcemanager.webapp.address
18141 yarn.resourcemanager.admin.address
19080 hbase.rest.port
19888 mapreduce.jobhistory.webapp.address
50010 hdfs client
60000 hbase.master.port
60020 hbase.regionserver.port
33651 catalog.CatalogTracker
40641 zookeeper.ClientCnxn

　

　　(2) 检查ulimit, /etc/security/limits.conf

　　　此处暂时设置为(假设启动hadoop的用户为admin)

admin        -       nofile  65536
admin        -       nproc   65536

　　

8. 启动hadoop

　　(1) 初次启动之前，在hbase-0上格式化NameNode

$HADOOP_PREFIX/bin/hdfs namenode -format hbase-0

　　在hbase-r上格式化NameNode

$HADOOP_PREFIX/bin/hdfs namenode -format hbase-r

　　(2) 在hbase-0启动NameNode

$HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode

　　(3) 分别在hbase-1，hbase-2, hbase-3 上启动DataNode

$HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start datanode

　　(4) 在hbase-r上启动ResourceManager

$HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager

　　(5) 在hbase-1, hbase-2, hbase-3上启动NodeManager

$HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start nodemanager

　　(6) 在hbase-r上启动Yarn的WebAppProxy Server

$HADOOP_YARN_HOME/sbin/yarn-daemon.sh start proxyserver --config $HADOOP_CONF_DIR

　　(7) 在hbase-r上启动MapReduce JobHistory Server

$HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh start historyserver --config $HADOOP_CONF_DIR

9. 停止hadoop

　　(1) hbase-0上停止NameNode

$HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs stop namenode

　　(2) 分别在hbase-1，hbase-2, hbase-3 上停止DataNode

$HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs stop datanode

　　(3) 在hbase-r上停止ResourceManager

$HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop resourcemanager

　　(4) 在hbase-1, hbase-2, hbase-3上停止NodeManager

$HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop nodemanager

　　(5) 在hbase-r上停止Yarn的WebAppProxy Server

$HADOOP_YARN_HOME/sbin/yarn-daemon.sh stop proxyserver --config $HADOOP_CONF_DIR

　　(6) 在hbase-r上停止MapReduce JobHistory Server

$HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh stop historyserver --config $HADOOP_CONF_DIR

10. 启动zookeeper

　　(1) 在所有机器上启动zookeeper

${ZOOKEEPER_HOME}/bin/zkServer.sh start

　　(2) 在各台机器上确认启动状态

${ZOOKEEPER_HOME}/bin/zkServer.sh status
JMX enabled by default
Using config: /hbase/zookeeper/bin/../conf/zoo.cfg
Mode: leader

　　其中Mode:leader应该只有1个，其他的都是Mode: follower

11. 启动hbase

　　(1) 在hbase-0上启动hbase。按照文档中的描述，会按照ZooKeeper、Master、RegionServers、Backup masters的顺序启动。

$HBASE_HOME/bin/start-hbase.sh

　　(2) 在各个结点上执行 jps指令，确认启动状况

　　hbase-0：

$ jps
14761 NameNode
15644 Bootstrap
10145 QuorumPeerMain
21312 HMaster
24155 Jps
16377 Bootstrap

　　hbase-r:

$ jps
14229 ResourceManager
19301 Bootstrap
1119 Bootstrap
15188 JobHistoryServer
20920 Jps
10831 QuorumPeerMain

　　hbase-1:

$ jps
9015 HRegionServer
4402 DataNode
10906 Bootstrap
1145 QuorumPeerMain
15282 Bootstrap
10763 Jps10876 NodeManager

　hbase-2:

$ jps
17856 HRegionServer
13396 DataNode
17399 QuorumPeerMain
18258 Jps28873 NodeManager

　hbase-3:

$ jps
5660 Jps
3825 HRegionServer
24410 Bootstrap
5509 NodeManager
31687 DataNode
28529 QuorumPeerMain
9915 Bootstrap

可以看到，

hadoop：1个NameNode, 3个DataNode，3个NodeManager，1个ResourceManager, 1个JobHistoryServer

hbase：1个HMaster，3个RegionServer，

5个ZooKeeper，

全部启动完成了。

　　(2) 停止hbase

$HBASE_PREFIX/bin/stop-hbase.sh

12. 一些基本的测试

　　(1) Snappy压缩测试

$ $HBASE_HOME/bin/hbase shell
> create ‘test1‘, { NAME => ‘cf1‘, COMPRESSION => ‘SNAPPY‘ }
> put ‘test1‘, ‘row1‘, ‘cf1:a‘, ‘value1‘
> scan ‘test1‘
ROW                      COLUMN+CELL
row1                    column=cf1:a, timestamp=1414480111169, value=value1
1 row(s) in 0.0370 seconds

　　(2) 去hadoop看刚才创建的记录

$HADOOP_PREFIX/bin/hdfs dfs -ls /hbase/data/default/test1/drwxr-xr-x   - admin supergroup          0 2014-10-28 15:07 /hbase/data/default/test1/.tabledescdrwxr-xr-x   - admin supergroup          0 2014-10-28 15:07 /hbase/data/default/test1/.tmpdrwxr-xr-x   - admin supergroup          0 2014-10-28 15:07 /hbase/data/default/test1/003d38c6f213f8c589eea5065785ce57

　　(3) 浏览器访问hbase-0:50070/，通过管理界面可以看到Live Nodes： 3

　　(4) 浏览器访问hbase-0:16010/，通过管理界面可以看到Region Servers 一共3台: hbase-1, hbase-2, hbase-3全部运行中。

-------------------------------------- 结束 -----------------------------------------

此次部署过程遇到了各种各样的错误，通过查看启动日志，搜索其他人的博文，最终成功安装上去了。希望本文能为后来者省点时间，也为下次自己再次部署的时候作为参考。

时间： 2024-10-05 04:24:03

hbase centOS生产环境配置笔记 (1 NameNode, 1 ResourceManager, 3 DataNode)的相关文章

虚拟机上Centos6.5/6.6系统配置动态方式上网及生产环境配置公网的方式

在VMware Workstation虚拟机上安装Centos系统,当系统无法上网的时候,我们可以通过常用配置的方式,如下: TYPE=Ethernet DEVICE=eth0  #网络虚拟接口名HWADDR=00:0C:29:60:FF:8B  #网卡mac地址ONBOOT=yes  #启动系统时就激活 NM_CONTROLLED=yes  #实时生效,修改后无需要重启网卡立即生效. BOOTPROTO=dhcp #使用自动分配IP地址 注意:虚拟机网络连接方式选择NAT 当我们使用服务器上安

Hadoop2.2.0分布式环境配置笔记2-编译64位hadoop源码

11.配置hadoop分布式环境!  三台机器都需要这么配置 1).将/opt/modules/hadoop-2.2.0-src重命名  mv /opt/modules/hadoop-2.2.0-src/ /opt/modules/hadoop-2.2.0-src_x32_back 2).解压64位源码 tar -zxvf /opt/modules/hadoop-2.2.0-src_x32_back/hadoop-dist/target/hadoop-2.2.0.tar.gz -C /opt/m

SQL Server 黑盒跟踪 -- 如何在生产环境配置？

SQL Server 黑盒跟踪 -- 如何在生产环境配置? 如果遇到间歇性故障,为了充分利用黑盒跟踪,就要确保当服务器运行时它也一直出于运行状态(包括计划中的或计划外重启之后).为达到这个要求,可以将黑盒跟踪设置为在SQL Server启动时自动启动.首先,将跟踪定义封装在主数据库的一个存储过程中: USE master GO CREATE PROCEDURE StartBlackBoxTrace AS BEGIN DECLARE @TraceId int DECLARE @maxfilesiz

Hadoop2.2.0分布式环境配置笔记1-编译64位hadoop源码

我的测试环境是三台机器 分别是 Hadoop-Yarn.Hark.Com 192.168.1.200 Hadoop-Slave1.Hark.Com 192.168.1.201 Hadoop.Slave2.Hark.Com 192.168.1.202 我为了自己能充分练习hadoop 64位源码编译,所以三台机器都进行了下边的配置 环境: vmware9+centos6.4+hadoop2.2.0 0.创建hadoop帐号,大部分操作都要使用hadoop帐号的 1.关闭窗口模式 使用root账号

Ubuntu虚拟机+ROS+Android开发环境配置笔记

Ubuntu虚拟机+ROS+Android开发环境配置笔记 虚拟机设置: 1.本地环境:Windows 7:VMWare:联网 2.虚拟环境 :Ubuntu 14.04, 比较稳定,且支持很多ROS 3.虚拟机配置:硬盘至少50G,因为整个工具链配置起来需要很多空间,性能方面可以尽量往高配置. 4.虚拟环境搭建起来后,Ubuntu会弹出提示窗口询问是否升级软件,升级完后重启,约30分钟,取决于网络环境. 5.重启后,terminal执行以下: $ sudo apt-get upgrade $ s

webpack开发与生产环境配置

前言 作者去年就开始使用webpack, 最早的接触就来自于vue-cli.那个时候工作重点主要也是 vue 的使用,对webpack的配置是知之甚少,期间有问题也是询问大牛 @吕大豹.顺便说一句,对于前端知识体系迷茫的童鞋可以关注豹哥的微信公众号,<大豹杂说>.豹哥对于刚开始小白的自己(虽然现在也白)知无不谈,而且回复超快超认真.这里真的很感谢豹哥.前段时间工作不忙,自己就啃了啃webpack的官方文档,毕竟知识还是在自己脑袋里踏实.然后根据vue-cli的配置文件丰富了一点新的东西,发布出

搭建vsftp服务器生产环境配置

生产环境:操作系统:CentOS release 6.9 (Final)软件:vsftpd-2.2.2-24.el6.x86_64实战任务:给定账号,让开发商上传站群代码到服务器的指定目录,可以读写:操作过程如下:一.配置防火墙,开启FTP服务器需要的端口[[email protected] /]# vi /etc/sysconfig/iptables    #添加端口号-A INPUT -m state --state NEW -m tcp -p tcp --dport 21 -j ACCEP

Docker生产环境配置——设置direct-lvm模式

CentOS/RHEL 的用户需要注意的事项 来源:https://yeasy.gitbooks.io/docker_practice/image/rm.html 在 Ubuntu/Debian 上有 UnionFS 可以使用,如 aufs 或者 overlay2,而 CentOS 和 RHEL 的内核中没有相关驱动.因此对于这类系统,一般使用 devicemapper 驱动利用 LVM 的一些机制来模拟分层存储.这样的做法除了性能比较差外,稳定性一般也不好,而且配置相对复杂.Docker 安装

[django]Django的css、image和js静态文件生产环境配置

前言:在Django中HTML文件如果采用外联的方式引入css,js文件或者image图片,一般采用<link rel="stylesheet" href="../css/lstyle.css">这个格式,但是django中需要配置一下,才能如此使用. 关键词:django静态文件 django生产环境 django1.8 正文: 第一步,在django工程目录下建立static文件夹,同时在static文件夹下建立css img js三个不同名称的文件