ZooKeeper为分布式应用系统提供了高性能服务,在许多常见的集群服务中被广泛使用,最常见的当属HBase集群了,其他的还有Solr集群。Hadoop-2中的HA自己主动故障转移等。
本文主要介绍了为HBase集群部署ZooKeeper集群的过程。并说明了部署过程中遇到的问题。
默认情况下,由HBase管理ZooKeeper的启动和停止。要想改动这一默认行为,须要将hbase-env.sh中的export HBASE_MANAGES_ZK=true改为export HBASE_MANAGES_ZK=false,并在启动HBase之前先启动ZooKeeper集群。在${ZOOKEEPER_HOME}/conf中复制zoo_sample.cfg为zoo.cfg,并改动dataDir为用于保存ZooKeeper数据的文件夹,默觉得/tmp/zookeeper。然后加入用于集群的服务器,格式为:server.1=hostname1:连接端口:选举端口,当中的1为myid文件里的值。比方对于拥有三个节点的ZooKeeper集群,演示样例配置可能为:
server.1=CentOS-1:2888:3888 server.2=CentOS-2:2888:3888 server.3=CentOS-3:2888:3888
对于ZooKeeper集群配置。须要在启动集群之前在${ZOOKEEPER_HOME}/${dataDir}下创建myid文件,文件内容与server.x中的x相应,比方myid位于上述演示样例中的CentOS-1中,则内容必须为1。
CentOS-2、CentOS-3上的myid文件内容分别为2、3。假设在集群启动之前没有创建myid文件,在启动时会报例如以下的错误:
2015-07-03 15:37:40,877 [myid:] - ERROR [main:[email protected]] - Invalid config, exiting abnormally org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Error processing /home/search/zookeeper-3.4.6/bin/../conf/zoo.cfg at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:123) at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:101) at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:78) Caused by: java.lang.IllegalArgumentException: /HData/zookeeper/myid file is missing at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parseProperties(QuorumPeerConfig.java:350) at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:119) ... 2 more Invalid config, exiting abnormally
在每台ZooKeeper节点对ZooKeeper进行改动完成后,因为ZooKeeper没有start-hbase或者start-dfs相似的启动全部节点的脚本,所以必须在每台服务器上分别运行${ZOOKEEPER_HOME}/bin/zkServer.sh start启动ZooKeeper。启动完成后能够运行${ZOOKEEPER_HOME}/bin/zkServer.sh status检查状态,比方:
JMX enabled by default Using config: /application/search/zookeeper/bin/../conf/zoo.cfg Mode: follower
ZooKeeper集群成功启动后,须要改动hbase-site.xml中的參数hbase.zookeeper.quorum。使其值包括全部ZooKeeper节点,比方CentOS-1,CentOS-2,CentOS-3,之间用逗号分隔。
而对于单节点的ZooKeeper来说。则不须要在配置文件zoo.cfg中设置服务器相关的信息。即不须要设置server.x,因而也就无需创建相应的myid文件。
对于单节点的ZooKeeper另一个问题须要注意,该问题属于ZooKeeper本身的一个Bug。但已经在版本号3.4.7, 3.5.2, 3.6.0中修复,详细可參考ZOOKEEPER-832。异常信息例如以下:
2015-07-22 13:00:23,286 [myid:] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:[email protected]] - Accepted socket connection from /10.10.32.223:15489 2015-07-22 13:00:23,286 [myid:] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:[email protected]] - Refusing session request for client /10.10.32.223:15489 as it has seen zxid 0x210d711 our last zxid is 0x26ca client must try another server 2015-07-22 13:00:23,287 [myid:] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:[email protected]] - Closed socket connection for client /10.10.32.223:15489 (no session established for client)
该问题是因为改动了ZooKeeper的${dataDir}文件夹到新文件夹或者删除文件夹中的文件引起的。
在部署ZooKeeper时还遇到了日志输出的问题。在不做不论什么与日志有关的改动时。会将ZooKeeper日志输出到单一的zookeeper.out文件。假设长时间运行,将导致该文件很巨大,对其查看将很不方便,因此须要改动zkEnv.sh、log4j.properties。对zkEnv.sh做例如以下的改动,分别指定日志保存的文件夹。日志输出的级别及输出的地方:
if [ "x${ZOO_LOG_DIR}" = "x" ] then #ZOO_LOG_DIR="." #默认值为当前文件夹 ZOO_LOG_DIR="/HData/log/zookeeper/" fi if [ "x${ZOO_LOG4J_PROP}" = "x" ] then #ZOO_LOG4J_PROP="INFO,CONSOLE" ZOO_LOG4J_PROP="INFO,ROLLINGFILE" fi
然后改动log4j.properties文件。凝视部分为原有值,新增部分代替了原有值:
#zookeeper.root.logger=INFO, CONSOLE zookeeper.root.logger=INFO.ROLLINGFILE #日志输出的级别及输出的地方 #log4j.appender.ROLLINGFILE=org.apache.log4j.RollingFileAppender log4j.appender.ROLLINGFILE=org.apache.log4j.DailyRollingFileAppender #日志文件的appender # Max log file size of 10MB #log4j.appender.ROLLINGFILE.MaxFileSize=10MB #禁用该属性 # uncomment the next line to limit number of backup files #log4j.appender.ROLLINGFILE.MaxBackupIndex=10
做完上述部分的改动后,ZooKeeper将日志输出到${ZOO_LOG_DIR}/zookeeper.log中,每天都会生成新的日志文件,并将之前的文件重命名为zookeeper.log.2015-07-22。即使做了上述改动依旧会生成zookeeper.out,虽然此时该文件的内容为空,但对于不喜欢该文件的用户来说。则须要改动zkServer.sh文件。将以下的行替换例如以下,这样就不会在日志文件夹中存在zookeeper.out文件。
nohup "$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" -cp "$CLASSPATH" $JVMFLAGS $ZOOMAIN "$ZOOCFG" > "$_ZOO_DAEMON_OUT" 2>&1 < /dev/null & nohup $JAVA "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" -cp "$CLASSPATH" $JVMFLAGS $ZOOMAIN "$ZOOCFG" > /dev/null 2>&1 < /dev/null &
本文简要描写叙述了ZooKeeper集群的部署安装,并分析了安装过程中遇到的问题,最后说明了怎样改动ZooKeeper的默认日志配置,以使日志输出到指定文件夹和文件里。