ZooKeeper分布式集群部署及问题

ZooKeeper为分布式应用系统提供了高性能服务,在许多常见的集群服务中被广泛使用,最常见的当属HBase集群了,其他的还有Solr集群。Hadoop-2中的HA自己主动故障转移等。

本文主要介绍了为HBase集群部署ZooKeeper集群的过程。并说明了部署过程中遇到的问题。

默认情况下,由HBase管理ZooKeeper的启动和停止。要想改动这一默认行为,须要将hbase-env.sh中的export HBASE_MANAGES_ZK=true改为export HBASE_MANAGES_ZK=false,并在启动HBase之前先启动ZooKeeper集群。在${ZOOKEEPER_HOME}/conf中复制zoo_sample.cfg为zoo.cfg,并改动dataDir为用于保存ZooKeeper数据的文件夹,默觉得/tmp/zookeeper。然后加入用于集群的服务器,格式为:server.1=hostname1:连接端口:选举端口,当中的1为myid文件里的值。比方对于拥有三个节点的ZooKeeper集群,演示样例配置可能为:

server.1=CentOS-1:2888:3888
server.2=CentOS-2:2888:3888
server.3=CentOS-3:2888:3888

对于ZooKeeper集群配置。须要在启动集群之前在${ZOOKEEPER_HOME}/${dataDir}下创建myid文件,文件内容与server.x中的x相应,比方myid位于上述演示样例中的CentOS-1中,则内容必须为1。

CentOS-2、CentOS-3上的myid文件内容分别为2、3。假设在集群启动之前没有创建myid文件,在启动时会报例如以下的错误:

2015-07-03 15:37:40,877 [myid:] - ERROR [main:[email protected]] - Invalid config, exiting abnormally
org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Error processing /home/search/zookeeper-3.4.6/bin/../conf/zoo.cfg
at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:123)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:101)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:78)
Caused by: java.lang.IllegalArgumentException: /HData/zookeeper/myid file is missing
at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parseProperties(QuorumPeerConfig.java:350)
at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:119)
... 2 more
Invalid config, exiting abnormally

在每台ZooKeeper节点对ZooKeeper进行改动完成后,因为ZooKeeper没有start-hbase或者start-dfs相似的启动全部节点的脚本,所以必须在每台服务器上分别运行${ZOOKEEPER_HOME}/bin/zkServer.sh start启动ZooKeeper。启动完成后能够运行${ZOOKEEPER_HOME}/bin/zkServer.sh status检查状态,比方:

JMX enabled by default
Using config: /application/search/zookeeper/bin/../conf/zoo.cfg
Mode: follower

ZooKeeper集群成功启动后,须要改动hbase-site.xml中的參数hbase.zookeeper.quorum。使其值包括全部ZooKeeper节点,比方CentOS-1,CentOS-2,CentOS-3,之间用逗号分隔。

而对于单节点的ZooKeeper来说。则不须要在配置文件zoo.cfg中设置服务器相关的信息。即不须要设置server.x,因而也就无需创建相应的myid文件。

对于单节点的ZooKeeper另一个问题须要注意,该问题属于ZooKeeper本身的一个Bug。但已经在版本号3.4.7, 3.5.2, 3.6.0中修复,详细可參考ZOOKEEPER-832。异常信息例如以下:

2015-07-22 13:00:23,286 [myid:] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:[email protected]] - Accepted socket connection from /10.10.32.223:15489
2015-07-22 13:00:23,286 [myid:] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:[email protected]] - Refusing session request for client /10.10.32.223:15489 as it has seen zxid 0x210d711 our last zxid is 0x26ca client must try another server
2015-07-22 13:00:23,287 [myid:] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:[email protected]] - Closed socket connection for client /10.10.32.223:15489 (no session established for client)

该问题是因为改动了ZooKeeper的${dataDir}文件夹到新文件夹或者删除文件夹中的文件引起的。

在部署ZooKeeper时还遇到了日志输出的问题。在不做不论什么与日志有关的改动时。会将ZooKeeper日志输出到单一的zookeeper.out文件。假设长时间运行,将导致该文件很巨大,对其查看将很不方便,因此须要改动zkEnv.sh、log4j.properties。对zkEnv.sh做例如以下的改动,分别指定日志保存的文件夹。日志输出的级别及输出的地方:

if [ "x${ZOO_LOG_DIR}" = "x" ]
then
    #ZOO_LOG_DIR="." #默认值为当前文件夹
    ZOO_LOG_DIR="/HData/log/zookeeper/"
fi
if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
    #ZOO_LOG4J_PROP="INFO,CONSOLE"
    ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
fi

然后改动log4j.properties文件。凝视部分为原有值,新增部分代替了原有值:

#zookeeper.root.logger=INFO, CONSOLE
zookeeper.root.logger=INFO.ROLLINGFILE #日志输出的级别及输出的地方
#log4j.appender.ROLLINGFILE=org.apache.log4j.RollingFileAppender
log4j.appender.ROLLINGFILE=org.apache.log4j.DailyRollingFileAppender #日志文件的appender
# Max log file size of 10MB
#log4j.appender.ROLLINGFILE.MaxFileSize=10MB #禁用该属性
# uncomment the next line to limit number of backup files
#log4j.appender.ROLLINGFILE.MaxBackupIndex=10

做完上述部分的改动后,ZooKeeper将日志输出到${ZOO_LOG_DIR}/zookeeper.log中,每天都会生成新的日志文件,并将之前的文件重命名为zookeeper.log.2015-07-22。即使做了上述改动依旧会生成zookeeper.out,虽然此时该文件的内容为空,但对于不喜欢该文件的用户来说。则须要改动zkServer.sh文件。将以下的行替换例如以下,这样就不会在日志文件夹中存在zookeeper.out文件。

nohup "$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" -cp "$CLASSPATH" $JVMFLAGS $ZOOMAIN "$ZOOCFG" > "$_ZOO_DAEMON_OUT" 2>&1 < /dev/null &

nohup $JAVA "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}"     -cp "$CLASSPATH" $JVMFLAGS $ZOOMAIN "$ZOOCFG" > /dev/null 2>&1 < /dev/null &

本文简要描写叙述了ZooKeeper集群的部署安装,并分析了安装过程中遇到的问题,最后说明了怎样改动ZooKeeper的默认日志配置,以使日志输出到指定文件夹和文件里。

时间: 2024-10-23 06:12:06

ZooKeeper分布式集群部署及问题的相关文章

solr 集群(SolrCloud 分布式集群部署步骤)

SolrCloud 分布式集群部署步骤 安装软件包准备 apache-tomcat-7.0.54 jdk1.7 solr-4.8.1 zookeeper-3.4.5 注:以上软件都是基于 Linux 环境的 64位 软件,以上软件请到各自的官网下载. 服务器准备 为搭建这个集群,准备三台服务器,分别为 192.168.0.2 -- master 角色192.168.0.3 -- slave 角色192.168.0.4 -- slave 角色 搭建基础环境 安装 jdk1.7 - 这个大家都会安装

solrCloud 4.9 分布式集群部署及注意事项

环境搭建 一.zookeeper 参考:http://blog.chinaunix.net/uid-25135004-id-4214399.html 现有4台机器 10.14.2.201 10.14.2.202 10.14.2.203 10.14.2.204 安装zookeeper集群 在所有机器上进行 1.下载安装包解压 tar xvf zookeeper-3.4.5.tar.gz -C /export/ cd /export/ ln -s zookeeper-3.4.5 zookeeper

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程.包含,Ubuntu服务器创建.远程工具连接配置.Ubuntu服务器配置.Hadoop文件配置.Hadoop格式化.启动.(首更时间2016年10月27日) 主机名/hostname IP 角色 hadoop1 192.168.193.131 ResourceManager/NameNode/SecondaryNameNode hadoop2 192.168.193.132 NodeManager/

Zookeeper+Kafka集群部署

Zookeeper+Kafka集群部署 主机规划: 10.200.3.85  Kafka+ZooKeeper 10.200.3.86  Kafka+ZooKeeper 10.200.3.87  Kafka+ZooKeeper 软件下载地址: #wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz #wget http://mirror.bit.edu.cn/apache/

ELK5.2+kafka+zookeeper+filebeat集群部署

架构图 考虑到日志系统的可扩展性以及目前的资源(部分功能复用),整个ELK架构如下: 架构解读 : (整个架构从左到右,总共分为5层) 第一层.数据采集层 最左边的是业务服务器集群,上面安装了filebeat做日志采集,同时把采集的日志分别发送给两个logstash服务(2.187.2.189) 第二层.数据处理层,数据缓存层 logstash服务把接受到的日志经过格式处理,转存到本地的kafka broker+zookeeper 集群中. 第三层.数据转发层 这个单独的Logstash(2.1

Hadoop及Zookeeper+HBase完全分布式集群部署

Hadoop及HBase集群部署 一. 集群环境 系统版本 虚拟机:内存 16G CPU 双核心 系统: CentOS-7 64位 系统下载地址: http://124.202.164.6/files/417500000AB646E7/mirrors.163.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso 软件版本 hadoop-2.8.1.tar.gz hbase-1.3.1-bin.tar.gz zookeeper-3.4.10.t

SolrCloud分布式集群部署步骤

http://www.mamicode.com/info-detail-892923.html Solr及SolrCloud简介 Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口.用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引:也可以通过Http Get操作提出查找请求,并得到XML格式的返回结果.   SolrCloud是Solr4.0版本以后基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zooke

170825、SolrCloud 分布式集群部署步骤

安装软件包准备 apache-tomcat-7.0.54 jdk1.7 solr-4.8.1 zookeeper-3.4.5 注:以上软件都是基于 Linux 环境的 64位 软件,以上软件请到各自的官网下载. 服务器准备 为搭建这个集群,准备三台服务器,分别为 192.168.0.2 -- master 角色192.168.0.3 -- slave 角色192.168.0.4 -- slave 角色 搭建基础环境 安装 jdk1.7 - 这个大家都会安装,就不费键盘了. 配置主机 /etc/h

基于winserver的Apollo配置中心分布式&amp;集群部署实践(正确部署姿势)

前言 前几天对Apollo配置中心的demo进行一个部署试用,现公司已决定使用,这两天进行分布式部署的时候,每一步都踩着坑过来的.因此写文档与需要的朋友分享. 此篇文章不代表官方部署流程,只是自己的部署的实践方式,屏蔽了一些官方的多余的部署讲解.如果有问题还请到Apollo的wiki文档进行查看:https://github.com/ctripcorp/apollo/wiki/%E5%88%86%E5%B8%83%E5%BC%8F%E9%83%A8%E7%BD%B2%E6%8C%87%E5%8D