如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》
如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（二）安装hadoop2.9.0》
如何安装spark2.2.1请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（三）安装spark2.2.1》
安装zookeeper的服务器：
192.168.0.120 master 192.168.0.121 slave1 192.168.0.122 slave2 192.168.0.123 slave3
备注：只在master,slave1,slave2三个节店上安装zookeeper，slave3节店不安装（其实前边hadoop中master不作为datanode节店，spark中master不作为worker节店）。关于zk只允许安装奇数节点的原因这里不写。
1. 简介
Kafka 依赖 Zookeeper 管理自身集群（Broker、Offset、Producer、Consumer等），所以先要安装 Zookeeper。
为了达到高可用的目的，Zookeeper 自身也不能是单点，接下来就介绍如何搭建一个最小的 Zookeeper 集群（3个 zk 节点）。
2.下载解压zk
从官网找到下载地址，并下载zookeeper-3.4.12
上传zookeeper-3.4.12.tar.gz在master节点上，并解压：
[[email protected] ~]$ cd /opt/ [[email protected] opt]$ su root Password: [[email protected] opt]# tar -zxvf zookeeper-3.4.12.tar.gz [[email protected] opt]# ls hadoop-2.9.0 jdk1.8.0_171 scala-2.11.0 spark-2.2.1-bin-hadoop2.7 zookeeper-3.4.12 hadoop-2.9.0.tar.gz jdk-8u171-linux-x64.tar.gz scala-2.11.0.tgz spark-2.2.1-bin-hadoop2.7.tgz zookeeper-3.4.12.tar.gz [[email protected] opt]#
3.配置zk
1）配置文件位置
路径：/opt/zookeeper-3.4.12/conf/
[[email protected] conf]# cd /opt/zookeeper-3.4.12/conf/ [[email protected] conf]# ls configuration.xsl log4j.properties zoo_sample.cfg [[email protected] conf]#
2）生成配置文件
将 zoo_sample.cfg 复制一份，命名为 zoo.cfg，此即为Zookeeper的配置文件。
[[email protected] conf]# cd /opt/zookeeper-3.4.12/conf/ [[email protected] conf]# cp zoo_sample.cfg zoo.cfg
3）编辑配置文件zoo.cfg
# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. dataDir=/opt/zookeeper-3.4.12/data dataLogDir=/opt/zookeeper-3.4.12/logs # the port at which the clients will connect clientPort=2181 # the maximum number of client connections. # increase this if you need to handle more clients #maxClientCnxns=60 # # Be sure to read the maintenance section of the # administrator guide before turning on autopurge. # # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature #autopurge.purgeInterval=1 server.1=192.168.0.120:4001:4002 server.2=192.168.0.121:4001:4002 server.3=192.168.0.122:4001:4002
说明：
- dataDir 和 dataLogDir 需要在启动前创建完成
[[email protected] conf]# mkdir /opt/zookeeper-3.4.12/data [[email protected] conf]# mkdir /opt/zookeeper-3.4.12/logs
- clientPort 为 zookeeper的服务端口
- server.0、server.1、server.2 为 zk 集群中三个 node 的信息，定义格式为 hostname:port1:port2，其中 port1 是 node 间通信使用的端口，port2 是node 选举使用的端口，需确保三台主机的这两个端口都是互通的。
4. 更改日志配置
Zookeeper 默认会将控制台信息输出到启动路径下的 zookeeper.out 中，通过如下方法，可以让 Zookeeper 输出按尺寸切分的日志文件：
1）修改/opt/zookeeper-3.4.12/conf/log4j.properties文件，将
zookeeper.root.logger=INFO, CONSOLE
改为
zookeeper.root.logger=INFO, ROLLINGFILE
2）修改/opt/zookeeper-3.4.12/bin/zkEnv.sh文件，将
ZOO_LOG4J_PROP="INFO,CONSOLE"
改为
ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
5.在master主机的 dataDir 路径下创建一个文件名为 myid 的文件
文件内容为该 zk 节点的编号。
在master上操作：
[[email protected] zookeeper-3.4.12]# echo 0 >>/opt/zookeeper-3.4.12/data/myid [[email protected] zookeeper-3.4.12]# cd /opt/zookeeper-3.4.12/data/ [[email protected] data]# ls myid [[email protected] data]# more myid 1 [[email protected] data]#
备注：
1、在第一台master主机上建立的 myid 文件内容是 1，第二台slave1主机上建立的myid文件内容是 2，第三台slave2主机上建立的myid文件内容是 3。myid文件内容需要与/opt/zookeeper-3.4.12/conf/zoo.cfg中的配置的server.id的编号对应。
2、可以先把zk文件拷贝到其他节点后，再在各自的节点上手动修改myid编号。
6.将master主机上配置好的zookeeper文件拷贝到slave1,slave2上，并修改各自的myid编号。
1）将master主机上配置好的zookeeper文件拷贝到slave1,slave2上
此时直接拷贝，会提示权限不足问题：
[[email protected] opt]# scp -r /opt/zookeeper-3.4.12 [email protected]:/opt/ [email protected]‘s password: scp: /opt/zookeeper-3.4.12: Permission denied
需要现在slave1,slave2上创建/opt/zookeeper-3.4.12目录，并分配777操作权限。
Last login: Sat Jun 30 22:29:45 2018 from 192.168.0.103 [[email protected] ~]$ su root Password: [[email protected] spark]# mkdir /opt/zookeeper-3.4.12 [[email protected] spark]# cd /opt/ [[email protected] opt]# chmod 777 zookeeper-3.4.12
拷贝master上的zk到slave1,slave2节点
[[email protected] opt]$ scp -r /opt/zookeeper-3.4.12 [email protected]:/opt/ [[email protected] opt]$ scp -r /opt/zookeeper-3.4.12 [email protected]:/opt/
2）并修改各自的myid编号
slave1
[[email protected] opt]# vi /opt/zookeeper-3.4.12/data/myid [[email protected] opt]# more /opt/zookeeper-3.4.12/data/myid 2 [[email protected] opt]#
slave2
[[email protected] opt]# vi /opt/zookeeper-3.4.12/data/myid [[email protected] opt]# more /opt/zookeeper-3.4.12/data/myid 3 [[email protected] opt]#
7. 启动
启动三台主机上的 zookeeper 服务
此时自己启动会抛出异常：
[[email protected] opt]$ cd /opt/zookeeper-3.4.12/bin [[email protected] bin]$ ls README.txt zkCleanup.sh zkCli.cmd zkCli.sh zkEnv.cmd zkEnv.sh zkServer.cmd zkServer.sh [[email protected] bin]$ ./zkServer.sh start ZooKeeper JMX enabled by default Using config: /opt/zookeeper-3.4.12/bin/../conf/zoo.cfg Starting zookeeper ... ./zkServer.sh: line 149: /opt/zookeeper-3.4.12/data/zookeeper_server.pid: Permission denied FAILED TO WRITE PID
原因，是dataDir无权限写入。
解决，分别在三个节点（master,slave1,slave2）上执行chmod分配写入权限
[[email protected] bin]$ su root Password: [[email protected] bin]# chmod a+xwr /opt/zookeeper-3.4.12/data [[email protected] bin]#
然后分别启动三个节点上的zk。
[[email protected] bin]# su spark [[email protected] bin]$ cd /opt/zookeeper-3.4.12/bin [[email protected] bin]$ ./zkServer.sh start ZooKeeper JMX enabled by default Using config: /opt/zookeeper-3.4.12/bin/../conf/zoo.cfg Starting zookeeper ... STARTED [[email protected] bin]$
8. 查看集群状态
3个节点启动完成后，可依次执行如下命令查看集群状态：
cd /opt/zookeeper-3.4.12/bin ./zkServer.sh status
master(192.168.0.120)返回：
slave1(192.168.0.121)返回：
slave2(192.168.0.122)返回：
9. 测试集群高可用性
1）停掉集群中的为 leader 的 zookeeper 服务，本文中的leader为 slave1(192.168.0.121)。
在slave1中执行：
cd /opt/zookeeper-3.4.12/bin ./zkServer.sh stop
2）查看集群中 master(192.168.0.120)和 slave2(192.168.0.122)的的状态
master(192.168.0.120)：
slave2(192.168.0.122)
此时，master(192.168.0.120)成为了集群中的 follower，slave2(192.168.0.122)依然为 leader。
3）启动 slave1(192.168.0.121)的 zookeeper 服务，并查看状态
cd /opt/zookeeper-3.4.12/bin ./zkServer.sh start ./zkServer.sh status
此时， slave1(192.168.0.121)成为了集群中的 follower。
此时，Zookeeper 集群的安装及高可用性验证已完成！
参考《https://www.cnblogs.com/RUReady/p/6479464.html》
原文地址：https://www.cnblogs.com/yy3b2007com/p/9248608.html