zookeeper的三种安装模式

zookeeper的安装分为三种模式：单机模式、集群模式和伪集群模式。

1、单机模式

首先，从Apache官网下载一个Zookeeper稳定版本，本次教程采用的是zookeeper-3.4.9版本。

http://apache.fayea.com/zookeeper/zookeeper-3.4.9/

然后解压zookeeper-3.4.9.tar.gz文件到安装目录下：

tar -zxvf zookeepre-3.4.9.tar.gz

zookeeper要求Java运行环境，并且需要jdk版本1.6以上。为了以后的操作方便，可以对zookeeper的环境变量进行配置(该步骤可忽略)。方法如下，在/etc/profile文件中加入以下内容：

#Set Zookeeper Environment


export ZOOKEEPER_HOME=/root/zookeeper-3.4.9




export PATH=$ZOOKEEPER_HOME/bin;$ZOOKEEPER_HOME/conf


Zookeeper服务器包含在单个jar文件中（本环境下为 zookeeper-3.4.9.jar），安装此服务需要用户自己创建一个配置文件。默认配置文件路径为 Zookeeper-3.4.9/conf/目录下，文件名为zoo.cfg。进入conf/目录下可以看到一个zoo_sample.cfg文件，可供参考。通过以下代码在conf目录下创建zoo.cfg文件：


gedit zoo.cfg 


在文件中输入以下内容并保存：


tickTime=2000dataDir=/home/jxwch/hadoop/data/zookeeper




dataLogDir=/home/jxwch/hadoop/dataLog/zookeeper




clientPort=2181


在这个文件中，各个语句的含义：


　　　　tickTime : 服务器与客户端之间交互的基本时间单元（ms）


　　　　dataDir : 保存zookeeper数据路径


　　　　dataLogDir : 保存zookeeper日志路径，当此配置不存在时默认路径与dataDir一致


　　　　clientPort : 客户端访问zookeeper时经过服务器端时的端口号


　　使用单机模式时需要注意，在这种配置方式下，如果zookeeper服务器出现故障，zookeeper服务将会停止。


2、集群模式


zookeeper最主要的应用场景是集群，下面介绍如何在一个集群上部署一个zookeeper。只要集群上的大多数zookeeper服务启动了，那么总的zookeeper服务便是可用的。另外，最好使用奇数台服务器。如歌zookeeper拥有5台服务器，那么在最多2台服务器出现故障后，整个服务还可以正常使用。


　　　　之后的操作和单机模式的安装类似，我们同样需要Java环境，下载最新版的zookeeper并配置相应的环境变量。不同之处在于每台机器上的conf/zoo.cfg配置文件的参数设置不同，用户可以参考下面的配置：


tickTime=2000




initLimit=10




syncLimit=5




dataDir=/home/jxwch/server1/data




dataLogDir=/home/jxwch/server1/dataLog




clientPort=2181




server.1=zoo1:2888:3888




server.2=zoo2:2888:3888




server.3=zoo3:2888:3888




maxClientCnxns=60


在这个配置文件中，新出现的语句的含义：


　　　　　　initLimit : 此配置表示允许follower连接并同步到leader的初始化时间，它以tickTime的倍数来表示。当超过设置倍数的tickTime时间，则连接失败。


　　　　　　syncLimit : Leader服务器与follower服务器之间信息同步允许的最大时间间隔，如果超过次间隔，默认follower服务器与leader服务器之间断开链接。


　　　　　　maxClientCnxns : 限制连接到zookeeper服务器客户端的数量


　　　　　　server.id=host:port:port : 表示了不同的zookeeper服务器的自身标识，作为集群的一部分，每一台服务器应该知道其他服务器的信息。用户可以从“server.id=host:port:port” 中读取到相关信息。在服务器的data(dataDir参数所指定的目录)下创建一个文件名为myid的文件，这个文件的内容只有一行，指定的是自身的id值。比如，服务器“1”应该在myid文件中写入“1”。这个id必须在集群环境中服务器标识中是唯一的，且大小在1～255之间。这一样配置中，zoo1代表第一台服务器的IP地址。第一个端口号（port）是从follower连接到leader机器的端口，第二个端口是用来进行leader选举时所用的端口。所以，在集群配置过程中有三个非常重要的端口：clientPort：2181、port:2888、port:3888。


3、伪集群模式


伪集群模式就是在单机环境下模拟集群的Zookeeper服务。


　　　　在zookeeper集群配置文件中，clientPort参数用来设置客户端连接zookeeper服务器的端口。server.1=IP1:2888:3888中，IP1指的是组成Zookeeper服务器的IP地址，2888为组成zookeeper服务器之间的通信端口，3888为用来选举leader的端口。由于伪集群模式中，我们使用的是同一台服务器，也就是说，需要在单台机器上运行多个zookeeper实例，所以我们必须要保证多个zookeeper实例的配置文件的client端口不能冲突。


　　　　下面简单介绍一下如何在单台机器上建立伪集群模式。首先将zookeeper-3.4.9.tar.gz分别解压到server1，server2，server3目录下：


tar -zxvf zookeeper-3.4.9.tar.gz  /home/jxwch/server1


 


tar -zxvf zookeeper-3.4.9.tar.gz /home/jxwch/server2


 


tar -zxvf zookeeper-3.4.9.tar.gz /home/jxwch/server3


然后在server1/data/目录下创建文件myid文件并写入“1”，同样在server2/data/，目录下创建文件myid并写入“2”，server3进行同样的操作。


　　　　下面分别展示在server1/conf/、server2/conf/、server3/conf/目录下的zoo.cfg文件：


　　　　server1/conf/zoo.cfg文件


# Server 1


# The number of milliseconds of each tick


# 服务器与客户端之间交互的基本时间单元（ms）


tickTime=2000




# The number of ticks that the initial 


# synchronization phase can take


# 此配置表示允许follower连接并同步到leader的初始化时间，它以tickTime的倍数来表示。当超过设置倍数的tickTime时间，则连接失败。


initLimit=10




# The number of ticks that can pass between 


# sending a request and getting an acknowledgement


# Leader服务器与follower服务器之间信息同步允许的最大时间间隔，如果超过次间隔，默认follower服务器与leader服务器之间断开链接


syncLimit=5




# the directory where the snapshot is stored.


# do not use /tmp for storage, /tmp here is just 


# example sakes.


# 保存zookeeper数据，日志路径


dataDir=/home/jxwch/server1/data


dataLogDir=/home/jxwch/server1/dataLog




# the port at which the clients will connect


# 客户端与zookeeper相互交互的端口


clientPort=2181


server.1= 127.0.0.1:2888:3888


server.2= 127.0.0.1:2889:3889


server.3= 127.0.0.1:2890:3890




#server.A=B:C:D  其中A是一个数字，代表这是第几号服务器；B是服务器的IP地址；C表示服务器与群集中的“领导者”交换信息的端口；当领导者失效后，D表示用来执行选举时服务器相互通信的端口。




# the maximum number of client connections.


# increase this if you need to handle more clients


# 限制连接到zookeeper服务器客户端的数量


maxClientCnxns=60




#


# Be sure to read the maintenance section of the 


# administrator guide before turning on autopurge.


#


# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance


#


# The number of snapshots to retain in dataDir


#autopurge.snapRetainCount=3


# Purge task interval in hours


# Set to "0" to disable auto purge feature


#autopurge.purgeInterval=1


server2/conf/zoo.cfg文件：


# Server 2


# The number of milliseconds of each tick


# 服务器与客户端之间交互的基本时间单元（ms）


tickTime=2000




# The number of ticks that the initial 


# synchronization phase can take


# zookeeper所能接受的客户端数量


initLimit=10




# The number of ticks that can pass between 


# sending a request and getting an acknowledgement


# 服务器与客户端之间请求和应答的时间间隔


syncLimit=5




# the directory where the snapshot is stored.


# do not use /tmp for storage, /tmp here is just 


# example sakes.


# 保存zookeeper数据，日志路径


dataDir=/home/jxwch/server2/data


dataLogDir=/home/jxwch/server2/dataLog




# the port at which the clients will connect


# 客户端与zookeeper相互交互的端口


clientPort=2182


server.1= 127.0.0.1:2888:3888


server.2= 127.0.0.1:2889:3889


server.3= 127.0.0.1:2890:3890




#server.A=B:C:D  其中A是一个数字，代表这是第几号服务器；B是服务器的IP地址；C表示服务器与群集中的“领导者”交换信息的端口；当领导者失效后，D表示用来执行选举时服务器相互通信的端口。




# the maximum number of client connections.


# increase this if you need to handle more clients


#maxClientCnxns=60


#


# Be sure to read the maintenance section of the 


# administrator guide before turning on autopurge.


#


# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance


#


# The number of snapshots to retain in dataDir


#autopurge.snapRetainCount=3


# Purge task interval in hours


# Set to "0" to disable auto purge feature


#autopurge.purgeInterval=1


　server3/conf/zoo.cfg文件：


# Server 3


# The number of milliseconds of each tick


# 服务器与客户端之间交互的基本时间单元（ms）


tickTime=2000




# The number of ticks that the initial 


# synchronization phase can take


# zookeeper所能接受的客户端数量


initLimit=10




# The number of ticks that can pass between 


# sending a request and getting an acknowledgement


# 服务器与客户端之间请求和应答的时间间隔


syncLimit=5




# the directory where the snapshot is stored.


# do not use /tmp for storage, /tmp here is just 


# example sakes.


# 保存zookeeper数据，日志路径


dataDir=/home/jxwch/server3/data


dataLogDir=/home/jxwch/server3/dataLog




# the port at which the clients will connect


# 客户端与zookeeper相互交互的端口


clientPort=2183


server.1= 127.0.0.1:2888:3888


server.2= 127.0.0.1:2889:3889


server.3= 127.0.0.1:2890:3890




#server.A=B:C:D  其中A是一个数字，代表这是第几号服务器；B是服务器的IP地址；C表示服务器与群集中的“领导者”交换信息的端口；当领导者失效后，D表示用来执行选举时服务器相互通信的端口。




# the maximum number of client connections.


# increase this if you need to handle more clients


#maxClientCnxns=60


#


# Be sure to read the maintenance section of the 


# administrator guide before turning on autopurge.


#


# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance


#


# The number of snapshots to retain in dataDir


#autopurge.snapRetainCount=3


# Purge task interval in hours


# Set to "0" to disable auto purge feature


#autopurge.purgeInterval=1


从上述三个代码清单可以发现，除了clientPort不同之外，dataDir和dataLogDir也不同。另外，不要忘记dataDir所对应的目录中创建的myid文件来指定对应的zookeeper服务器实例。


4、Zookeeper伪集群模式运行


当上述伪集群环境安装成功后就可以测试是否安装成功啦，我们可以尝尝鲜：


　　首先启动server1服务器：


cd server1/bin




bash zkServer.sh start


此时出现以下提示信息，表示启动成功：




打开zookeeper.out文件：


2017-02-23 16:17:46,419 [myid:] - INFO  [main:[email protected]] - Reading configuration from: /home/jxwch/server1/bin/../conf/zoo.cfg


2017-02-23 16:17:46,496 [myid:] - INFO  [main:[email protected]] - Resolved hostname: 127.0.0.1 to address: /127.0.0.1


2017-02-23 16:17:46,496 [myid:] - INFO  [main:[email protected]] - Resolved hostname: 127.0.0.1 to address: /127.0.0.1


2017-02-23 16:17:46,497 [myid:] - INFO  [main:[email protected]] - Resolved hostname: 127.0.0.1 to address: /127.0.0.1


2017-02-23 16:17:46,497 [myid:] - INFO  [main:[email protected]] - Defaulting to majority quorums


2017-02-23 16:17:46,511 [myid:1] - INFO  [main:[email protected]] - autopurge.snapRetainCount set to 3


2017-02-23 16:17:46,511 [myid:1] - INFO  [main:[email protected]] - autopurge.purgeInterval set to 0


2017-02-23 16:17:46,511 [myid:1] - INFO  [main:[email protected]] - Purge task is not scheduled.


2017-02-23 16:17:46,525 [myid:1] - INFO  [main:[email protected]] - Starting quorum peer


2017-02-23 16:17:46,631 [myid:1] - INFO  [main:[email protected]] - binding to port 0.0.0.0/0.0.0.0:2181


2017-02-23 16:17:46,664 [myid:1] - INFO  [main:[email protected]] - tickTime set to 2000


2017-02-23 16:17:46,664 [myid:1] - INFO  [main:[email protected]] - minSessionTimeout set to -1


2017-02-23 16:17:46,664 [myid:1] - INFO  [main:[email protected]] - maxSessionTimeout set to -1


2017-02-23 16:17:46,665 [myid:1] - INFO  [main:[email protected]] - initLimit set to 10


2017-02-23 16:17:46,771 [myid:1] - INFO  [main:[email protected]] - Reading snapshot /home/jxwch/server1/data/version-2/snapshot.400000015


2017-02-23 16:17:46,897 [myid:1] - INFO  [ListenerThread:[email protected]] - My election bind port: /127.0.0.1:3888


2017-02-23 16:17:46,913 [myid:1] - INFO  [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:2181:[email protected]] - LOOKING


2017-02-23 16:17:46,915 [myid:1] - INFO  [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:2181:[email protected]] - New election. My id =  1, proposed zxid=0x500000026


2017-02-23 16:17:46,922 [myid:1] - INFO  [WorkerReceiver[myid=1]:[email protected]] - Notification: 1 (message format version), 1 (n.leader), 0x500000026 (n.zxid), 0x1 (n.round), LOOKING (n.state), 1 (n.sid), 0x5 (n.peerEpoch) LOOKING (my state)


2017-02-23 16:17:46,940 [myid:1] - WARN  [WorkerSender[myid=1]:[email protected]] - Cannot open channel to 2 at election address /127.0.0.1:3889


java.net.ConnectException: 拒绝连接


    at java.net.PlainSocketImpl.socketConnect(Native Method)


    at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)


    at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200)


    at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)


    at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)


    at java.net.Socket.connect(Socket.java:579)


    at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:381)


    at org.apache.zookeeper.server.quorum.QuorumCnxManager.toSend(QuorumCnxManager.java:354)


    at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.process(FastLeaderElection.java:452)


    at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.run(FastLeaderElection.java:433)


    at java.lang.Thread.run(Thread.java:745)


2017-02-23 16:17:46,943 [myid:1] - INFO  [WorkerSender[myid=1]:[email protected]] - Resolved hostname: 127.0.0.1 to address: /127.0.0.1


2017-02-23 16:17:46,944 [myid:1] - WARN  [WorkerSender[myid=1]:[email protected]] - Cannot open channel to 3 at election address /127.0.0.1:3890


java.net.ConnectException: 拒绝连接


    at java.net.PlainSocketImpl.socketConnect(Native Method)


    at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)


    at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200)


    at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)


    at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)


    at java.net.Socket.connect(Socket.java:579)


    at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:381)


    at org.apache.zookeeper.server.quorum.QuorumCnxManager.toSend(QuorumCnxManager.java:354)


    at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.process(FastLeaderElection.java:452)


    at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.run(FastLeaderElection.java:433)


    at java.lang.Thread.run(Thread.java:745)


2017-02-23 16:17:46,944 [myid:1] - INFO  [WorkerSender[myid=1]:[email protected]] - Resolved hostname: 127.0.0.1 to address: /127.0.0.1


产生上述两条Waring信息是因为zookeeper服务的每个实例都拥有全局的配置信息，他们在启动的时候需要随时随地的进行leader选举，此时server1就需要和其他两个zookeeper实例进行通信，但是，另外两个zookeeper实例还没有启动起来，因此将会产生上述所示的提示信息。当我们用同样的方式启动server2和server3后就不会再有这样的警告信息了。


　　　　当三台服务器均成功启动后切换至server1/bin/目录下执行以下命令：


bash zkServer.sh status


终端出现以下提示信息：




　　　　说明server1服务器此时处于follower模式，同样切换至server2/bin目录下执行相同的命令，返回如下结果：




　　　　说明server2被选举为leader。


转自：https://www.cnblogs.com/jxwch/p/6433310.html



原文地址：https://www.cnblogs.com/zhangwuji/p/9159366.html
				


				
时间： 2024-10-21 15:35:21 

		


		


	

	
	

		


		
zookeeper的三种安装模式的相关文章


								

		

			

                Hive三种安装模式
			

		

		

									

				原文地址:https://www.cnblogs.com/ggzhangxiaochao/p/9218752.html			

		

	

				

		

			

                虚拟机安装Ubuntu三种网络模式
			

		

		

									

				VMWare提供三种工作模式桥接(bridge).NAT(网络地址转换)和host-only(主机模式). NAT(网络地址转换) 在NAT模式下,虚拟系统需要借助NAT(网络地址转换)功能,通过宿主机器所在的网络来访问公网.也就是说,使用NAT模式虚拟系统可把物理主机作为路由器访问互联网.NAT模式下的虚拟系统的TCP/IP配置信息是由VMnet8(NAT)虚拟网络的DHCP服务器提供的,无法进行手工修改,因此虚拟系统也就无法和本局域网中的其他真实主机进行通讯.采用NAT模式最大的优势是虚拟系			

		

	

				

		

			

                VMware虚拟机三种工作模式
			

		

		

									

				工作模式 VMWare提供了三种工作模式,它们是bridged(桥接模式).NAT(网络地址转换模式)和host-only(主机模式).要想在网络管理和维护中合理应用它们,就应该先了解一下这三种工作模式. bridged(桥接模式) 在这种模式下,VMWare虚拟出来的操作系统就像是局域网中的一台独立的主机,它可以访问网内任何一台机器.在桥接模式下,你需要手工为虚拟系统配置IP地址.子网掩码,而且还要和宿主机器处于同一网段,这样虚拟系统才能和宿主机器进行通信.同时,由于这个虚拟系统是局域网中的一			

		

	

				

		

			

                vsftpd服务程序的三种认证模式
			

		

		

									

				vsftpd服务程序的三种认证模式的配置方法--匿名开放模式.本地用户模式以及虚拟用户模式.了解PAM可插拔认证模块的原理.作用以及实战配置方法,通过实战课程进一步继续学习SELinux服务的配置方法,扩展学习TFTP简单文件传输协议理论及实操课程 文件传输协议 一般来讲,人们将电脑联网的首要需求就是获取资料,而文件传输是其中非常重要的方式之一,21世纪的互联网是由几千万台个人电脑.工作站.小型机.大型机等等不同型号.架构的物理设备共同组成的,即便是个人电脑上也可能会装有诸如Linux.Wind			

		

	

				

		

			

                vmware虚拟机三种网络模式详解_转
			

		

		

									

				原文来自http://note.youdao.com/share/web/file.html?id=236896997b6ffbaa8e0d92eacd13abbf&type=note 由于Linux目前很热门,越来越多的人在学习linux,但是买一台服务放家里来学习,实在是很浪费.那么如何解决这个问题?虚拟机软件是很好的选择,常用的虚拟机软件有vmware workstations和virtual box等.在使用虚拟机软件的时候,很多初学者都会遇到很多问题,而vmware的网络连接问题是大家			

		

	

				

		

			

                云计算三种服务模式SaaS、PaaS和IaaS及其之间关系(顺带CaaS、MaaS)
			

		

		

									

				云计算架构图 很明显,这五者之间主要的区别在于第一个单词,而aaS都是as-a-service(即服务)的意思,这五个模式都是近年来兴起的,且这五者都是云计算的落地产品,所以我们先来了解一下云计算是什么. 1.云计算是什么?云计算(cloud computing)是基于互联网的相关服务的增加.使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源.云是网络.互联网的一种比喻说法.云计算甚至可以让你体验每秒10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸.预测气候变化和市			

		

	

				

		

			

                VMware虚拟机三种网络模式详解
			

		

		

									

				Bridged(桥接模式) 由于Linux目前很热门,越来越多的人在学习Linux,但是买一台服务放家里来学习,实在是很浪费.那么如何解决这个问题?虚拟机软件是很好的选择,常用的虚拟机软件有VMware Workstations和VirtualBox等.在使用虚拟机软件的时候,很多初学者都会遇到很多问题,而VMware的网络连接问题是大家遇到最多问题之一.在学习交流群里面,几乎每天都会有同学问到这些问题,写这篇详解也是因为群里童鞋网络出故障,然后在帮他解决的过程中,对自己的理解也做一个总结.接下			

		

	

				

		

			

                VMware Workstation之虚拟网络的三种连接模式浅析
			

		

		

									

				刚开始接触VMware Workstation做实验时常常为选择哪种网络连接模式而苦恼. 有时候老师说选择NAT,有时候建议桥接,还有时会要求仅主机. 唉,真是老师说什么就是什么. 既然不懂那就乖乖跟着老师屁股后面,老师怎么要求我们就怎么做,一点自己发挥的余地都不能有. 机械的跟着老师做了这么多实验,吃了这么多的苦楚,大家有没有想过,我们搭建实验环境为什么要选择不同的网络连接模式,为什么我们实验的其他部署都对了,但就是因为忽略了连接模式这个小差错而导致各种报错,为什么老师一直说实验前的ping通			

		

	

				

		

			

                LVS 三种工作模式基本配置（不含HA）
			

		

		

									

				类别:原创 服务器 本文参考 LVS三种工作模式简介及案例参考http://www.sxt.cn/u/324/blog/3188 LVS DR模式基本配置参考http://www.21ops.com/ops/26717.html LVS TUN模式配置参考(其它的文档全都少了内容) http://outofmemory.cn/wr/?u=http%3A%2F%2Fwww.jizhuomi.com%2Fsoftware%2F365.html ipvsadm 命令详细参数参考 http://blog