网络参考资料
https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/
http://agapple.iteye.com/blog/1111377
http://zookeeper.apache.org/doc/r3.3.2/zookeeperOver.html
Zookeeper
Google Chubby的开源实现
用于协调分布式系统上的各种服务, 例如确认消息是否准确到达, 防止单点失效, 处理负载均衡等
应用场景: Hbase, 实现Namenode自动切换
工作原理: 领导者, 跟随者以及选举过程
下载:
http://www.apache.org/dyn/closer.cgi/zookeeper/ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
安装: 单机模式
单机安装非常简单, 只要获取到Zookeeper的压缩包并解压到某个目录如: /home/hadoop/zookeeper-3.2.2下, Zookeeper的启动脚本在bin目录下, Linux下的启动脚本是zkServer.sh
配置文件
cp conf/zoo_sample.cfg conf/zoo.cfg #将默认的zoo_sample.cfg 复制一个为zoo.cfg tickTime = 2000 dataDir = /home/hadoop/zookeeper-3.4.6/build clientPort = 2181 dataLogDir=/home/hadoop/zookeeper-3.4.6/logs #tickTime: 这个时间是作为Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔, 也就是每个tickTime时间就会发送一个心跳 #dataDir: 顾名思义就是Zookeeper保存数据的目录, 默认情况下, Zookeeper将写数据的日志也保存在这个目录里 #clientPort: 这个端口就是客户端连接Zookeeper服务器的端口, Zookeeper会监听这个端口, 接受客户端的访问请求
启动
zkServer.sh start
安装: 集群模式
环境变量
JAVA_HOME=/usr/java/jdk1.7.0_67 ZOOKEEPER_INSTALL=/home/hadoop/zookeeper-3.4.6 PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$ZOOKEEPER_INSTALL/bin
配置文件
cp conf/zoo_sample.cfg conf/zoo.cfg #将默认的zoo_sample.cfg 复制一个为zoo.cfg
-----------------------------------------
tickTime = 2000
dataDir = /home/hadoop/zookeeper-3.4.6/build
clientPort = 2181
dataLogDir=/home/hadoop/zookeeper-3.4.6/logs
initLimit = 5
syncLimit = 2
server.1 = 192.168.188.22:2888:3888
server.2 = 192.168.188.23:2888:3888
-----------------------------------------
mkdir /home/hadoop/zookeeper-3.4.6/{build,logs}
initLimit
: 这个配置项是用来配置Zookeeper接受客户端(这里所说的客户端不是用户连接 Zookeeper服务器的客户端,
而是Zookeeper服务器集群中连接到Leader的Follower服务器) 初始化连接时最长能忍受多少个心跳时间间隔数.
当已经超过10个心跳的时间 (也就是tickTime) 长度后Zookeeper服务器还没有收到客户端的返回信息, 那么表明这个客户端连接失败.
总的时间长度就是5*2000 = 10 秒
syncLimit : 这个配置项表示Leader与Follow之间发送信息, 请求和应答时间长度, 最长不能超过多少个tickTime的时间长度, 总的时间长度就是2*2000 = 4秒
server.A
= B:C:D : 其中A是一个数字, 表示这个是第几号服务器 ; B是这个服务器的IP地址 ;
C表示的是这个服务器与集群中的Leader服务器交换信息的端口 ; D表示的是万一集群中的Leader服务器挂了, 需要一个端口来重新进行选举,
选出一个新的Leader, 而这个端口就是用来执行选举时服务器相互通信的端口. 如果是伪集群的配置方式, 由于B都是一样,
所以不同的Zookeeper实例通信端口号不能一样, 所以要给它们分配不同的端口号.
除
了需改zoo.cfg配置文件, 集群模式下还要配置一个文件myid , 这个文件在dataDir目录下 , 这个文件里面就有一个数据就是A的值 ,
Zookeeper启动时会读取这个文件 , 拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底那个是server
分发配置
[[email protected] ~]$ scp -r zookeeper-3.4.6 hadoop2:~ [[email protected] ~]$ scp -r zookeeper-3.4.6 hadoop3:~
配置myid
[[email protected] ~]$ echo 1 > /home/hadoop/zookeeper-3.4.6/build/myid [[email protected] ~]$ echo 2 > /home/hadoop/zookeeper-3.4.6/build/myid [[email protected] ~]$ echo 3 > /home/hadoop/zookeeper-3.4.6/build/myid
启动Zookeeper并查看
各节点启动: zkServer.sh start [[email protected] ~]$ zkServer.sh status JMX enabled by default Using config: /home/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg Mode: follower [[email protected] ~]$ zkServer.sh status JMX enabled by default Using config: /home/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg Mode: leader [[email protected] zookeeper-3.4.6]$ zkServer.sh status JMX enabled by default Using config: /home/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg Mode: follower