Zookeeper分布式安装配置
Zookeeper介绍
概述
1、ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
2、ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
3、ZooKeeper包含一个简单的原语集，提供Java和C的接口。
4、ZooKeeper代码版本中，提供了分布式独享锁、选举、队列的接口，代码在zookeeper-3.4.3\src\recipes。其中分布锁和队列有Java和C两个版本，选举只有Java版本。
ZooKeeper的基本运转流程：
1、选举Leader。
2、同步数据。
3、选举Leader过程中算法有很多，但要达到的选举标准是一致的。
4、Leader要具有最高的zxid。
5、集群中大多数的机器得到响应并follow选出的Leader。
Zookeeper下载与安装
下载
官网：https://zookeeper.apache.org/
大家可以去官网下载自己需要的版本，例如我需要安装的是3.4.6版本：
安装
Zookeeper的运行需要Java环境，所以需要首先安装JDK，JDK的安装可以参考：
http://blog.csdn.net/u011204847/article/details/51002072
把下载的压缩包拷贝到想要安装的目录，然后解压：
[[email protected] software]# tar -xzf zookeeper-3.4.6.tar.gz
解压之后文件目录：
加入环境变量：
vi /etc/profile
export ZOOKEEPER_HOME=/usr/local/software/zookeeper-3.4.6 export PATH=.:$PATH:$ZOOKEEPER_HOME/bin
使环境变量生效：
source /etc/profile
Zookeeper配置
单机配置
在zookeeper目录下创建目录data:
[[email protected] software]# cd zookeeper-3.4.6 [[email protected] zookeeper-3.4.6]# mkdir data
然后到zookeeper / conf 目录下，修改zoo_sample.cfg名称为zoo.cfg
然后修改配置文件zoo.cfg：
vi zoo.cfg //单机只需要修改dataDir为之前创建的data目录即可
配置好后就可以启动了：
切换到Zookeeper的bin目录下，然后
./zkServer.sh start //开启Zookeeper
其他命令：
./zkServer.sh stop //关闭Zookeeper ./zkServer.sh status //查看Zookeeper状态 ./zkCli.sh //打开Zookeeper客户端
分布式配置
这里我使用三台主机进行Zookeeper的分布式配置。
1、首先，我们在之前配置的单机基础上继续修改配置文件：
2、在之前的配置文件末尾添加如下内容：
server.0=master01:2888:3888 //master01为你的主机名，前面的0代表的是给这台主机配的ID server.1=slave01:2888:3888 //同理slave01也是主机名，可以使用IP server.2=slave02:2888:3888
3、然后在我们之前建立的data文件中使用命令：
echo 0 myid //在data目录建立myid文件，并写入0（与上面的配置中server.0中的0对应）
4、将这台主机配置好的Zookeeper整个目录都拷贝到另外两台主机的相同路径下，并在那两台上修改myid为1和2。
5、修改另外两台主机/etc/profile文件，使得它们的Zookeeper环境配置和第一台主机一样
6、在每台主机上面开启Zookeeper后，查看状态
开启三台主机中Zookeeper后，查看状态会发现有一个leader以及两个follower，此时我们的Zookeeper分布式环境以及搭建好了
注意：
1、上面我可以使用类似 ssh slave01命令直接登录到slave01和slave02主机是因为我在三台主机之间做了免密码登录。
2、在配置文件和命令中可以直接使用主机名是因为我做了IP和主机名的映射。
3、我们可以在登录到另一台主机后，直接使用zkServer.sh脚本是因为我们之前配置了Zookeeper环境并使之生效。
附加配置
在安装好Zookeeper分布式环境后，一般情况下需要登录到每台主机上面去启动Zookeeper，比较繁琐，所以我们可以写一个shell脚本来启动和关闭这个Zookeeper集群。
在写脚本之前我们需要先解决一个问题，如果我们直接使用脚本操作去启动另外的主机上面Zookeeper，会发现启动不成功。这涉及到登录shell和非登录shell的问题。关于Shell脚本和登录/非登录shell可以参考：http://blog.csdn.net/u011204847/article/details/51184883
这里我直接写解决方法：
方法一：
修改Zookeeper / bin 目录下的zkEnv.sh，在图示位置或者文件开头添加你的JDK路径。
方法二：把profile的配置信息echo到.bashrc中 echo ‘source /etc/profile‘ >> ~/.bashrc
方法三：脚本代码中添加”source /etc/profile;”，例如：ssh $i "source /etc/profile;/usr/local/software/zookeeper-3.4.6/bin/zkServer.sh start"
Shell启动脚本示例：
#!/bin/bash for i in master01 slave01 slave02 do ssh $i "/usr/local/software/zookeeper-3.4.6/bin/zkServer.sh start" done
脚本执行示例：
Shell停止脚本示例：
#!/bin/bash
for i in master01 slave01 slave02
do
ssh $i "/usr/local/software/zookeeper-3.4.6/bin/zkServer.sh stop"
done
脚本执行示例：
Java代码操作Zookeeper示例
Pom依赖：
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-framework</artifactId>
<version>2.8.0</version>
</dependency>
代码示例：
@Test //测试类：测试Zookeeper连接
public void test13() throws Exception{
//指定zookeeper集群的地址
String connectString = "192.168.33.130:2181,192.168.33.131:2181,192.168.33.132:2181";
//1000 ：代表是重试时间间隔 3：表示是重试次数
ExponentialBackoffRetry retryPolicy = new ExponentialBackoffRetry(1000, 3);
//使用curator创建一个zk链接
CuratorFramework client = CuratorFrameworkFactory.newClient(connectString, retryPolicy);
//启动连接
client.start();
InetAddress localHost = InetAddress.getLocalHost();
String ip = localHost.getHostAddress();
client.create()
.creatingParentsIfNeeded() //如果父节点不存在，这创建
.withMode(CreateMode.EPHEMERAL) //创建节点类型为临时节点
.withACL(Ids.OPEN_ACL_UNSAFE)
.forPath("/Spider/"+ip);
}
打印结果：
注意：
由于建立的是临时节点，所以默认40秒后，这个值会消失。临时节点的这个特性可以用于监控一些程序的运行状态。