ZooKeeper 学习之 安装 部署

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,ZooKeeper是以Fast Paxos算法为基础,实现同步服务,配置维护和命名服务等分布式应用。

Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。核心词就是一个,协调。

下面实践安装来学习下,分为独立部署、集群部署

一、下载安装

wget -c http://www.eu.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

tar zxvf zookeeper-3.4.6.tar.gz

可以指定放在哪个目录,如usr/local

mkdir  /usr/local/zookeeper-3.4.6

二、独立部署配置

1、编辑zookeeper-3.4.6/conf 下的zoo_sample.cfg文件, 这个文件里面配置了监听客户端连接的端口等一些信息,Zookeeper 在启动时会找zoo.cfg这个文件作为默认配置文件。

在zookeeper-3.4.6/conf目录下复制一个名称为zoo.cfg的文件:

cp zoo_sample.cfg zoo.cfg

2、在zookeeper-3.4.6/bin目录启动Zookeeper服务:

./zkServer.sh start

三、ZooKeeper集群部署配置

1、ZooKeeper的集群模式下,多个Zookeeper服务器在工作前会选举出一个Leader,在接下来的工作中这个被选举出来的Leader死了,而剩下的Zookeeper服务器会知道这个Leader死掉了,  在活着的Zookeeper集群中会继续选出一个Leader,选举出Leader的目的是为了可以在分布式的环境中保证数据的一致性。 由于ZooKeeper集群中,会有一个Leader负责管理和协调其他集群服务器,因此服务器的数量通常都是单数,例如3,5,7...等,这样2n+1的数量的服务器就可以允许最多n台服务器的失效。

2、编写配置文件

配置文件需要在每台服务器中都要编写,以下是一个配置文件的样本:

# Filename zoo.cfg

tickTime=2000

dataDir=/var/zookeeper/

clientPort=2181

initLimit=5

syncLimit=2

server.1=10.10.0.101:2888:3888

server.2=10.10.0.102:2888:3888

server.3=10.10.0.103:2888:3888

参数说明

tickTime:这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳

dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里

clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。

initLimit:配置 Zookeeper 接受客户端(指的是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。集群包含多台server, 其中一台为leader, 集群中其余的server为follower,follower和leader之间的最长心跳时间,如该参数设置为5,当已经超过 5 个心跳时间(即 tickTime),总时间长度是 5*2000=10 秒后 Zookeeper 服务器没有收到客户端的返回信息,那么表明这个客户端连接失败。

syncLimit:这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 2*2000=4 秒

server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号

3、创建myid文件

除了修改 zoo.cfg 配置文件,集群模式下还要配置一个文件 myid,这个文件在dataDir 目录下,这个文件里面就只有一个数据就是A (服务器对应的编号) 的值,Zookeeper 启动时会读取这个文件,拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个 server。

4、执行运行脚本

和单机模式下的运行方式基本相同,需要注意的地方就是要分别在不同服务器上执行一次,例如分别在101,102,103上运行:

./zkServer.sh start

这样才能使得整个集群启动起来。

四、伪集群方式配置部署

因条件限制,这里以伪集群方式部署运行

1、确认集群伪服务器的数量

2n+1,和之前的集群部署方式相同,比如我们这里用3台

2、编写配置文件

在/conf文件夹新建三个配置文件,zoo1.cfg,zoo2.cfg以及zoo3.cfg

或  将zookeeper-3.4.6 对应目录复制三份

如zookeeper-3.4.6-node1

zookeeper-3.4.6-node2

zookeeper-3.4.6-node3

分别配置conf下zoo.cfg文件

zookeeper-3.4.6-node1

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/usr/local/zookeeper-3.4.6-node1

clientPort=2181

server.1=localhost:2887:3887

server.2=localhost:2888:3888

server.3=localhost:2889:3889

zookeeper-3.4.6-node2

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/usr/local/zookeeper-3.4.6-node2

clientPort=2182

server.1=localhost:2887:3887

server.2=localhost:2888:3888

server.3=localhost:2889:3889

zookeeper-3.4.6-node3

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/usr/local/zookeeper-3.4.6-node3

clientPort=2183

server.1=localhost:2887:3887

server.2=localhost:2888:3888

server.3=localhost:2889:3889

由于三个服务都在同一台电脑上,因此这里要保证地址的唯一性,因此要特别注意IP地址和端口号不要互相冲突,IP相同,端口一定不能相同,以免影响程序的正确执行。

3.在每个zookeeper-3.4.6-node分别创建myid文件

内容为1,2,3 对应server序号,如:1,2,3

4、

启动zookeeper 服务

若分别三个目录,则在各自目录下执行,./zkServer.sh start

若是在同一个目录下创建3 个不同配置文件,则用下面方法

./zkServer.sh start zoo1.cfg

./zkServer.sh start zoo2.cfg

./zkServer.sh start zoo3.cfg

5、分别启动

若配置正常,启动后结果如下

若没配置好则会出现这个异常

JMX enabled by default Using config: /var/local/server/zookeeper/bin/../conf/zoo.cfg Error contacting service. It is probably not running.

时间: 2024-08-27 15:52:52

ZooKeeper 学习之 安装 部署的相关文章

(转)ZooKeeper 笔记(1) 安装部署及hello world

ZooKeeper 笔记(1) 安装部署及hello world 先给一堆学习文档,方便以后查看 官网文档地址大全: OverView(概述) http://zookeeper.apache.org/doc/r3.4.6/zookeeperOver.html Getting Started(开始入门) http://zookeeper.apache.org/doc/r3.4.6/zookeeperStarted.html Tutorial(教程) http://zookeeper.apache.

Zookeeper集群安装部署

 zookeeper集群: zookeeper作为一个开源的分布式应用协调系统,已经用到了许多分布式项目中,用来状态同步服务.集群管理.分布式应用配置项的管理等工作. ZooKeeper的工作模式有三种:单机模式.集群模式.伪集群模式. 单机模式:Zookeeper只运行在一台服务器上,适合测试用: 伪集群模式:就是在一台机器上运行多个Zookeeper 实例: 集群模式:运行于一个至少有三个节点以上集群中,适合生产环境; Zookkeeper 集群中有三种角色,leader -主节点 .fol

简要分析ZooKeeper基本原理及安装部署

一.ZooKeeper 基本概念 1.ZooKeeper 是什么? Zookeeper官网地址: http://zookeeper.apache.org/ Zookeeper官网文档地址:http://zookeeper.apache.org/doc/trunk/index.html ZooKeeper 是Hadoop下的一个子项目,它是一个针对大型分布式系统的可靠协调系统:它提供的功能包括:配置维护.名字服务.分布式同步.组服务等: 它的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性

zookeeper与kafka安装部署及java环境搭建

1. ZooKeeper安装部署 本文在一台机器上模拟3个zk server的集群安装. 1.1. 创建目录.解压 cd /usr/ #创建项目目录 mkdir zookeeper cd zookeeper mkdir tmp mkdir zookeeper-1 mkdir zookeeper-2 mkdir zookeeper-3 cd tmp mkdir zk1 mkdir zk2 mkdir zk3 cd zk1 mkdir data mkdir log cd zk2 mkdir data

深入理解ZooKeeper基本原理及安装部署

1. ZooKeeper 是什么 ZooKeeper 是一个针对大型分布式系统的可靠协调系统:它提供的功能包括:配置维护.名字服务.分布式同步.组服务等: 它的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效.功能稳定的系统提供给用户. 2. ZooKeeper特点 ZooKeeper 主要包含以下几个特点: 1).最终一致性:为客户端展示同一视图,这是 ZooKeeper 最重要的性能. 2).可靠性:如果消息被一台服务器接受,那么它将被所有的服务器接受. 3).实时性:ZooK

haproxy学习之安装部署和应用

[认识haproxy] 官网:www.haproxy.org 软件作用:负载均衡,可做4层也可做7层. 优点: 1 配置简单,软件使用简单 2 4.7层都可以做 3 有自动的监控检查功能 4 是一个专业反向代理软件 5 会话保持功能比较强大(ngixn的实现是通过ip hash,LVS 是通过-p) 6 几乎不需要优化,支持数以万计的并发连接. 常常用来对比LVS和NGINX对比 [常用环境] 1 邮件服务器代理 2 取代F5 等设备,或者作为其备份 3 代理web [haporxy的简单搭建和

【Hadoop 分布式部署 九:分布式协作框架Zookeeper架构 分布式安装部署 】

1.首先将运行在本地上的  zookeeper 给停止掉 2.到/opt/softwares 目录下  将  zookeeper解压到  /opt/app 目录下 命令:  tar -zxvf zookeeper-3.4.5.tar.gz -C /opt/app/ 3.修改配置文件 将文件   zoo_sample.cfg   重命名为   zoo.cfg 创建文件目录    mkdir -p data/zkData       完整的路径:/opt/app/zookeeper-3.4.5/da

大数据学习——hive安装部署

1上传压缩包 2 解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C apps 3 重命名 mv apache-hive-1.2.1-bin hive 4 设置环境变量 vi /etc/profile expert HIVE_HOME=/root/apps/hiveexport PATH=$PATH:$HIVE_HOME/bin 5 启动hive cd apps/hive bin/hive 出现上面的问题是因为版本不兼容 解决一下版本不兼容问题:替换 app

Storm介绍及安装部署

本节内容: Apache Storm是什么 Apache Storm核心概念 Storm原理架构 Storm集群安装部署 启动storm ui.Nimbus和Supervisor 一.Apache Storm是什么 Apache Storm是自由开源的分布式实时计算系统,擅长处理海量数据,适用于数据实时处理而非批处理. 批处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大.自动容错等优点,在海量数据处理上得到了广泛的使用.但是,hadoop不擅长实时