Zookeeper系列六:服务器角色、序列化与通信协议、数据存储

一、服务器角色

1. Leader

1)事务请求的唯一调度者和处理者。保证事务处理的顺序性

  事务请求:导致数据一致性的请求(数据发生改变)。如删除一个节点、创建一个节点、设置节点数据,设置节点权限就是一个事物请求,全局的事物id(zxid)只能由leader来分配

2)集群内部个服务器之间的调度者

2. Follower

1)处理客户端的非事务请求。事务请求必须转发给Leader服务器。

  非事物请求:读取数据
2)参与事务请求Proposal(议案)的投票
3)参与Leader选举

3. Observer

在实际运行中,它只是负责读,Leader不会将事务的投票发送给Observer。
在zk的配置server.1=master:2888:3888后面加:observer以后就是一个Observer
server.1=master:2888:3888:observer

二、序列化与通信协议

1. zookeeper序列化

常见序列化协议:

ProtoBuf
Thrift
Hessian
Kryo
Avro
JDK Serializable
Jsoniter/Jackson

Jute是zookeeper序列化、反序列化协议。

2. zookeeper通信协议

基于TCP/IP协议,所以是一个长连接。zookeeper在这个基础上完成客户端和服务器,服务器和服务器之间的通信。

zookeeper请求包:请求头+请求体


0-3


4-11


12-n


len


4-7


8-11


12-15


16-(n-1)


n


xid


type


len


path


watch

zookeeper响应包:响应头+响应体


0-3


4-19


20 - n


len


4-7


8-15


16-19


20-23


len位


48位


8位


xid


zxid


err


len


data


......


pzxid

0-3位:version+dbid+magic(魔数)

三、数据存储

1. 内存数据

Zk有个内存数据库:ZkDataBase、DataTree、DataNode

2. 日志数据FileTxnLog

运行时,不停地有数据写入。
当日志的剩余空间不足4K(4096),日志就做扩充,扩充64M,后面以“0”填充。
log都是使用zxid作为文件名的后缀。

查看日志方式:

cd /software/zookeeper-3.4.6
java -cp ./zookeeper-3.4.6.jar::./lib/log4j-1.2.16.jar:./lib/slf4j-api-1.6.1.jar:./lib/slf4j-log4j12-1.6.1.jar org.apache.zookeeper.server.LogFormatter /zookeeper/zk1/version-2/log.100000001

说明:

1)必须在zookeeper的安装目录下执行

2)/zookeeper/zk1/是zookeeper配置文件里面配置的数据目录(dataDir)

3. 快照数据

快照数据:在某一时刻内存所有全量数据的一个磁盘文件。举例:快照阈值100000,触发快照数据。
快照数据都是使用Zxid作为文件名的后缀。这样的话,获取快照数据的时候就不用遍历了,直接根据Zxid去获取就行了

查看快照命令:

cd /software/zookeeper-3.4.6
java -cp ./zookeeper-3.4.6.jar::./lib/log4j-1.2.16.jar:./lib/slf4j-api-1.6.1.jar:./lib/slf4j-log4j12-1.6.1.jar org.apache.zookeeper.server.SnapshotFormatter /zookeeper/zk1/version-2/snapshot.100000050

说明:

1)必须在zookeeper的安装目录下执行

2)/zookeeper/zk1/是zookeeper配置文件里面配置的数据目录(dataDir)

快照触发机制,非“半数机制”,过半随机策略。
logcount > (snapcount/2 + randroll)
logcount: 代表当前记录日志数量
snapcount: 多少次事务日志记录后触发一次数据快照
randroll: 1~snapcount/2 之间的一个随机数

原文地址:https://www.cnblogs.com/leeSmall/p/9611041.html

时间: 2024-11-29 06:17:18

Zookeeper系列六:服务器角色、序列化与通信协议、数据存储的相关文章

Exchange Server 2013系列二:服务器角色

杜飞 在上一篇文章中,我们提到现在硬件性能的增加以及成本的下降,硬件已经不再成为软件应用的约束因素,特别是CPU,其 计算能力的成本显著降低.Exchange 2013 的主要设计目标是简化缩放.提高硬件利用率和实现故障隔离.Exchange 2013一开始将服务器角色的数目减少到了两个:客户端访问服务器角色和邮箱服务器角色,当然,升级到SP1之后也包含边缘服务器角色或者是边界网络中安装 Exchange 2007 或 Exchange 2010 边缘传输服务器角色.如下图所示: 客户端访问服务

Exchange Server 2016安装部署系列二: 邮箱服务器角色安装

本篇博文进入Exchange server 2016 安装部署系列的第二部分:Exchange server 2016的邮箱服务器安装,本文以exch01.itwish.cn 服务器为例进行演示安装,配置exch01.itwish.cn 服务器与exc02.itwish.cn作为Exchange server 2016 的邮箱服务器角色.对于该文章不完善之处,望在评论区指正,万分感谢 . 计算机准备 1.exch01.itwish.cn服务器定义计算机名exch01,ip 地址  172.16.

Exchange 2013 SP1部署系列3:分角色安装篇安装邮箱服务器角色

首先说下微软建议的安装顺序,先装CAS,后安装Mailbox,卸载的话反过来! 邮箱服务器的安装和CAS的安装大致相同,稍有不同支持如下: 这里我们需要选择安装"邮箱角色" 在这里,根据公司需求是否开启"恶意软件防护设置" 其他步骤和CAS安装一样,按照相同的步骤安装第二台邮箱服务器角色即可!

Netty4.x中文教程系列(六) 从头开始Bootstrap

Netty4.x中文教程系列(六) 从头开始Bootstrap 其实自从中文教程系列(五)一直不知道自己到底想些什么.加上忙着工作上出现了一些问题.本来想就这么放弃维护了.没想到有朋友和我说百度搜索推荐了我的文章.瞬间有点小激动啊.决定自己要把这个教程系列完善下去.这里诚挚的想支持我的盆友们道歉.真的是让你们失望了.我居然有想放弃的这种丧心病狂的念头.以后绝对不会了. 其实伴随着对Netty的逐步深入学习.感觉自己对netty的了解仍然有所欠缺.加上笔者语文课是美术老师教的.所以..说多了都是泪

zookeeper系列之通信模型(转)

本文的主题就是讲解Zookeeper通信模型,本节将通过一个概要图来说明Zookeeper的通信模型. Zookeeper的通信架构 在Zookeeper整个系统中,有3中角色的服务,client.Follower.leader.其中client负责发起应用的请求,Follower接受client发起的请求,参与事务的确认过程,在leader crash后的leader选择.而leader主要承担事务的协调,当然leader也可以承担接收客户请求的功能,为了方便描述,后面的描述都是client与

[转]Zookeeper系列(一)

一.ZooKeeper的背景 1.1 认识ZooKeeper ZooKeeper---译名为“动物园管理员”.动物园里当然有好多的动物,游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物,而不是像走在原始丛林里,心惊胆颤的被动 物所观赏.为了让各种不同的动物呆在它们应该呆的地方,而不是相互串门,或是相互厮杀,就需要动物园管理员按照动物的各种习性加以分类和管理,这样我们才能更加放心安全的观赏动物. 回到企业级应用系统中,随着信息化水平的不断提高,企业级系统变得越来越庞大臃肿,性能急剧下降

ZooKeeper 系列(一)—— ZooKeeper核心概念详解

一.Zookeeper简介 二.Zookeeper设计目标 三.核心概念 ????????3.1 集群角色 ????????3.2 会话 ????????3.3 数据节点 ????????3.4 节点信息 ????????3.5 Watcher ????????3.6 ACL 四.ZAB协议 ????????4.1 ZAB协议与数据一致性 ????????4.2 ZAB协议的内容 五.Zookeeper的典型应用场景 ????????5.1数据的发布/订阅 ????????5.2 命名服务 ??

ZooKeeper系列之二:Zookeeper常用命令

ZooKeeper系列之二:Zookeeper常用命令 http://blog.csdn.net/xiaolang85/article/details/13021339 ZooKeeper服务命令: 在准备好相应的配置之后,可以直接通过zkServer.sh 这个脚本进行服务的相关操作 1. 启动ZK服务:       sh bin/zkServer.sh start 2. 查看ZK服务状态: sh bin/zkServer.sh status 3. 停止ZK服务:       sh bin/z

Hadoop开发20期——ZooKeeper系列(八)

Observer:让ZooKeeper更具有伸缩性 一.ZooKeeper中Observer 1.1 ZooKeeper角色 经过前面的介绍,我想大家都已经知道了在ZooKeeper集群当中有两种角色Leader和Follower.Leader可以接受client请求,也接收其他Server转发的写请求,负责更新系统状态. Follower也可以接收client请求,如果是写请求将转发给Leader来更新系统状态,读请求则由Follower的内存数据库直接响应. ZooKeeper集群如图1.1