详解Zookeeper原理与应用场景

Zookeeper 分布式协调服务

应用之处:发布、订阅,命名服务,分布式协调和分布式锁

对比 Chubby:

Chubby 被定义为 分布式的锁服务

为分布式系统提供 松耦合、粗粒度 的分布式锁功能

其由两部分组成

提供数据的读写接口并管理相关配置数据的服务端

另一部分是客户端使用的 SDK

为对外提供稳定服务,每一个 Chubby 单元都由一组服务器组成,使用共识算法从集群中选举出主节点

实现原理:

文件系统:

Zookeeper 也使用文件系统组织系统中存储的资源

  • /parent
  • /parent/node1
  • /parent/node2
  • /parent/node3

其并没有文件和文件夹的概念,只有 Znode 概念,它既可以作为容器存储数据,也可以持有其他 Znode 形成父子关系

Znode 有四种类型:

  1. PERSISTENT:持久
  2. persistent_sequential:持久且有序
  3. ephemeral:临时
  4. ephemeral_sequential:临时且有序

临时节点:

客户端连接 Z 时才会保持存在的节点,当客户端和服务端连接中断,则当前连接持有的所有节点都会被删除

持久节点:

与临时节点相反,不会随会话连接的中断而删除,需要客户端主动删除

顺序性:

如果使用 Z 的顺序节点,那么所有节点就会在名字的末尾附加一个序列号,序列号是由父节点维护的单调递增计数器生成

临时/持续节点:

通知实现原理:

实现分布式排他锁:

第一种,通过创建临时 Znode 简单实现:

第二种,通过创建临时顺序 Znode 实现:

第三种,解决第二种的羊群效应:

  1. 客户端连接 Zookeeper,并在 /lock 下创建临时且有序(即EPHEMERAL_SEQUENTIAL)的子节点,如,第一个子节点为 /lock/lock-000,第二个为 /lock/lock-001,以此类推;
  2. 创建成功后,获取 /lock 下的子节点列表,判断刚创建的子节点在列表中是否是序号最小的子节点,如果是,则认为是获得锁,否则,监听刚创建的子节点的前一位子节点的删除消息,等获得该子节点的变更通知后,重复此步骤,直至获得锁为止;
  3. 执行业务代码;
  4. 完成业务代码后,删除对应子节点释放锁;

与 Redis 实现分布式锁比较:

  1. Redis 需要自己实现重试逻辑,比较消耗性能;
  2. zk 重试获取锁,对节点注册监听器即可,不需要主动尝试,性能开销小;
  3. 如果 Redis 获取锁的客户端挂了,就不能主动删除 key,只能等待 key 的超时到期,而 zk 会主动发现客户端断连,并将临时 znode 删除,触发后面的监听器逻辑

参考

实现分布式共享锁:

扩展:

DNS:

  • DNS(Domain Name System,域名系统),万维网上作为域名和 IP 地址相互映射的一个分布式数据库,方便用户访问互联网,无需记住能够被机器直接读取的 IP 数串。
  • 通过域名,最终得到该域名对应的 IP 地址的过程叫做域名解析。
  • DNS 协议运行在 UDP 协议智商,使用端口号 53。

共识算法:

Raft

参考

https://draveness.me/zookeeper-chubby

原文地址:https://www.cnblogs.com/zhengbin/p/10401058.html

时间: 2024-10-12 16:12:10

详解Zookeeper原理与应用场景的相关文章

Android 4.4 KitKat NotificationManagerService使用详解与原理分析(二)__原理分析

前置文章: <Android 4.4 KitKat NotificationManagerService使用详解与原理分析(一)__使用详解> 转载请务必注明出处:http://blog.csdn.net/yihongyuelan 概况 在上一篇文章<Android 4.4 KitKat NotificationManagerService使用详解与原理分析(一)__使用详解>中详细介绍了NotificationListenerService的使用方法,以及在使用过程中遇到的问题和

NotificationManagerService使用详解与原理分析(二)

前置文章: <Android 4.4 KitKat NotificationManagerService使用详解与原理分析(一)__使用详解> 转载请务必注明出处:http://blog.csdn.net/yihongyuelan 概况 在上一篇文章<Android 4.4 KitKat NotificationManagerService使用详解与原理分析(一)__使用详解>中详细介绍了NotificationListenerService的使用方法,以及在使用过程中遇到的问题和

nginx配置详解和原理

nginx配置详解和原理 1.nginx的配置文件 nginx 配置文件的整体结构 <pre>user nobody nobody; # 指定Nginx Worker进程运行用户以及用户组,默认由nobody账号运行,nobody 是系统用户,是一个不能登陆的帐号,一个特殊用途的用户 ID #启动进程,通常设置成和cpu的数量相等worker_processes 1; #指定了Nginx要开启的进程数.每个Nginx进程平均耗费10M~12M内存.建议指定和CPU的数量一致即可. #全局错误日

Android 4.4 KitKat NotificationManagerService使用详解与原理分析(一)__使用详解

概况 Android在4.3的版本中(即API 18)加入了NotificationListenerService,根据SDK的描述(AndroidDeveloper)可以知道,当系统收到新的通知或者通知被删除时,会触发NotificationListenerService的回调方法.同时在Android 4.4 中新增了Notification.extras 字段,也就是说可以使用NotificationListenerService获取系统通知具体信息,这在以前是需要用反射来实现的. 转载请

ZooKeeper原理及使用场景

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等.Zookeeper是hadoop的一个子项目,其发展历程无需赘述.在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的.可扩展的.分布式的.可配置的协调机制来统一系统的状态.Zookeeper的目的就在于此.本文简单分析zookeeper的工作原理及使用场景. 一.ZooKeeper角

详解setTimeout原理

一.先上图吧:(引出问题) 你是不是觉得结果很有意思,好,我们说下原理: 主要是定时器异步,作用域问题. 二.详解setTimeout: setTimeout的运行机制是,将指定的代码移出本次执行,等到下一轮Event Loop时,再检查是否到了指定时间.如果到了,就执行对应的代码:如果不到,就等到再下一轮Event Loop时重新判断.这意味着,setTimeout指定的代码,必须等到本次执行的所有代码都执行完,才会执行. 每一轮Event Loop时,都会将"任务队列"中需要执行的

[转]Zookeeper原理及应用场景

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等.Zookeeper是hadoop的一个子项目,其发展历程无需赘述.在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的.可扩展的.分布式的.可配置的协调机制来统一系统的状态.Zookeeper的目的就在于此.本文简单分析zookeeper的工作原理,对于如何使用zookeeper不是本

zend framework2 之入口文件详解以及原理解析

zend framework2 之入口文件详解 转载请注明出处,尊重原创:http://blog.csdn.net/a437629292/article/details/41545297,谢谢! 一.基本配置解析 1. 详细配置: 如下代码: <?php // 定义程序目录 defined('APPLICATION_PATH') || define('APPLICATION_PATH', realpath(dirname(__FILE__) . '/../application')); // D

线段树详解 (原理,实现与应用)

线段树详解 By 岩之痕 目录: 一:综述 二:原理 三:递归实现 四:非递归原理 五:非递归实现 六:线段树解题模型 七:扫描线 八:可持久化 (主席树) 九:练习题 一:综述 假设有编号从1到n的n个点,每个点都存了一些信息,用[L,R]表示下标从L到R的这些点. 线段树的用处就是,对编号连续的一些点进行修改或者统计操作,修改和统计的复杂度都是O(log2(n)). 线段树的原理,就是,将[1,n]分解成若干特定的子区间(数量不超过4*n),然后,将每个区间[L,R]都分解为 少量特定的子区