ZooKeeper(六)-- ZAB协议、分布式锁/master选举

一、CAP理论和BASE理论

1.CAP理论

  CAP理论,指的是在一个分布式系统中,不可能同时满足Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性)这三个基本需求,最多只能满足其中的两项。

  对于分布式系统而言,分区容错性是一个最基本的要求,因为分布式系统中的组件必然需要部署到不通的节点,必然会出现子网络,在分布式系统中,网络问题是必定会出现的异常。因此分布式系统只能在C(一致性)和A(可用性)之间进行权衡。

  (1)Consistency(一致性):一致性是说数据的原子性,这种原子性在经典的数据库中是通过事务来保证的,当事务完成时,无论其是成功还是回滚,数据都会处于一致的状态。在分布式环境中,一致性是说多个节点的数据是否一致。

(2)Availability(可用性):可用性是说服务能一直保证是可用的状态,当用户发出一个请求,服务能在有限时间内返回结果。

(3)Partition Tolerance(分区容错性):分布式系统在遇到任何网络分区故障的时候,仍然需要能够保证对外提供满足一致性和可用性的服务,除非是整个网络环境都发生了故障。组成分布式系统的每个节点的加入与退出都可以看成是一个特殊的网络分区。

2.BASE理论

  BASE理论是指,Basically Available(基本可用)、Soft-state( 软状态/柔性事务)、Eventual Consistency(最终一致性)。是基于CAP定理演化而来,是对CAP中一致性和可用性权衡的结果。

  核心思想:即使无法做到强一致性,但每个业务根据自身的特点,采用适当的方式来使系统达到最终一致性。

  (1)Basically Available:基本可用,指分布式系统在出现故障的时候,允许损失部分可用性,保证核心可用。但不等价于不可用。

  (2)Soft-state:软状态/柔性事务,即状态可以有一段时间的不同步。

  (3)Eventual consistency:最终一致性,系统中的所有数据副本经过一定时间后,最终能够达到一致的状态,不需要实时保证系统数据的强一致性。最终一致性是弱一致性的一种特殊情况。

  BASE是反ACID的,它完全不同于ACID模型,牺牲强一致性,获得基本可用性和柔性可靠性并要求达到最终一致性。

  BASE理论面向的是大型高可用可扩展的分布式系统,通过牺牲强一致性来获得可用性。

二、ZAB协议

1.ZAB协议概述

  1.ZooKeeper并没有完全采用Paxos算法,而是使用了一种称为ZooKeeper Atomic Broadcast(ZAB,zookeeper原子消息广播协议)的协议作为其数据一致性的核心算法。

  2.ZAB协议是为分布式协调服务zookeeper专门设计的一种支持崩溃恢复的原子广播协议。

  3.在 ZooKeeper 中,主要依赖 ZAB 协议来实现分布式数据一致性,基于该协议,ZooKeeper 实现了一种主备模式的系统架构来保持集群中各个副本之间的数据一致性。

2.ZAB协议的两种基本模式

  ZAB协议包含两种基本的模式,即崩溃恢复和消息广播  

  当整个服务框架在启动过程中,或是当 Leader 服务器出现网络中断、崩溃退出与重启等异常情况时, ZAB 协议就会进入恢复模式并选举产生新的 Leader 服务器。当选举产生了新的Leader 服务器同时集群中已经有过半的机器与该 Leader 服务器完成了状态同步之后,ZAB 协议就会退出恢复模式。

  当集群中已经有过半的 Follower 服务器完成了和 Leader 服务器的状态同步,那么整个服务框架就可以进入消息广播模式了。当一台同样遵守 ZAB 协议的服务器启动后加入到集群中时,如果此时集群中已经存在一个 Leader 服务器在负责进行消息广播 , 那么新加人的服务器就会自觉地进人数据恢复模式:找到 Leader 所在的服务器,并与其进行数据同步,然后一起参与到消息广播流程中去。

三、

  

时间: 2024-08-08 11:50:38

ZooKeeper(六)-- ZAB协议、分布式锁/master选举的相关文章

ZooKeeper之ZAB协议

ZooKeeper之ZAB协议 时间 2015-09-15 17:06:02  Solinx 原文  http://www.solinx.co/archives/435 主题 ZooKeeper ZooKeeper为高可用的一致性协调框架,自然的ZooKeeper也有着一致性算法的实现,ZooKeeper使用的是ZAB协议作为数据一致性的算法, ZAB(ZooKeeper Atomic Broadcast ) 全称为:原子消息广播协议:ZAB可以说是在Paxos算法基础上进行了扩展改造而来的,Z

我司使用了六年的分布式锁

导读:不管是在单体应用时代还是分布式应用时代,一些保障我们数据安全的手段从来都未过时,只是底层实现发生了一些变化,今天我就来分享一下我司使用了六年的分布式锁方案,希望对一些同学有一些帮助. 关键词:分布式,并发,原子性 前言 提到数据一致性.操作原子性,诸如此类的一些与并发有关的词汇时不知道你第一时间会联想到什么呢?我相信大多数人可能会想到“锁”,为什么是锁呢,这个我不多说,大家心里应该都明白.在单体应用时代,我们使用jvm提供的锁就可以很好的工作,但是到了分布式应用时代,jvm提供的锁就行不通

Zookeeper是如何实现分布式锁的

Zookeeper是如何实现分布式锁的 标签 : Zookeeper 分布式 实现分布式锁要考虑的重要问题 1. 三个核心要素 加锁, 解锁, 锁超时 2. 三个问题 要保证原子性操作, 加锁和锁超时的操作要一次性执行完毕 防止误删锁 在误删的基础上, 加一个守护线程, 为锁续命. 什么是临时顺序节点 Zookeeper的数据存储结构就像是一棵树, 这棵树由节点组成, 这种节点叫做Znode. Znode分为四种类型. 1. 持久节点(Persistent) 默认的节点类型, 创建节点的客户端和

zookeeper典型应用场景之一:master选举

对于zookeeper这种东西,仅仅知道怎么安装是远远不够的,至少要对其几个典型的应用场景进行了解,才能比较全面的知道zk究竟能干啥,怎么玩儿,以后的日子里才能知道这货如何能为我所用.于是,有了如下的学习: 我们知道zookeeper可以用于搭建高可用服务框架,主要先看以下几个应用场景:1. master的选举基本思路和编码实现2. 数据的发布和订阅3. 软负载均衡4. 分布式队列5. 分布式锁6. 命名服务 目前zookeeper常用的开发包有zkclient跟curator,后者更为方便,日

三:ZooKeeper的ZAB协议

一:ZAB协议概述--->ZooKeeper并没有完全采用Paxos算法,而是使用了一种称为ZooKeeper Atomic Broadcast(ZAB,zookeeper原子消息广播协议)的协议作为其数据一致性的核心算法.--->ZAB协议是为分布式协调服务ZooKeeper专门设计的一种支持漰溃恢复的原子广播协议.--->ZooKeeper实现了一种主备模式的系统架构来保持集群中各副本之间数据的一致性.具体,ZooKeeper使用一个单一的主进程来接收并处理客户端的所有事务请求,并采

zookeeper适用场景:分布式锁实现

问题导读:1.zookeeper如何实现分布式锁?2.什么是羊群效应?3.zookeeper如何释放锁? 在zookeeper应用场景有关于分布式集群配置文件同步问题的描述,设想一下如果有100台机器同时对同一台机器上某个文件进行修改,如何才能保证文本不会被写乱,这就是最简单的分布式锁,本文介绍利用zk实现分布式锁.下面是写锁的实现步骤 分布式写锁create一个PERSISTENT类型的znode,/Locks/write_lock 客户端创建SEQUENCE|EPHEMERAL类型的znod

Zookeeper的ZAB协议

一.ZAB协议(原子消息广播协议) ??ZAB(Zookeeper Atomic Broadcast)协议是Zookeeper用来保证其数据一致性的核心算法,是一种支持崩溃恢复的原子广播协议.基于此协议,Zookeeper实现了一种主备模式的系统架构来保持集群中各副本之间数据的一致性. 1.1.ZAB协议的作用 事务处理:ZAB协议要求Zookeeper中使用一个单一的主进程来接收并处理客户端的所有事务请求,并采用ZAB的原子广播协议,将服务器数据的状态变更以Proposal的形式广播到所有的副

Zookeeper、Redis实现分布式锁对比

分布式锁 1.单机性能对比:  Zookeeper    <<    Redis 2.可用性对比: Zookeeper    >>   Reids

zookeeper(3)分布式锁

在一个分布式系统中,如何保证一个操作,同一时间只有一个线程可以执行,这就是分布式锁的使用场景,同一时间,只有一个线程可以获得锁的使用权. 如何实现一个分布式锁? 实现一个分布式锁,可以有以下3种方法. 一.基于数据库实现分布式锁. 1.在MySQL中,使用悲观锁"select from t where id = for update"可以对行数据进行加锁,来实现分布式锁.2.同一个时间内,只会有一个线程加锁成功,其他线程必须等待.3.数据库要保证是全局的,每一把锁所对应的行数据也是唯一