ZooKeeper锁服务

分布式锁在一组进程之间提供了一种互斥机制。在任何时刻,只有一个进程可以持有锁。分布式锁可以应用于大型分布式系统中实现领导者选举,在任何时间点,持有锁的进程就是系统的领导者。

为了使用ZooKeeper来实现分布式锁服务,我们使用顺序znode来为那些竞争锁的进程强制排序。

实现思路很简单:

首先指定一个作为锁的znode,通常用它来描述被锁定的实体,称为/leader;

然后希望获得锁的客户端创建一些短暂znode,作为锁znode的子节点。

在任何时间点,顺序号最小的客户端将持有锁。

例如,两个客户端差不多同时创建znode,分别为/leader/lock-1 和 /leader/lock-2,那么创建/leader/lock-1的客户端将会持有锁,因为它的znode顺序号最小。

ZooKeeper服务是顺序的仲裁者,因为它负责分配顺序号。

通过删除znode /leader/lock-1即可简单的释放锁;另外,如果客户端进程死亡,对应的短暂znode也会被删除。

接下来,创建/leader/lock-2的客户端将持有锁,因为它的顺序号紧跟前一个。通过创建一个关于znode删除的观察,可以是客户端在获得锁时得到通知。

申请获取所得伪代码:

1.在锁znode下创建一个名为lock-的短暂顺序znode,并且记住它的实际路径名(create操作的返回值)。

2.查询锁znode的子节点并设置一个观察。

3.如果步骤1中所创建的znode在步骤2中所返回的所有子节点中具有最小的顺序号,则获取到锁。退出。

4.等待步骤2中所设置的观察的通知并且转到步骤2.

羊群效应

“羊群效应”就是指大量客户端收到同一事件的通知,但实际只有很少一部分需要处理这一事件。

设想当有成百上千客户端,都在尝试获得锁,每个客户端都会在锁上设置观察,来捕捉节点的变化。每次锁被释放或另一个进程申请获取锁时,观察都会被触发并且每个客户端都会收到一个通知,但只有一个客户端会成功获得锁。这时就会造成大量的峰值流量,给zookeeper服务器造成压力。

为了避免羊群效应,我们需要优化通知事件,将没必要的观察通知去掉,如删除等,只有在前一个顺序号的子节点消失时才需要通知下一个客户端。

ZooKeeper带有一个Java语言编写的生产级别的锁实现,名为writelock,客户端可以很方便的使用它。

ZooKeeper官网关于锁服务的介绍:

http://zookeeper.apache.org/doc/trunk/recipes.html#sc_recipes_Locks

时间: 2025-01-08 08:47:54

ZooKeeper锁服务的相关文章

[转载] zookeeper 分布式锁服务

转载自http://www.cnblogs.com/shanyou/archive/2012/09/22/2697818.html 分布式锁服务在大家的项目中或许用的不多,因为大家都把排他放在数据库那一层来挡.当大量的行锁.表锁.事务充斥着数据库的时候.一般web应用很多的瓶颈都在数据库上,这里给大家介绍的是减轻数据库锁负担的一种方案,使用zookeeper分布式锁服务. zookeeper是hadoop下面的一个子项目, 用来协调跟hadoop相关的一些分布式的框架, 如hadoop, hiv

Redis分布式锁服务(转)

原文:http://www.cnblogs.com/mushroom/p/4752499.html 概述 在多线程环境下,通常会使用锁来保证有且只有一个线程来操作共享资源.比如: object obj = new object(); lock (obj) { //操作共享资源 } 利用操作系统提供的锁机制,可以确保多线程或多进程下的并发唯一操作.但如果在多机环境下就不能满足了,当A,B两台机器同时操作C机器的共享资源时,就需要第三方的锁机制来保证在分布式环境下的资源协调,也称分布式锁. Redi

Redis分布式锁服务(八)

阅读目录: 概述 分布式锁 多实例分布式锁 总结 概述 在多线程环境下,通常会使用锁来保证有且只有一个线程来操作共享资源.比如: object obj = new object(); lock (obj) { //操作共享资源 } 利用操作系统提供的锁机制,可以确保多线程或多进程下的并发唯一操作.但如果在多机环境下就不能满足了,当A,B两台机器同时操作C机器的共享资源时,就需要第三方的锁机制来保证在分布式环境下的资源协调,也称分布式锁. Redis有三个最基本属性来保证分布式锁的有效实现: 安全

Windows里正确安装Zookeeper以服务运行

不多说,直接上干货! 为什么要在Win下来安装Zookeeper呢? 其实玩过大数据的人很清楚,在Linux下我更不说了.在win下,如Disconf .Dubbo等应用. 所以,它的应用是非常广的. ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护.域名服务.分布式同步.组服务等. ZooKeeper的目标就是封装好复杂易出错的

使用zookeeper实现服务路由和负载均衡

三个类: ServiceAProvider ServiceBProvider ServiceConsumer 其中 ServiceAProvider提供的服务名service-A,指向IP为192.168.58.130 ServiceBProvider提供的服务名service-A,指向IP为192.168.58.131 当有消费者请求时,随机地选取service-A列表的服务器提供服务 ServiceConsumer 为消费者类 依赖: <dependency> <groupId>

分布式锁服务Chubby之paxos算法

分布式锁服务Chubby之paxos算法 在分布式系统设计领域,Paxos可谓是最重要一致性的算法.Google的大牛们称 All working protocols for asynchronous consensus we have so far encountered have Paxos at their core. 可见此算法的地位.网络上讨论此算法的文章多如牛毛,但大多数让人看了之后仍然是一头雾水,就连维基百科中,对此算法的描述亦有含糊和错误之处.但实际上,此算法的核心思想还是比较简

【转帖】基于Zookeeper的服务注册与发现

http://www.techweb.com.cn/network/hardware/2015-12-25/2246973.shtml 背景 大多数系统都是从一个单一系统开始起步的,随着公司业务的快速发展,这个单一系统变得越来越庞大,带来几个问题: 1. 随着访问量的不断攀升,纯粹通过提升机器的性能来已经不能解决问题,系统无法进行有效的水平扩展 2. 维护这个单一系统,变得越来越复杂 3. 同时,随着业务场景的不同以及大研发的招兵买马带来了不同技术背景的工程师,在原有达达Python技术栈的基础

解读Google分布式锁服务

背景介绍 在2010年4月,Google的网页索引更新实现了实时更新,在今年的OSDI大会上,Google首次公布了有关这一技术的论文. 在此之前,Google的索引更新,采用的的批处理的方式(map/reduce),也就是当增量数据达到一定规模之后,把增量数据和全量索引库Join,得到最新的索引数据.采用新的索引更新系统之后,数据的生命周期缩短了50%,所谓的数据生命周期是指,数据从网页上爬下来,到展现在搜索结果中这段时间间隔,但是正如Google所强调的,这一系统仅仅是为增量更新所建立的,并

Zookeeper分布式服务协调组件

1.简介 Zookeeper是一个分布式服务协调组件,是Hadoop.Hbase.Kafka的重要组件,它是一个为分布式应用提供一致性服务的组件. Zookeeper的目标就是封装好复杂易出错的服务,为使用者提供高效.稳定的服务. 使用场景: 1.Hadoop.Hbase.Kafka依赖的组件. 2.作为注册中心,用于维护服务列表. 2.模型 2.1.Zookeeper的文件系统 Zookeeper维护了一个类似文件系统的数据结构,有根目录(/)和若干个子目录(树形结构,与Linux类似). 每