【转载】zookeeper数据模型

[转载请注明作者和原文链接,  如有谬误, 欢迎在评论中指正. ]

ZooKeeper的数据结构, 与普通的文件系统极为类似. 见下图:

图片引用自developerworks

图中的每个节点称为一个znode. 每个znode由3部分组成:

  • stat. 此为状态信息, 描述该znode的版本, 权限等信息.
  • data. 与该znode关联的数据.
  • children. 该znode下的子节点.

ZooKeeper命令

在深入znode的各个部分之前, 首先需要熟悉一些常用的ZooKeeper命令.

连接server

Bash代码  

  1. bin/zkCli.sh -server 10.1.39.43:4180

列出指定node的子node

Bash代码  

  1. [zk: 10.1.39.43:4180(CONNECTED) 9] ls /
  2. [hello, filesync, zookeeper, xing, server, group, log]
  3. [zk: 10.1.39.43:4180(CONNECTED) 10] ls /hello
  4. []

创建znode节点, 并指定关联数据

Bash代码  

  1. create /hello world

创建节点/hello, 并将字符串"world"关联到该节点中.

获取znode的数据和状态信息

Bash代码  

  1. [zk: 10.1.39.43:4180(CONNECTED) 7] get /hello
  2. world
  3. cZxid = 0x10000042c
  4. ctime = Fri May 17 17:57:33 CST 2013
  5. mZxid = 0x10000042c
  6. mtime = Fri May 17 17:57:33 CST 2013
  7. pZxid = 0x10000042c
  8. cversion = 0
  9. dataVersion = 0
  10. aclVersion = 0
  11. ephemeralOwner = 0x0
  12. dataLength = 5
  13. numChildren = 0

删除znode

Bash代码  

  1. [zk: localhost:4180(CONNECTED) 13] delete /xing/item0000000001
  2. [zk: localhost:4180(CONNECTED) 14] delete /xing
  3. Node not empty: /xing

使用delete命令可以删除指定znode. 当该znode拥有子znode时, 必须先删除其所有子znode, 否则操作将失败. rmr命令可用于代替delete命令, rmr是一个递归删除命令, 如果发生指定节点拥有子节点时, rmr命令会首先删除子节点.

znode节点的状态信息

使用get命令获取指定节点的数据时, 同时也将返回该节点的状态信息, 称为Stat. 其包含如下字段:

  • czxid. 节点创建时的zxid.
  • mzxid. 节点最新一次更新发生时的zxid.
  • ctime. 节点创建时的时间戳.
  • mtime. 节点最新一次更新发生时的时间戳.
  • dataVersion. 节点数据的更新次数.
  • cversion. 其子节点的更新次数.
  • aclVersion. 节点ACL(授权信息)的更新次数.
  • ephemeralOwner. 如果该节点为ephemeral节点, ephemeralOwner值表示与该节点绑定的session id. 如果该节点不是ephemeral节点, ephemeralOwner值为0. 至于什么是ephemeral节点, 请看后面的讲述.
  • dataLength. 节点数据的字节数.
  • numChildren. 子节点个数.

zxid

znode节点的状态信息中包含czxid和mzxid, 那么什么是zxid呢?
ZooKeeper状态的每一次改变, 都对应着一个递增的Transaction id, 该id称为zxid. 由于zxid的递增性质, 如果zxid1小于zxid2, 那么zxid1肯定先于zxid2发生. 创建任意节点, 或者更新任意节点的数据, 或者删除任意节点, 都会导致Zookeeper状态发生改变, 从而导致zxid的值增加.

session

在client和server通信之前, 首先需要建立连接, 该连接称为session. 连接建立后, 如果发生连接超时, 授权失败, 或者显式关闭连接, 连接便处于CLOSED状态, 此时session结束.

节点类型

讲述节点状态的ephemeralOwner字段时, 提到过有的节点是ephemeral节点, 而有的并不是. 那么节点都具有哪些类型呢? 每种类型的节点又具有哪些特点呢?
persistent. persistent节点不和特定的session绑定, 不会随着创建该节点的session的结束而消失, 而是一直存在, 除非该节点被显式删除.
ephemeral. ephemeral节点是临时性的, 如果创建该节点的session结束了, 该节点就会被自动删除. ephemeral节点不能拥有子节点. 虽然ephemeral节点与创建它的session绑定, 但只要该该节点没有被删除, 其他session就可以读写该节点中关联的数据. 使用-e参数指定创建ephemeral节点.

Bash代码  

  1. [zk: localhost:4180(CONNECTED) 4] create -e /xing/ei world
  2. Created /xing/ei

sequence. 严格的说, sequence并非节点类型中的一种. sequence节点既可以是ephemeral的, 也可以是persistent的. 创建sequence节点时, ZooKeeper server会在指定的节点名称后加上一个数字序列, 该数字序列是递增的. 因此可以多次创建相同的sequence节点, 而得到不同的节点. 使用-s参数指定创建sequence节点.

Bash代码  

  1. [zk: localhost:4180(CONNECTED) 0] create -s /xing/item world
  2. Created /xing/item0000000001
  3. [zk: localhost:4180(CONNECTED) 1] create -s /xing/item world
  4. Created /xing/item0000000002
  5. [zk: localhost:4180(CONNECTED) 2] create -s /xing/item world
  6. Created /xing/item0000000003
  7. [zk: localhost:4180(CONNECTED) 3] create -s /xing/item world
  8. Created /xing/item0000000004

watch

watch的意思是监听感兴趣的事件. 在命令行中, 以下几个命令可以指定是否监听相应的事件.

ls命令. ls命令的第一个参数指定znode, 第二个参数如果为true, 则说明监听该znode的子节点的增减, 以及该znode本身的删除事件.

Bash代码  

  1. [zk: localhost:4180(CONNECTED) 21] ls /xing true
  2. []
  3. [zk: localhost:4180(CONNECTED) 22] create /xing/item item000
  4. WATCHER::
  5. WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/xing
  6. Created /xing/item

get命令. get命令的第一个参数指定znode, 第二个参数如果为true, 则说明监听该znode的更新和删除事件.

Bash代码  

  1. [zk: localhost:4180(CONNECTED) 39] get /xing true
  2. world
  3. cZxid = 0x100000066
  4. ctime = Fri May 17 22:30:01 CST 2013
  5. mZxid = 0x100000066
  6. mtime = Fri May 17 22:30:01 CST 2013
  7. pZxid = 0x100000066
  8. cversion = 0
  9. dataVersion = 0
  10. aclVersion = 0
  11. ephemeralOwner = 0x0
  12. dataLength = 5
  13. numChildren = 0
  14. [zk: localhost:4180(CONNECTED) 40] create /xing/item item000
  15. Created /xing/item
  16. [zk: localhost:4180(CONNECTED) 41] rmr /xing
  17. WATCHER::
  18. WatchedEvent state:SyncConnected type:NodeDeleted path:/xing

stat命令. stat命令用于获取znode的状态信息. 第一个参数指定znode, 如果第二个参数为true, 则监听该node的更新和删除事件.

时间： 2024-08-14 02:59:29

【转载】zookeeper数据模型的相关文章

ZooKeeper 数据模型

ZooKeeper是一种为分布式应用所设计的高可用.高性能且一致的开源协调服务,它提供了一项基本服务:分布式锁服务.由于ZooKeeper的开源特性,后来我们的开发者在分布式锁的基础上,摸索了出了其他的使用方法:配置维护.组服务.分布式消息队列.分布式通知/协调等. 注意:ZooKeeper性能上的特点决定了它能够用在大型的.分布式的系统当中.从可靠性方面来说,它并不会因为一个节点的错误而崩溃.除此之外,它严格的序列访问控制意味着复杂的控制原语可以应用在客户端上.ZooKeeper在一致性.可用

[转载] ZooKeeper简介

转载自http://blog.csdn.net/kobejayandy/article/details/17738435 一.      Paxos 基于消息传递通信模型的分布式系统,不可避免的会发生以下错误:进程可能会慢.垮.重启,消息可能会延迟.丢失.重复, Paxos 算法解决的问题是在一个可能发生上述异常的分布式系统中如何就某个值达成一致,保证不论发生以上任何异常,都不会破坏决议的一致性.一个典型的场景是,在一个分布式数据库系统中,如果各节点的初始状态一致,每个节点都执行相同的操作序列,

[转载] zookeeper应用——集中配置管理系统的实现

转载自http://blog.csdn.net/huangfengxiao/article/details/8844239 1 场景描述 参考http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html,实现自己的集中配置管理系统. 术语:配置管理(Configuration Management) 一个带配置的服务程序,部署在若干台机器上,如果配置发生了变化,接下去要进行的操作是停止所有机器上的该程序,修改

[转载] ZooKeeper的Java客户端API

转载自 http://www.cnblogs.com/ggjucheng/p/3370359.html http://zookeeper.apache.org/doc/trunk/javaExample.html http://topmanopensource.iteye.com/blog/1880601 http://san-yun.iteye.com/blog/1977454 客户端要连接 Zookeeper 服务器可以通过创建 org.apache.zookeeper. ZooKeeper

[转载] ZooKeeper实现分布式队列Queue

转载自http://blog.fens.me/zookeeper-queue/ 让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户提供存储和计算的服务. 现在硬件越来越便宜,一台非品牌服务器,2颗24核CPU,配48G内存,2T的硬盘,已经降到2万块人民币以下了.这种配置如果简单地放几个web应用,显然是奢侈的浪费.就算是用来实现单节点的hadoop,对计算资源浪费也是非常高的.对于这么高性能的计算机,如何有效利用计算资源,就

[转载] zookeeper 分布式锁服务

转载自http://www.cnblogs.com/shanyou/archive/2012/09/22/2697818.html 分布式锁服务在大家的项目中或许用的不多,因为大家都把排他放在数据库那一层来挡.当大量的行锁.表锁.事务充斥着数据库的时候.一般web应用很多的瓶颈都在数据库上,这里给大家介绍的是减轻数据库锁负担的一种方案,使用zookeeper分布式锁服务. zookeeper是hadoop下面的一个子项目, 用来协调跟hadoop相关的一些分布式的框架, 如hadoop, hiv

转载:zookeeper 介绍

zookeeper介绍 zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的Hadoop项目中的一个子项目,并且根据google发表的<The Chubby lock service for loosely-coupled distributed systems>论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法. zookeeper安装和使用 zookeeper的安装基本上可以按照 http://hadoop.apache.org/zook

zookeeper系列之九—zookeeper数据模型

http://nileader.blog.51cto.com/1381108/946788 本文主要讲述了Zookeeper的数据模型,包括Zookeeper的数据视图,节点的层次结构以及节点类型等基本属性. Zookeeper的视图结构类似标准的Unix文件系统,但是没有引入文件系统相关概念:目录和文件,而是使用了自己特有的节点(node)概念,称为znode.Znode是Zookeeper中数据的最小单元,每个znode上都可以保存数据,同时还可以挂在子节点,也构成了一个层次化的命名空间,我

zookeeper系列之十—zookeeper数据模型

团队博客:http://rdc.taobao.com/team/jm/archives/tag/zookeeper <ZooKeeper快速搭建>http://nileader.blog.51cto.com/1381108/795230 <ZooKeeper Java API 使用样例>http://nileader.blog.51cto.com/1381108/795265 <可视化zookeeper的事务日志>http://nileader.blog.51cto.c