zookeeper学习第一天

Zookeeper用途场景:

  1:zookeeper分布式服务框架:是Apache Hadoop的一个子项目,主要是用来解决分布式应用场景中经常遇到的一些数据管理问题。

  2:如:集群管理、统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式通知协调等。

  3:越来越多的分布式计算开始强依赖ZK,比如Storm、Hbase.

  4:Zookeeper对分布式开发带来很多便利,用ZK的独有特性巧妙的解决了很多难题:很多分布式技术用到Zookeeper或多或少特性,尤其是新生代分布式技术几乎都会依赖Zookeeper特性,如Hbase、火爆的Storm。

为什么后来深入学习Zookeeper?

  随着分布式应用的不断深入,需要对集群管理逐步透明化,监控集群和作业状态:可以充分利用ZK的独有特性。熟悉程度决定应用高度。

ZK体系结构:

  Server端具有fast fail特性,非常健壮。无单点。不超过半数Server挂掉不影响提供服务。Master/slave主流模式。(fast fail特性:“快速失败”也就是fail-fast,它是Java集合的一种错误检测机制。当多个线程对集合进行结构上的改变的操作时,有可能会产生fail-fast机制。记住是有可能,而不是一定。例如:假设存在两个线程(线程1、线程2),线程1通过Iterator在遍历集合A中的元素,在某个时候线程2修改了集合A的结构(是结构上面的修改,而不是简单的修改集合元素的内容),那么这个时候程序就会抛出 ConcurrentModificationException 异常,从而产生fail-fast机制。 Master/slave模式:)

  ZK是一套高吞吐的分布式协调系统,同一时刻可以同时响应上万个客户端请求。ZK服务由若干个服务器构成,每台服务器内存中维护相同的类似于文件系统的树形数据结构。其中的一台通过ZAB原子广播协议选举作为主控服务器,其它的作为从属服务器。客户端可以通过TCP协议连接任意一台服务器,如果客户端是读操作请求,任意一个服务器都可以直接响应请求;如果是更新数据操作(写数据或更新数据),则只能由主控服务器来协调更新操作;如果客户端连接的是从属服务器,则从属服务器会将更新数据请求转发到主控服务器,由其完成更新操作。

  ZK的主控服务器将所有更新操作序列化(客户端通过TCP协议连接,所以可以保证客户端请求的顺序性,同时系统内所有更新操作都需要经过主控服务器,这两点可以保证更新操作的全局序列性)。

  Zookeeper数据结构(类似于文件系统的树形数据结构):      节点:/NameService/Service1 : 唯一路径(node),且携带数据。

  zookeeper名字空间由节点znode构成,其组织方式类似文件系统,其中各个节点相当于目录和文件,通过路径作为唯一标识。与系统文件不同的是,每个节点具有与之对应的数据内容,同时也可以具有子节点。

  zookeeper用于存储协调数据,如状态、配置、位置等信息,每个节点存储的数据量很小,KB级别。

  节点维护一个状态stat结构(包含数据变化的版本号、ACL变化、时间戳),已允许缓存验证与协调更新。每个节点数据内容改变,多一个版本号,类似Hbase。客户端获取数据的同时也会获取数据版本号。节点的数据内容以原子的方式读写。

  节点具有一个访问控制列表(Access Control List - ACL)来约束访问控制操作,即具有权限控制。

Watch:

所有的Zookeeper读操作,包括getData()、getChildren()和exists(),都有一个开关,可以在操作的同时再设置一个watch。在ZooKeeper中,Watch是一个一次性触发器,会在被设置watch的数据发生变化的时候,发送给设置watch的客户端。watch的定义中有三个关键点:

一次性触发器

一个watch事件将会在数据发生变更时发送给客户端。例如,如果客户端执行操作getData(“/znode1″, true),而后/znode1 发生变更或是删除了,客户端都会得到一个/znode1 的watch事件。如果/znode1 再次发生变更,则在客户端没有设置新的watch的情况下,是不会再给这个客户端发送watch事件的。

发送给客户端

这就是说,一个事件会发送给客户端,但可能在操作成功的返回值到达发起变动的客户端之前,这个事件还没有送达watch的客户端。Watch是异步发送的。但ZooKeeper保证了一个顺序:一个客户端在收到watch事件之前,一定不会看到它设置过watch的值的变动。网络时延和其他因素可能会导致不同的客户端看到watch和更新返回值的时间不同。但关键点是,每个客户端所看到的每件事都是有顺序的。

被设置了watch的数据

这是指节点发生变动的不同方式。你可以认为ZooKeeper维护了两个watch列表:data watch和child watch。getData()和exists()设置data watch,而getChildren()设置child watch。或者,可以认为watch是根据返回值设置的。getData()和exists()返回节点本身的信息,而getChildren()返回子节点的列表。因此,setData()会触发znode上设置的data watch(如果set成功的话)。一个成功的create() 操作会触发被创建的znode上的数据watch,以及其父节点上的child watch。而一个成功的?delete()操作将会同时触发一个znode的data watch和child watch(因为这样就没有子节点了),同时也会触发其父节点的child watch。

Watch由client连接上的ZooKeeper服务器在本地维护。这样可以减小设置、维护和分发watch的开销。当一个客户端连接到一个新的服务器上时,watch将会被以任意会话事件触发。当与一个服务器失去连接的时候,是无法接收到watch的。而当client重新连接时,如果需要的话,所有先前注册过的watch,都会被重新注册。通常这是完全透明的。只有在一个特殊情况下,watch可能会丢失:对于一个未创建的znode的exist watch,如果在客户端断开连接期间被创建了,并且随后在客户端连接上之前又删除了,这种情况下,这个watch事件可能会被丢失。

Zookeeper比较流行的应用场景:

时间: 2024-11-02 17:16:18

zookeeper学习第一天的相关文章

ZooKeeper学习第一期---Zookeeper简单介绍

该系列来源 http://www.cnblogs.com/wuxl360/p/5817471.html 一.分布式协调技术 在给大家介绍ZooKeeper之前先来给大家介绍一种技术--分布式协调技术.那么什么是分布式协调技术?那么我来告诉大家,其实分布式协调技术 主要用来解决分布式环境当中多个进程之间的同步控制,让他们有序的去访问某种临界资源,防止造成"脏数据"的后果.这时,有人可能会说这个简单,写一个调 度算法就轻松解决了.说这句话的人,可能对分布式系统不是很了解,所以才会出现这种误

Zookeeper 入门第一篇

转载原文地址: ZooKeeper学习总结 第一篇:ZooKeeper快速入门 ZooKeeper学习总结 第二篇:ZooKeeper深入探讨 ZooKeeper学习第一期---Zookeeper简单介绍 1. 概述 Zookeeper简单来说就是一个分布式协调技术的具体实现,所谓分布式协调技术就是在集群环境下,协调集群中多台机器并发访问控制,实现临界资源加锁和有序访问,防止造成"脏数据"的后果.所以Zookeeper最常见的应用就是:分布式锁.除此之外,基于Zookeerper提供的

[转帖]Zookeeper学习系列【一】 教会你Zookeeper的一些基础概念

Zookeeper学习系列[一] 教会你Zookeeper的一些基础概念 https://segmentfault.com/a/1190000018927058 前言 最近加入了部门的技术兴趣小组,被分配了Zookeeper的研究任务.在研究过程当中,发现Zookeeper由于其开源的特性和其卓越的性能特点,在业界使用广泛,有很多的应用场景,而这些不同的应用场景实际上底层的原理都是差不多的,只要你真正理解了Zookeeper的一些基础概念和机制,就能够触类旁通. 于是乎,在第一次和项目小组内成员

ExtJS学习第一天 MessageBox

此文用来记录学习笔记: •学习任何技术,首先都要从Helloworld开始,那么我们首要任务就是写一个简单的HelloWorld程序,带领同学们走进ExtJS的世界. •Ext.onReady:这个方法是Ext的准备函数,也就是Ext相关的代码都会在这个函数里书写,它比较类似于window的onload方法,但是注意其执行时机是在页面的DOM对象加载完毕之后立即执行. •Ext.window.MessageBox:这个类提供了ExtJS的弹出提示框.确认框等简单的小组件.我们首先根据它写出我们的

PS学习第一天

ps 学习第一天 ps 学习第一天 ps软件的使用 1.PS面板的介绍 新建文档 工具 选框工具 拾色器:前景色和背景色的颜色的调整 移动工具 图层面板 文件保存和打开 自由变换 羽化 常用快捷键 ps软件的使用 1.PS面板的介绍 1.1软件界面 PS面板.png 说明 窗口-工作区-复位基本功能:让软件界面恢复到默认的标准状态; 所有的控制面板都在窗口菜单中,可以对其进行隐藏和显示,只需要去掉前面的小勾 工具箱中个小工具对应属性栏的属性,每一个小工具有不同的属性操作 控制面板是将来对工作区的

FluentData 学习 第一弹

地址: http://fluentdata.codeplex.com/ 前世: FluentData 我们公司用的一个增删改查的里面的持久层.之前还不知道 这个持久层叫FluentData.  某天看见群里 说 某视频网站里面 居然在讲这个开发框架,还收费.我搜了一下.fluentdata有源代码. 这个13年有过记载.不过我是新手.什么也需要 学习一下.  和 室友说了一下微型orm ,他们 呢  用的  微型orm是 Dapper .可以去了解一下. 废话真多,完毕. FluentData

javascript学习第一天

从大学第一次接触到JavaScript,到现在一直是个软肋,之前也是学习过一遍,但是缺乏系统学习,基础不牢,那么今天开始从基础部分学起来,今天是第一天,每天至少要保证效率,也要保证学习质量. 恩,要按照计划来进行,今天是学习第一天,以后保持,学习记录写在这里,看我可以坚持多久. 认真对待每一天. 今天学习内容回忆: 1.匿名函数与有名函数:两者的使用场景. 2.Windows.onload = 函数名:或者 Windows.onload = function(){  /**代码*/} 3.js函

(转)ASP.NET MVC 学习第一天

天道酬勤0322 博客园 | 首页 | 发新随笔 | 发新文章 | 联系 | 订阅  | 管理 随笔:10 文章:0 评论:9 引用:0 ASP.NET MVC 学习第一天 今天开始第一天学习asp.net mvc,写的不是很好,高手不要喷,希望大家能一起进步学习. 好了,开始学习 新建项目,选择mvc 4应用程序 接下来选择基本,视图引擎当然要选择Razor,如果在选择aspx那我们就没必要用mvc喽 在这里我们简单说一下,项目模板如果选择空,这就需要我们自己进行导入很多文件,而选择基本vs会

白皮书之C++学习第一天

大三荒废了一年的时间在lol上,上头了吧.后悔也来不及了,总之我会拼命追回来的! 今天重拾起这本白皮书,也是很感慨啊! 废话不多说,好好学,好好找工作吧!大三结束了啊! 每个C++程序都有一个main函数作为程序的入口,由操作系统显示调用,并且返回值来确定程序是否成功执行.(0表示成功) 想要更深入地了解C++,所以学习了命令行编译C++程序的方法. 写了个最简单的helloworld程序. 1 #include<iostream> 2 using namespace std; 3 int m