Zookeeper概述和基本概念

  一、Zookeeper背景

    随着互联网技术的发展,企业对计算机系统的计算,存储能力要求越来越高,各大IT企业都在追求高并发,海量存储的极致,在这样的背景下,单纯依靠少量高性能单机来完成计算机,云计算的任务已经无法满足需求,企业的IT架构逐渐由集中式往分布式过渡。所谓的分布式是指:把一个计算任务分解成若干个计算单元,并分派到不同的计算机中去执行,最终汇总计算结果的过程。

  二、Zookeeper概述

    Zookeeper是源代码开放的分布式协调服务,是一个高性能的分布式数据一致性的解决方案,它将那些复杂的,容易出错的分布式一致性服务封装起来。用户可以通过调用Zookeeper提供的接口来解决一些分布式应用中的实际问题。

  三、Zookeeper典型应用场景

    (1)数据发布/订阅

    数据的发布与订阅,顾名思义就是一方把数据发布出来,另一方通过某种手段获取。

    通常数据发布与订阅有两种模式:推模式和拉模式,推模式一般是服务器主动往客户端推送信息,拉模式是客户端主动去服务端请求目标数据(通常采用定时轮询的方式)

    Zookeeper采用两种方式互相结合:发布者将数据发布到Zookeeper集群节点上,订阅者通过一定的方法告诉Zookeeper服务器,自己对哪个节点的数据感兴趣,那么在服务端数据发生变化时,就会通知客户端去获取这些信息。

    (2)负载均衡

     

     首先在服务端启动的时候,把自己在zookeeper服务器上注册成一个临时节点。zookeeper拥有两种形式的节点,一种是临时节点,一种是永久节点。这两种节点后面的博客会有较为详细的介绍。注册成临时节点后,再服务端出问题时,节点会自动的从zookeeper上删除,如此zookeeper服务器上的列表就是最新的可用的列表。

     客户端在需要访问服务器的时候首先会去Zookeeper获得所有可用的服务端的连接信息。

     客户端通过一定的策略(如随机)选择一个与之建立连接。

     当客户端发现连接不可用时,会再次从zookeeper上获取可用的服务端连接,并同时删除之前获取的连接列表。

         (3)命名服务

     提供名称的服务。如一般使用较多的有两种id,一种是数据库自增长id,一种是UUID,两种id都有局限,自增长id仅适合在单表单库中使用,uuid适合在分布式系统中使用但由于id没有规律难以理解。而ZK提供了一定的接口可以用来获取一个顺序增长的,可以在集群环境下使用的id。

         (4)分布式协调,通知,心跳服务

     在分布式服务系统中,我们常常需要知道哪个服务是可用的,哪个服务是不可用的,传统的方式是通过ping主机来实现的,ping得200的结果说明说明该服务是OK的。

     而在使用 zookeeper时,可以将所有的服务都注册成一个临时节点,我们判断一个服务是否可用,只需要判断这个节点是否在zookeeper集群中存在就可以了,不需要直接去连接和ping服务所在主机,减少系统的复杂度和对服务主机的压力。

  四、Zookeeper优势

    (1)源代码开放

      (2)高性能,易用稳定,该优势已在众多分布式系统中得到验证

      (3)有着广泛的应用,并且与众多大数据相关技术能实现良好的融合开发。

    

时间: 2024-12-14 11:18:51

Zookeeper概述和基本概念的相关文章

ZooKeeper概述(转)

ZooKeeper是一个用于分布式应用的开源分布式协调服务.它提供了简单的原语集合,分布式应用可在这些原语之上构建用于同步.配置维护.分组和命名的高层服务.ZooKeeper的设计使得编程容易,并且使用类似于广泛熟知的文件系统目录树结构的数据模型.它运行在Java环境中,但是有Java和C语言绑定. 分布式协调服务是出了名的难得编写正确,很容易出现竞争条件和死锁之类的错误.ZooKeeper的动机是减轻为分布式应用开发协调服务的负担. 1 设计目标 1.1 简单 ZooKeeper让分布式进程可

ZooKeeper概述及其安装

ZooKeeper笔记 ZooKeeper概述 背景: 现代企业对计算机系统的计算存储能力要求越来越高,单纯的高性能服务器已经无法满足要求.企业的IT架构从集中式向分布式过度.所谓分布式,就是将一个计算任务分解成若干计算单元,分派到不同的计算机中去执行,然后汇总计算结果的过程. ZooKeeper是源代码开放的分布式协调服务,是高性能的分布式一致性解决方案.它将那些复杂的.容易出错的分布式一致性服务封装起来,构成一个高效的原语集,并提供一系列简单易用的接口给用户使用 分布式数据一致性问题,指的是

Zookeeper概述、特点、数据模型

Zookeeper 1.Zookeeper概述 Zookeeper是一个工具,可以实现集群中的分布式协调服务. 所谓的分布式协调服务,就是在集群的节点中进行可靠的消息传递,来协调集群的工作. Zookeeper之所以能够实现分布式协调服务,靠的就是它能够保证分布式数据一致性. 所谓的分布式数据一致性,指的就是可以在集群中保证数据传递的一致性. Zookeeper能够提供的分布式协调服务包括:数据发布订阅.负载均衡.命名服务.分布式协调/通知.集群管理.分布式锁.分布式队列等功能 2.Zookee

ZooKeeper概述

1.Zookeeper概述 Zookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务.它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等. Zookeeper的角色:  zk可以用来保证数据在zk集群之间的数据的事务性一致. 解释:如果客户端client1改变了server1的数据文件1,那么其它server的数据文件1也同时改变,那么其他客户端也能访问到改变了的数据文件. 2.为什么使用Zookeeper? 大部分

[转帖]Zookeeper学习系列【一】 教会你Zookeeper的一些基础概念

Zookeeper学习系列[一] 教会你Zookeeper的一些基础概念 https://segmentfault.com/a/1190000018927058 前言 最近加入了部门的技术兴趣小组,被分配了Zookeeper的研究任务.在研究过程当中,发现Zookeeper由于其开源的特性和其卓越的性能特点,在业界使用广泛,有很多的应用场景,而这些不同的应用场景实际上底层的原理都是差不多的,只要你真正理解了Zookeeper的一些基础概念和机制,就能够触类旁通. 于是乎,在第一次和项目小组内成员

Zookeeper学习系列【一】 教会你Zookeeper的一些基础概念

前言 最近加入了部门的技术兴趣小组,被分配了Zookeeper的研究任务.在研究过程当中,发现Zookeeper由于其开源的特性和其卓越的性能特点,在业界使用广泛,有很多的应用场景,而这些不同的应用场景实际上底层的原理都是差不多的,只要你真正理解了Zookeeper的一些基础概念和机制,就能够触类旁通. 于是乎,在第一次和项目小组内成员分享过Zookeeper作为服务注册中心的原理和客户端demo演示之后,我萌生出了整理一个专题的想法,以此为起点,慢慢捡起自己的博客分享之路. 本篇的内容主要介绍

G-sensor概述及常用概念整理【转】

本文转载自:http://www.jianshu.com/p/d471958189a0?nomobile=yesG 本文对G-sensor进行整理,先介绍G-sensor的一些基本概念,再具体讲解BOSCH.ST.ADI三家的G-sensor,其中BOSCH的G-sensor重点讲BMA222E,ST的G-sensor重点讲LIS2DH12,ADI的G-sensor具体讲ADXL362. 一.G-sensor概述 什么是MEMS MEME(Micro-Electro-Mechanical Sys

Zookeeper入门:基本概念、5项配置、启动

起源 最早接触Zookeeper,是在学习Hadoop权威指南这本书的时候,印象中是Hadoop项目的一个子工程.      最近,项目中需要用到"分布式锁".      之前,在开发P2P网贷系统的时候,就用到了"分布式锁",这个概念听起来挺高端的,实际就是多台机器下,同时运行项目下的"锁". 之前是用Redis实现"分布式锁",但是周期性地出现了问题.只能是推测,程序异常退出,或者本地开发和测试环境用的一套Redis, 本

Zookeeper 概述

ZooKeeper是一种分布式协调服务,用于管理大型主机.在分布式环境中协调和管理服务是一个复杂的过程.ZooKeeper通过其简单的架构和API解决了这个问题.ZooKeeper允许开发人员专注于核心应用程序逻辑,而不必担心应用程序的分布式特性. ZooKeeper框架最初是在"Yahoo!"上构建的,用于以简单而稳健的方式访问他们的应用程序. 后来,Apache ZooKeeper成为Hadoop,HBase和其他分布式框架使用的有组织服务的标准. 例如,Apache HBase使