初探分布式环境的指挥官ZooKeeper

目录

  • 1. 从单机到集群,分布式环境中的挑战

    • 1.1 集中式的特点
    • 1.2 集中式的痛点
    • 1.3 从单体到SOA的转变
    • 1.4 分布式服务总体框架
    • 1.5 分布式应用概述
  • 2. ZK基本概念及核心原理
    • 2.1 ZK自我介绍
    • 2.2 ZK基本概念
  • 3. ZK应用举例
    • 3.1 应用举例
    • 3.2 项目中的应用
  • 4 小结

1. 从单机到集群,分布式环境中的挑战

1.1 集中式的特点

  • 部署结构简单
  • 协作相对简单,不存在分布式协作问题
  • 单点故障问题

1.2 集中式的痛点

随着业务的发展和演进,将所有业务集中实现在一个应用上的做法往往满足不了公司及业务发展的需要,单一的系统已经不足以承载大量的业务。 (尤其是互联网企业)
所有业务堆在一个单一的系统,其痛点:

  1. 业务模块边界不清,代码耦合严重,不利于维护;
  2. 一个大的应用工程不利于版本迭代开发和发布。

1.3 从单体到SOA的转变

面向服务架构( service-oriented architecture, SOA )
通过系统拆分实现SOA架构的价值,沉淀出一批稳定的后台服务,通过叠加复用又可以快速响应用户的前端需求。

而面向服务体系架构能够落地的基础技术之一,就是分布式服务框架

1.4 分布式服务总体框架

  1. 服务拆分后的基本技术问题: 如何实现服务之间的通信?

    • RPC(RMI、HttpClinet等)
  2. 另一方面,如何实现服务治理?
    • 一般而言包括:服务自动发现、自动下线、服务注册中心、负载均衡等功能。

1.5 分布式应用概述

  • 分布式应用可以再给定时间(同时)在网络的多个系统上运行,通过协调它们以快速有效的完成特定任务。
  • 分布式应用正在运行的一组系统称为集群,集群中运行的每台机器称为节点。
  • 分布式应用有Server和Client两部分。Server是分布式的,有通用的接口,以便Client可以连接到集群中的任何服务器并获得相同的结果。

分布式应用的优点

  • 可靠性 单个或几个系统的故障不会使整个系统出现故障。
  • 可扩展性 可以在需要时增加性能,通过添加更多机器,在应用程序配置中进行微小的更改。
  • 透明性 隐藏系统的复杂性,并将其显示为单个实体/应用程序。

分布式应用的挑战

  • 竞争条件 两个或多个机器尝试执行特定任务,实际上只需在任意给定时间由单个机器完成。例如,共享资源只能在任意给定时间由单个机器修改。
  • 死锁 两个或多个操作等待彼此无限期完成。
  • 数据一致性 数据的部分失败。
  • 网络的不稳定性

2. ZK基本概念及核心原理

2.1 ZK自我介绍

2.2 ZK基本概念

2.2.1. 客户端-服务器架构

2.2.2 数据结构

2.2.3 Session(会话)、工作流

2.2.4 监视

3. ZK应用举例

3.1 应用举例

分布式应用程序可以基于它实现:

  • 数据发布/订阅
    -负载均衡
  • 命名服务
  • 分布式协调/通知
  • 集群管理
  • 分布式锁和分布式队列等
    例,
    Hadoop:依靠ZooKeeper进行配置管理和协调。
    Hbase: 通过集中式配置管理分布式互斥机制来帮助主机和区域服务器跟踪分布式数据的状态。

3.2 项目中的应用

Zookeeper作为注册中心
对内网四大服务(sso、web、push和collect)相互通信的RPC接口进行管理。
1. 系统启动时RPC接口在ZK中注册(create node)
2. 客户端从ZK获取对应的RPC接口。进行调用。

githup上有个类似的demo参考:https://github.com/luxiaoxun/NettyRpc
交互流程示意图:

4 小结

重点回顾:ZK数据模型、watch机制。
能帮助我们实现:分布式一致性、服务治理功能等。

参考资料
《从Paxos到Zookeeper分布式一致性原理与实践》
《分布式服务框架原理与实践》
w3cschool zookeeper教程

原文地址:https://www.cnblogs.com/eaglediao/p/8426105.html

时间: 2024-11-13 09:59:19

初探分布式环境的指挥官ZooKeeper的相关文章

Zookeeper 分布式环境搭建

Zookeeper 分布式环境搭建 一.前期环境 安装概览 IP Host Name     Software     192.168.23.128     ae01 JDK 1.7 192.168.23.129 ae02 JDK 1.7 192.168.23.130 ae03 JDK 1.7 若使用虚拟机安装,可以安装samba, smbfs方面对于文件的控制. 系统环境: ubuntu-12.04.2-server-amd64 安装目录: /usr/local/ae JDK 安装目录: ex

Zookeeper和分布式环境中的假死脑裂问题(转)

Zookeeper和分布式环境中的假死脑裂问题 最近和同事聊天无意间发现他们的系统也存在脑裂的问题.想想当初在我们的系统中为了解决脑裂花了非常大的功夫,现在和大家一起讨论下脑裂,假死等等这些问题和解决的方法. 在一个大集群中往往会有一个master存在,在长期运行过程中不可避免的会出现宕机等问题导致master不可用,在出现这样的情况以后往往会对系统产生很大的影响,所以一般的分布式集群中的master都采用了高可用的解决方案来避免这样的情况发生. master-slaver方式,存在一个mast

ZooKeeper学习第五期--ZooKeeper管理分布式环境中的数据

转:http://www.cnblogs.com/sunddenly/p/4092654.html 引言 本节本来是要介绍ZooKeeper的实现原理,但是ZooKeeper的原理比较复杂,它涉及到了paxos算法.Zab协议.通信协议等相关知识,理解起来比较抽象所以还需要借助一些应用场景,来帮我们理解.由于内容比较多,一口气吃不成胖子,得慢慢来一步一个脚印,因此我对后期ZooKeeper的学习规划如下: 第一阶段: |---理解ZooKeeper的应用 |---ZooKeeper是什么 |--

ASP.Net Core 中使用Zookeeper搭建分布式环境中的配置中心系列一:使用Zookeeper.Net组件演示基本的操作

前言:马上要过年了,祝大家新年快乐!在过年回家前分享一篇关于Zookeeper的文章,我们都知道现在微服务盛行,大数据.分布式系统中经常会使用到Zookeeper,它是微服务.分布式系统中必不可少的分布式协调框架.它的作用体现在分布式系统中解决了配置中心的问题,以及解决了在分布式环境中不同进程之间争夺资源的问题,也就是分布式锁的功能以及分布式消息队列功能等等.所以在微服务的环境中Zookeeper是现在很多公司首选的分布式协调框架,包括我之前的公司也在使用Zookeeper.说了这么多,没别的就

搞懂分布式技术3:初探分布式协调服务zookeeper

搞懂分布式技术3:初探分布式协调服务zookeeper 1.Zookeepr是什么 Zookeeper是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它实现诸如数据发布/订阅,负载均衡,命名服务,分布式协调/通知.集群管理,Master选举,分布式锁和分布式队列等功能. 2.zookeeper可以保证的分布式一致性 a.顺序一致性 从一个客户端发起的事务请求,最终将会严格地按照其发起顺序被应用到zookeeper中去 b.原子性 所有事务请求的处理结果在整个集群中所有机器上的应用情

浅谈分布式服务协调技术 Zookeeper

Google的三篇论文影响了很多很多人,也影响了很多很多系统.这三篇论文一直是分布式领域传阅的经典.根据MapReduce,于是我们有了Hadoop:根据GFS,于是我们有了HDFS:根据BigTable,于是我们有了HBase.而在这三篇论文里都提及Google的一个Lock Service -- Chubby,哦,于是我们有了Zookeeper. 随着大数据的火热,Hxx们已经变得耳熟能详,现在作为一个开发人员如果都不知道这几个名词出门都好像不好意思跟人打招呼.但实际上对我们这些非大数据开发

_00022 Flume-1.5.0+Kafka_2.9.2-0.8.1.1+Storm-0.9.2 分布式环境整合

博文作者:妳那伊抹微笑 博客地址:http://blog.csdn.net/u012185296 博文标题:_00022 Flume-1.5.0+Kafka_2.9.2-0.8.1.1+Storm-0.9.2 分布式环境整合 个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前,妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spark ... 云计算技术 转载声明:可以转载, 但必须以超链接形式标

分布式环境下配置中心实现思考

转载注明出处: 季义钦的博客 最近在考虑分布式环境下配置中心实现. 对于配置中心很难设计. 光用Zookeeper吧,发现一是跨语言支持不好,需要大量跨语言支持的开发,而且没办法在上面增加大量的算法和逻辑. 如果在Zookeeper前面加一层服务的话,又怕成为单点压力. 下面是我画的一个架构图,希望大家帮忙看看,踊跃讨论. 希望各位不管有什么意见和建议.都在下面评论里面留下自己的想法,帮助我改进,谢谢 分布式环境下配置中心实现思考,布布扣,bubuko.com

HBase 分布式环境搭建

HBase 分布式环境搭建 一.前期环境 安装概览 IP Host Name Software Node 192.168.23.128 ae01 JDK 1.7, Zookeeper-3.4.5 HMaster 192.168.23.129 ae02 JDK 1.7, Zookeeper-3.4.5    HRegionServer 192.168.23.130 ae03 JDK 1.7, Zookeeper-3.4.5 HRegionServer    若使用虚拟机安装,可以安装samba,