Pulsar、ZooKeeper、BookKeeper 作用简述

Pulsar:采取了存储计算分离的技术
ZooKeeper 集群的作用和在 Kafka 中是一样的，都是被用来存储元数据。BookKeeper 集群则被用来存储消息数据。
BookKeeper 有点儿类似 HDFS，是一个分布式的存储集群，存储单元是ledger，Ledger可以简单的理解为某个主题队列中的一段，包含了连续的若干条消息（entry），为了保证Ledger中entry的严格顺序，pulsar为Ledger增加了一次性写入限制，解决并发写入控制，只有创建Ledger的broker可以写入数据，不管什么原因导致Ledger关闭，该Ledger就只能读不能写了。

原文地址：https://www.cnblogs.com/banxian-yi/p/12202469.html

时间： 2024-11-02 05:37:12

Pulsar、ZooKeeper、BookKeeper 作用简述的相关文章

什么是Zookeeper，Zookeeper的作用是什么，在Hadoop及hbase中具体作用是什么

什么是Zookeeper,Zookeeper的作用是什么,它与NameNode及HMaster如何协作?在没有接触Zookeeper的同学,或许会有这些疑问.这里给大家总结一下. 一.什么是Zookeeper  ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) . 蜜蜂(Hive) . 小猪(Pig)  的管理员, Apache Hbase和 Apache Solr 以及LinkedIn sensei  等项目中都采用到了 Zookeeper.ZooKeeper是一个分

zookeeper的作用用途

1.数据发布和订阅  他就相当于房产中介 主要起到注册和发现服务的作用  在系统中不参与服务的调用和传输,就是发布者将数据发布到zookeeper节点上,供订阅者动态的获取数据 实现配置信息集中式管理和动态更新,类似场景就是 应用在启动时会主动来获取一次配置,同时在节点上注册一个wacther,这样一来每次配置有更新的时候 那么就会通知到订阅的客户端 2.分布式 搜索服务中 索引的元信息 和 服务器集群机器的节点状态 放在zookeeper的一些指定节点 供各个客户端调用

storm基础系列之二----zookeeper的作用

在storm集群中,我们常常使用zookeeper作为协调者.那么具体发挥的是什么作用呢? 概括来说,zookeeper是nimbus和supervisor进行交互的中介.具体来说有二: 1.nimbus通过在zookeeper上写状态信息来分配任务.通俗的讲就是写哪些supervisor执行哪些task的对应关系.而supervisor则通过从zookeeper上读取这些状态信息,来领取任务. 2.supervisor.task会发送心跳到zookeeper,使得nimbus可以监控整个集群的

23种设计模式作用简述

访问者模式 使你在不改变类的前提下定义作用于元素的新操作. xml访问的Dom4J中的VisitorSupport类 单例模式 类自身负责保存它的唯一实例. 外观模式 为子系统的一组接口提供一个一致的界面,通过一个高层接口是子系统更加容易使用. 组合模式 将对象组织成树形结构. 备忘录模式 原发器Originator创建备忘录Memento,交给Caretaker管理. 原型模式 拷贝自身-clone()方法 原型模式与备忘录模式联用 在创建备忘录时可以通过克隆原发器对象来实现,即使用原型模式,

zookeeper的作用

在Zookeeper的官网上有这么一句话:ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. 这大概描述了Zookeeper主要可以干哪些事情:配置管理,名字服务,提供分布式同步以及集群管理.那这些服务又到底是什么呢?我们为什么需要这样的服务

zookeeper的作用与机制

参考地址: https://www.cnblogs.com/ultranms/p/9585191.html 在Zookeeper的官网上有这么一句话:ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. 这大概描述了Zookeeper主要可以干

浅谈zookeeper的在hbase集群中的作用

一,什么是zookeeper? ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) . 蜜蜂(Hive) . 小猪(Pig)  的管理员, Apache Hbase和 Apache Solr 以及LinkedIn sensei  等项目中都采用到了 Zookeeper.ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,ZooKeeper是以Fast Paxos算法为基础,实现同步服务,配置维护和命名服务等分布式应用. 上面的解释感觉还不够,太官方了.Zo

java基础之----zookeeper

概述 zookeeper,拆开来就是zoo  keeper,翻译就是动物管理员,为什么这么命名呢?因为当时yahoo开发zookeeper的时候,已经开发很多其他的产品,都是以动物命名的,而zookeeper的作用就是要协调这些产品,所以最后就命名为了动物管理员.相信每个人都不陌生,无论是阿里的dubbo把zookeeper作为注册中心,无论是在使用kafka还有hbase的时候都离不开zookeeper,那zookeeper到底是什么,又可以干什么呢? zookeeper是什么? 简单来说就是

框架面试题（maven、ZooKeeper、Dubbo、Nginx、Redis、Lucene、Solr、ActiveMQ、JMS

什么是 Maven? Maven 使用项目对象模型(POM)的概念,可以通过一小段描述信息来管理项目的构建, 报告和文档的软件项目管理工具. Maven 除了以程序构建能力为特色之外,还提供高级项目管理工具.由于 Maven 的 缺省构建规则有较高的可重用性,所以常常用两三行 Maven 构建脚本就可以构建简单的项 目.由于 Maven 的面向项目的方法,许多 Apache Jakarta 项目发布时使用 Maven,而 且公司项目采用 Maven 的比例在持续增长. Maven 的出现,解决了