kafka其他记录

发现有一些kafka的知识会经常忘记,稍微小总结一下能想起来的。

  1、kafka简单理解容灾

  kafka的partition是在主题创建的时候指定的,并且指定复制份数。有多个broker的情况,会根据一定的规则将leader的partition尽量分配到不同的broker,并且leaderpartition和复制partiton不会分配在同一个broker。这样就能做到很好的容灾。

  2、同一个groupid下的多个consumer消费一个主题,只有一个能消费到。

  这是因为,kafka对于partion中主题消费的分配,一个partion只能分配给一个组中的一个consumer消费。这样保持了同一个partion内部主题消费的顺序性。

  3、下次想到再补充把,想不到了

时间: 2024-08-07 00:16:19

kafka其他记录的相关文章

kafka学习记录之配置

学习之地:http://kafka.apache.org/082/documentation.html#configuration kafka broker主配置文件:~/config/server.properties 标注:这里暂只涉及Broker Configs&Topic-level configuration~~~ kafka configure涉及以下几个方面: Broker Configs:kafka broker主配置 Consumer Configs:kafka consume

消息队列Kafka学习记录

Kafka其实只是众多消息队列中的一种,对于Kafka的具体释义我这里就不多说了,详见:http://baike.baidu.com/link?url=HWFYszYuMdP_lueFH5bmYnlmH--SlsarbzE1CcfMi9JqeQBR77jCu30MubmAyBqqOSSZy9qfnrp5y5a_8wYota 想要下载Kafka可以直接上官网:http://kafka.apache.org/ (强烈建议一定要上官网下载,其它地方下载的可能有问题) Kafka下载成功之后,在libs

kafka学习记录之设计

Updating...

大数据组件原理总结-Hadoop、Hbase、Kafka、Zookeeper、Spark

Hadoop原理 分为HDFS与Yarn两个部分.HDFS有Namenode和Datanode两个部分.每个节点占用一个电脑.Datanode定时向Namenode发送心跳包,心跳包中包含Datanode的校验等信息,用来监控Datanode.HDFS将数据分为块,默认为64M每个块信息按照配置的参数分别备份在不同的Datanode,而数据块在哪个节点上,这些信息都存储到Namenode上面.Yarn是MapReduce2,可以集成更多的组件,如spark.mpi等.MapReduce包括Job

【原创】kafka controller源代码分析(二)

四.TopicDeletionManager.scala 管理topic删除的状态机,具体逻辑如下: TopicCommand发送topic删除命令,在zk的/admin/delete_topics目录下创建topic节点 controller会监听该zk目录下任何节点的变更并为对应的topic开启删除操作 controller开启一个后台线程处理topic的删除.使用该线程主要为了以后能够增加TTL(time to live)的特性.无论何时开启或重启topic删除操作时都会通知该线程.当前,

Kafka详细原理总结

Kafka Kafka是最初由Linkedin公司开发,是一个分布式.支持分区的(partition).多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统.低延迟的实时系统.storm/Spark流式处理引擎,web/nginx日志.访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目. 1.前言 消息队列的性能好坏

kafka原理解析

转载 Kafka Kafka是最初由Linkedin公司开发,是一个分布式.支持分区的(partition).多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统.低延迟的实时系统.storm/Spark流式处理引擎,web/nginx日志.访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目. 1.前言 消息队列的性

Kafka对Java程序员有多重要?连阿里都再用它处理亿万级数据统计

一.了解淘宝Kafka架构在ActiveMQ.RabbitMQ.RocketMQ.Kafka消息中间件之间,我们为什么要选择Kafka?下面详细介绍一下,2012年9月份我在支付宝做余额宝研发,2013年6月支付宝正式推出余额宝,2013年8月担任支付宝淘宝×××项目经理带领兄弟们一起做研发,期间需要与淘宝和500万对接竞彩接口数据,业余时间与淘宝的同事沟通,了解天猫在电商节如何处理这些大数据的?技术架构上采用了哪些策略呢? 一.应用无状态(淘宝session框架) 二.有效使用缓存(Tair)

【干货】Kafka实现淘宝亿万级数据统计(上)

在ActiveMQ.RabbitMQ.RocketMQ.Kafka消息中间件之间,我们为什么要选择Kafka? 下面详细介绍一下,2012年9月份我在支付宝做余额宝研发,2013年6月支付宝正式推出余额宝,2013年8月担任支付宝淘宝彩票项目经理带领兄弟们一起做研发,期间需要与淘宝和500万对接竞彩接口数据. 通过业余时间与淘宝同事沟通,了解到天猫在电商节如何处理大数据?技术架构上采用了哪些策略? 1.应用无状态(淘宝session框架) 2.有效使用缓存(Tair) 3.应用拆分(HSF) 4