深入了解Kafka【五】Partition和消费者的关系

1、消费者与Partition

以下来自《kafak权威指南》第4章。
假设主题T1有四个分区。

1.1、一个消费者组

1.1.1、消费者数量小于分区数量

只有一个消费者时，消费者1将收到4个分区的全部消息。

当有两个消费者时，每个消费者将分别从两个分区接受消息。

1.1.2、消费者数量等于分区数量

当有四个消费者时，每个消费者都可以接受一个分区的消息。

1.1.3、消费者数量大于于分区数量

当有五个消费者时，会有闲置的消费者。

1.2、两个消费者组

消费者群组之间是互不影响的，如图：

2、分区分配策略

当消费者加入群组的时候，会根据分区分配策略决定哪些分区分配给哪些消费者。
Kafka有两种分配策略：Range和RoundRobin。

  • Range
    Topic的若干个连续的Partition分配给消费者。
  • RoundRobin
    Topic的所有Partition逐个分配给消费者。

3、分区Rebalance(再均衡)

  • 有新的消费者加入消费者群组
  • 已有的消费者退出消费者群组
  • 订阅的主题的分区发生变化

以上三种情况都会触发分区的重新分配，重新分配的过程叫Rebalance(再均衡)。
Rebalance给消费者群组带来了高可用性与伸缩性，但是在Rebalance期间，消费者无法读取消息，整个群组一小段时间不可用，而且当分区被重新分配给另一个消费者时，消费者当前的读取状态会丢失。

原文地址：https://www.cnblogs.com/clawhub/p/12008169.html

时间： 2024-10-02 21:02:38

深入了解Kafka【五】Partition和消费者的关系的相关文章

kafka中partition和消费者对应关系

1个partition只能被同组的一个consumer消费,同组的consumer则起到均衡效果 消费者多于partition topic: test 只有一个partition创建一个topic——test, bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 在g2组中启动两个consumer, 1. bin/kafka-conso

二、Kafka基础实战：消费者和生产者实例

一.Kafka消费者编程模型 1.分区消费模型 分区消费伪代码描述 main() 获取分区的size for index =0 to size create thread(or process) consumer(Index) 第index个线程(进程) consumer(index) 创建到kafka broker的连接: KafkaClient(host,port) 指定消费参数构建consumer: SimpleConsumer(topic, partitions) 设置消费offset

Kafka Topic Partition Replica Assignment实现原理及资源隔离方案

本文共分为三个部分: Kafka Topic创建方式 Kafka Topic Partitions Assignment实现原理 Kafka资源隔离方案 1. Kafka Topic创建方式 Kafka Topic创建方式有以下两种表现形式: (1)创建Topic时直接指定Topic Partition Replica与Kafka Broker之间的存储映射关系 /usr/lib/kafka_2.10-0.8.2.1/bin/kafka-topics.sh --zookeeper ZooKeep

kafka之partition分区及副本replica升级

修改kafka的partition分区 bin/kafka-topics.sh --zookeeper datacollect-2:2181 --alter --partitions 3 --topic client-agent-1 修改kafka副本数 官网解释如下: Increasing replication factor Increasing the replication factor of an existing partition is easy. Just specify the

kafka中生产者和消费者API

使用idea实现相关API操作,先要再pom.xml重添加Kafka依赖: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.8.2</artifactId> <version>0.8.1</version> <exclusions> <exclusion> <artifactId>jmxtools&

kafka 官方示例代码--消费者

kafka 0.9.0添加了一套新的Java 消费者API,用以替换之前的high-level API (基于ZK) 和low-level API.新的Java消费者API目前为测试版.另外kafka 0.9暂时还支持0.8的Client. 1.High Level Consumer(0.8) package com.test.groups; import kafka.consumer.ConsumerConfig; import kafka.consumer.KafkaStream; impo

Kafka（七）消费者偏移量

在Kafka0.9版本之前消费者保存的偏移量是在zookeeper中/consumers/GROUP.ID/offsets/TOPIC.NAME/PARTITION.ID.新版消费者不在保存偏移量到zookeeper中,而是保存在Kafka的一个内部主题中"__consumer_offsets",该主题默认有50个分区,每个分区3个副本,分区数量有参数offset.topic.num.partition设置.通过消费者组ID的哈希值和该参数取模的方式来确定某个消费者组已消费的偏移量保存

Kafka分区与消费者的关系

1.  前言 我们知道,生产者发送消息到主题,消费者订阅主题(以消费者组的名义订阅),而主题下是分区,消息是存储在分区中的,所以事实上生产者发送消息到分区,消费者则从分区读取消息,那么,这里问题来了,生产者将消息投递到哪个分区?消费者组中的消费者实例之间是怎么分配分区的呢?接下来,就围绕着这两个问题一探究竟. 2.  主题的分区数设置 在server.properties配置文件中可以指定一个全局的分区数设置,这是对每个主题下的分区数的默认设置,默认是1. 当然每个主题也可以自己设置分区数量,如

深入了解Kafka【四】消费者的Offset管理

1.Offset Topic Consumer通过提交Offset来记录当前消费的最后位置,以便于消费者发生崩溃或者有新的消费者加入消费者组,而引发的分区再均衡操作,每个消费者可能会分到不同的分区.我测试的kafka版本是:0.11.0.2,消费者往一个特殊的主题"_consumer_offset"发送消息,如图: 消息的内容包括: fields content Key Consumer Group, topic, partition Payload Offset, metadata,