kafka术语

kafka broker:运行kafka server的服务被称为broker,它主要用于接手topic消息,管理topic,持久化和存储topic数据,kafka审计,kafka权限管理等。

topic:消息主题,每个topic唯一,可存储和传输数据。(MQ中通常有Topic和Queue 2中消息传输方式,topic:发布/订阅(publish/subscribe,简称pub/sub)Topic消息传递模型,支持一条消息发送多个消费组/消费者;queue:点对点(point-to-point,简称PTP)Queue消息传递模型,一条消息仅支持一个消费者消费);kafka仅支持topic模式。

topic partition:topic 分区个数,可将topic数据进行分割,如果topic分为3,则每个topic partition消息均分topic中的消息,并可进行负载。

topic replication:topic复制副本个数,用于解决数据丢失,单点问题,并发问题。

producer:消息生产者,将消息push到指定topic,消息可以使txt文本(每行一条),文件,序列化对象。

consumer:消息消费者,将消息从指定topic中pull到客户端中,消息可以使txt文本或二进制数据流(可反序列化为文件或对象)。

consumer goup:消费者组,同一个消费者组不重复消费消息,可用于将不同用途consumer进行编组。(因此如果更改为新消费组名称,则讲会重新将kafka中存在的消息全部pull,因此不要轻易变更consumer group哦)

原文地址:https://www.cnblogs.com/xiaohan970121/p/12346538.html

时间: 2024-11-09 01:44:44

kafka术语的相关文章

顶级Apache Kafka术语和概念

1.卡夫卡术语 基本上,Kafka架构  包含很少的关键术语,如主题,制作人,消费者, 经纪人等等.要详细了解Apache Kafka,我们必须首先理解这些关键术语.因此,在本文“Kafka术语”中,我们将学习所有这些Kafka术语,这将有助于我们建立Kafka知识的坚实基础.那么,让我们从Apache Kafka术语开始. Apache Kafka术语和概念 2.卡夫卡术语清单 在这篇Apache Kafka教程中,下面列出了最突出的Kafka术语,这些术语可以帮助我们建立Kafka知识的坚实

Kafka 术语

什么是Kafka? Apache Kafka是一个分布式流媒体平台,允许你发布和订阅记录流,允许你以容错方式存储记录流,允许你处理数据流.或是说Kafka是一个分布式.支持分区.多副本的,基于zookeeper协调的分布式消息系统.那自己眼中的kafka是什么? Kafka的术语 Topic(主题):特指Kafka要处理的记录源的分类,每一类记录称为一个topic,每一个记录由一个key.value和timestamp组成. Broker:Kafka集群中的一台或多台服务器(即kafka节点).

使用Kafka的一些简单介绍: 1集群 2原理 3 术语

目录 第一节 Kafka 集群 Kafka 集群搭建 Kafka 集群快速搭建 第二节 集群管理工具 集群管理工具 集群 Issues 第三节 使用命令操纵集群 第四节 Kafka 术语说明 第五节 Kafka 集群工作原理 总结 第一节 Kafka 集群 如果你是开发, 对搭建kafka集群没什么兴趣, 可以跳过这一章, 直接看明天的内容. 如果你觉得多了解一点没有什么坏处的话, 请继续看下去. 提醒一下, 本章图多 Kafka 集群搭建 概述 kafka集群的搭建还是比较繁琐的, 虽然只是下

整合Kafka到Spark Streaming——代码示例和挑战

作者Michael G. Noll是瑞士的一位工程师和研究员,效力于Verisign,是Verisign实验室的大规模数据分析基础设施(基础Hadoop)的技术主管.本文,Michael详细的演示了如何将Kafka整合到Spark Streaming中. 期间, Michael还提到了将Kafka整合到 Spark Streaming中的一些现状,非常值得阅读,虽然有一些信息在Spark 1.2版本中已发生了一些变化,比如HA策略: 通过Spark Contributor.Spark布道者陈超我

Kafka教程(一)Kafka入门教程

1 Kafka入门教程 1.1 消息队列(Message Queue) Message Queue消息传送系统提供传送服务.消息传送依赖于大量支持组件,这些组件负责处理连接服务.消息的路由和传送.持久性.安全性以及日志记录.消息服务器可以使用一个或多个代理实例. JMS(Java Messaging Service)是Java平台上有关面向消息中间件(MOM)的技术规范,它便于消息系统中的Java应用程序进行消息交换,并且通过提供标准的产生.发送.接收消息的接口简化企业应用的开发,翻译为Java

设置Kafka集群的方法

1.目标 今天,在这篇Kafka文章中,我们将看到Kafka Cluster Setup.这个Kafka集群教程为我们提供了一些设置Kafka集群的简单步骤.简而言之,为了实现Kafka服务的高可用性,我们需要在集群模式下设置Kafka. 因此,在此Kafka Cluster文档中,我们将学习Kafka多节点群集设置和Kafka多代理群集设置.此外,我们将看到Kafka Zookeeper群集设置.那么,让我们开始Kafka群集设置. 设置Kafka集群的方法:Apache Kafka 你对卡夫

Kafka的安装与使用(转)

9.1 Kafka 基础知识 9.1.1 消息系统 点对点消息系统:生产者发送一条消息到queue,一个queue可以有很多消费者,但是一个消息只能被一个消费者接受,当没有消费者可用时,这个消息会被保存直到有 一个可用的消费者,所以Queue实现了一个可靠的负载均衡. 发布订阅消息系统:发布者发送到topic的消息,只有订阅了topic的订阅者才会收到消息.topic实现了发布和订阅,当你发布一个消息,所有订阅这个topic的服务都能得到这个消息,所以从1到N个订阅者都能得到这个消息的拷贝. 9

kafka和zookeeper

1.Kafka入门教程 1.1 消息队列(Message Queue) Message Queue消息传送系统提供传送服务.消息传送依赖于大量支持组件,这些组件负责处理连接服务.消息的路由和传送.持久性.安全性以及日志记录.消息服务器可以使用一个或多个代理实例. JMS(Java Messaging Service)是Java平台上有关面向消息中间件(MOM)的技术规范,它便于消息系统中的Java应用程序进行消息交换,并且通过提供标准的产生.发送.接收消息的接口简化企业应用的开发,翻译为Java

《从Paxos到zookeeper》第6章 Zookeeper的典型应用场景(下)

目录 6.2 Zookeeper在大型分布式系统中的应用 6.2.1 Hadoop YARN介绍 如何解决ResourceManager单点问题,实现高可用? 6.2.3 Kafka 术语介绍 问题 Kafka与Zookeeper Broker注册管理 Topic注册管理 生产者负载均衡 消费者负载均衡 消费分区与消费者关系 消息消费进度Offset记录 消费者注册 负载均衡 1)Range策略 2)RoundRobin策略 资料 6.3 Zookeeper在阿里巴巴的实践与应用 6.3.2 案