Apache Kafka是一个开放源代码流处理软件平台,用于处理实时数据存储。
Apache Kafka在两方(即发送方和接收方)之间充当经纪人。它一天可以处理大约数万亿个数据事件。
Apache Kafka是一个基于分布式流式处理过程的软件平台。
Apache Kafka是一个发布-订阅消息传递系统,它也允许在应用程序,服务器和处理器之间交换数据。
Apache Kafka最初是由LinkedIn开发的,后来捐赠给了Apache软件基金会。目前,它由Apache Software Foundation下的Confluent维护。
Apache Kafka解决了发送方和接收方之间数据通讯的令人头疼的麻烦。
消息传递系统是两个或多个人员,设备等之间的简单消息交换。
发布-订阅消息传递系统允许发送方发送/写入消息,而接收方读取该消息。
在Apache Kafka中,发送者被称为发布消息的生产者,而接收者被称为通过订阅消耗消息的消费者。
流处理是并行连接系统中的数据处理。此过程允许不同的应用程序限制数据的并行执行,其中一条记录的执行无需等待前一条记录的输出。
因此,分布式流平台使用户能够简化流过程和并行执行的任务。因此,Kafka中的流媒体平台具有以下关键功能:
- 一旦记录流出现,它将对其进行处理。
- 它的工作方式类似于企业消息传递系统,在该系统中,它发布和订阅记录流。
- 它以容错的持久方式存储记录流。
为了学习和理解Apache Kafka,有抱负的人应该知道以下四个核心API:
Producer API:此API允许/允许应用程序将记录流发布到一个或多个主题。 (在后面的部分中讨论)
Consumer API:此API允许应用程序订阅一个或多个主题,并处理为其产生的记录流。
Streams API:此API允许应用程序有效地将输入流转换为输出流。它允许应用程序充当流处理器,该处理器使用一个或多个主题的输入流,并生成一个或多个输出主题的输出流。
Connector API:此API与现有数据系统或应用程序一起执行可重用的生产者和使用者API。
原文地址:https://www.cnblogs.com/MakeView660/p/12179700.html