Apache Kafka教程:入门介绍

Apache Kafka是一个开放源代码流处理软件平台,用于处理实时数据存储。
Apache Kafka在两方(即发送方和接收方)之间充当经纪人。它一天可以处理大约数万亿个数据事件。

Apache Kafka是一个基于分布式流式处理过程的软件平台。
Apache Kafka是一个发布-订阅消息传递系统,它也允许在应用程序,服务器和处理器之间交换数据。
Apache Kafka最初是由LinkedIn开发的,后来捐赠给了Apache软件基金会。目前,它由Apache Software Foundation下的Confluent维护。
Apache Kafka解决了发送方和接收方之间数据通讯的令人头疼的麻烦。

消息传递系统是两个或多个人员,设备等之间的简单消息交换。
发布-订阅消息传递系统允许发送方发送/写入消息,而接收方读取该消息。
在Apache Kafka中,发送者被称为发布消息的生产者,而接收者被称为通过订阅消耗消息的消费者。

流处理是并行连接系统中的数据处理。此过程允许不同的应用程序限制数据的并行执行,其中一条记录的执行无需等待前一条记录的输出。
因此,分布式流平台使用户能够简化流过程和并行执行的任务。因此,Kafka中的流媒体平台具有以下关键功能:

  • 一旦记录流出现,它将对其进行处理。
  • 它的工作方式类似于企业消息传递系统,在该系统中,它发布和订阅记录流。
  • 它以容错的持久方式存储记录流。

为了学习和理解Apache Kafka,有抱负的人应该知道以下四个核心API:

Producer API:此API允许/允许应用程序将记录流发布到一个或多个主题。 (在后面的部分中讨论)

Consumer API:此API允许应用程序订阅一个或多个主题,并处理为其产生的记录流。

Streams API:此API允许应用程序有效地将输入流转换为输出流。它允许应用程序充当流处理器,该处理器使用一个或多个主题的输入流,并生成一个或多个输出主题的输出流。

Connector API:此API与现有数据系统或应用程序一起执行可重用的生产者和使用者API。

原文地址:https://www.cnblogs.com/MakeView660/p/12179700.html

时间: 2024-10-14 02:28:39

Apache Kafka教程:入门介绍的相关文章

Apache Kafka教程

1.卡夫卡教程 今天,我们正在使用Apache Kafka Tutorial开始我们的新旅程.在这个Kafka教程中,我们将看到什么是Kafka,Apache Kafka历史以及Kafka的原因.此外,我们将学习Kafka Architecture,Kafka和Kafka Partition的组件.此外,我们将讨论Kafka和Kafka用例中的各种比较.除此之外,我们将在这个Kafka教程中看到各种术语,如Kafka Broker,Kafka Cluster,Kafka Consumer,Kaf

Windows OS上安装运行Apache Kafka教程

本文转自:http://geek.csdn.net/news/detail/52976 下面是分步指南,教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka. 简介 本文讲述了如何在Windows OS上配置并启动Apache Kafka,这篇指南将会指导你安装Java和Apache Zookeeper. Apache Kafka是一个快速可扩展的消息队列,能够应对繁重的读写负载,即IO相关工作.更多信息请参见http://kafka.apache.

Apache kafka 工作原理介绍

消息队列 消息队列技术是分布式应用间交换信息的一种技术.消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走.通过消息队列,应用程序可独立地执行--它们不需要知道彼此的位置.或在继续执行前不需要等待接收程序接收此消息.在分布式计算环境中,为了集成分布式应用,开发者需要对异构网络环境下的分布式应用提供有效的通信手段.为了管理需要共享的信息,对应用提供公共的信息交换机制是重要的.常用的消息队列技术是 Message Queue. Message Queue 的通讯模式 点对点通讯:点对

Apache kafka 工作原理介绍(作者原创文章已发表在IBM开发者论坛)

插个广告:本人的<大话Java性能优化>一书99万字,已经在亚马逊.当当.京东.天猫,感谢对技术推广梦想者的支持,谢谢! 消息队列 消息队列技术是分布式应用间交换信息的一种技术.消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走.通过消息队列,应用程序可独立地执行--它们不需要知道彼此的位置.或在继续执行前不需要等待接收程序接收此消息.在分布式计算环境中,为了集成分布式应用,开发者需要对异构网络环境下的分布式应用提供有效的通信手段.为了管理需要共享的信息,对应用提供公共的信息交

Apache Kafka教程:基础概念

主题Topic通常,主题是指某些特定的相互关联的概念的特定标题或名称. 在Kafka中,主题一词是指用于存储和发布特定数据流的类别或通用名称. 基本上,Kafka中的主题类似于数据库中的表table,但不包含所有约束. 在Kafka中,我们可以根据需要创建n个主题. 它由其名称标识,这取决于用户的选择. 生产者将数据发布到主题,而消费者则通过订阅从主题中读取数据.分区Partitions主题分为几个部分,这些部分称为主题的分区. 这些分区按顺序分开. 数据内容存储在主题内的分区中. 因此,在创建

Kafka使用入门教程 简单介绍

介绍 Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: Kafka将消息以topic为单位进行归纳. 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker. producers通过网络将消息发送到Kafka集群,集群向消费者

JMeter进行Apache Kafka负载测试

1.卡夫卡负载测试 在这个Apache Kafka教程中,我们将了解如何使用Apache JMeter,如何在Apache Kafka上执行Kafka负载测试.此外,这个Kafka负载测试教程教我们如何配置生产者和消费者,这意味着使用JMeter 开发Apache Kafka Consumer和Kafka Producer.最后,我们将看到在Jmeter中构建Kafka负载测试场景.然而,在Kafka负载测试之前,让我们学习Kafka的简要介绍,以便更好地理解其他工作. 使用JMeter进行Ap

顶级Apache Kafka术语和概念

1.卡夫卡术语 基本上,Kafka架构  包含很少的关键术语,如主题,制作人,消费者, 经纪人等等.要详细了解Apache Kafka,我们必须首先理解这些关键术语.因此,在本文“Kafka术语”中,我们将学习所有这些Kafka术语,这将有助于我们建立Kafka知识的坚实基础.那么,让我们从Apache Kafka术语开始. Apache Kafka术语和概念 2.卡夫卡术语清单 在这篇Apache Kafka教程中,下面列出了最突出的Kafka术语,这些术语可以帮助我们建立Kafka知识的坚实

Kafka教程(一)Kafka入门教程

1 Kafka入门教程 1.1 消息队列(Message Queue) Message Queue消息传送系统提供传送服务.消息传送依赖于大量支持组件,这些组件负责处理连接服务.消息的路由和传送.持久性.安全性以及日志记录.消息服务器可以使用一个或多个代理实例. JMS(Java Messaging Service)是Java平台上有关面向消息中间件(MOM)的技术规范,它便于消息系统中的Java应用程序进行消息交换,并且通过提供标准的产生.发送.接收消息的接口简化企业应用的开发,翻译为Java