Apache Kafka用例

1.目标

在我们上一篇Kafka教程中,我们讨论了Kafka Pros and Cons。今天,在这篇Kafka文章中,我们将讨论Apache Kafka用例和Kafka应用程序。Kafka是新数据堆栈中的关键技术之一,在过去几年中,开发人员对Kafka的使用感兴趣。虽然,如果你不了解Kafka,它是一个高度可扩展的发布 - 订阅消息系统。此外,还有几个Kafka用例和Kafka应用程序。

那么,让我们一个一个地讨论Apache Kafka的Kafka用例和应用。

Apache Kafka用例和Kafka的应用

2. Apache Kafka用例和应用程序

让我们来讨论Kafka用例:
看看前5个Apache Kafka书籍

一世。卡夫卡用例

Apache Kafka有很多用例。所以,我们在这里列出一些最常见的用例 -

卡夫卡用例

一个。卡夫卡消息

众所周知,Kafka是一个分布式发布 - 订阅消息传递系统。因此,对于一个更传统的消息经纪人来说,Kafka可以作为替代品。出于各种原因,我们使用Message经纪人。例如,将处理与数据生成器分离,缓冲未处理的消息等等。
但是,与大多数其他邮件系统相比,Kafka具有更好的吞吐量,内置分区,复制和容错功能。这使其成为大规模消息处理应用程序的良好解决方案。

湾 网站活动跟踪

为了能够将用户活动跟踪管道重建为一组实时发布 - 订阅源,它是Kafka的原始用例。这意味着站点活动将发布到中心主题,每个活动类型包含一个主题。此处,网站活动是指用户可能采取的网页浏览,搜索或其他操作。
让我们探索卡夫卡的特色

C。卡夫卡指标

对于运行监控数据,经常使用Kafka。此外,为了生成操作数据的集中式提要,它包括聚合来自分布式应用程序的统计信息。

d。Kafka日志聚合

为了从多个服务中收集日志并以标准格式向多个消费者提供这些日志,我们可以在整个组织中使用Kafka。

即 流处理

但是,有一些流行的框架可以从主题中读取数据,对其进行处理,并将处理后的数据写入新主题,然后可供用户和应用程序使用,例如Storm和Spark Streaming。在流处理的背景下,Kafka的强大耐用性也非常有用。

F。Kafka活动采购

基本上,当状态更改记录为按时间排序的记录序列时,事件源是一种应用程序设计风格。此外,我们可以说Kafka是以这种风格构建的应用程序的优秀后端。因为它支持非常大的存储日志。
让我们用命令修改Apache Kafka Operations

G。提交日志

虽然它涉及到分布式系统,但Kafka可以作为一种外部提交日志。通常,它在节点之间复制数据。此外,还充当失败节点恢复其数据的重新同步机制。Kafka中日志压缩的功能有助于支持这种用法。但是,在这种用法中,Kafka与Apache BookKeeper项目相同。

现在,让我们转向Kafka Applications。

II。Apache Kafka应用程序

卡夫卡应用程序

Kafka支持当今许多最好的工业应用。所以,我们在这里列出了Kafka最值得注意的一些应用:

一个。推特

Twitter是最好的Kafka应用程序之一。着名的在线社交网络服务或平台Twitter使用Kafka。基本上,它提供了一种发送和接收用户推文的方法。通过这个平台,注册用户可以阅读和发布推文,但未注册的用户只能阅读推文。但是,它使用Storm-Kafka作为其流处理基础架构的一部分。

湾 LinkedIn

另一个Kafka应用程序是LinkedIn。对于活动流数据和运营指标,LinkedIn使用Apache Kafka。有一些产品,如LinkedIn Newsfeed,LinkedIn Today,用于在线消息消费,除??了像Hadoop这样的离线分析系统,Kafka消息系统可以帮助LinkedIn。此外,我们可以说Kafka的强大耐久性也是与LinkedIn相关的关键因素之一。

C。Netflix公司

一家美国跨国点播互联网流媒体供应商Netflix也使用Kafka。基本上,为了实时监控和事件处理,它使用Kafka。

d。Mozilla的

1998年,Netscape的成员创建了一个免费软件社区Mozilla。为了从最终用户浏览器收集遥测,测试飞行员等项目的性能和使用数据,Kafka很快将取代Mozilla当前生产系统的一部分。
让我们学习Kafka Performance Tuning - Kafka Optimization的方法

即 神谕

基本上,Oracle的企业服务总线产品称为OSB(Oracle Service Bus),它提供了与Kafka的本地连接。为了实现分阶段数据管道,允许开发人员利用OSB内置中介功能。

所以,这完全是关于Kafka的Kafka用例和应用程序。希望你喜欢我们的解释。

3.结论

因此,我们已经看到了几个Kafka用例以及Apache Kafka的应用程序。但是,如果对Kafka用例和应用程序有任何疑问,请随时在评论部分询问。
另请参阅 -  
带有薪资趋势的Apache Kafka职业范围
参考Kafka

原文地址:https://www.cnblogs.com/a00ium/p/10849936.html

时间: 2024-10-13 22:48:35

Apache Kafka用例的相关文章

JMeter进行Apache Kafka负载测试

1.卡夫卡负载测试 在这个Apache Kafka教程中,我们将了解如何使用Apache JMeter,如何在Apache Kafka上执行Kafka负载测试.此外,这个Kafka负载测试教程教我们如何配置生产者和消费者,这意味着使用JMeter 开发Apache Kafka Consumer和Kafka Producer.最后,我们将看到在Jmeter中构建Kafka负载测试场景.然而,在Kafka负载测试之前,让我们学习Kafka的简要介绍,以便更好地理解其他工作. 使用JMeter进行Ap

顶级Apache Kafka术语和概念

1.卡夫卡术语 基本上,Kafka架构  包含很少的关键术语,如主题,制作人,消费者, 经纪人等等.要详细了解Apache Kafka,我们必须首先理解这些关键术语.因此,在本文“Kafka术语”中,我们将学习所有这些Kafka术语,这将有助于我们建立Kafka知识的坚实基础.那么,让我们从Apache Kafka术语开始. Apache Kafka术语和概念 2.卡夫卡术语清单 在这篇Apache Kafka教程中,下面列出了最突出的Kafka术语,这些术语可以帮助我们建立Kafka知识的坚实

为什么Apache Kafka如此受欢迎

1.目标 今天,在这个Kafka教程中,我们将学习所有Kafka功能,如可扩展性,可靠性,耐用性,这些都说明了Kafka如此受欢迎的原因.我们将详细讨论Kafka的每个功能.但在那之前让我们明白什么是卡夫卡.当我们了解Apache Kafka并了解开发人员对这项技术的巨大兴趣时,会出现一个问题,即什么使得这种Kafka技术如此受欢迎.那么,让我们从Kafka功能开始吧. 十大卡夫卡特色| 为什么卡夫卡如此受欢迎 2.什么是Apache Kafka? 为了处理大量数据并使我们能够将消息从一个端点传

Apache Kafka安全| Kafka的需求和组成部分

1.目标 - 卡夫卡安全 今天,在这个Kafka教程中,我们将看到Apache Kafka Security 的概念  .Kafka Security教程包括我们需要安全性的原因,详细介绍加密.有了这个,我们将讨论Kafka Security可以轻松解决的问题列表.此外,我们将看到Kafka身份验证和授权.此外,我们将看看ZooKeeper身份验证.那么,让我们开始Apache Kafka Security. Apache Kafka安全| Kafka的需求和组成部分 2.什么是Apache K

Apache Kafka系列(五) Kafka Connect及FileConnector示例

Apache Kafka系列(一) 起步 Apache Kafka系列(二) 命令行工具(CLI) Apache Kafka系列(三) Java API使用 Apache Kafka系列(四) 多线程Consumer方案 Apache Kafka系列(五) Kafka Connect及FileConnector示例 一. Kafka Connect简介 Kafka是一个使用越来越广的消息系统,尤其是在大数据开发中(实时数据处理和分析).为何集成其他系统和解耦应用,经常使用Producer来发送消

Apache Kafka系列(三) Java API使用

Apache Kafka系列(一) 起步 Apache Kafka系列(二) 命令行工具(CLI) Apache Kafka系列(三) Java API使用 摘要: Apache Kafka Java Client API 一.基本概念 Kafka集成了Producer/Consumer连接Broker的客户端工具,但是在消息处理方面,这两者主要用于服务端(Broker)的简单操作,如: 1.创建Topic 2.罗列出已存在的Topic 3.对已有Topic的Produce/Consume测试

初识Apache Kafka+JAVA程序实例

本文是从英文的官网摘了翻译的,用作自己的整理和记录.水平有限,欢迎指正.版本是: kafka_2.10-0.10.0.0 一.基础概念 主题:Kafka maintains feeds of messages in categories called topics. 生产者:We'll call processes that publish messages to a Kafka topic producers. 消费者:We'll call processes that subscribe t

实践部署与使用apache kafka框架技术博文资料汇总

前一篇Kafka框架设计来自英文原文(Kafka Architecture Design)的翻译及整理文章,很有借鉴性,本文是从一个企业使用Kafka框架的角度来记录及整理的Kafka框架的技术资料,也很有借鉴价值,为了便于阅读与分享,我将其整理一篇Blog.本文内容目录摘要如下: 1)apache kafka消息服务 2)kafka在zookeeper中存储结构 3)kafka log4j配置 4)kafka replication设计机制 5)apache kafka监控系列-监控指标 6)

Apache Kafka系列(一)

摘要: 1.Apache Kafka基本概念 2.Kafka的安装 3.基本工具创建Topic 本文基于centos7, Apache Kafka 0.11.0 一.基本概念 Apache Kafka是一个发布/订阅的消息系统,于2009年源自Linkedin,并与2011年开源.在架构方面,Kafka类似于其他的消息系统(ActiveMQ,RabbitMQ).但是Kafka有诸多的特性使得越来越流行: Kafka本身支持分布式,很容易横向扩展 高吞吐量,高性能 高容错性,即使宕机 Kafka在