卡夫卡快速入门

起源

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”,这使它作为企业级基础设施来处理流式数据非常有价值。此外,Kafka可以通过Kafka Connect连接到外部系统(用于数据输入/输出),并提供了Kafka Streams——一个Java流式处理库。该设计受事务日志(英语:Transaction log)的影响较大。

Kafka最初是由领英开发,并随后于2011年初开源,并于2012年10月23日由Apache Incubator孵化出站。2014年11月,几个曾在领英为Kafka工作的工程师,创建了名为Confluent的新公司,并着眼于Kafka。根据2014年Quora的帖子,Jay Kreps似乎已经将它以作家弗朗茨·卡夫卡命名。Kreps选择将该系统以一个作家命名是因为,它是“一个用于优化写作的系统”,而且他很喜欢卡夫卡的作品。

安装

环境:阿里云centos7

下载:

wget http://apache.mirror.vu.lt/apache/kafka/2.4.0/kafka_2.12-2.4.0.tgz

解压

tar -xzf kafka_2.12-2.4.0.tgz

架构

Kafka存储的消息来自任意多被称为“生产者”(Producer)的进程。数据从而可以被分配到不同的“分区”(Partition)、不同的“Topic”下。在一个分区内,这些消息被索引并连同时间戳存储在一起。其它被称为“消费者”(Consumer)的进程可以从分区查询消息。Kafka运行在一个由一台或多台服务器组成的集群上,并且分区可以跨集群结点分布。

Kafka高效地处理实时流式数据,可以实现与Storm、HBase和Spark的集成。作为聚类部署到多台服务器上,Kafka处理它所有的发布和订阅消息系统使用了四个API,即生产者API、消费者API、Stream API和Connector API。它能够传递大规模流式消息,自带容错功能,已经取代了一些传统消息系统,如JMS、AMQP等。

Kafka架构的主要术语包括Topic、Record和Broker。Topic由Record组成,Record持有不同的信息,而Broker则负责复制消息。Kafka有四个主要API:

  • 生产者API:支持应用程序发布Record流。
  • 消费者API:支持应用程序订阅Topic和处理Record流。
  • Stream API:将输入流转换为输出流,并产生结果。
  • Connector API:执行可重用的生产者和消费者API,可将Topic链接到现有应用程序。
  • Topic 用来对消息进行分类,每个进入到Kafka的信息都会被放到一个Topic下
  • Broker 用来实现数据存储的主机服务器
  • Partition 每个Topic中的消息会被分为若干个Partition,以提高消息的处理效率
  • Producer 消息的生产者
  • Consumer 消息的消费者
  • Consumer Group 消息的消费群组

使用

性能

由于其广泛集成到企业级基础设施中,监测Kafka在规模运行中的性能成为一个日益重要的问题。监测端到端性能,要求跟踪所有指标,包括Broker、消费者和生产者。除此之外还要监测ZooKeeper,Kafka用它来协调各个消费者。当前有一些监测平台可以追踪Kafka的性能,有开源的,如领英的Burrow;也有付费的,如Datadog。除了这些平台之外,收集Kafka的数据也可以使用工具来进行,这些工具一般需要Java,包括JConsole。

参考资料

官网:https://kafka.apache.org/

快速入门:https://kafka.apache.org/quickstart

原文地址:https://www.cnblogs.com/biaogejiushibiao/p/12321479.html

时间: 2024-10-10 10:35:28

卡夫卡快速入门的相关文章

卡夫卡与风暴:卡夫卡和风暴的明智比较

1.卡夫卡与风暴的区别 今天,在本文中,“Apache Kafka vs Storm:Storm和Kafka之间的差异”我们将看到Kafka和Storm的完整比较.那么,让我们从Kafka和Storm 的简要介绍开始,以便更好地理解比较. 卡夫卡与风暴:卡夫卡和风暴的特征明智比较 2.卡夫卡与风暴的比较 一世.什么是卡夫卡 为了使用基于消息的主题实现Kafka Producers和Kafka Consumers之间的通信,我们使用Apache Kafka.它是一种非常快速,可扩展且容错的发布 -

文学德语之卡夫卡

Franz Kafka, 现代主义文学大师,出生在布拉格(捷克)的奥匈帝国作家,母语是德语的犹太人. 卡夫卡的影响了许多作家,比如马尔克斯,读<百年孤独>总觉得有<变形记>的感觉,而陈忠实的<白鹿原>,余华的<活着>,还有莫言的<红高粱>,都和<百年孤独>似曾相似,也算是间接影响吧. 看看卡夫卡的代表作,顺便学学德语 Die Verwandlung 变形记 Der Process 审判 Das Schloss 城堡 Betrachtu

《海边的卡夫卡》--[日]村上春树

<海边的卡夫卡>,作者是:村上春树 下面是我的书摘: * “或许.”大岛愕然说到,“田村卡夫卡君,或许世上几乎所有人都不追求什么自由,不过自以为追求吧了.一切都是幻想.假如真给予自由,人们十有八九不知所措.这点记住好了:人么实际上喜欢不自由.” * “把自己融入?” “就是说你在森林里的时候你就会浑然成为森林的一部分:你在雨中的时候就彻底成为雨的一部分:你置身于清晨之中就完全是清晨的一部分:你在我面前你就成了我的一部分.简单说就是这样.” * “黑猫土罗君估计那家伙有危险,但终究是估计.作为预

虚幻4蓝图快速入门(四)

蓝图跟C++交互 概述 蓝图可以继承C++类,从而使得程序员可以在代码中创建新的游戏性类,而关卡设计人员可以使用蓝图来继承该类并对其进行修改. 有很多种修饰符可以改变C++类和蓝图系统间交互方式,其中某些修饰符会在本示例中突出介绍. 可以通过查看以下内容来快速了解: 虚幻引擎快速入门视频教程第五章,见引用[1] 官方文档 类设置 在类设置的第一部分中,使用C++类向导创建一个名称为LightSwitchBoth 的类. LightSwitchBoth类中的大部分代码设置都和 仅使用C++的Lig

Maven入门指南 :Maven 快速入门及简单使用

Maven入门指南 :Maven 快速入门及简单使用 前言 Maven是一个Java语言编写的开源项目管理工具,是Apache软件基金会的顶级项目.主要用于项目构建,依赖管理,项目信息管理. maven项目在编译.测试.打包里,会需要从maven的中央仓库(即:maven组织公布在互联网上的一个站点,里面已经收录了目前绝大多数主流的jar包)下载jar包等文件, 如果使用代理服务器上网,需要配置代理服务器. 理解"仓库" 首次运行完mvn -version后,会在用户目录下创建一个.m

Bmob 开发Android程序快速入门--小demo

注册Bmob帐号 在网址栏输入www.bmob.cn或者在百度输入Bmob进行搜索,打开Bmob官网后,点击右上角的“注册”,在跳转页面填入你的姓名.邮箱.设置密码,确认后到你的邮箱激活Bmob账户,你就可以用Bmob轻松开发应用了. 网站后台创建应用 登录账号进入bmob后台后,点击后台界面左上角“创建应用”,在弹出框输入你应用的名称,然后确认,你就拥有了一个等待开发的应用. 获取应用密钥和下载SDK 选择你要开发的应用,点击该应用下方对应的“应用密钥” 在跳转页面,获取Application

HealthKit开发快速入门教程之HealthKit框架体系创建健康AppID

HealthKit开发快速入门教程之HealthKit框架体系创建健康AppID HealthKit开发准备工作 在开发一款HealthKit应用程序时,首先需要讲解HealthKit中有哪些类,在iOS上的Health即健康应用有哪些功能等.本节将针对这些问题进行讲解. HealthKit框架体系 对于一类应用程序来说,要进行开发,首先需要熟悉它的框架体系,即类.以下我们针对HealthKit中所使用的类进行了总结,如表1-1所示. 1-1  HealthKit框架体系 类 功能 NSObje

HealthKit开发快速入门教程之HealthKit开发概述HealthKit简介

?HealthKit开发快速入门教程之HealthKit开发概述简介? 2014年6月2日召开的年度开发者大会上,苹果发布了一款新的移动应用平台,可以收集和分析用户的健康数据.该移动应用平台被命名为"Healthkit".本章将主要讲解HealthKit的特点.经典应用以及在开发HealthKit时的准备工作. HealthKit简介 HealthKit就是可以收集和分析用户的健康数据移动应用平台.本节将主要讲解HealthKit的特点.经典应用. HealthKit特点 本小节将主要

Android基础篇之Android快速入门--你必须要知道的基础

Android快速入门 1. 搭建开发环境 >解压压缩文件,得到:①Android SDK   (类似于JDK)② Eclipse  ③ADT >配置两个path环境变量:D:\adt-bundle-windows-x86\sdk\platform-tools:D:\adt-bundle-windows-x86\sdk\tools >配置基本的Eclipse的设置: 调整字体大小,字符集,配置android sdk的位置 >创建模拟器: 2. 创建第一个Android项目: Hel