Spring Boot 之 Kafka

Kafka是一个分布式的流平台,具有以下功能:
1.发布和订阅消息。
2.以容错的方式存储消息流。
3.实时的流处理。

主要的两大应用:
1.作为实时的流数据通道,在应用程序之间传递消息。
2.构建实时流处理,对数据流进行转换或反应。

四个核心的API:
Producer API(输出向),Consumer API(输入向),Streams API(输入&&输出向),Connector API(输入||输出向)

https://www.orchome.com/5

Kafka的安装:
https://blog.csdn.net/m0_37738114/article/details/80405068
https://blog.csdn.net/zajbetterme/article/details/84553594
安装zookeeper会报无法找到主类错误,换用低版本的
kafka报无法识别 zookeeper命令,使用新版本的命令

spring boot 与kafka的整合:
1.引入依赖
2.在配置文件中配置spring.kafka......
3.创建生产者
4.配置消费者组件(component),注意需指明消费组。

原文地址:https://www.cnblogs.com/zd540/p/11288232.html

时间: 2024-07-30 22:04:30

Spring Boot 之 Kafka的相关文章

spring boot 整合kafka 报错 Exception thrown when sending a message with key='null' and payload=JSON to topic proccess_trading_end: TimeoutException: Failed to update metadata after 60000 ms.

org.springframework.kafka.support.LoggingProducerListener- Exception thrown when sending a message with key='null' and payload='{"dataDts":["20180329","20180328","20180327","20180326","20180323"]

Kafka学习--spring boot 整合kafka

一.启动kafka 启动kafka之前一定要启动zookeeper,因为要使用kafka必须要使用zookeeper. windows环境下启动,直接使用kafka自带的zookeeper: E:\kafka_2.12-2.4.0\bin\windows  zookeeper-server-start.bat ..\..\config\zookeeper.properties 接下来启动kafka E:\kafka_2.12-2.4.0\bin\windows  kafka-server-sta

Spring boot 集成Kafka

搭建Kafka集群,参考: https://www.cnblogs.com/jonban/p/kafka.html 源码示例如下: 1.新建 Maven 项目 kafka 2.pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http:/

kafka学习(五)Spring Boot 整合 Kafka

一.创建Spring boot 工程 创建过程不再描述,创建后的工程结构如下: POM文件中要加入几个依赖: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sch

spring boot整合kafka

最近项目需求用到了kafka信息中间件,在此做一次简单的记录,方便以后其它项目用到. 引入依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> 配置文件 kafka.consumer.servers=127.0.0.1:9092 kafka.consumer.ena

spring boot 集成kafka (多线程,消费者使用kafka的原生api实现,因为@KakfkaListener修改groupId无效)

application-test.properties 1 #kafka 2 kafka.consumer.zookeeper.connect=*:2181 3 kafka.consumer.servers=*:9092 4 kafka.consumer.enable.auto.commit=true 5 kafka.consumer.session.timeout=6000 6 kafka.consumer.auto.commit.interval=1000 7 #保证每个组一个消费者消费同一

spring boot 配置使用kafka

启动kafka正常 1.创建一个spring boot项目 2.配置使用kafka 引入依赖(gradle) implementation 'org.springframework.kafka:spring-kafka' 添加配置文件(全部使用java配置) KafkaConfig.java @Configuration@EnableKafkapublic class KafkaConfig { private static final String KAFKA_SERVERS_CONFIG =

Spring Boot Kafka

1.创建集群 http://kafka.apache.org/documentation/#quickstart 有一句我觉得特别重要: For Kafka, a single broker is just a cluster of size one. 1.1.命令行操作 #解压文件 tar -zxf kafka_2.11-1.1.0.tgz cd kafka_2.11-1.1.0 #启动Zookeerper bin/zookeeper-server-start.sh config/zookee

面试那点小事,你从未见过的spring boot面试集锦(附详细答案)

一, 什么是spring boot? 多年来,随着新功能的增加,spring变得越来越复杂.只需访问页面https://spring.io/projects,我们将看到所有在应用程序中使用的不同功能的spring项目.如果必须启动一个新的spring项目,我们必须添加构建路径或maven依赖项,配置application server,添加spring配置.因此,启动一个新的spring项目需要大量的工作,因为我们目前必须从头开始做所有事情.Spring Boot是这个问题的解决方案.Sprin