Kafka创建&查看topic,生产&消费指定topic消息

启动zookeeper和Kafka之后,进入kafka目录(安装/启动kafka参考前面一章:https://www.cnblogs.com/cici20166/p/9425613.html)

1.创建Topic

  1)运行命令: ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1

  2181 是zookeeper 端口

  图示为创建成功:

  

2.查看Topic

  1)运行命令查看所有的topic: ./bin/kafka-topics.sh --list --zookeeper localhost:2181

  结果如下图,表示共有test和test1两个topic:

  

3.用Kafka的console-producer在topic test1 生产消息

  新建终端窗口,到/Applications/kafka目录,运行命令:./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1

  然后输入想要产生的消息内容(如 hello world),回车:

    

4.用Kafka的console-consumer 消费topic test1的消息

  新建终端窗口,到/Applications/kafka目录,

  运行命令:./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test1 --from-beginning

  (9092是kafka单机启动的端口;--bootstrap-server   新旧kafka版本不一样,这个是新版本的命令)

  

  ps. 1)若producer 和 consumer 两个窗口同时打开,在producer输入信息,consumer会立即消费信息并打印在终端

     2)新开一个终端,去消费同一个topic,刚刚已经消费过的消息还会被新终端继续消费。也就是说,消息被消费过后不会立即被删除。           

    

原文地址:https://www.cnblogs.com/cici20166/p/9426417.html

时间: 2024-11-05 18:58:41

Kafka创建&查看topic,生产&消费指定topic消息的相关文章

Kafka使用总结与生产消费Demo实现

什么是kafka Kafka官网自己的介绍是:一个可支持分布式的流平台.kafka官网介绍 kafka三个关键能力: 1.发布订阅记录流,类似于消息队列与企业信息系统 2.以容错的持久方式存储记录流 3.对流进行处理 kafka通常应用再两大类应用中: 1.构建实时流数据管道,在系统或应用程序之间可靠地获取数据 2.构建转换或响应数据流的实时流应用程序 kafka的一些基本概念: 1.Kafka作为一个集群运行在一个或多个服务器上,这些服务器可以跨越多个数据中心. 2.Kafka集群将记录流存储

kafka Consumer分区数与多线程消费topic

单线程消费数据适合在本地跑. 参考文档: http://kafka.apache.org/documentation.html 对于一个topic,可以发送给若干个partitions. partition在创建topic的时候就指定分区的数目. 分区.Offset.消费线程.group.id的关系 1)一组(类)消息通常由某个topic来归类,我们可以把这组消息"分发"给若干个分区(partition),每个分区的消息各不相同: 2)每个分区都维护着他自己的偏移量(Offset),记

[bigdata] kafka基本命令 -- 迁移topic partition到指定的broker

版本 0.9.2 创建topic bin/kafka-topics.sh --create --topic topic_name --partition 6 --replication-factor 1 -zookeeper 10.27.100.207:2181,10.27.100.144:2181,10.27.100.145:2181 开启console consumer查看消息 bin/kafka-console-consumer.sh --topic rt_live_pcweb -zook

【转】Kafka某topic无法消费解决方案&Kafka某Topic数据清理

由于项目原因,最近经常碰到Kafka消息队列某topic在集群宕机重启后无法消费的情况.碰到这种情况,有三步去判断原因所在: step A:如果用kafka串口(即console-consumer)是可以正常消费该topic,则排除kafka集群出现故障 step B:若平台业务能正常消费其他topic的消息,则排除平台业务代码逻辑问题 step C:不到万不得已,则只能手动删除kafka的对应topic的Log,但是清理Kafka Log又不能单纯的去删除中间环节产生的日志,中间关联的很多东西

Kafka 通过python简单的生产消费实现

使用CentOS6.5.python3.6.kafkaScala 2.10  - kafka_2.10-0.8.2.2.tgz (asc, md5) 一.下载kafka 下载地址 https://kafka.apache.org/downloads 里面包含zookeeper 二.安装Kafka 1.安装zookeeper mkdir /root/kafka/ tar -vzxf kafka_2.10-0.8.2.2 cd /root/kafka/kafka_2.10-0.8.2.2 cat 

kafka全部数据清空与某一topic数据清空

1. Kafka全部数据清空 kafka全部数据清空的步骤为: 停止每台机器上的kafka: 删除kafka存储目录(server.properties文件log.dirs配置,默认为“/tmp/kafka-logs”)全部topic的数据目录: 删除zookeeper上与kafka相关的znode节点: 重启kafka.如果删除topic还在则需要重启zookeeper: 这里以192.168.187.201 node1.192.168.187.202 node2.192.168.187.20

RocketMQ专题2:三种常用生产消费方式(顺序、广播、定时)以及顺序消费源码探究

顺序.广播.定时任务 前插 ? 在进行常用的三种消息类型例子展示的时候,我们先来说一说RocketMQ的几个重要概念: PullConsumer与PushConsumer:主要区别在于Pull与Push的区别.对于PullConsumer,消费者会主动从broker中拉取消息进行消费.而对于PushConsumer,会封装包含消息获取.消息处理以及其他相关操作的接口给程序调用 Tag: Tag可以看做是一个子主题(sub-topic),可以进一步细化主题下的相关子业务.提高程序的灵活性和可扩展性

[oracle]创建查看 LOCAL INDEX

create index IDX_T_GPS_CPH_local on T_GPS (CPH) local; create index IDX_T_GPS_SJ_local on T_GPS (SJ) local; select * from dba_ind_partitions where index_owner ='GPSV4_HIS' order by partition_name 从结果推看,建立Local索引时如果不指定分区,则每个分区上都建立一个. ----------- http:

Java生产消费模型—ArrayBlockingQueue详解

背景需求 生产消费模型是线程协作关系中十分常见的一种.通常,一个(多个)线程负责生产,一个(多个)线程可以从生产的列表中获取并消费:生产的内容可以按需求设计,可以是一个Integer,可以是String,可以Object,也可以是任意类型的对象,只要有生产消费的需求. 例如,厨师负责生产美食,放在桌子上,服务员负责取走(消费)美食.这里,厨师就扮演着生产者的身份,美食是生产的内容,服务员就扮演着消费者的身份. 下面用这个厨师与服务员的案例来分析下生产消费模型需要实现哪些功能才能满足需求: 如何实