kafka深度研究之路(5)-kafka新版常用命令汇总

小结:
1/列出topic的命令为:
kafka-topics.sh --zookeeper 10.211.55.11:2181,10.211.55.12:2181,10.211.55.13:2181/kafkagroup --list
2/删除topic的命令为:
kafka-topics.sh --delete --zookeeper 10.211.55.11:2181,10.211.55.12:2181,10.211.55.13:2181/kafkagroup --topic topic-majihui
3/创建topic命令如下:
kafka-topics.sh --create --zookeeper 10.211.55.11:2181,10.211.55.12:2181,10.211.55.13:2181/kafkagroup --partitions 30 --replication-factor 3 --topic topic-by-majihui
4/查看topic的详情 包括 partition和repilce的分配位置
kafka-topics.sh --zookeeper 10.211.55.11:2181,10.211.55.12:2181,10.211.55.13:2181/kafkagroup --describe --topic topic-by-majihui
5/在其中一个broker上创建一个生产者 终端
kafka-console-producer.sh --topic topic-by-majihui --broker-list kafka01-55-11:9092,kafka02-55-12:9092,kafka03-55-13:9092
接下来需要验证 验证消息生产成功命令如下:
kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 10.211.55.11:9092 --topic topic-by-majihui --time -1

6/启动终端的消费者 //总结:–from-beginning参数如果有表示从最开始消费数据,旧的和新的数据都会被消费,而没有该参数表示只会消费新产生的数据
kafka-console-consumer.sh --bootstrap-server kafka01-55-11:9092,kafka02-55-12:9092,kafka03-55-13:9092 --topic topic-by-majihui --from-beginning
//启动一个新的消费者 让他属于某个消费组 new-consumer-majihui
kafka-console-consumer.sh --bootstrap-server 10.211.55.11:9092 --consumer-property group.id=new-consumer-majihui --consumer-property client.id=new-consumer-cl --topic topic-by-majihui
此时去执行了列出消费者 就会看到:
[[email protected] ~]$ kafka-consumer-groups.sh --bootstrap-server kafka01-55-11:9092,kafka02-55-12:9092,kafka03-55-13:9092 --list
new-consumer-majihui

7/列出消费组 //查看有哪些消费组在消费消息 问题 如何创建一个消费组?
kafka-consumer-groups.sh --bootstrap-server kafka01-55-11:9092,kafka02-55-12:9092,kafka03-55-13:9092 --list
kafka-consumer-groups.sh --bootstrap-server tencent-kafka01-39-110:9092 --list
8/查看某个消费组的消费进度 消费详情
kafka-consumer-groups.sh --bootstrap-server kafka01-55-11:9092,kafka02-55-12:9092,kafka03-55-13:9092 --describe --group console-consumer-120
//这个 console-consumer-120 是上面这个查看消费组查出来的
9/查看topic某分区偏移量最大(小)值
kafka-run-class.sh kafka.tools.GetOffsetShell --topic topic-by-majihui --time -1 --broker-list kafka01-55-11:9092,kafka02-55-12:9092,kafka03-55-13:9092 --partitions 0
注: time为-1时表示最大值,time为-2时表示最小值
10/查看kafka某分区日志具体内容 index 和 log 文件的具体内容查看
kafka-run-class.sh kafka.tools.DumpLogSegments --files /tmp/kafka-logs/firsttopic-0/00000000000000000000.log --print-data-log > 00000000000000000000.txt0
11/kafka-run-class.sh kafka.tools.DumpLogSegments --files /data/kafka/kafka-logs/topic-by-majihui-9/00000000000000000000.index --print-data-log > 00000000000000000000index.txt
12/平衡leader
kafka-preferred-replica-election.sh --bootstrap-server kafka01-55-11:9092,kafka02-55-12:9092,kafka03-55-13:9092

原文地址:https://blog.51cto.com/12445535/2445057

时间: 2024-10-31 12:10:59

kafka深度研究之路(5)-kafka新版常用命令汇总的相关文章

kafka深度研究之路(4)-kafka和zookeeper 配置文件详细说明(来龙去脉)之zk配置

目录1/Zookeeper配置文件详解2/kafka配置文件参数详解3/生产环境 zk 与 kafka 配置文件备注4/kafka命令详解 1/安装完zookeeper 对其配置文件详解 zookeeper-3.4.14.tar.gz在安装zookeeper的时候我们要去修改zookeeper预装是conf目录下面的zoo_sample.cfg这个文件,首先我们要做的事就是重命名这个文件[[email protected] conf]$ cp zoo_sample.cfg zoo.cfg[[em

kafka深度研究之路(3)-kafka 与zk 集群启停脚本

编写 kafka集群 启动 和 停止脚本 [[email protected] scripts]$ cat kafka_cluster_stop.sh #!/bin/bash -x #date 20190801 #autnor majihui clush -g all "source /etc/profile ;jps|grep Kafka|awk '{print $1}' | xargs kill -9 " [[email protected] scripts]$ cat kafka

kafka深度研究之路(4)-kafka和zk 配置文件详细说明(来龙去脉)之kafka配置

2/kafka配置文件参数详解 默认必须配置的参数 默认 kafka server.properties 配置如下: ############################# Server Basics ############################# # 服务器基础知识 # The id of the broker. This must be set to a unique integer for each broker. # 必须为每个代理设置一个唯一的整数 broker.id=

kafka深入研究之路(2) kafka简介与专业术语解释说明

目录:1.kafka简介 什么是kafka? 设计目标是什么?2.kafka的优缺点3.kafka中专业术语解释说明 官方网站: http://kafka.apache.org/introkafka中文教程 http://orchome.com/kafka/index 1/ kafka 简介Kafka是最初由Linkedin公司开发,是一个分布式.分区的.多副本的.多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志.访问日志,消息服务等

kafka深入研究之路(1)-剖析各原理

kafka深入研究之路(1)-剖析各原理 引言:来到了新公司,需要对kafka组件有很深的研究,本人之前对老版的kafka有过一定的研究,但是谈不上深入,新公司力推kafka,比较kafka作为消息系统在目前的市场上的占有率还是很高的,可以看本人之前kafka的博客中有关kafka的优点和为什么要用kafka.在众多优点中,我本人认为最重要的2个优点如下: 1.削峰数据库的处理能力是有限的,在峰值期,过多的请求落到后台,一旦超过系统的处理能力,可能会使系统挂掉. 如上图所示,系统的处理能力是 2

kafka深入研究之路(1)-剖析各原理02

kafka深入研究之路(1)-剖析各原理02 接着上一文的内容 继续升入研究 topic如何创建于删除的 topic的创建 具体流程文字为: 1. controller 在 ZooKeeper 的 /brokers/topics 节点上注册 watcher,当 topic 被创建,则 controller 会通过 watch 得到该 topic 的 partition/replica 分配. 2. controller从 /brokers/ids 读取当前所有可用的 broker 列表,对于 s

Kafka深度解析

Kafka深度解析 原创文章,转载请务必将下面这段话置于文章开头处(保留超链接).本文转发自Jason's Blog,原文链接 http://www.jasongj.com/2015/01/02/Kafka深度解析 背景介绍 Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统.主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率.即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输 支持Kafk

Kafka深度解析(如何在producer中指定partition)(转)

原文链接:Kafka深度解析 背景介绍 Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统.主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率.即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输 支持Kafka Server间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输 同时支持离线数据处理和实时数据处理 为什么要用消息系统 解耦在项目启动之初来预测将来项目会碰到

kafka安装及常用命令

kafka是一个开源的分布式消息队列 他提供可靠的集群容错机制,并保证故障切换时的数据完整性. 无论从性能.可靠性.易用性都强过ActiveMQ(client的API感觉还是不如ActiveMQ好用,文档也没有更新到最新版) 下面简单记录一下安装步骤和常用命令. 1.安装 http://kafka.apache.org/documentation.html 下载压缩包并解压 可以解压到 /usr/local/kafka 2.配置 vim conf/server.properties #设置bro