kafka的相关操作脚本

1、创建Topic
./kafka-topics.sh --zookeeper cc13-141:2182 --topic mytopic --replication-factor 1 --partitions 1 --create

2、Topic列表
./kafka-topics.sh --zookeeper cc13-138:2181 --list

3、创建生产者
./kafka-console-producer.sh --broker-list cc13-141:9092 --topic mytopic

4、创建消费者
./kafka-console-consumer.sh --zookeeper c13-138:2181 --topic mytopic
--from-beginning 每次都是从开始位置消费，在生产环境下不建议这样使用。

5、查看指定topic
./kafka-topics.sh --describe --zookeeper c13-138:2181 --topic mytopic

6、删除topic
./kafka-topics.sh --delete --zookeeper c13-138:2181--topic mytopic

7、显示出Consumer的Group、Topic、分区ID、分区对应已经消费的Offset、logSize大小，Lag以及Owner等信息。
使用脚本：kafka-consumer-offset-checker.sh
./kafka-consumer-offset-checker.sh --zookeeper c13-138:2181,c13-139:2181,c13-141:2181 --topic mytopic --group xb_id --broker-info

8、有时候我们需要验证日志索引是否正确，或者仅仅想从log文件中直接打印消息。
使用脚本：kafka-run-class.sh
./kafka-run-class.sh kafka.tools.DumpLogSegments
./kafka-run-class.sh kafka.tools.DumpLogSegments /nodedata/kafka/kafka-logs/xb_topic-0/00000000000000000033.log
./kafka-run-class.sh kafka.tools.DumpLogSegments --files /nodedata/kafka/kafka-logs/xb_topic-0/00000000000000000033.log --print-data-log

9、导出Zookeeper中Group相关的偏移量。有时候我们需要导出某个Consumer group各个分区的偏移量。
使用脚本：kafka-run-class.sh
./kafka-run-class.sh kafka.tools.ExportZkOffsets
./kafka-run-class.sh kafka.tools.ExportZkOffsets --group xb_id --zkconnect c13-138:2181,c13-139:2181,c13-141:2181 --output-file ~/offset
vim ~/offset

10、这个工具主要作用是从一个Kafka集群里面读取指定Topic的消息，并将这些消息发送到其他集群的指定topic中。
使用脚本：./kafka-replay-log-producer.sh

11、kafka-simple-consumer-shell.sh工具主要是使用Simple Consumer API从指定Topic的分区读取数据并打印在终端。
使用脚本：./kafka-simple-consumer-shell.sh --broker-list c13-141:9092 --topic mytopic --partition 0

12、kafka.tools.UpdateOffsetsInZK工具可以更新Zookeeper中指定Topic所有分区的偏移量，可以指定成 earliest或者latest
使用工具：./kafka-run-class.sh kafka.tools.UpdateOffsetsInZK

最后再注意kafka的启动和停止。
启动kafka： ./kafka-server-start.sh /kafka/config/server.properties >/dev/null 2>&1 &
停止kafka： 直接kill掉进程就行。

原文地址：https://www.cnblogs.com/newlangwen/p/12184382.html

时间： 2024-07-31 06:11:45

kafka的相关操作脚本的相关文章

WebView中的视频全屏的相关操作

最近工作中,基本一直在用WebView,今天就把它整理下: WebView 顾名思义,就是放一个网页,一个看起来十分简单,但是用起来不是那么简单的控件. 首先你肯定要定义,初始化一个webview,其实网上的例子很多,我这里就简单的把一些WebView 中可能会用到的的很重要的属性以及支持全屏播放视频该怎么实现的代码粘出来,直接放到项目中去就行了 <span style="white-space:pre"></span><pre name="co

JS中字符串的相关操作

(转自:http://www.cnblogs.com/zhaoxinxin/articles/1402733.html) 一.字符串的创建 创建一个字符串有几种方法. 最简单的是用引号将一组字符包含起来,可以将其赋值给一个字符串变量. var myStr = "Hello, String!"; 可以用双引号或单引号将字符串包含,但要注意,作为界定字符串的一对引号必须是相同的,不能混用. 像var myString = "Fluffy is a pretty cat.'; 这样

大开测试：性能—如何调整经常用到的相关协议脚本模板（连载4）

7.4  如何调整经常用到的相关协议脚本模板 1．问题提出 在应用LoadRunner VuGen过程中,可能经常会用到一些非系统函数,同时想加入一些注解信息和日志输出信息,将输出日志信息条理化,方便调试和分析,那么有什么方法将我们经常用到的协议脚本模板调整变成符合要求的脚本模板呢? 2．问题解答 可以针对自己经常用到的协议,加入必要注解,引用经常会用到的函数库文件,条理化日志输出信息等.下面仅以调整Web(HTTP/HTML)协议脚本模板为例. 首先,找到LoadRunner安装目录下的Tem

linux在shell date获取时间的相关操作

获得当天的日期 date +%Y-%m-%d 输出: 2011-07-28 将当前日期赋值给DATE变量DATE=$(date +%Y%m%d) 有时候我们需要使用今天之前或者往后的日期,这时可以使用date的 -d参数 获取明天的日期 date -d next-day +%Y%m%d 获取昨天的日期 date -d last-day +%Y%m%d 获取上个月的年和月 date -d last-month +%Y%m 获取下个月的年和月date -d next-month +%Y%m 获取明年

Redis的相关操作

参考文献:http://www.runoob.com/redis/redis-transactions.html redis下载(Windows安装)D:\downloads\redis>redis-server.exe redis.windows.conf(启动服务)打开另一个cmd终端:D:\downloads\redis>redis-cli(打开本地连接)D:\downloads\redis>redis-cli.exe -h 127.0.0.1 -p 6379(打开远程连接,然后打

DjangoORM的相关操作

DjangoORM的相关操作 在python脚本中直接调用Django环境 import os if __name__ == "__main__": os.environ.setdefault("DJANGO_SETTINGS_MODULE", "orm.settings") import django django.setup() 一般操作 必知必会13条 class Person(models.Model): name = models.Ch

模块及模块的相关操作

一 .模块 1.语法: from  模块名  import  变量(函数,类)名 (1)函数() 2.函数的重命名 (1)from 模块名  import  变量(函数,类)名 as 变量(函数,类)名 3  from  模块名 import  * (1) 可以导入模块中的所有内容 (2) __all__["变量名(函数名, 类名)"], 可以控制*导入的内容 4.多行导入和重命名 (1)from  模块名 import 变量名(函数名,类名) as 新的名,变量名(函数名,类名) a

（1）spark核心RDD的概念解析、创建、以及相关操作

spark核心之RDD 什么是RDD RDD指的是弹性分布式数据集(Resilient Distributed Dataset),它是spark计算的核心.尽管后面我们会使用DataFrame.Dataset进行编程,但是它们的底层依旧是依赖于RDD的.我们来解释一下RDD(Resilient Distributed Dataset)的这几个单词含义. 弹性:在计算上具有容错性,spark是一个计算框架,如果某一个节点挂了,可以自动进行计算之间血缘关系的跟踪 分布式:很好理解,hdfs上数据是跨

二叉树的相关操作

#include<stdio.h> #include<malloc.h> #define MAXSIZE 20 typedef char TEelemtype; typedef struct BiTNode{ TEelemtype data; struct BiTNode *lchild,*rchild; }BiTNode,*BiTree; //队列的方式 typedef struct queueelem { BiTNode* b[MAXSIZE]; int front,rear;