kafka 相关命令 偏移重置

相关命令：

主题相关命令：

  • kafka 启动：

    kafka-server-start.sh  ./config/server.properties 1>/dev/null 2>&1 &
  • kafka 停止： 
    kill pid
  • 创建topic replication 取决于可用分区数 
    kafka-topics.sh  --create --zookeeper 10.202.13.196:2181 --replication-factor 1 --partitions 1 --topic cjw-test
  • 删除topic 
    kafka-topics.sh  --delete --zookeeper 10.202.13.196:2181 --topic cjw-test
  • 获取创建分区相关参数 
    kafka-topics.sh  --help
  • 列出分区信息 
    kafka-topics.sh --list --zookeeper 10.202.13.196:2181
  • 列出节点详细信息 
    kafka-topics.sh --describe cjw-test --zookeeper 10.202.13.196:2181
##或者
kafka-topics.sh --describe  --bootstrap-server 10.202.13.28:9092 --topic  cjw-test
  • 写数据 
    kafka-console-producer.sh  --broker-list 10.202.13.27:9092 --topic cjw-test
  • 推送测试数据 
    kafka-producer-perf-test.sh  --topic  cjw-test --num-records  50000 --throughput -1 --record-size 100 --producer-props bootstrap.servers=10.202.13.27:9092 acks=-1
  • 消费数据 
    kafka-console-consumer.sh  --bootstrap-server 10.202.13.27:9092 --topic cjw-test --from-beginning
##设置消费组
kafka-console-consumer.sh  --bootstrap-server 10.202.13.27:9092 --topic cjw-test --from-beginning  --consumer-property  group.id=cjw
  • 查看消费者的 消费进度 
    ## group需要 启动时设置相关的 consumer-properties group.id
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group cjw --describe
  • 重置消费进度 
    ## 详情通过help 命令查看
## all topic  重置到最早消费进度
kafka-consumer-groups.sh  --bootstrap-server 10.202.13.27:9092 --group cjw --reset-offsets --all-topics --to-earliest --execute
##指定主题
kafka-consumer-groups.sh  --bootstrap-server 10.202.13.27:9092 --group cjw --reset-offsets --topic cjw-test --to-earliest --execute
##指定偏移量
kafka-consumer-groups.sh  --bootstrap-server 10.202.13.27:9092 --group cjw --reset-offsets --topic cjw-test --to-offset 2 --execute
##指定主题、分区、消费偏移
kafka-consumer-groups.sh  --bootstrap-server 10.202.13.27:9092 --group cjw --reset-offsets --topic cjw-test:1 --to-offset 2 --execute

zookeeper相关

  • 查看kafka分区：

    ls /brokers/topics/cjw-test/partitions
  • 查看消费组信息 
    ls /consumers

kafka导入 导出数据

  • 创建连接器

    ## 第一个配置为基本配置 kafka 代理、数据的序列化格式
## 第二个配置源文件  和相关topic名称
## 第三个配置文件 为目标文件相关sink
connect-standalone.sh /usr/local/kafka_2.12-2.3.0/config/connect-standalone.properties  /usr/local/kafka_2.12-2.3.0/config/connect-file-source.properties /usr/local/kafka_2.12-2.3.0/config/connect-file-sink.properties  1>/dev/null 2>&1 &
  • 消费相关数据 
    ##  connect-test  可以设置为自己的topic
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning

原文地址：https://www.cnblogs.com/lianshan/p/12016553.html

时间： 2024-10-13 18:09:14

kafka 相关命令 偏移重置的相关文章

kafka相关命令整理

1.增加kafka分区 ./kafka-topics.sh --zookeeper 192.168.2.70 --alter  --topic us_forward  --partitions 24 2.查看kafka的topic ./kafka-topics.sh --zookeeper 192.168.2.70 --list 3.查看单个topic的分区,也可以不加topic ./kafka-topics.sh --zookeeper 192.168.2.70 --describe --to

Redis（二）相关命令

(一)简介 Redis 命令用于在 redis 服务上执行操作. 要在 redis 服务上执行命令需要一个 redis 客户端.Redis 客户端在我们之前下载的的 redis 的安装包中.Redis 客户端的基本语法为:redis-cli [[email protected] ~]# /usr/local/redis-3.2.9/src/redis-cli  127.0.0.1:6379> ping PONG 127.0.0.1:6379> 远程登录为: [[email protected]

ACL最大权限及相关命令

先查看目录vampire的acl权限 1 [[email protected] home]# getfacl vampire 2 # file: vampire/ 3 # owner: vampire 4 # group: vampire 5 user::rwx 6 user:iaknehc:r-x 7 group::--- 8 mask::r-x 9 other::--- mask是用来指定最大有效权限的,如果给用户赋予了ACL权限,是需要和mask的权限"相与"才能得到用户的真正权

redis cluster (2) 相关命令参考及慢查询

实例关闭命令 redid-cli  shutdown  说明:关闭时强制 bgsave 所以需要一些时间    注:在start时,需要先加载数据到内存,数据加载完毕之后 redis 才会listen 端口 集群相关命令 1.CLUSTER INFO 打印集群的信息   2.CLUSTER NODES 列出集群当前已知的所有节点(node),以及这些节点的相关信息.  3.CLUSTER FAILOVER 手动故障转移,需要在转移的主节点的从节点上执行 节点 相关命令 1.CLUSTER MEE

MBR与GPT分区的区别及磁盘分区相关命令

一.MBR分区结构 主引导记录(Master Boot Record,缩写:MBR),又叫做主引导扇区,是目前比较流行的一种分区结构.磁盘的0磁道0扇区称为MBR,它的大小是512字节,这个区域被分为三个部分: 第一部分为boot loader(主引导程序),占446字节: 第二部分为Partition table(分区表),即DPT,占64字节,每个分区项占用16个字节,这16个字节中存有活动状态标志.文件系统标识.起止柱面号.磁头号.扇区号.隐含扇区数目(4个字节).分区总扇区数目(4个字节

Linux基础--进程管理相关命令介绍(2)

本文主要介绍了Linux中进程管理的相关命令,涉及到的主要命令有top,vmstat等. (1)top ①功能:用来查看CPU,内存以及进程的状态. ②用例: ③相关注释: load average表示负载,三个数值分别表示第1分钟,第5分钟,第10分钟 Cpu中us表示用户空间程序占用百分比,sy表示内核模式占用百分比,ni表示调整NICE值所占用的    CPU百分比,id表示CPU的空闲比例,wa表示等待磁盘IO完成所占用的时间比例,hi表示硬件中断占     据的百分比,si表示软中断所

linux查看硬件和系统信息的相关命令简介

linux查看硬件和系统信息的相关命令简介 <转> [[email protected] ~] # uname -a               # 查看内核/操作系统/CPU信息的linux系统信息命令[[email protected] ~] # head -n 1 /etc/issue   # 查看操作系统版本,是数字1不是字母L[[email protected] ~] # cat /proc/cpuinfo      # 查看CPU信息的linux系统信息命令[[email prot

linux下查找进程及终止进程操作的相关命令

使用linux操作系统,难免遇到一些软件"卡壳"的问题,这时就需要使用linux下强大的kill命令来结束相关进程.这在linux系统下是极其容易的事情,你只需要kill xxx即可,这里xxx代表与此软件运行相关的进程PID号.首先,我们需要使用linux下另外一个命令ps查找与进程相关的PID号:ps aux | grep program_filter_word1)ps a 显示现行终端机下的所有程序,包括其他用户的程序.2)ps -A 显示所有程序.3)ps c 列出程序时,显示

redis-key相关命令

本篇主要介绍和redis的key进行操作的相关命令. 命令 描述 复杂度 返回值 DEL key [key ...] 删除给定的一个或多个 key .不存在的 key 会被忽略.删除单个列表.集合.有序集合或哈希表类型的 key ,时间复杂度为O(M), M 为以上数据结构内的元素数量. O(N),N为被删除的key的数量.删除单个字符串类型的 key ,时间复杂度为O(1). 被删除 key 的数量. DUMP key 序列化给定key ,并返回被序列化的值,使用 RESTORE命令可以将这个