【Kafka】常用命令

创建Topic

kafka-topics.sh --create --bootstrap-server localhost:9092 --topic abtest  --partitions 2 --replication-factor 1   

查看Topic都有哪些

kafka-topics.sh --list --zookeeper localhost:2181

生产者,将文件中的数据写入Kafka生产者

kafka-console-producer.sh --broker-list localhost:9092 --topic order_topic < abc.txt

消费者,从最开始的位移,消费Topic中的数据

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic order_topic  --from-beginning

重置Consumer Group的Offset到最新位移

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group group_name_1 --reset-offsets --topic order_topic --to-latest --execute

查看消费者组Consumer Group位移

[[email protected] ~]$ kafka-consumer-groups.sh --bootstrap-server  host1:9092,host2:9092  --describe --group groupname_1

TOPIC                 PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID

order                 5          20781271        20781556        285             -               -               -
order                 1          10553765        10554032        267             -               -               -
order                 2          10634508        10634808        300             -               -               -
order                 7          10375128        10375355        227             -               -               -
order                 6          10435147        10435467        320             -               -               -
order                 0          10640342        10640643        301             -               -               -
order                 3          13762141        13762478        337             -               -               -
order                 8          11176468        11176707        239             -               -               -
order                 4          10443088        10443320        232             -               -               -

原文地址:https://blog.51cto.com/10120275/2436999

时间: 2024-10-06 22:17:17

【Kafka】常用命令的相关文章

kafka常用命令

到kafka目录下面执行命令:nohup /usr/soft/kafka/kafka-server-start.sh /usr/soft/kafka/config/server.properties & 注意:会把生成的日志存放在nohup.out下面 下面的这种方式更好: /usr/soft/kafka/bin/kafka-server-start.sh /usr/soft/kafka/config/server.properties > /dev/null 2>&1 &am

KAFKA 常用命令

转自:http://blog.csdn.net/xiaolang85/article/details/22194571 ##查看topic分布情况kafka-list-topic.sh bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有topic的分区情况) bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.1

kafka常用命令(cdh5.10.0+kafka)

参考资料:http://kafka.apache.org/quickstart 进入kafka安装目录(CDH安装路径为:/opt/cloudera/parcels/KAFKA):进入bin目录: cd /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/bin 创建topic,一个备份,6个分区 kafka-topics --create --zookeeper personas1:2181 --replication-factor 1 --p

大数据入门第十七天——storm上游数据源 之kafka详解(二)常用命令

一.kafka常用命令 1.创建topic bin/kafka-topics.sh --create --topic topic_1 --partitions 4 --replication-factor 2 --zookeeper mini1:2181 // 如果配置了PATH可以省略相关命令路径,相关命令参数暂不深入,字面意思也可以大概推断.后续给出完整参数参考. 2.查看所有topic bin/kafka-topics.sh --list --zookeeper mini1:2181 3.

kafka安装及常用命令

kafka是一个开源的分布式消息队列 他提供可靠的集群容错机制,并保证故障切换时的数据完整性. 无论从性能.可靠性.易用性都强过ActiveMQ(client的API感觉还是不如ActiveMQ好用,文档也没有更新到最新版) 下面简单记录一下安装步骤和常用命令. 1.安装 http://kafka.apache.org/documentation.html 下载压缩包并解压 可以解压到 /usr/local/kafka 2.配置 vim conf/server.properties #设置bro

Kafka系列(二)特性和常用命令

Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有),备份的个数可以通过broker配置文件来设定(replication-factor的参数配置指定).leader处理所有的read-write请求,follower需要和leader保持同步.Follower和consumer一样,消费消息并保存在本地日志中,leader负责跟踪所有的follower状态,如果f

flume、kafka、storm常用命令

出自:http://my.oschina.net/jinp/blog/350293 一些常用命令: storm相关: storm nimbus >/dev/null 2>&1 & storm supervisor >/dev/null 2>&1 & storm ui >/dev/null 2>&1 & 关闭storm ps -ef|grep apache-storm-0.9.2-incubating|grep -v gre

大数据每日干货第四天(linux基础之一目录结构与常用命令)

为了和qq空间同步,也写的第四天,前面几天明天会发布,本来打算把每天学的东西记录下来,通过朋友给的建议要发的话稍微系统化下,从大数据需要的linux基础,到离线数据分析包括hadoop.hive.flume.hbase等,再到实时数据分析包括storm.kafka.redias等,最后的内存计算部分包括scala.spark.机器学习,这样循序渐进,能够系统化学习. linux基础部分会分几天进行分享,今天主要讲解的是linux介绍,目录机构与常用的命令. 1.linux介绍 lLinux是一种

linux常用命令--netstat

简介 Netstat 命令用于显示各种网络相关信息,如网络连接,路由表,接口状态 (Interface Statistics),masquerade 连接等等. 常用参数 -a (all)显示所有选项,提示:LISTEN和LISTENING的状态只有用-a或者-l才能看到-t (tcp)仅显示tcp相关选项-u (udp)仅显示udp相关选项-n 拒绝显示别名,能显示数字的全部转化成数字.-l 仅列出有在 Listen (监听) 的服務状态 -p 显示建立相关链接的程序名-r 显示路由信息,路由

Linux常用命令(echo、date、ls、cd、history、cat)

一.linux常用命令有很多今天我们来总结一下常用的入门命令: 1.linux下关机命令:poweroff.init 0.halt.shutdown -h now 2.linux下重启命令:reboot.init 6.shutdown -r now 3.shutdown命令: 格式:shutdown  options TIME 其中options有以下几个: -r:执行重启 -c:取消shutdown命令 -h:执行关机 其中TIME有以下几个: now:表示现在 +m:相对时间表示法,从命令提