kafka控制台命令

Kafka 命令

Kafka启动的时候使用 –daemon 后台运行，其命令如下：

./kafka-server-start.sh –daemon ../config/server.properties

1)      查看当前某个group 消费的

./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group 1 --topic 000B_7F14

得到的结果为：

其中各参数解释如下：

Group:消费的group id

Topic:主题

Pid:分区

Offset:消费的数目

logSize:总数

lag:未消费的条数

在执行这条命令的时候得到下面的提示：

WARN WARNING: ConsumerOffsetChecker is deprecated and will be dropped in releases following 0.9.0. Use ConsumerGroupCommand instead. (kafka.tools.ConsumerOffsetChecker$)

也就是说在0.9版本之后，该命令已经被废弃了，所以，使用ConsumerGroupCommand命令取而代之。

2)      列出zk下的所有消费组

/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:19092 –list

得到结果为：

3)     
创建topic

./kafka-topics.sh
--create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 2
--topic 00137F1A

其中指定该topic分为两个区，只有一份数据。Replication有点类似mongodb中的副本集。

4)     
新增partition

新增之前，查看topic的详细信息如下：

Topic:2008_0020     PartitionCount:1      ReplicationFactor:2 Configs:

Topic: 2008_0020    Partition: 0       Leader: 2 Replicas: 2,1    Isr:
2,1

/kafka-topics.sh
--zookeeper 127.0.0.1:2181 --alter --partitions 3 --topic 2008_0020

原来只有1个parttions,现在增加到3个。

再次查看topic的信息：
Topic:2008_0020     PartitionCount:3      ReplicationFactor:2 Configs:

Topic: 2008_0020    Partition: 0       Leader: 2 Replicas: 2,1    Isr:
2,1

Topic: 2008_0020    Partition: 1       Leader: 0 Replicas: 0,1    Isr:
0,1

Topic: 2008_0020    Partition: 2       Leader: 1 Replicas: 1,2    Isr:
1,2

我们看到其topic的数目已经发生了改变。

5)     
查看topic的详细信息

/kafka-topics.sh
-zookeeper 127.0.0.1:2181 -describe -topic 000B_7F14

得到的结果如下：

Topic: 000B_7F14    PartitionCount:2      ReplicationFactor:1 Configs:

Topic: 000B_7F14    Partition: 0       Leader: 0 Replicas: 0        Isr:
0

Topic: 000B_7F14    Partition: 1       Leader: 1 Replicas: 1        Isr:
1

其中topic：主题名称

PartitionCount:分区数量

ReplicationFactor:表示该topic在不同的broker中需要保存几份，值为1，说明在一个broker中保存，当前使用的是0.10版本，即，kafka 已经能够支持在partition级别进行备份。

ISR:
in-sync replicas，副本集所在的服务器。表示的是当前有效的broker.

6)     
使用控制台生产数据

./kafka-console-producer.sh --broker-list 127.0.0.1:19092
--topic S96

然后在下面写入数据并换行，消费者将拿到数据

7)     
使用控制台消费数据

./kafka-console-consumer.sh
--zookeeper localhost:2181 --topic S96 
--from-beginning

如果后面加上from-beginning则会从最开始的位置进行消费

在使用这条命令的时候，在shell中会提示 using the
new consumer by passing [bootstrap-server] instead of [zookeeper]

这个bootstrap-server具体与zookeeper之间的差别是？

Zookeeper 是直接连接的zk，而bootstrap-server则是连接的broker的ip.因为在0.9之后，kafka使用了新的consumer
API进行消费。旧的API会逐步淘汰。

8)     
查看所有的topic

./kafka-topics.sh –zookeeper 127.0.0.1:2181
–list

得到结果为：

2008_0020

000B_7F14

__consumer_offsets

也可以从zk的节点topics中查看，具体的命令为：

ls /config/topics ,得到的结果如下：

[ 2008_0020, __consumer_offsets, 000B_7F14]

同样的，在/brokers/topics中能够得到当前的所有topic

9)     
查看某个分区的topic的偏移量最大最小值

./kafka-run-class.sh
kafka.tools.GetOffsetShell –topic 000B_7F14 –broker-list 127.0.0.1:19092 –partitions
0

上面的命令旨在查看000B_7F14的分区1中的最大最小偏移量，得到的结果为：

000B_7F14:0:5544

查看groupid下对该topic消费的情况，可以得到：

./kafka-run-class.sh
kafka.tools.ConsumerOffsetChecker –zookeeper 127.0.0.1:2181 –group 1 –topic
000B_7F14

Group       
Topic      Pid Offset       logSize         Lag             Owner

1     
000B_7F14      0   2094            5544            3450            none

可以看到当前的topic的最大值的确为5544

时间： 2024-10-17 21:10:16

kafka控制台命令的相关文章

浏览器控制台命令调试——console

控制台命令调试时通过浏览器开发工具中的控制台命令嵌入到JavaScript中,输出特定的信息或日志,从而达到调试的目的. 我们常用的Chrome和FireFox,都可以通过F12来打开开发工具. 下面简要介绍几个常用的控制台命令: (1)常规信息输出 console.log()是我们最常用的命令,只需要将我们希望输出的内容传进入即可: console.log("这是我要输出的信息"); 除了console.log()命令外,我们还有其它三种命令: console.info("

java环境变量配置问题，控制台命令‘java'可以运行，‘javac'不是内部或外部命令。

新系统每次装jdk都发现这个问题,很难受. jdk默认步骤安装,一切OK,环境变量找个网站copycopy,这就是问题所在,网路上大部分环境变量配置都是系统变量JAVA_HOME:Jdk路径,这个ok, 环境变量PATH:%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;这个就有问题了,后面的jre\bin中没有javac.exe,把前面的bin覆盖了,导致无法执行Javac, 接着是CLASSPATH:.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME

js调试系列: 控制台命令行API

上次初步介绍了什么是控制台<js调试系列: 初识控制台>,以及简单的 console.log 输出信息.最后还有两个小问题,我们就当回顾,来看下怎么操作吧. 先打开百度,然后按 F12 打开后,如果不是 Console 项的就点击 Console 这项,因为我们要在控制台操作..看到如下内容:好了我们先清空内容,可以右击选 Clear console 菜单,或者输入 clear() 都行.接着,我们输入 document.getElementById('kw1'); 然后回车,就可以看到 id

控制台命令Console详解

控制台命令Console详解 一 什么是 Console Console 是用于显示 JS和 DOM 对象信息的单独窗口.并且向 JS 中注入1个 Console 对象,使用该对象 可以输出信息到 Console 窗口中. 二 什么浏览器支持 Console 很多人可能都知道 Chrome 和 FireFox(FireBug)中都支持 Console.而其他浏览器都支 持不好.比如 IE8 自带的开发工具虽然支持 Console,但功能比较单调,显示对象的时候都是显示 [Object,Objec

如何：在 Winform 动态启动、控制台命令行？

需求   winForm 程序输出类型为 windows 程序(不是命令行程序)   在运行时想输入一些信息编译开发调试,如何实现这一功能 解答:  AllocConsole.FreeConsole 这两个 API 可以在任何时候调用和关闭 命令行. 代码演示:API 部分 using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.Runtime.InteropSe

KAFKA 常用命令

转自:http://blog.csdn.net/xiaolang85/article/details/22194571 ##查看topic分布情况kafka-list-topic.sh bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有topic的分区情况) bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.1

kafka基础命令

kafka名词解释 1.producer: 消息生产者,发布消息到 kafka 集群的终端或服务. 2.broker: kafka 集群中包含的服务器. 3.topic: 每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的. 4.partition: partition 是物理上的概念,每个 topic 包含一个或多个 partition.kafka 分配的单位是 partition. 5.consumer: 从 kafka 集群中消费消息的终端或服务. 6.C

闲云控制台（一）控制台命令解析框架

发布闲云控制台连载系列,会不定期加入新功能~ 先发一个命令解析的框架 /************************************************** *******************闲云万能控制台********************* ********* ********* 作者: 闲云野鹤 ********* QQ: 836663997 ********* QQ群: 116920287 欢迎加入 ********* 邮箱: [email protected]

kafka常用命令

到kafka目录下面执行命令:nohup /usr/soft/kafka/kafka-server-start.sh /usr/soft/kafka/config/server.properties & 注意:会把生成的日志存放在nohup.out下面 下面的这种方式更好: /usr/soft/kafka/bin/kafka-server-start.sh /usr/soft/kafka/config/server.properties > /dev/null 2>&1 &am