kafka zk常用命令

1  创建topic:

  kafka-topics.sh --create --zookeeper 3.3.3.3:2181 --replication-factor 1 --partitions 3 --topic test_one

  replication-factor 副本的个数 (因为创建的副本都是存储在其他broker的,所以这里配置的个数不能大于集群中的broker个数)

  partitions 分区个数

执行后的结构:

  drwxr-xr-x 2 root root 4096 8月 11 17:07 test_one-0/     第一个分区
  drwxr-xr-x 2 root root 4096 8月 11 17:07 test_one-1/     第二个分区
  drwxr-xr-x 2 root root 4096 8月 11 17:07 test_one-2/     第三个分区

2  生产消息(手动在命令行执行):kafka-console-producer.sh --broker-list 3.3.3.3:9092 --topic test_one

由于有三个分区,所以我们未手动指定消息的分区规则的情况下,消息会均匀的分发到三个分区,我们可以通过server.properties中log.dirs所配置目录下的  replication-offset-checkpoint文件查看各个分区的消息个数,如下:

  [email protected]:aaaa# cat replication-offset-checkpoint
  0
  3
  test_one 2 24
  test_one 0 24
  test_one 1 23

test_one为topicname,后面的0 1 2是分区号,后面的24 24 23就是当前这个分区的消息个数

3  查看topic的详细信息: kafka-topics.sh -describe -zookeeper 3.3.3.3:2181 -topic test_one

  # kafka-topics.sh -describe -zookeeper .3.3.3.3:2181 -topic test_one

  Topic:test_one PartitionCount:3 ReplicationFactor:1 Configs:
  Topic: test_one Partition: 0 Leader: 0 Replicas: 0 Isr: 0
  Topic: test_one Partition: 1 Leader: 0 Replicas: 0 Isr: 0
  Topic: test_one Partition: 2 Leader: 0 Replicas: 0 Isr: 0

   这个结果显示了分区的个数,哪个是主分区,那些是有效节点:

Partition:分区编号;

  Leader:当前分区编号的主分区

   Replicas:当前分区的所有节点(主节点+备节点)

   Isr:当前分区的所有节点中的有效节点

    判断是否有效节点的条件:1,与主节点保持心跳的节点;2,未同步的消息数量小于我们设置的阈值;3,当前节节点卡住的时间小于我们配置的阈值

  注:

    这里需要注意的是,kafka里所说的副本/leader/主节点/从节点等都是以分区为单位的,而不是topic;

4  登陆zk客户端查看topic等信息

  4.1  登陆客户端:zkCli.sh -server 192.168.138.131:2181

  4.2  查看根节点信息:[zk: 192.168.138.131:2181(CONNECTED) 0] ls /

    [zk: 3.3.3.3:2181(CONNECTED) 0] ls /
    [controller_epoch, controller, brokers, zookeeper, admin, isr_change_notification, consumers, config]

    可以使用ls + 路径查看需要的信息,如:ls /brokers/topics/test_one/partitions

    [zk: 3.3.3.3:2181(CONNECTED) 9] ls /brokers/topics/test_one/partitions
    [0, 1, 2]

原文地址:https://www.cnblogs.com/fpsfzy/p/9461359.html

时间: 2024-10-06 22:17:10

kafka zk常用命令的相关文章

kafka深度研究之路(5)-kafka新版常用命令汇总

小结:1/列出topic的命令为:kafka-topics.sh --zookeeper 10.211.55.11:2181,10.211.55.12:2181,10.211.55.13:2181/kafkagroup --list2/删除topic的命令为:kafka-topics.sh --delete --zookeeper 10.211.55.11:2181,10.211.55.12:2181,10.211.55.13:2181/kafkagroup --topic topic-maji

kafka的常用命令

在此目录下运行命令/opt/kafka_2.12-2.2.0/ 启动内置的zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties 启动kafka服务bin/kafka-server-start.sh config/server.properties 创建topic话题bin/kafka-topics.sh --create --topic news(话题名) --bootstrap-server 192.168.79.

ZK常用命令

zkcli脚本命令介绍 zkcli    连接默认zookeeper服务器 zkcli -server ip:port    连接指定的zookeeper服务器 create -s -e path data [acl]    创建节点,-s表示顺序,-e表示临时,默认是持久节点,acl缺省表示不做任何权限限制 ls path [watch]    显示path下的节点,不递归显示,watch注册监听,命令行可忽视 ls2 path    显示当前节点下的节点和当前节点的属性信息 get path

【Kafka】常用命令

创建Topic kafka-topics.sh --create --bootstrap-server localhost:9092 --topic abtest --partitions 2 --replication-factor 1 查看Topic都有哪些 kafka-topics.sh --list --zookeeper localhost:2181 生产者,将文件中的数据写入Kafka生产者 kafka-console-producer.sh --broker-list localh

Kafka基础——常用命令行操作

目录 集群启动 集群启动 启动zookeeper集群 cd /usr/app/zookeeper/bin ./zkServer.sh start 依次启动. 启动kafka集群 cd /usr/app/kafka bin/kafka-server-satrt.sh -daemon config/server.properties(隐藏后台启动) bin/kafka-server-satrt.sh config/server.properties(带后台启动,无法做其他操作) 依次启动 关闭集群

【kafka】常用命令行

启停 (下面操作,都已配置环境变量) 先启动zookeeper $ zkServer.sh status # 查看zookeeper状态 JMX enabled by default Using config: /home/whr/workbench/zookeeper/bin/../conf/zoo.cfg Mode: follower 启动kafka # 后台启动,需要配置参数 # 不加-daemon,会是一个阻塞进程,可以方便看日志 $ kafka-server-start.sh -dae

kafka安装及常用命令

kafka是一个开源的分布式消息队列 他提供可靠的集群容错机制,并保证故障切换时的数据完整性. 无论从性能.可靠性.易用性都强过ActiveMQ(client的API感觉还是不如ActiveMQ好用,文档也没有更新到最新版) 下面简单记录一下安装步骤和常用命令. 1.安装 http://kafka.apache.org/documentation.html 下载压缩包并解压 可以解压到 /usr/local/kafka 2.配置 vim conf/server.properties #设置bro

Kafka系列(二)特性和常用命令

Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有),备份的个数可以通过broker配置文件来设定(replication-factor的参数配置指定).leader处理所有的read-write请求,follower需要和leader保持同步.Follower和consumer一样,消费消息并保存在本地日志中,leader负责跟踪所有的follower状态,如果f

flume、kafka、storm常用命令

出自:http://my.oschina.net/jinp/blog/350293 一些常用命令: storm相关: storm nimbus >/dev/null 2>&1 & storm supervisor >/dev/null 2>&1 & storm ui >/dev/null 2>&1 & 关闭storm ps -ef|grep apache-storm-0.9.2-incubating|grep -v gre