整理kafka相关的常用命令

创建主题(4个分区,2个副本)
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test
查询集群描述
bin/kafka-topics.sh --describe --zookeeper
生产者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
消费者
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test
新生产者(支持0.9版本+)
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test --producer.config config/producer.properties
新消费者(支持0.9版本+)
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --new-consumer --from-beginning --consumer.config config/consumer.properties
新消费者列表查询(支持0.9版本+)
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list
显示某个消费组的消费详情(仅支持offset存储在zookeeper上的)
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zkconnect localhost:2181 --group test
显示某个消费组的消费详情(支持0.9版本+)
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group test-consumer-group
平衡leader
bin/kafka-preferred-replica-election.sh --zookeeper zk_host:port/chroot
kafka自带压测命令
bin/kafka-producer-perf-test.sh --topic test --num-records 100 --record-size 1 --throughput 100  --producer-props bootstrap.servers=localhost:9092

 

时间: 2024-10-16 18:21:11

整理kafka相关的常用命令的相关文章

flume、kafka、storm常用命令

出自:http://my.oschina.net/jinp/blog/350293 一些常用命令: storm相关: storm nimbus >/dev/null 2>&1 & storm supervisor >/dev/null 2>&1 & storm ui >/dev/null 2>&1 & 关闭storm ps -ef|grep apache-storm-0.9.2-incubating|grep -v gre

kafka安装及常用命令

kafka是一个开源的分布式消息队列 他提供可靠的集群容错机制,并保证故障切换时的数据完整性. 无论从性能.可靠性.易用性都强过ActiveMQ(client的API感觉还是不如ActiveMQ好用,文档也没有更新到最新版) 下面简单记录一下安装步骤和常用命令. 1.安装 http://kafka.apache.org/documentation.html 下载压缩包并解压 可以解压到 /usr/local/kafka 2.配置 vim conf/server.properties #设置bro

[鸟哥linux视频教程整理]02_02_linux操作系统及常用命令

linux操作系统常用命令续: 一..date:  时间管理 1.linux系统开机时会通过rtc读取当前时间,若读取成功则不再使用这个时间,之后操作系统自身(kernel)会通过软件的方式模拟振荡器在系统内部来维持一个时钟,而windows系统是每一次操作系统开机的时候,都是从硬件时钟当中读取的当前时间设置为当前系统时间. 2.linux有两个时钟: 硬件时钟:date或hwclock 系统时钟:clock 3.date命令使用: a.date +%D 显示月-日-年 b.date +%Y或y

[鸟哥linux视频教程整理]02_01_linux操作系统及常用命令

一.操作系统结构: 首先最低层的是硬件,在单颗CPU系统平台上,硬件资源是独立的.为了能够实现在同一个计算机上同时运行多个软件,于是有了通用管理软件叫内核(kernel),内核只是一个平台,它不提供任何具特定的任务,仅仅是将硬件所具有的计算能力抽象出来并提供给上层其它软件的,其提供方式叫系统调用(System Call).由于系统调用过于低层,所以使得程序员使用系统调用来开发程序是非常麻烦的,因此有了库(library:API-Application Program Interface),库就是

kafka 和 zookeeper 常用命令记录

启动zookeeper zkServer.sh start 启动kafka服务器 kafka-server-start.sh /software/kafka_2.10-0.10.2.1/config/server.properties 后台启动 kafka-server-start.sh -daemon /software/kafka_2.10-0.10.2.1/config/server.propertie 创建 topic kafka-topics.sh --create --zookeep

HACMP&Cluster相关及常用命令

1启动HACMP 使用smitty clstart命令用来启动HACMP. # smitty clstart - 运行指令"smit clstart"回车. 等待命令执行OK,退出smit. - 等待HACMP完全启动,可用指令"tail -f /tmp/hacmp.out"观察HACMP启动状况. - 用指令"netstat -i"检查IP address,确认主网卡使用service IP adress, 备用网卡使用standby IP a

kafka的一些常用命令

启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties & 启动kafka bin/kafka-server-start.sh config/server.properties & 停止kafka bin/kafka-server-stop.sh 停止zookeeper bin/zookeeper-server-stop.sh 创建topic bin/kafka-topics.sh --create --z

centos7 yum相关的常用命令

[[email protected] ~]# history |grep yum 40 yum repolist 42 cd /etc/yum.repos.d/ 49 yum clean all 50 yum repolist 51 yum install -y httpd 52 yum repolist 53 yum list 54 yum list|wc 55 yum install vim-X11.i686 vim-common.i686 vim-enhanced.i686 56 man

linux基础及常用命令的使用

linux系统是一个主要使用命令进行日常工作的系统,所以了解并熟练掌握常用命令的使用是进入linux大门的基本,以下便是linux学习过程中学习的常用的命令的用法: linux的日常管理工作一般有如下几个部分,下面通过这几个方面的管理工作来整理与其相关的常用命令: 一  shell的介绍 1.普通用户需要直接使用计算机系统提供的功能,是非常困难的,因为计算机系统能接收的指令和人发出的指令是不相同的,因此需要在计算机系统及用户之间建立一个可以将相互的指令进行"翻译"的功能.shell就是