【kafka】常用命令行

启停

(下面操作,都已配置环境变量)

  1. 先启动zookeeper

    $ zkServer.sh status # 查看zookeeper状态
    JMX enabled by default
    Using config: /home/whr/workbench/zookeeper/bin/../conf/zoo.cfg
    Mode: follower
  2. 启动kafka
    # 后台启动,需要配置参数
    # 不加-daemon,会是一个阻塞进程,可以方便看日志
    $ kafka-server-start.sh -daemon config/server.properties
  3. 关闭kafka
    $ kafka-server-stop.sh config/server.properties

topic

创建一个topic

topic的分区会被创建在当前主机,每个分区的副本会分配到集群的其他机器;

比如下面例子:

  • 在master上创建了两个分区:first-0、first-1
  • 在slave1上会存放分区之一的一个副本:first-0
  • 在slave2上会存放分区之一的一个副本:first-1
# -create创建
# --zookeeper master:2181;信息写入zookeeper(新版:--bootstrap-server)
# --partitions 2;partition数量
# --replication-factor 2;副本数,根据集群数量来定,不能超过集群数
# --topic first;topic的名字
$ kafka-topics.sh --create --zookeeper master:2181 --partitions 2 --replication-factor 2 --topic first
Created topic "first".

查看topic

# 查看所有topic
$ kafka-topics.sh --list --zookeeper master:2181
first
# 查看某一个topic详细信息
$ kafka-topics.sh --zookeeper master:2181 --describe --topic first
Topic:first PartitionCount:2    ReplicationFactor:2 Configs:
    Topic: first    Partition: 0    Leader: 2   Replicas: 2,1   Isr: 2,1
    Topic: first    Partition: 1    Leader: 0   Replicas: 0,2   Isr: 0,2

查看分区offset

$ kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test
test:0:16
test:1:18

删除topic

并不能真正删除,会被标记为删除

$ kafka-topics.sh --delete --zookeeper master:2181 --topic first
Topic first is marked for deletion.

若想真正删除:

# 启动zookeeper客户端
$ zkCli.sh
# 找到目录
ls /brokers/topics
# 删除
rmr /brokers/topics/first

生产消费

  1. 创建producer

    $ kafka-console-producer.sh --broker-list master:9092 --topic first
    >hello   # 发送消息
  2. 创建consumer

    连接的是zookeeper

    $ kafka-console-consumer.sh --bootstrap-server master:9092 --topic first --from-beginning
    hello    # 收到消息

原文地址:https://www.cnblogs.com/mussessein/p/12186629.html

时间: 2024-10-29 14:37:34

【kafka】常用命令行的相关文章

Linux - 常用命令行(一)

今天和大家分享一些最基本常用命令行:也是作为新手最应该了解掌握的 ls 命令:用来显示指定工作目录下内容 dir命令:与ls命令一致 cd  命令:变化工作目录 pwd命令:显示用户当前的工作路径,显示出完整的当前活动目录名称 clear 命令:清屏命令 man 命令:查看指定命令help信息 mkdir 命令:用来创建新目录 rmdir 命令: 用来删除已建立的目录 rm 命令:删除文档及目录 touch 命令: 创建一个空白的文件 或 改变一个文件的时间戳 cp 命令:复制文件(或目录) m

Mysql常用命令行大全——转载

转载地址:http://www.blogjava.net/supperchen/archive/2012/10/11/389340.html 第一招.mysql服务的启动和停止 net stop mysql net start mysql 第二招.登陆mysql 语法如下: mysql -u用户名 -p用户密码 键入命令mysql -uroot -p, 回车后提示你输入密码,输入12345,然后回车即可进入到mysql中了,mysql的提示符是: mysql> 注意,如果是连接到另外的机器上,则

jdk自带常用命令行工具使用

下面是笔者整理的jdk自带的常用命令行工具的使用方法,全部原创,转载请注明出处,并贴上链接,谢谢! jps命令使用 jstat命令使用 jinfo命令使用 jmap命令使用 jhat命令使用 jstack命令使用 jcmd命令使用

Linux 操作MySQL常用命令行

Linux 操作MySQL常用命令行 注意:MySQL中每个命令后都要以分号:结尾. 1.显示数据库 mysql> show databases; +----------+ | Database | +----------+ | mysql | | test | +----------+ 2 rows in set (0.04 sec) Mysql刚安装完有两个数据库:mysql和test.mysql库非常重要,它里面有MySQL的系统信息,我们改密码和新增用户,实际上就是用这个库中的相关表进行

rabbitmq常用命令行汇总

最近处理openstack问题时,碰到了rabbitmq相关的问题,使用相关命令行时,经常去现找相关的帖子,感觉很麻烦,记录下自己定位问题时,用到的一些常用命令行,方便以后问题的查找 1)常用的一些查询和设置命令行 rabbitmqctl list_queues:查看所有队列信息 rabbitmqctl stop_app:关闭应用(关闭当前启动的节点) rabbitmqctl start_app:启动应用,和上述关闭命令配合使用,达到清空队列的目的 rabbitmqctl reset:从管理数据

linux 常用命令行

linux 常用命令行(持续更新) 1.使用pid查询端口号 sudo netstat -antup|grep PID号 2.查询端口号所有情况 sudo netstat -antup    3.启动.重启.关闭tomcat服务器,若没有权限则加sudo service tomcat6 start service tomcat6 restart service tomcat6 stop 4.查看防火墙情况 chkconfig --list |grep -i iptables 原文地址:https

Gcc常用命令行

本篇文章摘自 http://blog.csdn.net/ljzcom/article/details/7213101 对于Gcc自带的很多命令行,只有具体编程里面用到了或者看到别人真真用到的,用的目的很清楚,才有价值记录下来,常用的记在脑子里面,这就够了.对于Linux基本编程工具的总结,之前都是总结在有道云笔记里面,觉的,那里面的太封闭了,写的好不好,只有自己知道.自己一直秉持着技术开放的心态,能够清晰的讲解出来的技术,才是你真正消化吸收的东西. Gcc功能介绍 Gcc编译器完成从原始的C.C

vi 常用命令行

1.vi 模式  a) 一般模式: vi 处理文件时,一进入该文件,就是一般模式了.  b) 编辑模式:在一般模式下可以进行删除,复制,粘贴等操作,却无法进行编辑操作.等按下‘i,I,o,O,a,A,r,R’等          字母之后才能进入编辑模式.通常在linux中,按下上述字母时,左下方会出现'INSERT'或者‘REPLACE’字样,才可以          输入任何文字到文件中.要回到一般模式,按下[ESC]键即可.  c) 命令行模式:在一般模式中,输入“: 或者/或者?”,即可

[转]GCC使用手册及常用命令行

一.GCC功能介绍 GCC编译器完成从C.C++.objective-C等源文件向运行在特定CPU硬件上的目标代码的转换(这是任何一个编译器需要完成的任务). GCC能够处理的源文件分为C.C++.Objective-C.汇编语言等.对于这些源文件,用他们的后缀名进行标示.GCC能够处理的后缀有: a. *.c  *.C      (C语言) b. *.cxx   *.cc  (C++语言) c. *.m           (面向对象的C) d. *.i           (预处理后的C语言

【Oozie】 Oozie常用命令行命令

Oozie命令行常用命令汇总. 有时候脚本跑多了就不愿意在OozieWeb端去看脚本的运行情况了.还好Oozie提供了很多命令行命令.能通过命令行直接检索自己想看到的脚本信息.在这里简单进行一下总结.一般都是自己每天常用的. 1. 将一个job挂起:oozie job -suspend [jobID] oozie job –suspend 0000244-140909170015500-oozie-hado-W 2. 恢复被挂起的job:oozie job -resume [jobID] ooz