kafka常用命令

到kafka目录下面执行命令：
nohup /usr/soft/kafka/kafka-server-start.sh
/usr/soft/kafka/config/server.properties &
 注意：会把生成的日志存放在nohup.out下面

下面的这种方式更好：
 /usr/soft/kafka/bin/kafka-server-start.sh /usr/soft/kafka/config/server.properties > /dev/null 2>&1 &
把标准输出和错误输出都写到了/dev/null中去了，/dev/null里面写什么都是空的。

//创建topic
/usr/soft/kafka/bin/kafka-topics.sh --zookeeper COS001:2181,COS002:2181,COS003:2181 --topic myTopic --replication-factor 2 --partitions 3 --create
/usr/soft/kafka/bin/kafka-topics.sh --create --zookeeper COS001:2181 --replication-factor 1 --partitions 1 --topic customerlog
/usr/soft/kafka/bin/kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 1 --partitions 3 --topic gamelog1

//查看当前服务器中的所有topic
/usr/soft/kafka/bin/kafka-topics.sh --list --zookeeper hadoop01:2181

//?查看某个Topic的详情
/usr/soft/kafka/bin/kafka-topics.sh --topic myTopic --describe --zookeeper mini1:2181

//?删除topic
/usr/soft/kafka/bin/kafka-topics.sh --delete --zookeeper hadoop01:2181 --topic myTopic
需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

##客户日志生产者##
./bin/kafka-console-producer.sh --broker-list hadoop01:9092 --topic gamelog

##客户日志消费者##
/usr/soft/kafka/bin/kafka-console-consumer.sh --zookeeper hadoop01:2181 --from-beginning --topic gamelog

时间： 2025-01-04 23:15:49

kafka常用命令的相关文章

KAFKA 常用命令

转自:http://blog.csdn.net/xiaolang85/article/details/22194571 ##查看topic分布情况kafka-list-topic.sh bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有topic的分区情况) bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.1

kafka常用命令（cdh5.10.0+kafka）

参考资料:http://kafka.apache.org/quickstart 进入kafka安装目录(CDH安装路径为:/opt/cloudera/parcels/KAFKA):进入bin目录: cd /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/bin 创建topic,一个备份,6个分区 kafka-topics --create --zookeeper personas1:2181 --replication-factor 1 --p

大数据入门第十七天——storm上游数据源 之kafka详解（二）常用命令

一.kafka常用命令 1.创建topic bin/kafka-topics.sh --create --topic topic_1 --partitions 4 --replication-factor 2 --zookeeper mini1:2181 // 如果配置了PATH可以省略相关命令路径,相关命令参数暂不深入,字面意思也可以大概推断.后续给出完整参数参考. 2.查看所有topic bin/kafka-topics.sh --list --zookeeper mini1:2181 3.

kafka安装及常用命令

kafka是一个开源的分布式消息队列 他提供可靠的集群容错机制,并保证故障切换时的数据完整性. 无论从性能.可靠性.易用性都强过ActiveMQ(client的API感觉还是不如ActiveMQ好用,文档也没有更新到最新版) 下面简单记录一下安装步骤和常用命令. 1.安装 http://kafka.apache.org/documentation.html 下载压缩包并解压 可以解压到 /usr/local/kafka 2.配置 vim conf/server.properties #设置bro

Kafka系列(二)特性和常用命令

Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有),备份的个数可以通过broker配置文件来设定(replication-factor的参数配置指定).leader处理所有的read-write请求,follower需要和leader保持同步.Follower和consumer一样,消费消息并保存在本地日志中,leader负责跟踪所有的follower状态,如果f

flume、kafka、storm常用命令

出自:http://my.oschina.net/jinp/blog/350293 一些常用命令: storm相关: storm nimbus >/dev/null 2>&1 & storm supervisor >/dev/null 2>&1 & storm ui >/dev/null 2>&1 & 关闭storm ps -ef|grep apache-storm-0.9.2-incubating|grep -v gre

大数据每日干货第四天(linux基础之一目录结构与常用命令）

为了和qq空间同步,也写的第四天,前面几天明天会发布,本来打算把每天学的东西记录下来,通过朋友给的建议要发的话稍微系统化下,从大数据需要的linux基础,到离线数据分析包括hadoop.hive.flume.hbase等,再到实时数据分析包括storm.kafka.redias等,最后的内存计算部分包括scala.spark.机器学习,这样循序渐进,能够系统化学习. linux基础部分会分几天进行分享,今天主要讲解的是linux介绍,目录机构与常用的命令. 1.linux介绍 lLinux是一种

linux常用命令--netstat

简介 Netstat 命令用于显示各种网络相关信息,如网络连接,路由表,接口状态 (Interface Statistics),masquerade 连接等等. 常用参数 -a (all)显示所有选项,提示:LISTEN和LISTENING的状态只有用-a或者-l才能看到-t (tcp)仅显示tcp相关选项-u (udp)仅显示udp相关选项-n 拒绝显示别名,能显示数字的全部转化成数字.-l 仅列出有在 Listen (监听) 的服務状态 -p 显示建立相关链接的程序名-r 显示路由信息,路由

Linux常用命令（echo、date、ls、cd、history、cat）

一.linux常用命令有很多今天我们来总结一下常用的入门命令: 1.linux下关机命令:poweroff.init 0.halt.shutdown -h now 2.linux下重启命令:reboot.init 6.shutdown -r now 3.shutdown命令: 格式:shutdown  options TIME 其中options有以下几个: -r:执行重启 -c:取消shutdown命令 -h:执行关机 其中TIME有以下几个: now:表示现在 +m:相对时间表示法,从命令提