Kafka Zookeeper 基本命令示例

装修中...

Kafka

新建Topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-topic

查看已存在Topic列表

bin/kafka-topics.sh --list --zookeeper localhost:2181

查看指定Topic状态

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-topic

启动Consumer读取消息并输出到标准输出

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic my-topic --from-beginning

运行Producer并将Terminal输入的消息发送到服务端

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-topic

<< This is a messageThis is another message

Zookeeper

时间: 2024-10-09 21:32:52

Kafka Zookeeper 基本命令示例的相关文章

java实现Kafka的消费者示例

使用java实现Kafka的消费者 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 8

java+hadoop+spark+hbase+scala+kafka+zookeeper配置环境变量记录备忘

java+hadoop+spark+hbase+scala 在/etc/profile 下面加上如下环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_102export JRE_HOME=/usr/java/jdk1.8.0_102/jreexport CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$JAVA_HOME

ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://tchuairen.blog.51cto.com/3848118/1861167 什么要做日志分析平台? 随着业务量的增长,每天业务服务器将会产生上亿条的日志,单个日志文件达几个GB,这时我们发现用Linux自带工具,cat grep awk 分析越来越力不从心了,而且除了服务器日志,还有程序报错日志,分布在不同的服务器,查阅繁琐. 待解决的痛点: 1.大量不同种类的日志成为了运

【JAVA版】Storm程序整合Kafka、Mongodb示例及部署

一.环境 一台Centos6.5主机 Mongo 3.0 Kafka_2.11-0.8.2.1 Storm-0.9.5 Zookeeper-3.4.6 java 1.7 (后因在mac上打包的jar由1.8编译没法儿运行,改为java 1.8) 其余环境暂略 二.运行启动 启动zookeeper 确认配置正确,配置相关可自行搜索. [[email protected] zookeeper-3.4.6]#pwd /data0/xxx/zookeeper-3.4.6 [[email protecte

beam与kafka和elasticSearch示例 在flink平台运行

示例实现beam用java编程,监听kafka的testmsg主题,然后将收取到的单词,按5秒做一次统计.结果输出到outputmessage 的kafka主题,同时同步到elasticSearch. kafka需要运行 启动:cd /root/kafuka/kafka_2.12-0.11.0.0 nohup bin/zookeeper-server-start.sh config/zookeeper.properties & nohup bin/kafka-server-start.sh co

kafka zookeeper配置初步

1.软件需求 CentOS 7.2 X64 jdk-8u121-linux-x64.rpm zookeeper-3.4.9.tar.gz kafka_2.11-0.10.1.0.tgz setuptools-33.1.1.zip kafka-python-1.3.2.tar.gz 2.安装zookeeper.kafka 1).zookeeper # tar -zxf zookeeper-3.4.9.tar.gz # mv zookeeper-3.4.9 /usr/local/zookeeper

kafka zookeeper学习(2) 测试kafka与zookeeper环境

上节搭建了zookeeper与kafka环境,这一节要测试环境是否能正常工作. 1,紧接着上节的内容,zookeeper与kafka都启动好了,新开一个命令窗口,定为到 D:\soft\kafka_2.11-0.9.0.0\bin\windows 2,创建topic 输入命令  .\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 来创建t

ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台(转)

参考:http://www.tuicool.com/articles/R77fieA 我在做ELK日志平台开始之初选择为ELK+Redis直接构建,在采集nginx日志时一切正常,当我采集我司业务报文日志类后,logstash会报大量的redis connect timeout.换成redis cluster后也是同样的情况后,就考虑对消息中间件进行替换重新选型,经过各种刷文档,决定选用kafka来替换redis.根据网上找的一篇参考文档中的架构图如下: 注:由于环境有限,在对该架构图中的ela

安装kafka + zookeeper集群

系统:centos 7.4 要求:jdk :1.8.x kafka_2.11-1.1.0 1.绑定/etc/hosts 10.10.10.xxx      online-ops-xxx-0110.10.10.xxx      online-ops-xxx-0210.10.10.xxx      online-ops-xxx-03 2.下载软件包 kafka_2.11-1.1.0 3.配置文件kafka mkdir /data/kafka #vim /usr/local/kafka/config/