kafka操作清单

1. 查看topic个数

./kafka-topics.sh --list --zookeeper dwtest-data2:2181,dwtest-data3:2181,dwtest-data4:2181

2. 查看topic的生产者与消费者消息

./kafka-topics.sh --describe --zookeeper dwtest-data2:2181,dwtest-data3:2181,dwtest-data4:2181 --topic test

leader:负责处理消息的读和写,leader是从所有节点中随机选择的.
Replicas:列出了所有的副本节点,不管节点是否在服务中.
Lsr:是正在服务中的节点.

3. 生产者

bin/kafka-console-producer.sh --broker-list kafka1:9092 --topic test
bin/kafka-console-producer.sh --broker-list 192.168.100.125:9092 --topic DreamTopic1

4.消费者

bin/kafka-console-consumer.sh --zookeeper 192.168.100.125:2181 --topic test --from-beginning
bin/kafka-console-consumer.sh --zookeeper kafka1:2181 --topic test --from-beginning
bin/kafka-console-consumer.sh --zookeeper 192.168.100.125:2181 --topic DreamTopic1 --from-beginning

5. 删除topic

bin/kafka-topics.sh --delete --zookeeper master:2181 --topic DreamTopic

1) bin/kafka-topics.sh --delete --zookeeper master:2181 --topic DreamTopic

如果删除后查看topic显示为:marked for deletion  则需要在每一台机器中的 config/server.properties 文件加入  delete.topic.enable=true,然后重启kafka

2) 删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录删除zookeeper "/brokers/topics/"目录下相关topic节点

时间: 2024-11-08 12:54:31

kafka操作清单的相关文章

kafka操作

kafka 操作: source /etc/profile 查看消费: /usr/local/platform/kafka_2.11-1.1.0/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic all.log_impbus_impressions_deferred_pricing.0.proto --from-beginning 添加生产: /usr/local/platform/kafka_2.11-1.1.0/

最常见的 Git 问题和操作清单汇总

最常见的 Git 问题和操作清单汇总 引言 本文整理自工作多年以来遇到的所有 Git 问题汇总,之前都是遗忘的时候去看一遍操作,这次重新整理了一下,发出来方便大家收藏以及需要的时候查找答案. 一.必备知识点 仓库 Remote: 远程主仓库: Repository: 本地仓库: Index: Git追踪树,暂存区: workspace: 本地工作区(即你编辑器的代码) 二.git add 提交到暂存区,出错怎么办 一般代码提交流程为:工作区 -> git status 查看状态 -> git

Kafka 操作

基本操作 本节将列一下在Kafka集群上的最常用的操作.所有在本节被提到的工作都可以$KAFKA_HOME/bin目录下找到:并且每个工具都会较详细的打印命令的所有可能的选项. 添加和移除Topic 你可以手动创建一个Topic也可以在第一次向某个Topic发送消息的时候由Kafka自动创建.如果Topic是被自动创建的话,你可以需要手动对一些配置项进行调优. 添加和修改Topic工具: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --

CDH搭建和集成spark、kafka操作

包下载: 由于是离线部署,因此需要预先下载好需要的文件. 需要准备的文件有: Cloudera Manager 5 文件名: cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz 下载地址: https://archive.cloudera.com/cm5/cm/5/ CDH安装包(Parecls包) 版本号必须与Cloudera Manager相对应 下载地址: https://archive.cloudera.com/cdh5/parcels/5.1

Docker部署Kafka以及Spring Kafka操作

从https://hub.docker.com/ 查找kafka 第三个活跃并stars数量多 进去看看使用 我们使用docker-compose来构建镜像 查看使用文档中的docker-compose.yml 因为kafka要搭配zookeeper一起使用,所以文档中包含了zookeeper 我修改了一下版本号 以及变量参数 这两个参数好像是可以暴露给外网访问的(从其他博客找到的答案,不设置spring kafka 会连接不上) 运行命令docker-compose up -d  ,就会开启2

Kafka实战分析

1. Kafka概要设计 kafka在设计之初就需要考虑以下4个方面的问题: 吞吐量/延时 消息持久化 负载均衡和故障转移 伸缩性 1.1 吞吐量/延时 对于任何一个消息引擎而言,吞吐量都是至关重要的性能指标.那么何为吞吐量呢?通常来说,吞吐量是某种处理能力的最大值.而对于Kafka而言,它的吞吐量就是每秒能够处理的消息数或者每秒能够处理的字节数.很显然,我们自然希望消息引擎的吞吐量越大越好. 消息引擎系统还有一个名为延时的性能指标.它衡量的是一段时间间隔,可能是发出某个操作与接收到操作响应(r

CDH集群集成kafka

搭建要求: 1.CDH环境已经搭建成功,在CDH上搭建kafka,要求用CDH上zookeeper管理kafka而不用kafka自带的zookeeper 2.kafka_2.11-0.8.2.1.tgz已经上传到kafka集群环境中 搭建步骤 1. 主机操作 修改hosts 10.10.0.11 s1-1 10.10.0.12 s1-2 10.10.0.13 s1-3 10.10.0.14 s1-4 10.10.0.15 s2-1 10.10.0.16 s2-2 10.10.0.17 s2-3

Zookeeper 集群+kafka集群+kafka manager搭建

软件需求,软件包都上传到 /usr/local/src目录: jdk-8u101-linux-x64.tar.gz kafka.2.11-0.8.22.tar.gz zookeeper-3.4.9.tar.gz kafka-manager-1.3.0.7.zip * kafka-manager是通过scala打包获取一个编译完的项目,需要提前编译好,参考 https://github.com/yahoo/kafka-manager 硬件需求,四个主机: 192.168.100.100 : kaf

kafka维护问题总结

1 Kafka操作日志的删除方法 Kafka0.8版本长时间运行过程中,在kafka_2.8.0-0.8.0/logs目录下产生了大量的kafka-request.log.*和server.log.*文件,其中*代表日期和时间,比如kafka-request.log.2014-12-08-03和server.log.2014-12-06-03,这些文件对磁盘空间的消耗非常大,需要定期备份或者清理.目前没有发现kafka自身提供了这些操作日志备份或者清理的方法,需要用户自己实现. 备份操作日志的方