kafka常规及几个重要的操作命令

1. 查看所有topic

kafka-topics.sh --zookeeper hadoop3 --list

2. 创建tooic及topic的partitioner

./kafka-topics.sh --zookeeper hadoop3:2181,hadoop4:2181,hadoop5:2181,hadoop6:2181,hadoop7:2181,hadoop8:2181,hadoop9:2181 --create --topic check-data --partitions 21 --replication-factor 2
说明:在集群模式中,partitioner可以根据集群节点的磁盘空间大小和kafka server这个配置log-dir=/data/kafka-log,/data01/kafka-log,/data02/kafka-log两个结合来控制partitions个数,这样做可以提高性能和避免一个partitions被撑爆

3. 查看kafka中的偏移量

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list ynjz003:9092,ynjz004:9092,ynjz005:9092,ynjz006:9092,ynjz007:9092,ynjz008:9092,ynjz009:9092 --topic ynjz-data --time -1
说明:该条命令可以查看到kafka的每个partitioner的位置的偏移量,通过这个可以看出kafka的数据摄入能力和大概的数据容量

4. 设置kafka topic 创建数据保存时间:

kafka-configs.sh --zookeeper ynjz003:2181,ynjz004:2181,ynjz005:2181,ynjz006:2181,ynjz007:2181,ynjz008:2181,ynjz009:2181 --entity-type topics --entity-name statistics-data --alter --add-config retention.ms=259200
说明:如果不设置的话,卡夫卡默认保存时间是7天,但在数据量过大,实时处理过程中为了减少数据的积压没必要保存7天,可以根据以上命令设置某个topic数据保存的时间,最后一个参数的单位是秒

5. 删除topic及topic的数据

这块较为复杂,可以参考这篇博客 https://blog.csdn.net/belalds/article/details/80575751

原文地址:https://www.cnblogs.com/jiashengmei/p/10746419.html

时间: 2024-11-09 01:58:20

kafka常规及几个重要的操作命令的相关文章

Kafka 如何读取指定topic中的offset -------------用来验证分区是不是均衡!!!(__consumer_offsets)(注,本文尚在测试验证阶段,,,后续一俩天会追加修正)

我现在使用的是librdkafka 的C/C++ 的客户端来生产消息,用flume来辅助处理异常的数据,,, 但是在前段时间,单独使用flume测试的时候发现,flume不能对分区进行负载均衡!同一个集群中,一个broker的一个分区已经有10亿条数据,另外一台的另一个分区只有8亿条数据: 因此,我对flume参照别人的做法,增加了拦截器: 即在flume配置文件中 增加以下字段: ----- stage_nginx.sources.tailSource.interceptors = i2sta

【译】调优Apache Kafka集群

今天带来一篇译文"调优Apache Kafka集群",里面有一些观点并无太多新颖之处,但总结得还算详细.该文从四个不同的目标出发给出了各自不同的参数配置,值得大家一读~ 原文地址请参考:https://www.confluent.io/blog/optimizing-apache-kafka-deployment/ ========================================== Apache Kafka是当前最好的企业级流式处理平台.把你的应用程序链接到Kafka

【Redis】Redis的常规操作命令

NoSQL是一种非关系型数据库,非关系型数据库库和传统的关系型数据库不同,非关系性体现在不需要依赖表进行数据存储.常见的非关系型数据库有Redis.MonoDB.HBase等,这些是基于key-value进行数据存储,采用命令操作.关系型数据库的关系体现在对操作表上面,比如Oracle,MySQL.SQLServer,采用SQL操作. Redis是非关系型数据库的一种,它有如下特点: 采用C语言编写,基于内存操作,被称为内存数据库. 存储的数据结构是key-value,value值可以为字符串.

Kafka安装和常用操作命令

Kafka安装: 下载kafka_2.10-0.8.2.1 1.关闭防火墙 2.修改配置文件  server.properties broker.id=1log.dirs= /usr/kafka_2.10-0.8.2.1/data  //最后不要写logzookeeper.connect=master:2181,slave01:2181,slave02:2181delete.topic.enable = true //删除话题的时候需要设置其为truenum.partitions=3//建议默认

kafka常用的操作命令

1.kafka启动命令 nohup bin/kafka-server-start.sh config/server.properties & 2.创建topic bin/kafka-topics.sh --create --zookeeper 10.0.178.210:2181 --replication-factor 1 --partitions 1 --topic yddpi_dlcd 3.列出所有Topic bin/kafka-topics.sh --list --zookeeper 10

Kafka(华为FusionInsight )操作命令

华为大数据kafka操作web界面创建角色.用户.用户管理角色进入服务器环境,进入客户端目录/opt/hadoopclient,导入环境变量source bigdata_env.切换用户kinit kafka用户(kafka_test) 查看当前集群Topic列表. bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:24002/kafka> 查看单个Topic详细信息. bin/kafka-topics.sh --describe --

Kafka常用topic操作命令汇总

offset topic consumer-group consumer producer producer-golang topic 工具 https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools offset相关 # 最大offset bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test

kafka 基本操作命令

查看kafka版本    进入kafka安装目录 ... kafka/libs,看到类似kafka_2.12-2.0.0.jar这样的文件,2.12为scala版本,2.0.0是kafka版本(kafka使用了Scala进行开发). zookeeper-server-start.sh 参照 kafka环境搭建 zookeeper-server-stop.sh 停止kafka bin/kafka-server-stop.sh kafka-server-start.sh 参照 kafka环境搭建 k

kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)

问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行"随机读写"的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存的? 4.partitions设计的目的的根本原因是什么? 一.入门 1.简介 Kafka is a distributed,partitioned,replicated commit logservice.它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现.k