【kafka】Topic管理

1.查看已经创建的Topic

cd /usr/local/kafka
./bin/kafka-topics.sh --list --zookeeper 10.1.44.186:2181,10.1.44.187:2181,10.1.44.188:2181
186                    187                    188
------------------     ------------------     ------------------
__consumer_offsets     __consumer_offsets     __consumer_offsets
connect-test           connect-test           connect-test
test0320               test0320               test0320

2.创建topic

cd /usr/local/kafka
./bin/kafka-topics.sh --create --zookeeper 10.1.44.186:2181,10.1.44.187:2181,10.1.44.188:2181 --partitions 3 --replication-factor 2  --topic test0326
# 创建后各broker上的物理目录
186            187            188
----------     ----------     ----------
test0326-1     test0326-1     test0326-1
test0326-2     test0326-2     test0326-2

3.查看指定topic中Leader的信息

cd /usr/local/kafka
./bin/kafka-topics.sh --describe --zookeeper 10.1.44.186:2181,10.1.44.187:2181,10.1.44.188:2181  --topic test0326
Topic: test0326	PartitionCount:3	ReplicationFactor:2	Configs:
Topic: test0326	Partition: 0	Leader: 0	Replicas: 0,2	Isr: 0,2
Topic: test0326	Partition: 1	Leader: 1	Replicas: 1,0	Isr: 1,0
Topic: test0326	Partition: 2	Leader: 2	Replicas: 2,1	Isr: 2,1

原文地址：http://blog.51cto.com/13634837/2091072

时间： 2024-10-04 07:09:13

【kafka】Topic管理的相关文章

kafka系列十、kafka常用管理命令

一.Topic管理 1.创建topic kafka-topics.sh --zookeeper 47.52.199.52:2181 --create --topic test-15 --replication-factor 1 --partitions 3 2.新增partition kafka-topics.sh --zookeeper zk.server --alter --topic test --replication-factor 1 --partitions 3 注:topic一旦创

kafka群集管理

Kafka版本 0.8.1-0.8.2 一.创建topic模板: /usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh --create --zookeeper IP:2181 --replication-factor 2 --partitions 30 --topic TEST 二.删除topic模板:(指定所有zookeeper server IP) /usr/hdp/2.2.0.0-2041/kafka/bin/kafka-run-cl

kafka topic制定规则

kafka topic的制定,我们要考虑的问题有很多,比如生产环境中用几备份.partition数目多少合适.用几台机器支撑数据量,这些方面如何去考量?笔者根据实际的维护经验,写一些思考,希望大家指正. 1.replicas数目可以从上图看到,备份越多,性能越低,因为kafka的写入只写入主分区,备份相当于消费者从主分区pull数据,这样势必会造成性能的损耗,故建议在生产环境中使用一主一备即可. 2. partition数量 (1)设置partition数量的时候我们需要注意:kafka的pa

Kafka Topic Partition Replica Assignment实现原理及资源隔离方案

本文共分为三个部分: Kafka Topic创建方式 Kafka Topic Partitions Assignment实现原理 Kafka资源隔离方案 1. Kafka Topic创建方式 Kafka Topic创建方式有以下两种表现形式: (1)创建Topic时直接指定Topic Partition Replica与Kafka Broker之间的存储映射关系 /usr/lib/kafka_2.10-0.8.2.1/bin/kafka-topics.sh --zookeeper ZooKeep

手动删除Kafka Topic

一.删除Kafka topic 运行./bin/kafka-topics --delete --zookeeper [zookeeper server] --topic [topic name]:如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么此时的删除并不是真正的删除,而是把topic标记为:marked for deletion 可以通过命令:./bin/kafka-topics --zookeeper

用canal同步binlog到kafka，spark streaming消费kafka topic乱码问题

canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有kafka和RocketMQ. 在投递的时候我们使用的是非压平的消息模式(canal.mq.flatMessage =false //是否为flat json格式对象),然后消费topic的时候就一直无法正常显示和序列化,通过kafka-console-consumer.sh命令收到的消息如下图在github上也能找到相关问题 canal-kafka 数据同步到

关于Flink slot 和kafka topic 分区关系的说明

今天又有小伙伴在群里问 slot 和 kafka topic 分区(以下topic,默认为 kafka 的 topic )的关系,大概回答了一下,这里整理一份首先必须明确的是,Flink Task Manager 的 slot 数和 topic 的分区数是没有直接关系的,而这个问题其实是问的是: 任务的并发数与 slot 数的关系最大并发数 = slot 数这里有两个原因:每个算子的不同并行不能在同一slot,不同的算子可以共享 slot ,所以最大并行度就等于 slot 数. 这样就

flume写kafka topic覆盖问题fix

结构: nginx-flume->kafka->flume->kafka(因为牵扯到跨机房问题,在两个kafka之间加了个flume,蛋疼..) 现象: 在第二层,写入kafka的topic和读取的kafka的topic相同,手动设定的sink topic不生效打开debug日志: source实例化: 21 Apr 2015 19:24:03,146 INFO [conf-file-poller-0] (org.apache.flume.source.DefaultSourceFac

重置kafka topic consumer的offset

如果你在使用Kafka来分发消息,在数据处理的过程中可能会出现处理程序出异常或者是其它的错误,会造成数据丢失或不一致.这个时候你也许会想要通过kafka把数据从新处理一遍,我们知道kafka默认会在磁盘上保存到7天的数据,你只需要把kafka的某个topic的consumer的offset设置为某个值或者是最小值,就可以使该consumer从你设置的那个点开始消费. 查询topic的offset的范围用下面命令可以查询到topic:DynamicRange broker:SparkMaster