kafka群集管理

Kafka版本 0.8.1-0.8.2

一、创建topic模板:

/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh  --create  --zookeeper  IP:2181  --replication-factor  2 --partitions 30  --topic TEST

二、删除topic模板:(指定所有zookeeper server IP)

/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic name --zookeeper IP01:2181,IP02:2181,IP03:2181

三、描绘kafka topic partion 信息:                                       /usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh  --describe  --zookeeper  IP:2181     /usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh  --describe  --zookeeper  IP:2181 --topic TEST

四、列出topic信息:

/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh  --list  --zookeeper  IP:2181       /usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh  --list  --zookeeper  IP:2181  --topic TEST

五、修改topic分区(分区数只能增加不能减少)

/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh --alter --topic TEST --partitions  60 --zookeeper IP:2181

六、批量删除topic脚本

for i in `/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh  --list  --zookeeper  IP:2181`;do /usr/hdp/2.2.0.0-2041/kafka/bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic $i --zookeeper IP:2181,IP:2181,IP:2181

done

七、删除topic之后需要手动删除zookeeper下文件

[[email protected] bin]# cd /usr/hdp/2.2.0.0-2041/zookeeper/bin

echo "rmr /admin" | ./zkCli.sh

echo "rmr /consumers" | ./zkCli.sh

echo "rmr /config" | ./zkCli.sh

echo "rmr /controller" | ./zkCli.sh

echo "rmr /brokers" | ./zkCli.sh

echo "rmr /controller_epoch" | ./zkCli.sh

八、当前kafka版本0.8.1在删除topic的同时,不会删除对应目录下文件,需要手动删除。据说0.90的版本可以实现同步删除,未经测试,有测试过的朋友欢迎留言交流。指出文档中不足,我会陆续完善。

时间: 2024-08-04 02:32:23

kafka群集管理的相关文章

Kafka原理及Kafka群集部署

博文大纲:一.Kafka概述1)消息队列2)为什么要使用消息队列?3)什么是Kafka?4)Kafka的特性5)Kafka架构6)Topic和Partition的区别7)kafka流程图8)Kafka的文件存储机制9)数据的可靠性和持久性保证10)leader选举二.部署单机Kafka1)部署Kafka2)测试Kafka三.部署Kafka群集1)环境准备2)部署zookeeper群集3)部署Kafka群集 一.Kafka概述 1)消息队列 1)点对点模式(一对一,消费者主动拉取数据,消息收到后消

vSphere部署系列之09——HA和DRS群集管理

群集(Cluster)是将多台物理主机组织起来,群集管理其中所有主机的资源,形成一个大的资源池.群集中的所有的虚拟机可在池中的任意主机上自由移动,并且群集可做到快速扩容和HA故障冗余.群集的前提条件是要有共享存储,所有虚拟机及其配置文件必须驻留在共享存储器上. 在前面的博文章节中,已搭建了比较基础的实验环境,实现了vCenter对ESXi主机的管理,网络管理.共享存储管理.在这种情况下,各物理主机之间的计算资源(CPU.内存)是完全独立的,在某台主机出现问题时,虚拟机的运行得不到保障. 为了达到

记一次AD域域管理员密码更改导致某系统群集管理器故障排查解决过程

环境描述 某公司有一套系统,2台Windows2003系统,采用自带的群集管理器功能实现双机热备功能,正常情况下,服务器10.1.1.1承载中间件应用服务,服务器10.1.1.2承载数据库服务,仅当其中一台服务器故障时才会把资源切换至另一台. 系统名称 系统版本 IP地址 备注 S-EIP-APP Windows2003ENTSP2 10.1.1.1 采用Windows2003自带的群集管理器实现双机热备功能 S-EIP-DATA Windows2003ENTSP2 10.1.1.2 故障表现

部署Kafka群集

前言 关于kafka的工作机制,已经在上篇博文:Kafka原理及单机部署中详细写出来,这里只是将kafka的一个群集部署写了出来. 博文大纲:一.环境准备二.部署zookeeper服务三.部署kafka集群 一.环境准备 部署kafka群集所需的安装包,可以从我的网盘链接中下载. 二.部署zookeeper服务 1.主机kafka01配置如下 #部署zookeeper [[email protected] src]# tar zxf zookeeper-3.4.9.tar.gz [[email 

kafka系列十、kafka常用管理命令

一.Topic管理 1.创建topic kafka-topics.sh --zookeeper 47.52.199.52:2181 --create --topic test-15 --replication-factor 1 --partitions 3 2.新增partition kafka-topics.sh --zookeeper zk.server --alter --topic test --replication-factor 1 --partitions 3 注:topic一旦创

KAFKA 监控管理界面 KAFKA EAGLE 安装

概述 Kafka Eagle监控系统是一款用来监控Kafka集群的工具,目前更新的版本是v1.2.3,支持管理多个Kafka集群.管理Kafka主题(包含查看.删除.创建等).消费者组合消费者实例监控.消息阻塞告警.Kafka集群健康状态查看等. 安装与使用 1.下载 https://codeload.github.com/smartloli/kafka-eagle-bin/tar.gz/v1.2.7 2.安装 解压 tar -zxvf kafka-eagle-web-1.2.7-bin.tar

Kafka副本管理—— 为何去掉replica.lag.max.messages参数

今天查看Kafka 0.10.0的官方文档,发现了这样一句话:Configuration parameter replica.lag.max.messages was removed. Partition leaders will no longer consider the number of lagging messages when deciding which replicas are in sync. 即replica.lag.max.messages参数被正式地移除了,现在topic

MHA群集管理

环境: 192.168.205.37: as MHA server 192.168.205.47: as Master server 192.168.205.57: as Slave1 server192.168.205.67: as Slave2 server 版本: OS: centos 7 1810 with mini install mariadb-server 5.5.60mha4mysql-manager-0.56-0.el6.noarch.rpm mha4mysql-node-0.

cluster maintain manager Software群集管理软件

1,ocfs2 2,crmsh(cluster management shell,)==crm shell [pacemaker OpenAIS,heartbeat,corosync,crmsh] 3,开源的ceph pk RedHat Gluster crm-moncorosync-cfgtool,corosync-objctl 4,(MySQL,MariaDB galera cluster)