(一)、简介
kafka-manager是最受欢迎的kafka集群管理工具,有如下功能:
- 管理多个集群
- 轻松检查群集状态(主题,消费者,偏移,代理,副本分发,分区分发)
- 运行首选副本选举
- 使用选项生成分区分配以选择要使用的代理
- 运行分区重新分配(基于生成的分配)
- 使用可选主题配置创建主题(0.8.1.1具有与0.8.2+不同的配置)
- 删除主题(仅支持0.8.2+并记住在代理配??置中设置delete.topic.enable = true)
- 主题列表现在指示标记为删除的主题(仅支持0.8.2+)
- 批量生成多个主题的分区分配,并可选择要使用的代理
- 批量运行重新分配多个主题的分区
- 将分区添加到现有主题
- 更新现有主题的配置
- 可随意开启对broker级别或者对topic级别的JMX轮询
- 可方便的过滤出没有id 、所有者、延迟或目录等的消费者
kafka-manager项目地址如下:https://github.com/yahoo/kafka-manager/releases ,可对应下载相应的版本。
(二)、安装和配置
[[email protected] opt]#wget https://github.com/yahoo/kafka-manager/archive/2.0.0.2.tar.gz
[[email protected] opt]#cd kafka-manager-2.0.0.2/
[[email protected] opt]#curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
[[email protected] opt]#mv bintray-sbt-rpm.repo /etc/yum.repos.d/
[[email protected] opt]#yum install sbt
[[email protected] opt]#sbt-version
[[email protected] opt]#./sbt clean dist
[[email protected] opt]#cd /usr/local/kafka-manager/target/universal/
[[email protected] opt]#mv kafka-manager-2.0.0.2/ /usr/local/kafka-manager2
########修改kafka-manager.zkhosts
[[email protected] opt]#[[email protected] opt]# vim /usr/local/kafka-manager2/conf/application.conf
kafka-manager.zkhosts="172.19.168.92:2181,172.19.152.247:2181,172.19.152.245:2181"
#########启动默认地址是9000也可以通过 -Dhttp.port,指定端口; -Dconfig.file=conf/application.conf指定配置文件:
[[email protected] opt]#yum install coreutils
[[email protected] opt]#[[email protected] opt]# nohup --version
nohup (GNU coreutils) 8.22
Copyright (C) 2013 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Written by Jim Meyering.
[[email protected] opt]# nohub /usr/local/kafka-manager2/bin/kafka-manager &
[[email protected] kafka-manager2]# netstat -lntp|grep 9000
tcp 0 0 0.0.0.0:9000 0.0.0.0:* LISTEN 26579/java
(三)、使用配置。
1、新建cluster集群
Enable JMX Polling
是否开启 JMX 轮训,该部分直接影响部分 kafka broker 和 topic 监控指标指标的获取(生效的前提是 kafka 启动时开启了 JMX_PORT。主要影响如下指标的查看:
2、Enable Active OffsetCache
是否开启 offset 缓存,决定 kafka-manager 是否缓存住 topic 的相关偏移量。
其它参数说明
其它参数说明
参数名 参数说明 默认值 备注
brokerViewUpdatePeriodSeconds Broker视图周期更新时间/单位(s) 30
clusterManagerThreadPoolSize 集群管理线程池大小 2
clusterManagerThreadPoolQueueSize 集群管理线程池列队大小 100
KafkaCommandThreadPoolSize Kafka命令线程池大小 2
logkafkaCommandThreadPoolQueueSize logkafka命令线程池列队大小 100
logkafkaUpdatePeriodSeconds Logkafka周期更新时间/单位(s) 30
partitionOffsetCacheTimeoutSecs Partition Offset缓存过期时间/单位(s) 5
brokerViewThreadPoolSize Broker视图线程池大小 8 3 number_of_brokers
brokerViewThreadPoolQueue Size Broker视图线程池队列大小 1000 3 total # of partitions across all topics
offsetCacheThreadPoolSize Offset缓存线程池大小 8
offsetCacheThreadPoolQueueSize Offset缓存线程池列队大小 1000
kafkaAdminClientThreadPoolSize Kafka管理客户端线程池大小 8
kafkaAdminClientTheadPoolQueue Sizec Kafka管理客户端线程池队列大小 1000
kafkaManagedOffsetMetadataCheckMillis Offset元数据检查时间 30000 (这部分解释属自己理解)
kafkaManagedOffsetGroupCacheSize Offset组缓存大小 100000 (这部分解释属自己理解)
kafkaManagedOffsetGroupExpireDays Offset组缓存保存时间 7 (这部分解释属自己理解)
Security Protocol 安全协议 PLAINTEXT [SASL_PLAINTEXT,SASL_SSL,SSL]
具体可以参考如下:https://blog.csdn.net/u011089412/article/details/87895652
原文地址:https://blog.51cto.com/liqingbiao/2417010