Kafka监控工具汇总

对于大数据集群来说，监控功能是非常必要的，通过日志判断故障低效，我们需要完整的指标来帮我们管理Kafka集群。本文讨论Kafka的监控以及一些常用的第三方监控工具。

一、Kafka Monitoring

首先介绍kafka的监控原理，第三方工具也是通过这些来进行监控的，我们也可以自己去是实现监控，官网关于监控的文档地址如下：

http://kafka.apache.org/documentation/#monitoring](http://kafka.apache.org/documentation/#monitoring)

kafka使用Yammer Metrics进行监控，Yammer Metrics是一个java的监控库。

kafka默认有很多的监控指标，默认都使用JMX接口远程访问，具体方法是在启动broker和clients之前设置JMX_PORT：

JMX_PORT=9997 bin/kafka-server-start.sh config/server.properties

Kafka的每个监控指标都是以JMX MBEAN的形式定义的，MBEAN是一个被管理的资源实例。

我们可以使用Jconsole （Java Monitoring and Management Console），一种基于JMX的可视化监视、管理工具。

来可视化监控的结果：

图2 Jconsole

随后在Mbean下可以找到各种kafka的指标。

Mbean的命名规范是 kafka.xxx:type=xxx,xxx=xxx

主要分为以下几类：

（监控指标较多，这里只截取部分，具体请查看官方文档）

Graphing and Alerting 监控:

kafka.server为服务器相关，kafka.network为网络相关。

Description Mbean name Normal value
Message in rate kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec
Byte in rate from clients kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec
Byte in rate from other brokers kafka.server:type=BrokerTopicMetrics,name=ReplicationBytesInPerSec
Request rate kafka.network:type=RequestMetrics,name=RequestsPerSec,request={Produce|FetchConsumer|FetchFollower}
Error rate kafka.network:type=RequestMetrics,name=ErrorsPerSec,request=([-.\w]+),error=([-.\w]+) Number of errors in responses counted per-request-type, per-error-code. If a response contains multiple errors, all are counted. error=NONE indicates successful responses.

Common monitoring metrics for producer/consumer/connect/streams监控：

kafka运行过程中的监控。

Metric/Attribute name Description Mbean name
connection-close-rate Connections closed per second in the window. kafka.[producer|consumer|connect]:type=[producer|consumer|connect]-metrics,client-id=([-.\w]+)
connection-close-total Total connections closed in the window. kafka.[producer|consumer|connect]:type=[producer|consumer|connect]-metrics,client-id=([-.\w]+)

Common Per-broker metrics for producer/consumer/connect/streams监控：

每一个broker的监控。

Metric/Attribute name Description Mbean name
outgoing-byte-rate The average number of outgoing bytes sent per second for a node. kafka.[producer|consumer|connect]:type=[consumer|producer|connect]-node-metrics,client-id=([-.\w]+),node-id=([0-9]+)
outgoing-byte-total The total number of outgoing bytes sent for a node. kafka.[producer|consumer|connect]:type=[consumer|producer|connect]-node-metrics,client-id=([-.\w]+),node-id=([0-9]+)

Producer监控：

producer调用过程中的监控。

Metric/Attribute name Description Mbean name
waiting-threads The number of user threads blocked waiting for buffer memory to enqueue their records. kafka.producer:type=producer-metrics,client-id=([-.\w]+)
buffer-total-bytes The maximum amount of buffer memory the client can use (whether or not it is currently used). kafka.producer:type=producer-metrics,client-id=([-.\w]+)
buffer-available-bytes The total amount of buffer memory that is not being used (either unallocated or in the free list). kafka.producer:type=producer-metrics,client-id=([-.\w]+)
bufferpool-wait-time The fraction of time an appender waits for space allocation. kafka.producer:type=producer-metrics,client-id=([-.\w]+)

Consumer监控：

consumer调用过程中的监控。

Metric/Attribute name Description Mbean name
commit-latency-avg The average time taken for a commit request kafka.consumer:type=consumer-coordinator-metrics,client-id=([-.\w]+)
commit-latency-max The max time taken for a commit request kafka.consumer:type=consumer-coordinator-metrics,client-id=([-.\w]+)
commit-rate The number of commit calls per second kafka.consumer:type=consumer-coordinator-metrics,client-id=([-.\w]+)
commit-total The total number of commit calls kafka.consumer:type=consumer-coordinator-metrics,client-id=([-.\w]+)

Connect监控：

Attribute name Description
connector-count The number of connectors run in this worker.
connector-startup-attempts-total The total number of connector startups that this worker has attempted.

Streams 监控：

Metric/Attribute name Description Mbean name
commit-latency-avg The average execution time in ms for committing, across all running tasks of this thread. kafka.streams:type=stream-metrics,client-id=([-.\w]+)
commit-latency-max The maximum execution time in ms for committing across all running tasks of this thread. kafka.streams:type=stream-metrics,client-id=([-.\w]+)
poll-latency-avg The average execution time in ms for polling, across all running tasks of this thread. kafka.streams:type=stream-metrics,client-id=([-.\w]+)

这些指标涵盖了我们使用kafka过程中的各种情况，还有kafka.log记录日志信息。每一个Mbean下都有具体的参数。

通过这些参数，比如出站进站速率，ISR变化速率，Producer端的batch大小，线程数，Consumer端的延时大小，流速等等，当然我们也要关注JVM，还有OS层面的监控，这些都有通用的工具，这里不做赘述。

kafka的监控原理已经基本了解，其他第三方监控工具也大部分是在这个层面进行的完善，下面来介绍几款主流的监控工具。

二、JmxTool

JmxTool并不是一个框架，而是Kafka默认提供的一个工具，用于实时查看JMX监控指标。。

打开终端进入到Kafka安装目录下，输入命令bin/kafka-run-class.sh kafka.tools.JmxTool便可以得到JmxTool工具的帮助信息。

比如我们要监控入站速率，可以输入命令：

bin/kafka-run-class.sh kafka.tools.JmxTool --object-name kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec --jmx-url service:jmx:rmi:///jndi/rmi://:9997/jmxrmi --date-format "YYYY-MM-dd HH:mm:ss" --attributes FifteenMinuteRate --reporting-interval 5000

BytesInPerSec的值每5秒会打印在控制台上:

>kafka_2.12-2.0.0 rrd$ bin/kafka-run-class.sh kafka.tools.JmxTool --object-name kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec --jmx-url service:jmx:rmi:///jndi/rmi://:9997/jmxrmi --date-format "YYYY-MM-dd HH:mm:ss" --attributes FifteenMinuteRate --reporting-interval 5000

Trying to connect to JMX url: service:jmx:rmi:///jndi/rmi://:9997/jmxrmi.

"time","kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec:FifteenMinuteRate"

2018-08-10 14:52:15,784224.2587058166

2018-08-10 14:52:20,1003401.2319497257

2018-08-10 14:52:25,1125080.6160773218

2018-08-10 14:52:30,1593394.1860063889

三、Kafka-Manager

雅虎公司2015年开源的kafka监控框架，使用scala编写。github地址如下：https://github.com/yahoo/kafka-manager

使用条件：

  1. Kafka 0.8.. or 0.9.. or 0.10.. or 0.11..
  2. Java 8+

下载kafka-manager

配置：conf/application.conf

kafka-manager.zkhosts="my.zookeeper.host.com:2181,other.zookeeper.host.com:2181"

部署：这里要用到sbt部署

./sbt clean dist

启动：

 bin/kafka-manager
 指定端口：
 $ bin/kafka-manager -Dconfig.file=/path/to/application.conf -Dhttp.port=8080
 权限：
 $ bin/kafka-manager -Djava.security.auth.login.config=/path/to/my-jaas.conf

随后访问local host:8080

就可以看到监控页面了：

图 topic

图 broker

页面非常的简洁，也有很多丰富的功能，开源免费，推荐使用，只是目前版本支持到Kafka 0.8.. or 0.9.. or 0.10.. or 0.11，需要特别注意。

四、kafka-monitor

linkin开源的kafka监控框架，github地址如下：https://github.com/linkedin/kafka-monitor

基于 Gradle 2.0以上版本，支持java 7和java 8.

支持kafka从0.8-2.0，用户可根据需求下载不同分支即可。

使用：

编译：

$ git clone https://github.com/linkedin/kafka-monitor.git
$ cd kafka-monitor
$ ./gradlew jar

修改配置：config/kafka-monitor.properties

"zookeeper.connect" = "localhost:2181"

启动：

$ ./bin/kafka-monitor-start.sh config/kafka-monitor.properties
单集群启动：
$ ./bin/single-cluster-monitor.sh --topic test --broker-list localhost:9092 --zookeeper localhost:2181
多集群启动：
$ ./bin/kafka-monitor-start.sh config/multi-cluster-monitor.properties

随后访问localhost:8080 看到监控页面

图 kafkamonitor

同时我们还可以通过http请求查询其他指标：

curl localhost:8778/jolokia/read/kmf.services:type=produce-service,name=*/produce-availability-avg

总体来说，他的web功能比较简单，用户使用不多，http功能很有用，支持版本较多。

五、Kafka Offset Monitor

官网地址http://quantifind.github.io/KafkaOffsetMonitor/

github地址 https://github.com/quantifind/KafkaOffsetMonitor

使用：下载以后执行

java -cp KafkaOffsetMonitor-assembly-0.3.0.jar:kafka-offset-monitor-another-db-reporter.jar      com.quantifind.kafka.offsetapp.OffsetGetterWeb      --zk zk-server1,zk-server2      --port 8080      --refresh 10.seconds      --retain 2.days
     --pluginsArgs anotherDbHost=host1,anotherDbPort=555

随后查看localhost:8080

图 offsetmonitor1

图offsetmonitor2

这个项目更关注于对offset的监控，页面很丰富，但是15年以后不再更新，无法支持最新版本kafka。继续维护的版本地址如下https://github.com/Morningstar/kafka-offset-monitor。

六、Cruise-control

linkin于2017年8月开源了cruise-control框架，用于监控大规模集群，包括一系列的运维功能，据称在linkedin有着两万多台的kafka集群，项目还在持续更新中。

项目github地址：https://github.com/linkedin/cruise-control

使用：

下载
git clone https://github.com/linkedin/cruise-control.git && cd cruise-control/
编译
./gradlew jar
修改 config/cruisecontrol.properties
bootstrap.servers   zookeeper.connect
启动:
./gradlew jar copyDependantLibs
./kafka-cruise-control-start.sh [-jars PATH_TO_YOUR_JAR_1,PATH_TO_YOUR_JAR_2] config/cruisecontrol.properties [port]

启动后访问：

http://localhost:9090/kafkacruisecontrol/state

没有页面，所有都是用rest api的形式提供的。

接口列表如下：https://github.com/linkedin/cruise-control/wiki/REST-APIs

这个框架灵活性很大，用户可以根据自己的情况来获取各种指标优化自己的集群。

七、Doctorkafka

DoctorKafka是Pinterest 开源 Kafka 集群自愈和工作负载均衡工具。

Pinterest是一个进行图片分享的社交站点。他们使用 Kafka 作为中心化的消息传输工具，用于数据摄取、流处理等场景。随着用户数量的增加，Kafka 集群也越来越庞大，对它的管理日趋复杂，并变成了运维团队的沉重负担，因此他们研发了 Kafka 集群自愈和工作负载均衡工具 DoctorKafka，最近他们已经在GitHub上将该项目开源。

使用：

下载：
git clone [git-repo-url] doctorkafka
cd doctorkafka
编译：
mvn package -pl kafkastats -am
启动：
java -server     -Dlog4j.configurationFile=file:./log4j2.xml     -cp lib/*:kafkastats-0.2.4.8.jar     com.pinterest.doctorkafka.stats.KafkaStatsMain         -broker 127.0.0.1         -jmxport 9999         -topic brokerstats         -zookeeper zookeeper001:2181/cluster1         -uptimeinseconds 3600         -pollingintervalinseconds 60         -ostrichport 2051         -tsdhostport localhost:18126         -kafka_config /etc/kafka/server.properties         -producer_config /etc/kafka/producer.properties         -primary_network_ifacename eth0

页面如下：

图dockerkafka

DoctorKafka 在启动之后，会阶段性地检查每个集群的状态。当探测到 broker 出现故障时，它会将故障 broker 的工作负载转移给有足够带宽的 broker。如果在集群中没有足够的资源进行重分配的话，它会发出告警。属于一个自动维护集群健康的框架。

八、Burrow

Burrow是LinkedIn开源的一款专门监控consumer lag的框架。

github地址如下：https://github.com/linkedin/Burrow

使用Burrow监控kafka, 不需要预先设置lag的阈值, 他完全是基于消费过程的动态评估

Burrow支持读取kafka topic和,zookeeper两种方式的offset，对于新老版本kafka都可以很好支持

Burrow支持http, email类型的报警

Burrow默认只提供HTTP接口(HTTP endpoint)，数据为json格式，没有web UI。

安装使用:

$ Clone github.com/linkedin/Burrow to a directory outside of $GOPATH. Alternatively, you can export GO111MODULE=on to enable Go module.
$ cd to the source directory.
$ go mod tidy
$ go install

示例：

列出所有监控的Kafka集群
curl -s http://localhost:8000/v3/kafka |jq
{
  "error": false,
  "message": "cluster list returned",
  "clusters": [
    "kafka",
    "kafka"
  ],
  "request": {
    "url": "/v3/kafka",
    "host": "kafka"
  }
}

其他的框架，还有kafka-web-console：https://github.com/claudemamo/kafka-web-console

kafkat：https://github.com/airbnb/kafkat

capillary:https://github.com/keenlabs/capillary

chaperone:https://github.com/uber/chaperone

还有很多，但是我们要结合自己的kafka版本情况进行选择。

更多实时计算，Kafka等相关技术博文，欢迎关注实时流式计算

原文地址：https://www.cnblogs.com/tree1123/p/11399130.html

时间： 2024-09-28 10:10:51

Kafka监控工具汇总的相关文章

linux系统监控工具汇总及几个小脚本 ， 系统初始化脚本

重要性能监测工具:top.vmstat.w.uptime.ps.free.iostat.netstat./proc等 需要监视Linux服务器的性能?大多数Linux发行版都集成了一些监视工具.这些工具可以获取有关系统活动的信息的详细指标.通过这些工具,你可以发现产生系统性能问题可能存在原因.下面讨论的是一些最基本的命令,它涉及到系统分析和调试服务器等一些问题,如:1.    找出系统瓶颈问题.2.    磁盘 (储存) 瓶颈问题.3.    CPU和内存瓶颈问题.4.    网络瓶颈问题.#

基于web的kafka监控工具KafkaOffsetMonitor（内部js和css已经本地化）

KafkaOffsetMonitor是不错的kafka监控的web工具,官方提供的版本需要在线下载js和css,其中angulajs的下载不了,在不联网的内部环境下不能正常使用,所以本人将其所有到的js和css单独下载整到当前这个jar包中,下载在内部环境可以直接使用,请移步到此链接下载: http://download.csdn.net/download/changong28/7930337

Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用

KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具,其配置和使用特别的方便.源项目Github地址为:https://github.com/quantifind/KafkaOffsetMonitor. 最简单的使用方式是从Github上下载一个最新的KafkaOffsetMonitor-assembly-0.2.1.jar,上传到某服务器上,然后执行一句命令就可以运行起来.但是在使用过程中有可能会发现页面反应缓慢或者无法显示相应内容的情况

Kafka知识点汇总

总体结构 Producer producer根据用户指定的算法,将消息发送到指定的partition Part kafka以topic来进行消息管理,每个topic包含多个part(ition),每个part对应一个逻辑log,有多个segment组成. 每个segment中存储多条消息(见下图),消息id由其逻辑位置决定,即从消息id可直接定位到消息的存储位置,避免id到位置的额外映射. 每个part在内存中对应一个index,记录每个segment中的第一条消息偏移. 发布者发到某个topi

主要的监控工具汇总

Prometheus +  Grafana天生支持docker https://prometheus.io/ https://github.com/vegasbrianc/prometheus zabbix zenoss cacti nagois

Kafka实战－Flume到Kafka （转）

原文链接:Kafka实战-Flume到Kafka 1.概述 前面给大家介绍了整个Kafka项目的开发流程,今天给大家分享Kafka如何获取数据源,即Kafka生产数据.下面是今天要分享的目录: 数据来源 Flume到Kafka 数据源加载 预览 下面开始今天的分享内容. 2.数据来源 Kafka生产的数据,是由Flume的Sink提供的,这里我们需要用到Flume集群,通过Flume集群将Agent的日志收集分发到 Kafka(供实时计算处理)和HDFS(离线计算处理).关于Flume集群的Ag

spark streaming 对接kafka记录

spark streaming 对接kafka 有两种方式: 参考: http://group.jobbole.com/15559/ http://blog.csdn.net/kwu_ganymede/article/details/50314901 Approach 1: Receiver-based Approach 基于receiver的方案: 这种方式使用Receiver来获取数据.Receiver是使用Kafka的高层次Consumer API来实现的.receiver从Kafka中获

【转】Spark Streaming和Kafka整合开发指南

基于Receivers的方法 这个方法使用了Receivers来接收数据.Receivers的实现使用到Kafka高层次的消费者API.对于所有的Receivers,接收到的数据将会保存在Spark executors中,然后由Spark Streaming启动的Job来处理这些数据. 然而,在默认的配置下,这种方法在失败的情况下会丢失数据,为了保证零数据丢失,你可以在Spark Streaming中使用WAL日志,这是在Spark 1.2.0才引入的功能,这使得我们可以将接收到的数据保存到WA

ActiveMQ RabbitMQ RokcetMQ Kafka实战 消息队列中间件视频教程

ActiveMQ 第01节:ActiveMQ入门和消息中间件第02节:JMS基本概念和模型第03节:JMS的可靠性机制第04节:JMS的API结构和开发步骤_rec_rec第05节:Broker的启动方式吖第06节:ActiveMQ结合Spring开发吖第07节:ActiveMQ支持的传输协议吖第08节:ActiveMQ消息存储持久化_rec_rec第09节:ActiveMQ的静态网络链接吖第10节:多线程consumer访问集群第11节:集群下的消息回流功能第12节:容错的链接和动态网络连接第