Kafka消息系统监控

1、监控目标

1. 当系统可能或处于亚健康状态时及时提醒，预防故障发生
2. 报警提示

2、监控内容

2.1 机器监控

Kafka服务器指标

1. CPU Load
2. Disk IO
3. Memory

2.2 JVM监控

主要监控JAVA的 GC time(垃圾回收时间)，JAVA的垃圾回收机制对性能的影响比较明显

2.3 Kafka系统监控

1、Kafka总体监控

• zookeeper上/kafka08/broker/ids目录下节点数量
• leader 选举频率

2、Kafka Broker监控

• Broker是否存活
• Broker是否提供服务
• 数据流量  流入速度，流出速度 (message / byte)
• ISR 收缩频率

3、Kafka Controller监控

• controller存活数目

4、Kafka Producer监控

• producer队列中排队请求数
• 请求响应时间
• QPS/分钟

5、Kafka Consumer监控

• consumer队列中排队请求数
• 请求响应时间
• 最近一分钟平均每秒请求数

6、Topic监控

• 数据量大小；
• offset
• 数据流量 流入速度，流出速度 (message / byte)

由于流入数据速度(byte)决定了数据量大小，流入message速度决定offset，所以监控流入速度，流入message，流入速度就足够了。

3.监控指标

3.1 JVM监控

通过JMX获取GC time

3.2 kafka系统监控

监控数据获取方式

1、生存节点信息可以从zookeeper获取

2、除 生存节点 和 a、Broker是否提供服务，b、Topic数据量大小，c、Topic的offset 外，其他数据都可以通过JMX获取

Kafka消息系统监控,布布扣,bubuko.com