Kafka Eagle V1.3.4更新预览

1.概述

Kafka Eagle是一款开源的Kafka集群监控系统,源代码托管在Github。目前Kafka Eagle已更新到V1.3.4版本,域名已经统一更新为http://www.kafka-eagle.org/,之前的下载地址和官网使用手册地址均已替换,例如http://download.smartloli.org/替换为http://download.kafka-eagle.org/,而使用手册地址http://ke.smartloli.org/替换为https://docs.kafka-eagle.org/。今天,笔者就带着大家来整体分析一下Kafka Eagle。

2.内容

Kafka Eagle迭代至今,以及集成了许多功能,例如:多集群管理、Topic大小统计、Topic MBean监控、Kafka多版本兼容、Flink消费者应用程序支持等。

2.1 Kafka Eagle

2.1.1 背景

Kafka Eagle设计的背景,有以下几点原因:

  • Apache Kafka官方没有提供监控系统或是Web页面,来可视化Kafka集群,这对管理和掌握Kafka的动态带来极大的不方便,而开发者和运维人员无法及时把握Kafka的状态,在定位分析一些问题的时候,会很不方便
  • 已有的监控工具功能较少,对于现有的Kafka监控工具,功能较少,达不到想要的监控和管理效果
  • 已有的监控工具使用难度较大,目前一些监控工具均需要自己编译源代码,而且在配置上很复杂,同时文档说明也没有统一的规范,使用起来很不方便
  • 告警支持不足,有些监控工具虽然支持邮件告警,但是,对于已有的IM支持比较欠缺,例如微信和钉钉的支持等

2.1.2 架构和核心模块

Kafka Eagle核心模块包含如下:

  • 面板可视化
  • 主题管理,包含创建主题、删除主题、主题列举、主题配置、主题查询等
  • 消费者应用:对不同消费者应用进行监控,包含Kafka API、Flink API、Spark API、Storm API、Flume API、LogStash API等
  • 集群管理:包含对Kafka集群和Zookeeper集群的详情展示,其内容包含Kafka启动时间、Kafka端口号、Zookeeper Leader角色等。同时,还有多集群切换管理,Zookeeper Client操作入口
  • 集群监控:包含对Broker、Kafka核心指标、Zookeeper核心指标进行监控,并绘制历史趋势图
  • 告警功能:对消费者应用数据积压情况进行告警,以及对Kafka和Zookeeper监控度进行告警。同时,支持邮件、微信、钉钉告警通知
  • 系统管理:包含用户创建、用户角色分配、资源访问进行管理

Kafka Eagle架构组成如下所示:

  • 可视化:负责展示主题列表、集群健康、消费者应用等
  • 采集器:数据采集的来源包含Zookeeper、Kafka JMX & 内部Topic、Kafka API(这里API针对Kafka 2.x以后的版本进行升级)
  • 数据存储:目前Kafka Eagle存储采用MySQL或SQLite,数据库和表的创建均是自动完成的,按照官方文档进行配置好,启动Kafka Eagle就会自动创建,用来存储元数据和监控数据
  • 监控:负责见消费者应用消费情况(是否有数据积压)、集群健康状态(集群节点是否掉线)
  • 告警:对监控到的异常进行告警通知,支持邮件、微信、钉钉等方式
  • 权限管理:对访问用户进行权限管理,对于管理员、开发者、访问者等不同角色的用户,分配不用的访问权限

2.1.3 选择Kafka Eagle有哪些好处

选择Kafka Eagle有哪些好处呢?首先Kafka Eagle安装使用非常方便,这也是Kafka Eagle设计的初衷之一;其次,Kafka Eagle提供了友好的用户交互界面,以及丰富的功能支持。同时,对于使用过程中遇到的BUG和问题,可以在QQ群中进行咨询以及在Github源代码中提issues。总计如下:

  • 简单易用
  • 功能丰富
  • 专业支持(咨询渠道多,实时咨询Kafka Eagle项目作者进行解答)

2.1.4 后续工作

Kafka Eagle的后续工作,分为4个维度:

  • 系统质量维度:持续优化Kafka Eagle系统,保证Kafka Eagle系统的使用质量
  • 需求收集维度:调研并收集Kafka监控需求,同时修复Kafka Eagle在Github中issues问题
  • 新功能开发维度:对于实际需求在Kafka Eagle中做新功能开发,来满足使用者的实际需求
  • 文档完善维度:对Kafka Eagle的官网使用手册进行完善,保证用户能够阅读规范的的使用手册

3.新功能预览

在Kafka Eagle V1.3.4中对Flink消费者应用进行了优化,同时对历史趋势图的绘制进行了优化,以及对展示主题列表和消费列表的逻辑进行优化。

4.文档整理

完善了Kafka Eagle的官方使用手册(https://docs.kafka-eagle.org/),以及Kafka Eagle系统设计PDF文档(http://pdf.kafka-eagle.org/)。

5.总结

Kafka Eagle的安装使用非常方便,如果在使用过程中遇到了问题,可以给笔者发邮件留言,或者直接在QQ群进行笔者。同时,也非常欢迎大家一起参与维护这个项目,在Github上提PR,或者issues。

6.结束语

这篇博客就和大家分享到这里,如果大家在研究学习的过程当中有什么问题,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!

另外,博主出书了《Kafka并不难学》和《Hadoop大数据挖掘从入门到进阶实战》,喜欢的朋友或同学, 可以在公告栏那里点击购买链接购买博主的书进行学习,在此感谢大家的支持。关注下面公众号,根据提示,可免费获取书籍的教学视频。

原文地址:https://www.cnblogs.com/smartloli/p/11185746.html

时间: 2024-10-14 00:02:27

Kafka Eagle V1.3.4更新预览的相关文章

Win10 Mobile/PC一周年更新预览版14393.67更新内容大全

9月28日消息,今天tt娱乐推送了Win10一周年更新预览版14393.67,包括Win10 Mobile和Windows10 PC系统,覆盖快速.慢速和发布预览通道用户.在本次更新中微软主要带来一系列修复性更新. 下面是Win10 Build 14393.67更新内容: • 解决Win10 Mobile设备上使用蓝牙开启“你好,小娜”功能导致的电量明显下降问题 • 解决用户升级到全新体验后阻止使用朝鲜语进行本地帐户登录问题

唐娜姐推送Win10 Mobile/PC一周年更新预览版14393.67

9月28日消息,虽然我们没有等来Win10 Mobile一周年更新正式版系统推送,但今天炸金花唐娜姐也没有闲着,在Win10一周年更新正式版后,微软开始继续推送Win10年度更新预览版14393.67累积性更新,包括Win10 Mobile系统,全面覆盖快速.慢速和发布预览通道. 新的Win10一周年更新累积性更新补丁升级后,最终版本是Build 14393.67,包含一系列Insider测试修复,如果你还没有收到更新,现在可以手动进行检查.

Win10 Mobile一周年更新预览版14367快速版推送

6月17日消息,微软唐娜姐今天再次按下了红色按钮,推送了Win10 Mobile和Windows10 PC一周年更新预览版14367,本次更新距离上次Win10 Mobile 14364和PC 14366仅仅过去两天,可谓是神速.Win10 Mobile本次主要带来大量的Bug修复. 升级请记得保持40%以上的电量和在WiFi网络环境下下载更新.本次澳门银河官网更新主要带来大量Bug修复,提升系统可靠性.

Win10一周年更新预览版14366开始推送

Win10Wi Insider项目负责人微软唐娜姐Dona Sarkar已预告,微软将推送Win10 Mobile年度更新预览版14364和Win10 PC预览版14366.刚刚IT之家发现Windows10一周年更新14366已开始推送,该版本带来大量Bug修复和稳定性改进. Win10 PC桌面版已经抢先Win10 Mobile手机版进行推送,上个版本Win10  Build 14361上周刚刚推送,很明显在Win10一周年更新正式版到来之前,真人麻将已经加快Win10预览版测试和更新频率.

elementUI el-dialog 解决embed标签无法实时更新预览PDF文件

<el-dialog class="padd-dialog" width="60%" title="详情" @opened="opened" :visible.sync="previewDialogvisible" append-to-body> <div class="dialog-body"> <!-- <embed style="wid

Win10 Mobile/PC稳定预览版14393.221(222)更新内容大全

win10之家 10月1日消息,微软此前推送了Win10 Mobile一周年更新预览版14393.221,而今天推送了Win10 PC年度更新14393.222,虽然版本号有差异,但微软将两次Windows10累积更新内容合并到一起公布. 下面IT之家为大家整理的Win10 Build 14393.222 (PC) / 14393.221 (Mobile)更新内容: 提升相关稳定性,包括Windows更新代理.驱动分享.VPN虚拟网络.集群.HTTP下载.IE11.Hyper-V虚拟机.多媒体播

Win10一周年更新发布预览版14393.82累积更新补丁推送

微软在推送Win10 Mobile一周年更新预览版14393.82的同时,也为Windows10 PC同步推送了一周年更新预览版14393.82累积更新,也就是补丁KB3176932,与此同时因为快速通道让给了Win10 RS2预览版,因此该更新也需要切换到Release Preview(发布预览)通道. 与Win10 Mobile设备不同的是,博狗切换发布预览通道后可能很快就会检查到更新,而Win10 PC设备切换通道后则可能需要等待几个小时.

Azure运维系列 2:使用预览门户配置VM固定公网IP

shyis最近微软中国Azure更新速度似乎已经超越任何时期了,前两天刚刚更新的Azure云助理,让众多Azure用户实现在移动端灵活的管理Azure资源,相信对于云服务来讲这也是未来不可或缺的管理方式之一.说到管理方式,不得不说微软中国Azure近期更新的另一大神器预览版门户. 说到Azure预览版门户,其实已经不是什么新玩意,毕竟在国际版Azure中已经预览了非常之久了.但对于中国版Azure来说毕竟是一个非常重要的更新,今天给大家带来的就是中国版Azure的预览版介绍以及通过配置固定公网I

自己动手开发更好用的markdown编辑器-04(预览功能)

这里文章都是从个人的github博客直接复制过来的,排版可能有点乱. 原始地址 http://benq.im/2015/04/25/hexomd-04/ 程序打包 文章目录 1. 打开新窗口 2. 预览功能 3. 优化体验 3.1. 滚动条随动 3.2. 样式美化 3.3. 代码块高亮 3.4. 关闭主程序前先自动关闭预览窗口 4. 总结 5. 附件 上一篇我们实现了系统模块的一些功能,对angular的使用更深入了一点. 今天这篇我们要实现实时预览的功能,将学习到如何使用nw.js打开额外新窗