mysqld_exporter的源码分析和定制化(单个mysqld_exporter监控多个数据库实例)

mysqld_exporter是prometheus官方提供的用于监控mysql运行状态的exporter。其相关信息可以参考:https://github.com/prometheus/mysqld_exporter

1. 配置

先看一下其配置方式。主要的配置内容分为两部分,一部分是监控目标mysql的连接信息,另一部分是exporter抓取的监控参数的设置。

首先是连接信息:

连接信息的设置方法有两种。第一种是通过环境变量设置,例如:

export DATA_SOURCE_NAME=‘user:[email protected](hostname:3306)/‘
./mysqld_exporter <flags>

另一种方法是通过配置文件进行设置。配置文件会在func parseMycnf()函数中被转化为与环境变量设置的格式相同。随后该设置将传入golang的db库并进行数据库连接。

对于两种设置的优先级,当环境变量存在(长度大于0)时,将不会对配置文件进行解析。

然后是exporter抓取的监控参数的设置:

这里用集合来表示监控参数的范围。首先exporter中利用scrapers常量记录了一个默认的采集范围集合A。

exporter也允许在exporter启动的时候,通过设置启动参数来设置采集范围B。

当集合B不存在时,集合A生效;当集合B存在时,集合B生效,集合A失效。

Prometheus在采集exporter的数据时,可以携带一个collect[]参数设定采集范围C。

当集合C不存在时,Prometheus最终的采集范围是A或者B(取决于哪个集合生效);当集合C存在时,Prometheus最终的采集范围时C和A或者B(取决于哪个集合生效)的交集。

2. 工作模式

exporter收集监控数据主要是由Collector实现的。

首先是路由的注册。注意mysqld_exporter.go的277和278行:

    handlerFunc := newHandler(collector.NewMetrics(), enabledScrapers)
    http.Handle(*metricPath, promhttp.InstrumentMetricHandler(prometheus.DefaultRegisterer, handlerFunc))

可以看出主要的处理函数在newHandler(),回到162行函数本体。164行是默认的scraper,165行是获取prometheus带的collect[]参数。在196-208行,对collect[]进行了处理,并与scraper求了交集。

在210-211行注册了prometheus的collector,collector的处理入口在/collector/exporter.go的85行New()函数。函数New()返回了一个叫Exporter的结构体。该结构体实现了Prometheus采集的interface,因此在117行的其成员函数Collect()就是采集数据的位置。

Collect()函数调用了126行的scrape()函数。scrape()函数做了一些数据库初始化的操作后,在160行遍历了所有scraper,并go func调用所有scraper的Scrape()函数,实现对目标数据的采集。

综上,对于mysqld_exporter,只有Prometheus在访问其数据接口时,exporter才对数据库进行连接并采集数据。对于多个scraper,exporter采取多个协程实现数据的并发采集。(具体的并发能力还要看mysql中为exporter提供的账号的并发连接数)

3. 定制化

对于单个mysqld_exporter,其内存占用多在几十M左右。而在实际的应用中,单个exporter实例只能监控单个mysql数据库是该exporter的一个痛点。

而第2节中介绍的数据采集的特性,其数据接口在未被访问时几乎没有其他动作,因此从性能开销上来讲,利用单个exporter监控多个数据库并不会存在太大问题。

(当然一个显然的问题是,多个数据库的请求是串行还是并行?如果选择并行,对每个数据库的每个scraper使用单独的协程,在协程数量过多的时候对性能会不会产生影响。这是需要深入讨论的问题。但是接下来的内容避开了这个问题。)

如何使exporter可以监控多个数据库实例?一个直接的思路是,在Prometheus访问数据接口时,多传入一个instance参数,该参数为监控目标数据库的地址和端口,例如“localhost:3306”。

那么,当我们处理Prometheus的访问(即前文提到的newHandler)时,如果解析到了instance参数,就将该instance信息替换掉配置中的数据库连接信息,这样就实现了利用Prometheus的配置参数选择监控的数据库实例。

通常,Prometheus的配置文件应该类似:

scrape_configs:

  - job_name: ‘prometheus‘

    static_configs:
      - targets: [‘localhost:9090‘]

      - params
        "collect[]":
          - ***

但是这样每次访问接口只能获取某个数据库实例的监控数据。这些数据如何整合到一起?

这时候Prometheus配置中的relabel config就登场了。(这里,具体的说明文档请参考https://prometheus.io/docs/prometheus/latest/configuration/configuration/#relabel_config

这里我们解释一下relabel和metrics relabel的区别。relabel是在Prometheus访问数据接口前生效的,metrics relabel是在接收到数据之后生效的。

relabel config中提供了以下两个label:

第一个是__address__。通常,我们在配置Prometheus的监控对象时,监控的目标时target。在relabel阶段,target会自动传给__address__,并作为relabel之后Prometheus访问数据接口的地址。

因此,在relabel阶段,我们可以直接将__address__这个label进行replace,这样就可以重新制定Prometheus访问的数据接口的地址。

第二个是__param_<name>。即,我们可以在relabel阶段,通过对这个label进行处理,实现在访问数据接口时携带指定的参数和内容。

举例如下:

scrape_configs:

  - job_name: ‘prometheus‘

    static_configs:
      - targets:
        - localhost:3306
        - localhost:3308

      - params
        "collect[]":
          - ***

    relabel_config
      - source_labels: [‘targets‘]
        target_label: __address__
      - source_labels: [‘__address__‘]
        target_label: __param_instance
      - source_labels: [‘__address__‘]
        replacement: localhost:9104

假设我们在本地3306和3308两个端口起了两个mysql,然后再9104起了定制化的exporter。

先看relabel,我们把targets放入__address__,然后将__address__放入__param_instance,这样原来的target就作为访问数据接口的参数instance。而访问接口的地址被replace成localhost:9104。

这样就通过在exporter的数据接口增加参数,结合Prometheus配置中的relabel,实现了利用单个mysqld_exporter对多个数据库实例进行监控。

如果需要更深的定制化,比如通过sql语句指定采集的数据等,用mysqld_exporter就不合适了。为了实现这个功能,需要实现一个独立的Colletor,这样开发成本较高。

对于自定义sql语句这个需求,可以使用sql_exporter实现。详情可以参考https://github.com/free/sql_exporter

原文地址:https://www.cnblogs.com/wangzhao765/p/11247830.html

时间: 2024-11-10 19:34:38

mysqld_exporter的源码分析和定制化(单个mysqld_exporter监控多个数据库实例)的相关文章

Tornado源码分析系列之一: 化异步为&#39;同步&#39;的Future和gen.coroutine

转自:http://blog.nathon.wang/2015/06/24/tornado-source-insight-01-gen/ 用Tornado也有一段时间,Tornado的文档还是比较匮乏的,但是幸好其代码短小精悍,很有可读性,遇到问题时总是习惯深入到其源码中.这对于提升自己的Python水平和对于网络及HTTP的协议的理解也很有帮助.本文是Tornado源码系列的第一篇文章,网上关于Tornado源码分析的文章也不少,大多是从Event loop入手,分析Event loop的工作

Spring Developer Tools 源码分析:二、类路径监控

在 Spring Developer Tools 源码分析一中介绍了 devtools 提供的文件监控实现,在第二部分中,我们将会使用第一部分提供的目录监控功能,实现对开发环境中 classpath 的监控. 二.类路径监控 首先看一些这一部分可能涉及到的类图: 在图中,红色斜线左上部分是第一部分中介绍的文件目录监控的类,其中 FileSystemWatcher 会通过独立线程监控指定的目录,当目录内容发生变化时,通过对比快照可以获得所有监控目录变化的文件ChangedFiles,然后将变化通知

dubbo源码分析01:SPI机制

一.什么是SPI SPI全称为Service Provider Interface,是一种服务发现机制,其本质是将接口实现类的全限定名配置在文件中,并由服务加载器读取配置文件.这样可以在运行时,动态为该接口替换实现类. JDK提供了默认的SPI实现,但是Dubbo并未使用JDK提供的SPI,而是自己封装了一套.我们先来通过Dubbo官网给的两个例子简单了解下JDK和Dubbo的SPI是如何使用的. 1.1.JDK SPI示例 首先定义一个接口以及它的两个实现类 1 public interfac

携程DynamicAPK插件化框架源码分析

携程DynamicAPK插件化框架源码分析 Author:莫川 插件核心思想 1.aapt的改造 分别对不同的插件项目分配不同的packageId,然后对各个插件的资源进行编译,生成R文件,然后与宿主项目的R文件进行id的合并. 要求:由于最终会将所有的资源文件id进行合并,因此,所有的资源名称均不能相同. 2.运行ClassLoader加载各Bundle 和MultiDex的思路是一样的,所有的插件都被加载到同一个ClassLoader当中,因此,不同插件中的Class必须保持包名和类名的唯一

Android Small插件化框架源码分析

Android Small插件化框架源码分析 目录 概述 Small如何使用 插件加载流程 待改进的地方 一.概述 Small是一个写得非常简洁的插件化框架,工程源码位置:https://github.com/wequick/Small 插件化的方案,说到底要解决的核心问题只有三个: 1.1 插件类的加载 这个问题的解决和其它插件化框架的解决方法差不多.Android的类是由DexClassLoader加载的,通过反射可以将插件包动态加载进去.Small的gradle插件生成的是.so包,在初始

MyBatis源码分析-MyBatis初始化流程

MyBatis 是支持定制化 SQL.存储过程以及高级映射的优秀的持久层框架.MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集.MyBatis 可以对配置和原生Map使用简单的 XML 或注解,将接口和 Java 的 POJOs(Plain Old Java Objects,普通的 Java对象)映射成数据库中的记录.如何新建MyBatis源码工程请点击MyBatis源码分析-IDEA新建MyBatis源码工程. MyBatis初始化的过程也就是创建Configura

MyBatis源码分析-SQL语句执行的完整流程

MyBatis 是支持定制化 SQL.存储过程以及高级映射的优秀的持久层框架.MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集.MyBatis 可以对配置和原生Map使用简单的 XML 或注解,将接口和 Java 的 POJOs(Plain Old Java Objects,普通的 Java对象)映射成数据库中的记录.如何新建MyBatis源码工程请点击MyBatis源码分析-IDEA新建MyBatis源码工程. MyBatis框架主要完成的是以下2件事情: 根据JD

Docker源码分析(一):Docker架构

[编者按]在<深入浅出Docker>系列文章的基础上,InfoQ推出了<Docker源码分析>系列文章.<深入浅出Docker>系列文章更多的是从使用角度出发,帮助读者了解Docker的来龙去脉,而<Docker源码分析>系列文章通过分析解读Docker源码,来让读者了解Docker的内部实现,以更好的使用Docker.总之,我们的目标是促进Docker在国内的发展以及传播.另外,欢迎加入InfoQ Docker技术交流群,QQ群号:272489193. 1

基于RTL819X实现的Router/AP的源码分析[一]

*************************************************************************************************************************** 作者:EasyWave                                                                               时间:2015.01.11 类别:路由器类-基于RTL819X实现的Ro