监控实战Prometheus+Grafana

这期的分享是监控实战，其实不想写这篇的，因为网上相关的文章也挺多的，但是出于光说不练都是假把式，而且也想告诉你：当帅气的普罗米修斯（Prometheus）遇到高颜值的格拉法纳（Grafana）究竟会擦出什么样的火花？所以忍不住还是想分享啊。

为了实战，我们再次请出架构图，请注意图中红色圈 1 的部分，主要分两条线去实战。

第一条战线：Prometheus 如何监控机器？

采用标准的PGOne技术组件Prometheus Server + Grafana + node_exporter完成对机器的性能监控。

第二条战线：Prometheus 如何监控 flink？

采用技术组件client lib（flink-metrics-prometheus_x.jar） + PushGateway + Prometheus Server + Grafana完成对 flink 的监控。

1. Prometheus 如何监控机器？

工欲善其事必先利其器，先下载相关组件包。prometheus 提供了两种下载方式，第一种是二进制压缩包的方式，第二种是 docker 镜像的方式。

#方式1：二进制压缩包下载链接
https://prometheus.io/download/	

#方式2：docker镜像链接
https://hub.docker.com/u/prom

本次实战均采用 docker 镜像下载。

docker pull prom/node-exporter
docker pull prom/prometheus
docker pull grafana/grafana

　　

下载完成成， 输入命令 docker images 列出本地主机上的镜像（由于pushgateway镜像之前在本机已经下载过，你如果第一次跟着做，应该看不到这个，后面操作会进行下载）。

做好准备工作。

#创建 grafana 数据存储目录
mkdir /opt/grafana-storage
#因为 grafana 会在这个目录写入文件，赋权限。
chmod 777 -R /opt/grafana-storage
#创建 prometheus 配置文件存放目录
mkdir /opt/prometheus/
#在 prometheus 配置文件目录下，创建prometheus.yml文件
vi /opt/prometheus/prometheus.yml
# prometheus.yml中配置静态监控对象 targets，输入如下配置内容（请注意修改 IP 为你的真实 IP）：
global:
  scrape_interval:     60s
  evaluation_interval: 60s	

scrape_configs:
  - job_name: prometheus
    static_configs:
      - targets: [‘localhost:9090‘]
        labels:
          instance: ‘prometheus‘	

  - job_name: linux
    static_configs:
      - targets: [‘IP:9100‘]
        labels:
          instance: ‘linux‘

　　

准备就绪，逐个启动组件。

# 启动 node-exporter
docker run -d -p 9100:9100  -v "/proc:/host/proc:ro"  -v "/sys:/host/sys:ro"  -v "/:/rootfs:ro"  --net="host"  prom/node-exporter
# 启动 prometheus
docker run -d -p 9090:9090  -v /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml  prom/prometheus
# 启动 grafana
docker run -d -p 3000:3000  --name=grafana -v /opt/grafana-storage:/var/lib/grafana grafana/grafana

　　

确认一下是否都启动了，输入 docker ps -a 一探究竟。

再次确认一下服务是否都 OK 了， 逐个访问一下。

  • node_exporter 访问输入 http://YOUR_CONF_IP:9100/metrics，效果如下

  • Prometheus 访问输入 http://YOUR_CONF_IP:9090/targets，效果如下

  • Grafana 访问输入 http://YOUR_CONF_IP:3000，效果如下

默认用户名密码 ： admin/admin

点击 Add data source，选择 Prometheus。

配置url 输入Prometheus的 ip + 端口，然后点击 Save&Test 按钮，会提示Data source is working。

回到首页，点击 New dashboard --> Add Query。

Panel Title 下拉菜单选择 edit，输入指标会自动提示呦。

效果所见即所得。

到这儿，采用 Prometheus Server + Grafana + node_exporter 对机器性能指标监控的实战，就算演示操作完毕，点到为止，接下来看看 flink 监控如何集成。

2. Prometheus 如何监控 flink？

第一步：下载 pushgateway 镜像，并完成启动。

# 下载 pushgateway 镜像
docker pull prom/pushgateway	

# 启动 pushgateway
docker run -d -p 9091:9091 prom/pushgateway

　　

第二步：在 prometheus.yml 中添加 pushgateway 的配置，用于告诉 Prometheus 监控 pushgateway，并重新启动 prometheus。

global:
  scrape_interval:     60s
  evaluation_interval: 60s	

scrape_configs:
  - job_name: prometheus
    static_configs:
      - targets: [‘localhost:9090‘]
        labels:
          instance: ‘prometheus‘	

  - job_name: linux
    static_configs:
      - targets: [‘IP:9100‘]
        labels:
          instance: ‘linux‘
  - job_name: ‘pushgateway‘
    static_configs:
      - targets: [‘IP:9091‘]
        labels:
          instance: ‘pushgateway‘

　　

第三步：针对 flink 添加监控集成包，直接把 flink-1.8.1/opt 目录下的 flink-metrics-prometheus-1.8.1.jar 包复制一份到 flink-1.8.1/lib 目录下即可。

第四步：然后在 flink 配置文件 flink-conf.yml 中添加如下内容（注意修改IP），启动 flink 即可。

##metrics
metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
metrics.reporter.promgateway.host: YOUR_CONF_IP
metrics.reporter.promgateway.port: 9091
metrics.reporter.promgateway.jobName: myJob
metrics.reporter.promgateway.randomJobNameSuffix: true
metrics.reporter.promgateway.deleteOnShutdown: false

　　

第五步：回到 Grafana 首页，点击 New dashboard，创建一个新的 dashboard，选择 flink（注意如果没有出现 flink，那说明 flink 没有启动）。

选择并添加相关指标看一看。

好了，到这 Prometheus 监控 flink 也就完毕了，后续就是监控指标如何展示的更好的问题，不再赘述。

3. 有钟意的 dashboard，Grafana 如何让她变成自己的？

网站 https://grafana.com/grafana/dashboards 提供了一系列的模板，可供使用，那该如何导入到自己的 Grafana 下呢？

第一步：选择钟意的 dashboard，获取对应的 dashboard 编号。

第二步：回到自己的 Grafana 首页，选择"+" --> Import

然后输入 Copy 的 dashboard 编号，点击 load。

效果所见即所得，高端大气上档次。

好了，帅气的 Prometheus 与高颜值的 Grafana 擦出的烟火就放到这儿吧。不过在结束之前，还是归拢一下本次演示遇到的问题吧，以供你参考。

4. 问题集锦

问题一：Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

linux解决方案
    systemctl daemon-reload
    systemctl restart docker.service	

mac下直接启动 docker 服务就行了。

　　

问题二：Get http://localhost:9100/metrics: dial tcp [::1]:9100: connect: connection refused

解决方案：修改 prometheus.yml 文件中 targets: [‘localhost:PORT‘] 中的 localhost:PORT 修改为真实 IP:PORT 就行了。

问题三：启动 grafana 时始终失败。

mkdir: cannot create directory ‘/var/lib/grafana/plugins‘: Permission denied
GF_PATHS_DATA=‘/var/lib/grafana‘ is not writable.
You may have issues with file permissions, more information here: http://docs.grafana.org/installation/docker/#migration-from-a-previous-version-of-the-docker-container-to-5-1-or-later

解决方案：chmod 777 /opt/grafana-storage

问题四：Prometheus 监控 flink 时，始终找不到 PrometheusPushGatewayReporter。

java.lang.ClassNotFoundException: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter

解决方案：直接把 flink-1.8.1/opt 目录下的 flink-metrics-prometheus-1.8.1.jar 包复制一份到 flink-1.8.1/lib 目录下即可。

5. 命令集锦

docker pull prom/node-exporter  //拉取镜像
docker images //查看本机所有镜像
docker run ... //创建一个新的容器
docker stop $(docker ps -a -q)  //停止所有容器
docker rm $(docker ps -a -q) //删除所有容器
docker logs -f --tail=10 CONTAINER_ID //查看容器的最后10行的日志

　　

好了，每天进步一点点, 一年后你的进步将远远超乎你的想象。如果感觉文章有点意思，请多多分享转发吧。

原文地址：https://www.cnblogs.com/socoool/p/12629764.html

时间： 2024-10-12 06:06:34

监控实战Prometheus+Grafana的相关文章

机房ping监控 smokeping+prometheus+grafana(续) 自动获取各省省会可用IP

一.前言 1.之前的文章中介绍了如何使用smokeping监控全国各省的网络情况:https://www.cnblogs.com/MrVolleyball/p/10062231.html 2.由于之前的文章中给出的IP列表,会出现不可用的情况,本文更新了自动获取IP地址列表的脚本 二.环境准备 组件 版本 OS Ubuntu 16.04.4 LTS 三.代码更新日志 2019.7.31更新: 1.增加自动获取各省可用IP的脚本 2.运行之后会自动更新smokeping/location下的cmc

Prometheus Grafana监控全方位实践

这次就不用 docker 部署服务了,这样大家会更容易接受.欢迎阅读. 引言 Prometheus 是一个监控系统,也是一个时间序列数据库,用Go语言开发的,官方文档.通过从某些特定的目标如主机,Mysql,Redis等,收集带有时间标记的一些指标(metrics),比如服务器内存情况,数据库连接数量等数据,经过一定的处理,按照时间序列顺序进行显示. 你可以配置规则,对这些指标进行处理,当某些指标符合某种规则,会触发报警等.项目地址: https://github.com/prometheus/

Prometheus+Grafana监控部署实践

参考文档: Prometheus github:https://github.com/prometheus grafana github:https://github.com/grafana/grafana Prometheus getting_started:https://prometheus.io/docs/prometheus/latest/getting_started/ Prometheus node_exporter:https://github.com/prometheus/no

prometheus+grafana+docker 监控tomcat jvm

说明:基于环境mesos+marathon+docker+prometheus+grafana监控tomcat一.配置环境(1)dockerfile from tomcat COPY tomcat-users.xml /usr/local/tomcat/conf/ COPY server.xml /usr/local/tomcat/conf/ COPY context.xml /usr/local/tomcat/webapps/manager/META-INF/ COPY catalina.sh

prometheus+grafana+consul+supervisor搭建监控系统（一）之supervisor搭建

随着公司业务增大,zabbix+脚本监控已经不能满足需求,经过一段时间的研究发现prometheus+grafana+consul+supervisor非常不错,supervisor托管非daemod进程,动态注册到consul中,prometheus通过targets发现consul中的服务,Grafan中data Source配置:Prometheus(http://xxx.xxx.xxx.xxx:9090)获取源数据展示出来(非常漂亮,美观) 把搭建的过程分享给大家  PS:有些还在研究中

Prometheus+Grafana部署监控docker服务

1.环境192.168.244.128 Prometheus 监控服务器192.168.244.129 docker 服务(被监控端)注:都是centos7.5系统 2.下载安装包https://prometheus.io/download/ (需要的安装包都可以下载)wget https://github.com/prometheus/prometheus/releases/download/v2.3.2/prometheus-2.3.2.linux-amd64.tar.gz 服务端(监控se

使用Prometheus+Grafana监控MySQL实践

Grafana+Prometheus打造全方位立体监控系统 一.介绍Prometheus Prometheus(普罗米修斯)是一套开源的监控&报警&时间序列数据库的组合,起始是由SoundCloud公司开发的.随着发展,越来越多公司和组织接受采用Prometheus,社会也十分活跃,他们便将它独立成开源项目,并且有公司来运作.Google SRE的书内也曾提到跟他们BorgMon监控系统相似的实现是Prometheus.现在最常见的Kubernetes容器管理系统中,通常会搭配Promet

cAdvisor+Prometheus+Grafana监控docker

cAdvisor+Prometheus+Grafana监控docker 一.cAdvisor(需要监控的主机都要安装) 官方地址:https://github.com/google/cadvisor CAdvisor是谷歌开发的用于分析运行中容器的资源占用和性能指标的开源工具.CAdvisor是一个运行时的守护进程,负责收集.聚合.处理和输出运行中容器的信息.注意在查找相关资料后发现这是最新版cAdvisor的bug,换成版本为google/cadvisor:v0.24.1 就ok了,映射主机端

prometheus+grafana监控redis

prometheus+grafana监控redis redis安装配置 https://www.cnblogs.com/autohome7390/p/6433956.html redis_exporter 安装 cd /usr/src wget https://github.com/oliver006/redis_exporter/releases/download/v0.21.2/redis_exporter-v0.21.2.linux-amd64.tar.gz tar xf redis_ex