如何做实时监控?—— 参考 Spring Boot 实现(转)

转自:http://blog.csdn.net/xiaoyu411502/article/details/48129057

随着 微服务 的流行,相比较以前一个大型应用程序搞定所有需求,我们现在更倾向于把大型应用程序切分成多个微服务,服务之间通过 RPC 调用。微服务架构的好处非常多,例如稳定的服务变化较少,不会被非稳定服务所影响;不同的服务更方便交给不同的人管理;发布、扩容等操作也更加有针对性。不过这也不是没有代价的,额外的成本最主要的可能就是运维成本。

我们维护的一个产品,由 7 个微服务构成,它们各司其职,承担上行、下行、同步等各类职责,我非常喜欢这种架构,但也面临一个小小的烦恼。每次我们发布其中一个或者多个服务,就需要去验证服务的健康度,极限情况下,7 个服务 x (国内环境 + 国外环境)x (预发布环境 + 生产环境),总共需要验证 28 次!我希望有简单、标准、自动的方式去验证这些服务是否健康。当然,验证健康也不是跑一个完整的回归测试,那是在测试环境就需要完成的事情,健康检查基本只是关注环境是否 OK,最核心的一两个用例是否 OK。由于部署到预发布或者线上的代码,和线下测试的代码是一致的,因此就不需要重复验证各种功能了,关注点应该在环境上,这一点线上和线下是有明显区别的。至于环境区别,通常就是磁盘、数据库、其他分布式服务等等。

此外,我还希望所有服务的健康检查接口是完全一致的,没有人希望检查服务 A 的时候用 url /ok,检查服务 B 的时候用 url /good。

我曾尝试定义一个健康检查协议,让所有服务都暴露一个HTTP接口http://172.20.10.2/health.json ,返回的内容就包含这个这个服务的基本状态。

这几天看 Spring Boot ,发现它已经很好地集成了我想要的功能,而且看起来更简单,因此我就直接扔掉了自己定义的协议,改而使用 Spring Boot 的方式,Spring Boot 有一个称之为 endpoint 的概念,每个 endpoint 是一个非常简单的 HTTP 接口,用户可以通过 endpoint 监控 Spring Boot 应用,甚至与之交互。这其中,最简单的 endpoint 就是 health,只要加入必要的 Spring Boot 依赖,用户就能通过 health 查看 Spring Boot 应用的基本状态。

$ curl http://localhost:8080/health
{
    "status":"UP"
}

这里我们看到服务的状态是 UP,不过也许这个检查太简单了,例如我的服务依赖其他外部服务,其中一个 Tair,一个是 TFS,这两个都是强依赖,如果它们有问题,我的服务就应该是 DOWN 的状态,在 Spring Boot 中,可以这么扩展:

@Component
public class MyHealth implements HealthIndicator {
    @Override
    public Health health() {
  return new Health.Builder()
    .withDetail("tair", "timeout") // some logic check tair
    .withDetail("tfs", "ok") // some logic check tfs
    .status("500")
    .down()
    .build();
    }
}

只要加入一个 bean 实现 HealthIndicator 就能实现更加全面的检查,现在访问 health endpoint 是这样的:

$ curl http://localhost:8080/health
{
    "status": "DOWN",
    "tair": "timeout",
    "tfs": "ok"
}

只要在每个服务稍微实现一些基本的环境检查,那我就可以用几行脚本快速地完成 7 个服务 x (国内环境 + 国外环境)x (预发布环境 + 生产环境)的健康检查,如果有哪个服务出问题了,定位环境问题也是非常方便的。

这种监控是实时的,这一点非常重要。在实际工作中我们其实有非常完善的系统监控平台,平台能提供 CPU、内存、磁盘、网络IO、JVM 等等各种各样非常全面的信息,这种平台的优势有历史趋势记录,有汇总,有比较,劣势就是不够实时,通常只能看到 5 分钟前的数据。因此,在发布服务,扩容的时候,等待这样的系统监控平台反馈就不够了。

除了 health endpoint 之外,Spring Boot 还提供了 其它10多个 endpoint ,它们都是针对运维设计的,例如可以用 shutdown endpoint 来关闭服务、用 beans endpoint 来查看所有的 Spring Bean,下面我想详细讲一下 metrics 这个 endpoint。

默认访问 metrics 我们能得到很多信息,包括 JVM 的线程数、内存、GC 数据等等……,这些都是系统级别的数据,但其实我们可以通过 metrics 收集实时的业务数据,例如每分钟用户登陆数量、每分钟文件同步数量、实时的缓存命中率……等等。

实现是这样的:

@Component
public class MyMetric {
  private final CounterService counterService;
  private final GaugeService gaugeService;
  @Autowired
  public MyMetric(CounterService counterService, GaugeService gaugeService) {
    this.counterService = counterService;
    this.gaugeService = gaugeService;
  }
  public void exampleCounterMethod() {
    this.counterService.increment("login.count");
    // reset each minute
  }
  public void exampleGaugeMethod() {
    this.gaugeService.submit("cache.hit", 80.0);
  }
}

Spring Boot 内置了两个 Service,CounterService 可以用来做简单的累加累减,GaugeService 可以用来存放简单的 double 值,数据都存放在内存中。

现在访问 metrics endpoint 的效果是这样的:

$ curl http://localhost:8080/metrics
{
  "counter.login.count": 42,
  "counter.status.200.beans": 1,
  "counter.status.200.metrics": 9,
  "counter.status.200.root": 4,
  "gauge.cache.hit": 80.0,
  "gauge.response.beans": 55,
  "gauge.response.health": 12,
  "gauge.response.metrics": 4,
  ...
}

Spring Boot 的 metrics endpoint 带了很多的信息,这里我们只关注自定义的数据。

如果所有服务的核心业务数据都通过 metrics 暴露,我们接下来要做的无非就是通过一些数据可视化的 JavaScript 组件访问这些数据,做成一个 Dashboard,那我们就能通过这样一个 Dashboard 查看系统的实时状态。

Spring Boot 的 Endpoints 带着强烈的 DevOps 色彩, “you build it, you run it” ,开发不仅要关心如何实现功能,还需要关心服务在线上运行的状态,如果缺乏实时监控,维护线上服务必然是一场噩梦。如果基于 Spring Boot 开发服务,那只需要稍作扩展,实时监控就足够用了,就算不使用 Spring Boot,类似的思路自己实现也并不复杂。

参考链接 http://docs.spring.io/spring-boot/docs/1.1.x/reference/htmlsingle/#production-ready-endpoints

原文地址:https://www.cnblogs.com/shuiyelifang/p/8359926.html

时间: 2024-11-09 23:33:30

如何做实时监控?—— 参考 Spring Boot 实现(转)的相关文章

在Eclipse中使用建立使用Gradle做依赖管理的Spring Boot工程

前述: Gradle存在很长时间了,以前只知道Maven和ivy ,最近才知道有这个存在,因为以后要用这个了; 所以,要先学会怎么用这个工具,就从建立一个简单工程开始! 实际上以前是见过Gradle的,只是没注意,当然没注意的还有许多,看图: 原来还有这么多的依赖管理工具! 使用工具: IDE: eclipse JDK: 1.7 Gradle: 3.0 SpringBoot 具体步骤: 1.Eclipse添加Gradle支持: 安装Eclipse BulidShip插件:Eclipse-->He

Home Assistant系列 -- 接入手机摄像头做实时监控和人脸识别

准备一部废旧(土豪忽略,主要是穷)的.摄像头还是好的手机做监控设备,(Android 和iPhone都行)当Home Assistant 获得实时的视频流后,可以接入各种图像处理组件完成人脸识别,动作检测等功能. 第一步:手机端安装ip_webcam(IP摄像头)App        1.Android手机 Android手机 打开手机应用市场,搜索ip_webcam或IP摄像头,安装App. 启动App,在出现的设置界面底部点击开启服务器,摄像头进入拍摄传输模式. 记录视频监控界面底部显示的手

jconsole监控远程 spring boot程序

监控java 程序 增加启动参数 java  \ -Djava.rmi.server.hostname=192.168.1.97 \ -Dcom.sun.management.jmxremote \-Dcom.sun.management.jmxremote.port=1099 \-Dcom.sun.management.jmxremote.authenticate=false \-Dcom.sun.management.jmxremote.ssl=false \ -jar ImagesChec

Spring Boot应用监控的实战教程

概述 Spring Boot 监控核心是 spring-boot-starter-actuator 依赖,增加依赖后, Spring Boot 会默认配置一些通用的监控,比如 jvm 监控.类加载.健康监控等. 我们之前讲过Docker容器的可视化监控,即监控容器的运行情况,包括 CPU使用率.内存占用.网络状况以及磁盘空间等等一系列信息.同样利用SpringBoot作为微服务单元的实例化技术选型时,我们不可避免的要面对的一个问题就是如何实时监控应用的运行状况数据,比如:健康度.运行指标.日志信

【Spring Boot】利用 Spring Boot Admin 进行项目监控管理

利用 Spring Boot Admin 进行项目监控管理 一.Spring Boot Admin 是什么 Spring Boot Admin (SBA) 是一个社区开源项目,用于管理和监视 Spring Boot 应用程序.应用程序通过 http 的方式注册到 Spring Boot 管理客户端,或者通过 Spring Cloud 的服务发现机制,然后针对 actuator 接口将数据通过 Vue.js 进行可视化管理. 对于我们来说,我们可以通过 Spring Boot Admin 浏览所有

Spring Cloud第十三篇 | Spring Boot Admin服务监控

本文是Spring Cloud专栏的第十三篇文章,了解前十二篇文章内容有助于更好的理解本文: Spring Cloud第一篇 | Spring Cloud前言及其常用组件介绍概览 Spring Cloud第二篇 | 使用并认识Eureka注册中心 Spring Cloud第三篇 | 搭建高可用Eureka注册中心 Spring Cloud第四篇 | 客户端负载均衡Ribbon Spring Cloud第五篇 | 服务熔断Hystrix Spring Cloud第六篇 | Hystrix仪表盘监控

Spring Boot 两步集成 日志收集ELK与分布式系统监控CAT

日志收集ELK与分布式系统监控CAT Spring Boot项目集成方法 一. pom.xml引入starter依赖 <dependency> <groupId>com.louis</groupId> <artifactId>ylog-spring-boot-starter</artifactId> <version>0.0.1-SNAPSHOT</version> </dependency> 二. boots

深入学习微框架:Spring Boot

由Pivotal团队提供的全新框架,其设计目的是用来简化Spring应用的初始搭建以及开发过程.该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的配置.通过这种方式,Boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者. 多年以来,Spring IO平台饱受非议的一点就是大量的XML配置以及复杂的依赖管理.在去年的SpringOne 2GX会议上,Pivotal的CTO Adrian Colyer回应了这些批评,并且

使用 Spring Boot 快速构建 Spring 框架应用

Spring Boot 的目的在于快速创建可以独立运行的 Spring 应用.通过 Spring Boot 可以根据相应的模板快速创建应用并运行.Spring Boot 可以自动配置 Spring 的各种组件,并不依赖代码生成和 XML 配置文件.Spring Boot 可以大大提升使用 Spring 框架时的开发效率. Why we choose Spring Boot ? Spring 框架对于很多 Java 开发人员来说都不陌生.自从 2002 年发布以来,Spring 框架已经成为企业应