跟我学SpringCloud | 第十六篇：微服务利剑之APM平台（二）Pinpoint

目录

  • SpringCloud系列教程 | 第十六篇：微服务利剑之APM平台（二）Pinpoint

    • 1. Pinpoint概述
    • 2. Pinpoint主要特性
    • 3. Pinpoint优势
    • 4. Pinpoint架构简介
    • 5. Pinpoint数据结构简介
    • 6. Pinpoint版本依赖
    • 7. Spring Cloud与Pinpoint实战
    • 8. 小结

SpringCloud系列教程 | 第十六篇：微服务利剑之APM平台（二）Pinpoint

Springboot: 2.1.7.RELEASE

SpringCloud: Greenwich.SR2

1. Pinpoint概述

Pinpoint是一个由韩国人编写的为大型分布式系统服务的链路跟踪平台，并提供大量链路跟踪数据分析汇总解决方案。自2012年7月开始开发，与2015年1月做为一个开源项目推出。

2. Pinpoint主要特性

  • 分布式事务跟踪，跟踪跨分布式应用的消息。
  • 自动检测应用拓扑，帮助你搞清楚应用的架构。
  • 水平扩展以便支持大规模服务器集群。
  • 提供代码级别的可见性以便轻松定位失败点和瓶颈。
  • 使用字节码增强技术，添加新功能而无需修改代码。

3. Pinpoint优势

  • 无入侵：采用字节码增强技术，新增功能无需修改代码。
  • 性能高：对性能的影响非常小（资源使用量最小仅增加3%），异步数据传输，采用UDP协议让出网络连接优先级。

4. Pinpoint架构简介

先看一下官方提供的架构图，如图：

Pinpoint主要包含了4个组件：

  • Pinpoint Agent：探针，附加到用于分析的Java服务
  • Pinpoint Collector：数据收集组件，部署在Web容器上
  • Pinpoint Web UI：数据展示组件，部署在Web容器上
  • HBase Storage：数据存储组件

架构图从上往下看，首先是通过Agent组件收集需要的数据，通过UPD/TCP的方式将数据发送给Collector，由Collector将数据分析整理过后存入HBase，通过Web UI组件将分析好的数据从HBase中读出，展示在现代化的UI界面上。

5. Pinpoint数据结构简介

Pinpoint中，核心数据结构由Span, Trace, 和 TraceId组成。

  • Span: RPC (远程过程调用/remote procedure call)跟踪的基本单元; 当一个RPC调用到达时指示工作已经处理完成并包含跟踪数据。为了确保代码级别的可见性，Span拥有带SpanEvent标签的子结构作为数据结构。每个Span包含一个TraceId。
  • Trace: 多个Span的集合; 由关联的RPC (Spans)组成. 在同一个trace中的span共享相同的TransactionId。Trace通过SpanId和ParentSpanId整理为继承树结构.
  • TraceId: 由 TransactionId, SpanId, 和 ParentSpanId 组成的key的集合. TransactionId 指明消息ID，而SpanId 和 ParentSpanId 表示RPC的父-子关系。
    • TransactionId (TxId): 在分布式系统间单个事务发送/接收的消息的ID; 必须跨整个服务器集群做到全局唯一.
    • SpanId: 当收到RPC消息时处理的工作的ID; 在RPC请求到达节点时生成。
    • ParentSpanId (pSpanId): 发起RPC调用的父span的SpanId. 如果节点是事务的起点，这里将没有父span - 对于这种情况， 使用值-1来表示这个span是事务的根span。

6. Pinpoint版本依赖

  • Pinpoint所需要的Java版本兼容：
Pinpoint Version Agent Collector Web
1.0.x 6-8 6-8 6-8
1.1.x 6-8 7-8 7-8
1.5.x 6-8 7-8 7-8
1.6.x 6-8 7-8 7-8
1.7.x 6-8 8 8
1.8.0 6-10 8 8
1.8.1+ 6-11 8 8
  • HBase所需要的版本兼容
Pinpoint Version HBase 0.94.x HBase 0.98.x HBase 1.0.x HBase 1.2.x HBase 2.0.x
1.0.x yes no no no no
1.1.x no not tested yes not tested no
1.5.x no not tested yes not tested no
1.6.x no not tested not tested yes no
1.7.x no not tested not tested yes no
1.8.x no not tested not tested yes no
Pinpoint Version HBase 0.94.x HBase 0.98.x HBase 1.0.x HBase 1.2.x HBase 2.0.x
  • Agent - Collector所需要的版本兼容
Agent Version Collector 1.0.x Collector 1.1.x Collector 1.5.x Collector 1.6.x Collector 1.7.x Collector 1.8.x
1.0.x yes yes yes yes yes yes
1.1.x not tested yes yes yes yes yes
1.5.x no no yes yes yes yes
1.6.x no no not tested yes yes yes
1.7.x no no no no yes yes
1.8.x no no no no no yes
Agent Version Collector 1.0.x Collector 1.1.x Collector 1.5.x Collector 1.6.x Collector 1.7.x Collector 1.8.x
  • Flink所需要的版本兼容
Pinpoint Version flink 1.3.X flink 1.4.X flink 1.5.X flink 1.6.X flink 1.7.X Pinpoint Version
1.7.x yes yes no no no 1.7.x
1.8.x yes yes no no no 1.8.x
1.9.x yes yes yes yes yes 1.9.x
Pinpoint Version flink 1.3.X flink 1.4.X flink 1.5.X flink 1.6.X flink 1.7.X Pinpoint Version
1.7.x yes yes no no no 1.7.x
1.8.x yes yes no no no 1.8.x
1.9.x yes yes yes yes yes 1.9.x

7. Spring Cloud与Pinpoint实战

在介绍实战之前，我们先介绍一下Pinpoint部署构建。

笔者构建的一些前置条件：

java：1.8
CentOS：7.6

  1. HBase部署

存储方式需要使用HBase1.2.x的版本，笔者这里选择的是HBase1.2.6，下载地址为Apache官网，推荐使用有端点续传功能的下载器下载（实在是有点慢），HBase全版本下载地址：http://archive.apache.org/dist/hbase/ ，各位读者选择自己喜欢的版本下载。

下载完成后，将HBase1.2.6放入CentOS的opt目录中，执行如下命令：

tar -xvzf hbase-1.2.6-bin.tar.gz
mv hbase-1.2.6/ /data/service/hbase/

修改hbase中config目录中的JAVA_HOME，将这里的JAVA_HOME修改为自己本地的路径，笔者这里修改如下：

export JAVA_HOME=/opt/jdk1.8.0_221

修改完成后就可以进入hbase的bin目录，启动hbase了，执行如下语句：

./start-hbase.sh

启动成功后，可以执行jps，如果看到有HMaster，可有证明启动成功，如下：

19263 HMaster

也可以打开浏览器访问：http://ip:16010/master-status ，结果如图：

接下来我们先把Pinpoint的HBase的构建脚本导入，进入HBase的bin目录下执行如下语句：

./hbase shell /opt/hbase-create.hbase

数据导入成功我们在HBase的UI界面上可以看到，如图：

后面的目录是笔者用来存放HBase初始化脚本的路径，各位读者可根据情况自行替换，至此，HBase环境准备完成，接下来开始部署Collector和Web UI。

  1. Collector和Web UI部署

出于简单方便考虑，不推荐初学者自行编译代码进行部署，可以直接使用官方提供的发行版本进行部署。

浏览器访问链接：https://github.com/naver/pinpoint/releases/ ，直接下载当前最新Release版本即可，笔者现在看到的最新版本是1.8.4，如图，需要下载的内容有pinpoint-agent-1.8.4.tar.gz、pinpoint-collector-1.8.4.war和pinpoint-web-1.8.4.war。

首先需要准备两个tomcat，笔者这里下载的tomcat8，解压两份后并重命名为apache-tomcat-pinpoint-collector和apache-tomcat-pinpoint-web。

将apache-tomcat-pinpoint-collector中的config中的server.xml进行修改。

将8005改成18005，8080改成18080，8443改为18443，8009改为18009。

同样也将apache-tomcat-pinpoint-web中的config中的server.xml进行修改。

将8005改成28005，8080改成28080，8443改为28443，8009改为28009。

将apache-tomcat-pinpoint-collector中的webapp/ROOT清空，将pinpoint-collector-1.8.4.war放入并解压。解压完成后就可以进入bin目录使用./startup.sh启动tomcat了，并且使用命令tail -f ../logs/catalina.out观察启动日志是否启动成功。

同样，将apache-tomcat-pinpoint-web中的webapp/ROOT清空，将pinpoint-web-1.8.4.war放入并解压。解压完成后就可以进入bin目录使用./startup.sh启动tomcat了，并且使用命令tail -f ../logs/catalina.out观察启动日志是否启动成功。

当Collector和Web UI都启动成功后，就可以使用打开浏览器访问：http://ip:28080/#/main ，初次访问如图：

  1. Agent启用

实战案例，本实战案例和上一篇实战案例保持一致，同样是4个服务，包括Zuul-Service、Eureka-Service、Consumer-Service和Provider-Service。具体实现代码本章不再列出，各位读者可以参考上一篇或者Github仓库（https://github.com/meteor1993/SpringCloudLearning/tree/master/chapter15），下面我们介绍Spring Cloud是如何与Pinpoint整合使用的。

接入方式和上一篇的Skywalking是一致的，都是使用探针技术接入应用程序，java -jar的方式来加载Agent探针。

首先在工程的跟目录中执行mvn install，而后在CentOS的opt中新建4个目录，分别存放4个打好包的工程。笔者这里创建的4个目录分别为/opt/project/consumer_service，/opt/project/eureka_service，/opt/project/provider_service和/opt/project/zuul_service，将4个jar包分别放入对应的目录中，并解压刚才我们下载好的pinpoint-agent-1.8.4.tar.gz探针，我们将解压后的探针放在/opt的目录中，接下来，我们使用如下命令，顺次启动4个jar包：

java -javaagent:/opt/pinpoint-bootstrap-1.8.4.jar -Dpinpoint.agentId=consumer-service -Dpinpoint.applicationName=consumer-server -jar /opt/project/consumer_service/consumer-0.0.1-SNAPSHOT.jar

java -javaagent:/opt/pinpoint-bootstrap-1.8.4.jar -Dpinpoint.agentId=eureka-service -Dpinpoint.applicationName=eureka-server -jar /opt/project/eureka_service/eureka-0.0.1-SNAPSHOT.jar

java -javaagent:/opt/pinpoint-bootstrap-1.8.4.jar -Dpinpoint.agentId=provider-service -Dpinpoint.applicationName=provider-server -jar /opt/project/provider_service/provider-0.0.1-SNAPSHOT.jar

java -javaagent:/opt/pinpoint-bootstrap-1.8.4.jar -Dpinpoint.agentId=zuul-service -Dpinpoint.applicationName=zuul-server -jar /opt/project/zuul_service/zuul-0.0.1-SNAPSHOT.jar

上述命令执行完成之后，再打开Web UI查看显示情况。

首先打开浏览器访问：http://192.168.44.129:8080/client/hello?name=spring ，页面正常显示Hello, name is spring，查看Pinpoint的Web UI，如图：

图清楚的显示了我们当前系统的拓扑结构，横线上面的数字代表了调用次数，右边部分，最上面显示的是成功和失败的情况，中间部分显示的是响应时间，下面显示的是加载所使用的时间。

检查器（Inspector）：这里已Zuul-Service为例，Timeline显示的是请求的时间段，Information显示的是节点的一些当前信息，包含Application Name、Agent Id、Agent版本、JVM信息、开始时间等。

Heap信息的使用情况，如图：

系统CPU、活动线程、响应时间等信息如图：

更多Pinpoint的信息，读者可以通过官方Demo（http://125.209.240.10:10123/#/main ）或者自行构建试验来查看结果，这里不再一一赘述。至此，Spring Cloud和Pinpoint的使用介绍也就完成了。更多有关Pinpoint的信息各位读者可以前往Github的官网进行查阅，地址为：https://github.com/naver/pinpoint 。

8. 小结

这里总结一下整个案例的启动顺序：

  1. 启动HBase
  2. 启动collector
  3. 启动Web-UI
  4. 启动Agent（Eureka、provider、consumer、zuul）
  5. 应用调用
  6. 访问Web-UI查看统计信息

同Skywalking一样，以上启动顺序供各位读者参考，请各位读者最好按照以上顺序启动，因为不同的组件之前其实是有相互依赖关系的，如果随意更改启动顺序可能会造成某些未知问题。至此，Spring Cloud和APM的相关操作就告一段落了。APM可以很好的帮我们理解系统行为，也是分析系统性能的工具，更是发生问题故障的时候利器，可以帮我们快速的定位查找问题。

原文地址：https://www.cnblogs.com/babycomeon/p/11427623.html

时间： 2024-12-14 14:53:47

跟我学SpringCloud | 第十六篇：微服务利剑之APM平台（二）Pinpoint的相关文章

跟我学SpringCloud | 第十八篇：微服务 Docker 化之基础环境

1. 容器化 Docker 的横空出世,给了容器技术带来了质的飞跃,Docker 标准化了服务的基础设施,统一了应用的打包分发,部署以及操作系统相关类库等,解决了测试生产部署时环境差异的问题.对于运维来讲,由于镜像的不可变性,更容易进行服务部署和回滚操作.利用各种第三方容器管理平台,实现一键部署.动态伸缩等操作变的轻而易举. 2. 基础镜像选择 在操作系统的选择上,可选择传统的 CentOS . Ubuntu 或者更为轻量化的 Alpine .比如 CentOS 或者 Ubuntu 的镜像都在

菜鸟学SSH（十六）——Struts2内部是如何工作的

前面说完了Spring.Hibernate,很自然今天轮到struts了.struts的核心原理就是通过拦截器来处理客户端的请求,经过拦截器一系列的处理后,再交给Action.下面先看看struts官方的工作原理图: 图1 struts原理图 简单分析一下:首先客户端发来HttpServletRequest请求,传递给FilerDispatcher(ActionMapper是访问静态资源(struts的jar文件等)时用的,平时很少用),然后FilerDispatcher会为我们创建一个Acti

Python之路【第十六篇】：Django【基础篇】

Python之路[第十六篇]:Django[基础篇] Python的WEB框架有Django.Tornado.Flask 等多种,Django相较与其他WEB框架其优势为:大而全,框架本身集成了ORM.模型绑定.模板引擎.缓存.Session等诸多功能. 基本配置 一.创建django程序 终端命令:django-admin startproject sitename IDE创建Django程序时,本质上都是自动执行上述命令 其他常用命令: python manage.py runserver

秒杀多线程第十六篇 多线程十大经典案例之一 双线程读写队列数据

版权声明:本文为博主原创文章,未经博主允许不得转载. 目录(?)[+] 本文配套程序下载地址为:http://download.csdn.net/detail/morewindows/5136035 转载请标明出处,原文地址:http://blog.csdn.net/morewindows/article/details/8646902 欢迎关注微博:http://weibo.com/MoreWindows 在<秒杀多线程系列>的前十五篇中介绍多线程的相关概念,多线程同步互斥问题<秒杀多

第十六篇 人类世界

第十六篇  人类世界 人类世界是一个快速发展的世界.在这个宇宙中人类物种出现的时间并不算很长,随着大宇宙的发展,在宇宙经历了多次调整①之后,人类物种是在宇宙发展需要的情况下才被创造的,可以说我们人类物种算是出现在一个非常好的时间点上. 也就是说,人类物种在被创造之前已经有很多高智慧物种为人类打下了良好的基础,这些基础能够让人类这个物种在宇宙中得到快速的发展.如果没有这样的基础,人类世界也不会发展得如此庞大. 人类带着创造者的期待与信任出现在这个宇宙中,开始了人类生命的历程.由于人类这个物种肩负着

解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF文件的瑞士军刀（译）

解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF文件的瑞士军刀(译) http://improve.dk/orcamdf-rawdatabase-a-swiss-army-knife-for-mdf-files/ 当我最初开始开发OrcaMDF的时候我只有一个目标,比市面上大部分的书要获取MDF文件内部的更深层次的知识 随着时间的推移,OrcaMDF确实做到了.在我当初没有计划的时候,OrcaMDF 已经可以解析系统表,元数据,甚至DMVs.我还做了一个简单U

Python开发【第十六篇】：AJAX全套

Python开发[第十六篇]:AJAX全套 概述 对于WEB应用程序:用户浏览器发送请求,服务器接收并处理请求,然后返回结果,往往返回就是字符串(HTML),浏览器将字符串(HTML)渲染并显示浏览器上. 1.传统的Web应用 一个简单操作需要重新加载全局数据 2.AJAX AJAX,Asynchronous JavaScript and XML (异步的JavaScript和XML),一种创建交互式网页应用的网页开发技术方案. 异步的JavaScript:使用 [JavaScript语言] 以

第二十六篇:USB3.0高带宽ISO(48KBytes/125us)实战

USB3.1技术已经推出, 10Gbps的速率足以满足数据, HD视频传输的要求. 要步入USB3.1的研发, 还得将USB3.0的基础打扎实. 微软提供的SUPER MUTT只包含一个接口0, 其下有两个ALT, ALT 1与ALT 2, 分别包含了两对ISO IN/OUT端点, 不过, 只有ALT 2下的ISO OUT EP的bMaxBurst为1, 而其它三个ISO EP的bMaxBurst均为0, 而所有的ISO EP的Mult均为0. 即只有一个ISO EP支持2KBytes/125u

Egret入门学习日记 --- 第三十六篇（书中 10.7 ~ 10.8 节 内容）

第三十六篇(书中 10.7 ~ 10.8 节 内容) 开始 书中 10.7 节内容. 书中 10.7 节内容结束. 书中重点: 1.导出素材. 2.配置粒子库. 3.播放动画. 开始操作: 1.导出素材. 我设置好了雪花的效果. 接着是导出. 这是导出后的资源文件. 导入Egret的预加载资源组中. 2.配置粒子库. 下载好官方的粒子库. https://github.com/egret-labs/egret-game-library 拷贝粒子库到项目外,记住 项目文件夹外! 配置好 egret