Java诊断利器Arthas优雅排查生产环境

前言

Arthas 是Alibaba开源的Java诊断工具。在线排查问题，无需重启；动态跟踪Java代码；实时监控JVM状态。对分秒必争的线上异常，Arthas可帮助我们快速诊断相关问题。

下载安装

下载Arthas的arthas-boot.jar

wget https://alibaba.github.io/arthas/arthas-boot.jar

下载arthas之后，先来了解帮助信息，可以通过java -jar arthas-boot.jar -h命令查看，这里给出了一些例子和参数说明

[[email protected] arthas]# java -jar arthas-boot.jar -h
[INFO] arthas-boot version: 3.1.4
Usage: arthas-boot [-h] [--target-ip <value>] [--telnet-port <value>]
       [--http-port <value>] [--session-timeout <value>] [--arthas-home <value>]
       [--use-version <value>] [--repo-mirror <value>] [--versions] [--use-http]
       [--attach-only] [-c <value>] [-f <value>] [--height <value>] [--width
       <value>] [-v] [--tunnel-server <value>] [--agent-id <value>] [--stat-url
       <value>] [pid]

Bootstrap Arthas

EXAMPLES:
  java -jar arthas-boot.jar <pid>
  java -jar arthas-boot.jar --target-ip 0.0.0.0
  java -jar arthas-boot.jar --telnet-port 9999 --http-port -1
  java -jar arthas-boot.jar --tunnel-server 'ws://192.168.10.11:7777/ws'
  java -jar arthas-boot.jar --tunnel-server 'ws://192.168.10.11:7777/ws'
--agent-id bvDOe8XbTM2pQWjF4cfw
  java -jar arthas-boot.jar --stat-url 'http://192.168.10.11:8080/api/stat'
  java -jar arthas-boot.jar -c 'sysprop; thread' <pid>
  java -jar arthas-boot.jar -f batch.as <pid>
  java -jar arthas-boot.jar --use-version 3.1.4
  java -jar arthas-boot.jar --versions
  java -jar arthas-boot.jar --session-timeout 3600
  java -jar arthas-boot.jar --attach-only
  java -jar arthas-boot.jar --repo-mirror aliyun --use-http
WIKI:
  https://alibaba.github.io/arthas

Options and Arguments:
 -h,--help                      Print usage
    --target-ip <value>         The target jvm listen ip, default 127.0.0.1
    --telnet-port <value>       The target jvm listen telnet port, default 3658
    --http-port <value>         The target jvm listen http port, default 8563
    --session-timeout <value>   The session timeout seconds, default 1800
                                (30min)
    --arthas-home <value>       The arthas home
    --use-version <value>       Use special version arthas
    --repo-mirror <value>       Use special maven repository mirror, value is
                                center/aliyun or http repo url.
    --versions                  List local and remote arthas versions
    --use-http                  Enforce use http to download, default use https
    --attach-only               Attach target process only, do not connect
 -c,--command <value>           Command to execute, multiple commands separated
                                by ;
 -f,--batch-file <value>        The batch file to execute
    --height <value>            arthas-client terminal height
    --width <value>             arthas-client terminal width
 -v,--verbose                   Verbose, print debug info.
    --tunnel-server <value>     The tunnel server url
    --agent-id <value>          The agent id register to tunnel server
    --stat-url <value>          The report stat url
 <pid>                          Target pid

启动

启动arthas之前，先启动一个springboot的应用。该demo在地址https://github.com/yangtao...

java -jar ytao-springboot-demo.jar

启动arthas-boot.jar命令

java -jar arthas-boot.jar

这里注意需要启动demo和arthas使用同一权限用户，否则使用attach机制获取不到进程信息（这里刚使用时没注意，遇到过这个问题）。
例：root用户启动 demo，u1用户启动arthas时，打印信息Can not find java process. Try to pass <pid> in command line.

查看源码，在获取进程之后，添加日志输出。结果为空，返回-1，判断结果小于0时，直接退出。

启动类Bootstrap#main的代码

进程工具类ProcessUtils#select的代码

通过上面也分析到，我们启动arthas之前，必须要先启动我们的目标进程，否则arthas可能无法启动。

使用root用户启动成功界面

选择java进程，这里我们的ytao-springboot-demo是 1,选择后会有连接信息

[INFO] arthas home: /root/.arthas/lib/3.1.4/arthas
[INFO] Try to attach process 22005
[INFO] Attach process 22005 success.
[INFO] arthas-client connect 127.0.0.1 3658
  ,---.  ,------. ,--------.,--.  ,--.  ,---.   ,---.
 /  O  \ |  .--. ''--.  .--'|  '--'  | /  O  \ '   .-'
|  .-.  ||  '--'.'   |  |   |  .--.  ||  .-.  |`.  `-.
|  | |  ||  |\  \    |  |   |  |  |  ||  | |  |.-'    |
`--' `--'`--' '--'   `--'   `--'  `--'`--' `--'`-----'                          

wiki      https://alibaba.github.io/arthas
tutorials https://alibaba.github.io/arthas/arthas-tutorials
version   3.1.4
pid       17339
time      2019-10-17 02:29:06

dashboard 数据面板

使用dashboard命令，可以查看线程，内存，GC，以及Runtime信息

jad 反编译

有时我们会遇到线上代码运行结果不是我们期望的结果，有种情况就是线上代码不是我们想要的版本，但是要查看的话，需要下载后再进行反编译。
这时arthas的jad可以帮助我们线上进行即时反编译，确认代码是否符合我们的版本。

jad com.ytao.service.UserServiceImpl

watch 函数执行信息

使用watch命令可以查看函数的执行信息。watch的参数列表（来自官网）

参数 参数说明
class-pattern 类名表达式匹配
method-pattern 方法名表达式匹配
express 观察表达式
condition-express 条件表达式
[b] 在方法调用之前观察
[e] 在方法异常之后观察
[s] 在方法返回之后观察
[f] 在方法结束之后(正常返回和异常返回)观察
[E] 开启正则表达式匹配，默认为通配符匹配
[x:] 指定输出结果的属性遍历深度，默认为 1

当我们遇到线上数据bug时，我们一般处理的手段就是开发环境模拟线上数据，从生产日志中查找线索，再或者远程debug。以上不管哪种排查手段，相对都是比较麻烦。
这时Arthas的watch可以帮助我们查看实时的代码执行情况。使用观察表达式可以查看函数的参数,返回值,异常信息。观察表达式主要由OGNL表达式组成，所以可以编写OGNL表达式来执行。

观察表达式的变量

变量 变量说明
params 函数的入参
returnObj 函数的返回值
throwExp 异常信息
target 当前对象

查看一个函数的入参和返回值

watch com.ytao.service.UserServiceImpl getUser "{params,returnObj}"

打印信息isEmpty=false;size=1可以看到参数为非空，参数数量为一个。查看具体入参信息

watch com.ytao.service.UserServiceImpl getUser "{params[0],returnObj}"

查看异常信息

watch com.ytao.service.UserServiceImpl getUser "throwExp"

当我们传入一个参数为-1时,打印出我们定义的非法参数异常

watch除了观察表达式外，还能使用条件表达式，以及观察事件点。
注意使用观察事件点时，有些观察表达式的变量不一定存在，比如使用-b时，返回值和异常信息都为空。

有时我们排查某个函数，不能马上获取到函数的信息，arthas给提供的后台异步任务可以帮助我们记录日志。使用方式和Linux的类似。

watch com.ytao.service.UserServiceImpl getUser "{params,returnObj}" > /log/w.log &

查看异步保存的日志

tt 定位异常调用

上面所介绍的watch可以排查函数的调用情况，比较适用在已知当次调用可能存在的情况后，查看信息。如果一个函数调用n次后，有几次为执行异常，我们要去找出这些异常的调用，在watch中排查就不怎么方便了。
使用tt命令可以较方便查看异常的调用及信息。对com.ytao.service.UserServiceImpl#getUser的函数查看,-t是每次调用该函数都会记录

tt -t com.ytao.service.UserServiceImpl getUser

记录信息

查看所有记录

tt -l

查看指定函数记录

tt -s 'method.name=="getUser"'

输出信息说明

表格字段 字段解释
INDEX 时间片段记录编号，每一个编号代表着一次调用，后续tt还有很多命令都是基于此编号指定记录操作，非常重要。
TIMESTAMP 方法执行的本机时间，记录了这个时间片段所发生的本机时间
COST(ms) 方法执行的耗时
IS-RET 方法是否以正常返回的形式结束
IS-EXP 方法是否以抛异常的形式结束
OBJECT 执行对象的hashCode()，注意，曾经有人误认为是对象在JVM中的内存地址，但很遗憾他不是。但他能帮助你简单的标记当前执行方法的类实体
CLASS 执行的类名
METHOD 执行的方法名

从上面参数中我们看到1003调用是以抛异常的形式结束，因为tt会记录每次调用的信息，所以我们可以查看1003的详细信息

tt -i 1003

trace 查看调用链路

我们常会遇到调用某个api时rt过长，我们就要找出调用链上的某个或几个函数进行优化，我们通常定位几个可能的锚点，打印各个锚点间的rt。或者从日志中找出日志打印的时间点计算出时间差，不管使用哪种方法都比较繁琐。当使用arthas的trace命令可以轻松的完成我们的需求。
trace参数说明

参数 参数说明
class-pattern 类名表达式匹配
method-pattern 方法名表达式匹配
condition-express 条件表达式
[E] 开启正则表达式匹配，默认为通配符匹配
[n:] 命令执行次数
#cost 方法执行耗时

使用trace输出com.ytao.controller.UserController#getUser的信息

trace com.ytao.service.UserServiceImpl getUser

输出结果

在实际使用使用排查过程中，为了减少无用信息的输出，我们一般会使用#cost过滤耗时不长和jdk自带的函数，可以忽略的调用，减少信息的输出。例如：过滤掉小于1ms的调用

trace com.ytao.service.UserServiceImpl getUser  '#cost > 1'

redefine 实现热部署

当我们查找出bug，想要快速上线拯救苍生的时候，Arthas为我们准备了redefine命令来实现热更新。
尽管现在都在倡导jad/mc/redefine热更一条龙，但是线上代码建议本地编译好后再进行替换，避免手误操作。
首先先在UserServiceImpl中添加一行代码

获取classLoaderHash，通过sc命令获取类的信息

sc -d *UserServiceImpl

执行redefine修改的类

redefine -c 1d56ce6a /usr/local/jar/UserServiceImpl.class

通过打印的信息验证是否更新UserServiceImpl类

Arthas的使用，除了上文中所讲解到的，还有一些其他的诊断功能，这只是我个人使用的方法。但是使用该类工具一定要有套组合拳，对排查问题过程中，遇到问题有对应的排查手段，并非盲目排查。

个人博客： https://ytao.top
我的公众号 ytao

原文地址：https://www.cnblogs.com/ytao-blog/p/11779164.html

时间： 2024-10-16 00:12:48

Java诊断利器Arthas优雅排查生产环境的相关文章

Alibaba Java诊断工具Arthas之快速安装和简单使用

Alibaba Java诊断工具Arthas简单介绍 : 当你遇到以下类似问题而束手无策时,Arthas可以帮助你解决: 1.这个类从哪个 jar 包加载的?为什么会报各种类相关的 Exception?2.我改的代码为什么没有执行到?难道是我没 commit?分支搞错了?3.遇到问题无法在线上 debug,难道只能通过加日志再重新发布吗?4.线上遇到某个用户的数据处理有问题,但线上同样无法 debug,线下无法重现!5.是否有一个全局视角来查看系统的运行状况?6.有什么办法可以监控到JVM的实时

Jenkins测试环境到生产环境的一键部署策略（Windows）

Jenkins测试环境到生产环境的一键部署策略(Windows) 一.前言 前面我们已经初步实现了开发集成环境.测试环境的持续集成(自动化构建.自动化测试.自动化部署).但生产环境自动化部署迟迟没有推进.其原因主要在以下几个方面: 尚未实现部署之前的自动化备份 尚未实现部署出现问题后的自动化回滚 由于之前采用FTP上传部署需要生产环境开放FTP端口存在安全性问题且FTP会因为各种的网速问题,导致站点瞬间挂掉 只要解决以上三个问题,我们就可以初步实现生产环境的自动化部署. 二.实现思路 利用Jen

生产环境下JAVA进程高CPU占用故障排查

问题描述:生产环境下的某台tomcat7服务器,在刚发布时的时候一切都很正常,在运行一段时间后就出现CPU占用很高的问题,基本上是负载一天比一天高. 问题分析:1,程序属于CPU密集型,和开发沟通过,排除此类情况.2,程序代码有问题,出现死循环,可能性极大. 问题解决:1,开发那边无法排查代码某个模块有问题,从日志上也无法分析得出.2,记得原来通过strace跟踪的方法解决了一台PHP服务器CPU占用高的问题,但是通过这种方法无效,经过google搜索,发现可以通过下面的方法进行解决,那就尝试下

生产环境遇到的hashMap非线程安全问题java.lang.thread.waiting

写在前面:工作有几年了,从入门到现在,遇到也解决了一些问题.(当然,框架级别的暂时还没有)一直以来,都是从博客园以及其他各大社区搜罗出来的各种fix方法.目前稍有闲暇时间,在看过大V沈剑的博文后,我也鼓起勇气来书写博客,记录工作中遇到和解决的问题(其中当然也包括我在博园获取的各种解决方法:能找到原博文的小弟一定会注明出处.)因为总觉得自己水平不够,怕写出来的文章误导了别人.以下是这周生产环境遇到的一个问题,写出来供大家参考. 现象 周五一大早,车子都没停稳(电动车),群里就开始在询问谁最近的代码

Arthas Alibaba 开源 Java 诊断工具

Arthas 用户文档 English Docs Arthas(阿尔萨斯) 能为你做什么? Arthas 是Alibaba开源的Java诊断工具,深受开发者喜爱. 当你遇到以下类似问题而束手无策时,Arthas可以帮助你解决: 这个类从哪个 jar 包加载的?为什么会报各种类相关的 Exception? 我改的代码为什么没有执行到?难道是我没 commit?分支搞错了? 遇到问题无法在线上 debug,难道只能通过加日志再重新发布吗? 线上遇到某个用户的数据处理有问题,但线上同样无法 debug

生产环境服务器变慢，诊断思路和性能评估

生产环境服务器变慢,诊断思路和性能评估 整机:top 代码 public class JavaDemo2 { public static void main(String[] args) { while (true){ System.out.println(new java.util.Random().nextInt(77778888)); } } } top命令查看 [[email protected] ~]# top top - 11:28:50 up 7 min, 2 users, loa

浅谈 什么是JAVA开发环境、测试环境及生产环境，及它的过程 （转）

从网上整理了一些回答加上个人理解. 环境分以下几种: 1.开发和配置环境:所有的开发和配置在这个环境里进行.一般情况下,只有这个环境可以改配置和进行开发,并且一般不在这个环境下创建数据.(开发环境就是每个开发人员电脑上的开发环境,只有开发人员可以配置和开发,写数据测试放在测试环境) 2.测试环境:新开发和配置通过系统传输到测试环境,进行功能测试,可以创建数据.(开发人员开发完上传到SVN,测试人员下载下来测试.我们公司测试人员不懂IDE,所以是由我们开发人员下载好,他直接通过IP地址访问来测试的

Java生产环境下性能监控与调优详解

第1章 课程介绍(Java秒杀课程老师倾力打造)本章为大家介绍生产环境可能存在的问题和常用的性能监控工具,以及课程能学到什么,课程内容如何安排等,让大家对课程有个全貌的认识,从而更好的学习这门课程.1-1 为什么学习这门课程? 第2章 基于JDK命令行工具的监控本章带大家学习JDK的命令行监控工具的使用,包括jps.jinfo.jstat.jmap.jstack, 并结合MAT实战如何定位内存溢出,实战如何定位死循环和死锁.2-1 JVM的参数类型2-2 查看JVM运行时参数2-3 jstat查

总结：利用asp.net core日志进行生产环境下的错误排查（asp.net core version 2.2，用IIS做服务器）

概述 调试asp.net core程序时,在输出窗口中,在输出来源选择“调试”或“xxx-ASP.NET Core Web服务器”时,可以看到类似“info:Microsoft.AspNetCore.Hosting.Internal.WebHost[2] Request finished in 285.6ms 200 text/css”这样的内容,这就是asp.net core的日志 如果出现了未捕获的异常,在输出窗口中可以看到出错信息,如:fail: Microsoft.AspNetCore.