JMeter性能测试3.0时代之-多维度的图形化HTML报告

在上一篇博客JMeter性能测试3.0时代之-全新JMeter插件管理中我说会写真正的JMeter 3.0新特性，时隔两周，总算在这个周末，暂停其他安排，来继续这个未完成的系列。
本文主要介绍JMeter3.0引入的新特性：Dashboard Report，图形化的HTML格式多维度测试报告。借助这个特性，可以很大程度上降低我们搭建基于JMeter的性能测试平台时，在结果展示上的难度，将更多的经历放在后端的平台功能而不是去临时学习前端图表库。

一.为什么谈这个新特性

在JMeter3.0之前，官方只提供在工具的UI上对测试结果部分维度的图形化展示，这对我带来了两方面的困扰：

  1. 在实际使用中，在平台中集成JMeter后需要页面展示TPS曲线，平均响应时间曲线等图表时，需要我们手动操刀摆弄如Hightcharts/Echarts等前端图表库。
  2. 要查看历史的测试结果，需要启动JMeter的图形化界面，导入保存的CSV结果，过程繁琐，并且当结果集较大时，JMeter需要耗费相当多的时间在界面上展示图形化报告。

本文讨论的新特性为这两个问题带来了较好的解决办法：

  • 新特性良好的实现了结果数据可视化，生成的报告是HTML页面形式，并且包含大多数实际测试中关心的度量维度的，可以便捷地嵌入到平台，从浏览器来查看每次测试运行的。
  • 只要保留生成的HTML页面，后期要查看该次测试的结果，只需要在浏览器打开即可，方便快捷。

二.新特性简介

JMeter3.0提供一个用于生成HTML页面格式图形化报告的扩展模块。该模块支持通过两种方式生成多维度图形化测试报告：

  1. 在JMeter性能测试结束时，自动生成本次测试的HTML图形化报告
  2. 使用一个已有的结果文件(如CSV文件)来生成该次结果的HTML图形化报告

其默认提供的度量维度包括：

  1. APDEX(Application Performance Index)指数
  2. 聚合报告
    • 类似于UI上的Aggregate Report
  3. Errors报告
    • 展示不同错误类型的数量以及百分比
  4. 响应时间变化曲线
    • 展示平均响应时间随时间变化情况
    • 类似于JMeter Plugins在UI上的[email protected] - Response Times Over Time
  5. 数据吞吐量时间曲线
    • 展示每秒数据吞吐量随时间变化的情况
    • 类似于JMeter Plugins在UI上的[email protected] - Bytes Throughput Over Time
  6. Latency time变化曲线
    • 展示Latency time随时间变化的情况
    • 类似于JMeter Plugins在UI上的[email protected] - Response Latencies Over Time
  7. 每秒点击数曲线
    • 类似于JMeter Plugins在UI上的[email protected] - Hits per Second
  8. HTTP状态码时间分布曲线
    • 展示响应状态码随时间的分布情况
    • 类似于JMeter Plugins在UI上的[email protected] - Response Codes per Second
  9. 事务吞吐量时间曲线(TPS)
    • 展示每秒处理的事务数随时间变化情况
    • 类似于JMeter Plugins在UI上的[email protected] - Transactions per Second
  10. 平均响应时间与每秒请求数的关系图
    • 展示平均响应时间与每秒请求数(可以理解为QPS)的关系
  11. Latency time与每秒请求数的关系图
    • 展示Latency time与每秒请求数的关系
  12. 响应时间百分位图
    • 响应时间的百分位分布图
  13. 活动线程数变化曲线
    • 展示测试过程中活动线程数随时间变化情况
  14. 平均响应时间与线程数的关系图
    • 展示平均响应时间与线程数的关系
    • 类似于JMeter Plugins在UI上的[email protected] - Response Times vs Threads
  15. 柱状响应时间分布图
    • 展示落在各个平均响应时间区间的请求数情况

注1：Latency time没有翻译成中文，这里对其计算方式做注解：

- Latency time = 接收到响应的第一个字节的时间点 - 请求开始发送的时间点

from just before sending the request to just after the first response has been received
-- Apache JMeter Glossary

- 响应时间(JMeter术语中的Elapsed time) = 接收完所有响应内容的时间点 - 请求开始发送的时间点

from just before sending the request to just after the last response has been received
-- Apache JMeter Glossary

注2：Apdex 标准从用户的角度出发，将对应用响应时间的表现，转为用户对于应用性能的可量化为范围为 0-1 的满意度评价。。

Apdex (Application Performance Index) is an open standard developed by an alliance of companies. It defines a standard method for reporting and comparing the performance of software applications in computing.
-- wikipedia

三.快速入门

1.确认基本配置

  • 在jmeter.properties或者user.properties确认如下配置项：

    jmeter.save.saveservice.bytes = true
jmeter.save.saveservice.label = true
jmeter.save.saveservice.latency = true
jmeter.save.saveservice.response_code = true
jmeter.save.saveservice.response_message = true
jmeter.save.saveservice.successful = true
jmeter.save.saveservice.thread_counts = true
jmeter.save.saveservice.thread_name = true
jmeter.save.saveservice.time = true
# the timestamp format must include the time and should include the date.
# For example the default, which is milliseconds since the epoch:
jmeter.save.saveservice.timestamp_format = ms
# Or the following would also be suitable
jmeter.save.saveservice.timestamp_format = yyyy/MM/dd HH:mm:ss
  • 如果希望在Errors报告中展示更详细数据，需要确保如下配置
    • jmeter.save.saveservice.assertion_results_failure_message = true
    • 如果使用了事务控制器(Transaction Controller)，确认Generate parent sample为未勾选状态

2.生成报告

a. 在压力测试结束时报告

  • 基本命令格式：
    jmeter -n -t <test JMX file> -l <test log file> -e -o <Path to output folder>
  • 样例：
    jmeter -n -t F:\PerformanceTest\TestCase\script\getToken.jmx -l testLogFile -e -o ./output

b. 使用已有的压力测试CSV日志文件生成报告

  • 基本命令格式：
    jmeter -g <log file> -o <Path to output folder>
  • 样例：
    jmeter -g D:\apache-jmeter-3.0\bin\testLogFile -o ./output

两个样例都会在\apache-jmeter-3.0\bin\output目录下产生如下文件(夹):

用浏览器打开index.html文件，即可查看各种图形化报告:

注：在3.0版本，由于源码中字符编码的问题，可能会遇到生成的报告中，中文标签展示为乱码的问题，因篇幅限制，解决办法请戳这里看我另一篇文章。

四.自定义配置

JMeter3.0在bin目录新增了reportgenerator.properties文件保存了所有关于图形化HTML报告生成模块的默认配置，要变更配置，建议不要直接编辑该文件，而是推荐在user.properties中去配置和覆盖。

1.总体配置

总体配置都是以jmeter.reportgenerator.为前缀，如：jmeter.reportgenerator.overall_granularity=60000

  • overall_granularity：定义采样点粒度，默认为60000ms，通常在稳定性以外的测试中，我们可能需要定义更细的粒度，比如1000ms，我们可以在user.properties文件末尾添加如下配置：

    # Change this parameter if you want to change the granularity of over time graphs.
jmeter.reportgenerator.overall_granularity=6000
  • report_title:定义报告的标题，我们可能需要将标题定义为实际测试项名称
  • apdex_satisfied_threshold：定义Apdex评估中满意的阈值(单位ms)
  • apdex_tolerated_threshold: 定义Apdex评估中可容忍的阈值
    Apdext = (Satisfied Count + Tolerating Count / 2) / Total Samples

另外，在jmeter.properties中，有关于集合报告中的三个百分位的默认值：

aggregate_rpt_pct1 : Defaults to 90
aggregate_rpt_pct2 : Defaults to 95
aggregate_rpt_pct3 : Defaults to 99

可以在user.properties中对其进行覆盖，如：aggregate_rpt_pct1 = 70，效果如下：

2.图表配置

每个图表配置都是以jmeter.reportgenerator.graph.<图表名称>.为前缀。

  • classname 图表的实现类，如果有自己定制的实现，将该配置的值写为自定义实现类的类名
  • title 图标标题，比如要汉化的时候，在这里配置中文标题
  • property.set_granularity 设置图标的采样点粒度，不配置时默认使用总体配置中的粒度设置

3.输出配置

输出配置都以jmeter.reportgenerator.exporter为前缀。

  • property.output_dir 配置默认的报告输出路径。在命令行可以用-o选项来设置特定的路径覆盖该配置。
  • html.series_filter 用于过滤展示内容。如在user.properties添加如下配置：
    jmeter.reportgenerator.exporter.html.series_filter=(^Login)(-success|-failure)?
    则最后的报告只展示名为Login这个取样器的数据。该配置包含两部分，(-success|-failure)?是Transactions per second图表所依赖的配置。前面部分接受一个正则表达式用来过滤。

五.总结

本次介绍的Dashboard Report特性本质上是Apache JMeter对于测试结果数据可视化方式的顺应时代的更新，虽然算是姗姗来迟，虽然并不酷炫，但至少，对于要需要基于它来执行性能测试的人来说，仍然是一个福音。最后，感谢Apache JMeter项目的各位贡献者对它的持续更新。

References

  1. Apache JMeter Dashboard Report
  2. Apache JMeter Glossary

阿羅

写了 15410 字，被 76 人关注，获得了 78 个喜欢

Java，后端服务，数据处理，测试，拥抱全栈http://www.aloo.me

如果觉得我的文章对您有用，请随意打赏。您的支持将鼓励我继续创作！

后发表评论

2楼 · 2016.09.20 17:00

An error occurred: Error while processing samples:Consumer failed with message :Consumer failed with message :Consumer failed with message :No column <threadName> found in sample metadata <timeStamp,elapsed,label,responseCode,responseMessage,dataType,success,failureMessage,bytes,grpThreads,allThreads,Latency,IdleTime>, check #jmeter.save.saveservice.* properties to add the missing column

楼主你好，按照你的配置最后报了这个错。。求解决~

3楼 · 2016.09.21 00:10

看报错关键信息：No column <threadName> found in sample metadata
解决方案：确认./bin/jmeter.properties文件中有如下配置：jmeter.save.saveservice.thread_name = true。也可以在界面上你的listener的configure选项里面勾选“save thread name”

赞 回复

11a80f8fc74f： @阿羅 确认都设置了还是这个问题，用什么监听器有关系吗？？

2016.09.21 14:57 回复

11a80f8fc74f： @阿羅 An error occurred: Data exporter "html" is unable to export data. 重新运行了下出现了这个错 是不是哪里设置有问题呢？

2016.09.21 15:21 回复

11a80f8fc74f： @阿羅 最新进展运行可以了但是目录下为空。。。实在没招了，求帮助~~

2016.09.21 16:19 回复

妞妞儿们

4楼 · 2016.10.18 16:02

jmeter -n -t <test JMX file> -l <test log file> -e -o <Path to output folder>
这个命令，放在哪里执行阿？

赞 回复

阿羅： @妞妞儿们 windows下在命令行执行

5楼 · 2016.11.06 12:56

请教下，为什么我生成报告就报这个错误，报告文件夹生成了但是没有 index.html
Tidying up ... @ Sun Nov 06 12:09:41 CST 2016 (1478405381170)
The JVM should have exitted but did not.
The following non-daemon threads are still running (DestroyJavaVM is OK):
Thread[StandardJMeterEngine,5,main], stackTrace:sun.nio.fs.WindowsNativeDispatch
er#CopyFileEx0
sun.nio.fs.WindowsNativeDispatcher#CopyFileEx
sun.nio.fs.WindowsFileCopy#copy
sun.nio.fs.WindowsFileSystemProvider#copy
java.nio.file.Files#copy
org.apache.jmeter.report.dashboard.TemplateVisitor#visitFile at line:126
org.apache.jmeter.report.dashboard.TemplateVisitor#visitFile at line:48
java.nio.file.Files#walkFileTree
java.nio.file.Files#walkFileTree
org.apache.jmeter.report.dashboard.HtmlTemplateExporter#export at line:487
org.apache.jmeter.report.dashboard.ReportGenerator#exportData at line:348
org.apache.jmeter.report.dashboard.ReportGenerator#generate at line:256
org.apache.jmeter.JMeter$ListenToTest#generateReport at line:1144
org.apache.jmeter.JMeter$ListenToTest#testEnded at line:1089
org.apache.jmeter.engine.StandardJMeterEngine#notifyTestListenersOfEnd at line:2
15
org.apache.jmeter.engine.StandardJMeterEngine#run at line:436
java.lang.Thread#run

Thread[DestroyJavaVM,5,main], stackTrace:
... end of run

时间： 2024-10-08 09:40:35

JMeter性能测试3.0时代之-多维度的图形化HTML报告的相关文章

Jmeter3.0-多维度的图形化HTML报告

本文转载于推酷:http://www.tuicool.com/articles/BNvuEzr 在JMeter3.0之前,官方只提供在工具的UI上对测试结果部分维度的图形化展示,这对我带来了两方面的困扰: 在实际使用中,在平台中集成JMeter后需要页面展示TPS曲线,平均响应时间曲线等图表时,需要我们手动操刀摆弄如Hightcharts/Echarts等前端图表库. 要查看历史的测试结果,需要启动JMeter的图形化界面,导入保存的CSV结果,过程繁琐,并且当结果集较大时,JMeter需要耗费

JMeter3.0_多维度的图形化HTML报告

一.新特性简介 JMeter3.0提供一个用于生成HTML页面格式图形化报告的扩展模块.该模块支持通过两种方式生成多维度图形化测试报告: 在JMeter性能测试结束时,自动生成本次测试的HTML图形化报告 使用一个已有的结果文件(如CSV文件)来生成该次结果的HTML图形化报告 其默认提供的度量维度包括: APDEX(Application Performance Index)指数 聚合报告 类似于UI上的Aggregate Report Errors报告 展示不同错误类型的数量以及百分比 响应

Jmeter性能测试－GC相关

1.GC相关 HotSpot虚拟机将其物理上划分为两个–新生代(young generation)和老年代(old generation).新生代(Young generation): 绝大多数最新被创建的对象会被分配到这里,由于大部分对象在创建后会很快变得不可到达,所以很多对象被创建在新生代,然后消失.对象从这个区域消失的过程我们称之为"minor GC". 老年代(Old generation): 对象没有变得不可达,并且从新生代中存活下来,会被拷贝到这里.其所占用的空间要比新生代

银行业步入数字化4.0时代

银行业步入数字化4.0时代 2017-05-19 06:22:00 上海金融报 麦肯锡近日指出,在经历了电子银行.网络银行.移动银行后,银行业已经全面步入4.0时代,即数字化时代,传统银行的数字化转型迫在眉睫,数字化将成为下一个十年的战略重点.无独有偶,招行在其年报中也提到,移动互联网将成为下一个十年深刻改变人们生活方式的最大因子,金融科技(FinTech)将会重新定义商业银行的经营之道.招行称"将持续加大创新投入,拥抱金融科技带来的机会,在FinTech主导的又一场银行业大革命中抢占先机,用最

落地生根两周年，微软Azure进入2.0时代

By: 申元庆 微软亚太科技有限公司董事长 微软亚太研发集团首席运营官 微软中国云计算与企业总经理 仿佛就在转眼间,微软Azure已经在中国落地生根两年了. 长风破浪会有时,直挂云帆济沧海.微软云技术入华恰逢其时,在"创新驱动发展"."互联网+"."中国制造2025"."大众创业.万众创新"的 "长风"下,由世纪互联运营的Microsoft Azure取得了健康快速的发展,如今已经服务于海尔.蒙牛.小米.乐

JMeter性能测试介绍学习一

上一节中,我们了解了jmeter的一此主要元件,那么这些元件如何使用到性能测试中呢.这一节创建一个简单的测试计划来使用这些元件.该计划对应的测试需求. 1)测试目标网站是fnng.cnblogs.com  和 tt-topia.rhcloud.com 2)测试目的是该网站在负载达到20 QPS 时的响应时间. QPS 解释 QPS:Query Per Second 每秒查询率.是一台查询服务器每秒能够处理的查询次数.在因特网上,作为域名系统服务器的机器的性能经常用每秒查询率来衡量. 为了达成预期

Jmeter性能测试从入门到精通

课程观看地址:http://www.xuetuwuyou.com/course/251课程出自学途无忧网:http://www.xuetuwuyou.com 课程介绍全程实战,每个知识点通过实际项目演练讲解理论实践结合,既会做,又知道为什么这样做讲解时同其他工具做对比,加深理解,了解区别分享技巧,用起来事半功倍从基础讲起,小白也能接受 课程目标熟练掌握 jmeter 工具 熟练使用 jmeter进行脚本开发 熟练使用 jmeter进行接口测试 熟练使用 jmeter 进行性能测试 熟练使用抓包工

M&amp;M （Microsoft &amp; MasterDAX）联手进入云交易所2.0时代

2018年6月28日,Microsoft.MasterDAX所属母公司神州数字(08255.HK).及热酷三方区块链策略合作启动记者会在台北寒舍艾美酒店隆重举行.本次记者会的召开标志着世界IT巨头Microsoft转型的进一步升级--进军BlockChain!Microsoft台湾总经理孙基康先生.MasterDAX所属上市公司神州数字集团创始人孙茳涛先生.MasterDAX联合创始人李成先生.High Cloud总经理吴杰夫先生出席了此次记者会. 在微软发展里程中,这将成为尤为重要的一个时刻,

JMeter 性能测试进阶实战

课程简介 本课程制作的主要目的是为了让大家快速上手 JMeter,期间穿插了大量主流项目中用到的技术,以及结合当今主流微服务技术提供了测试 Dubbo 接口.Java 工程技术具体实施方案,注重实践.注意引导测试思维.拒绝枯燥的知识点罗列.善于用实例展示实践过程.学完本课程,可以快速录制.开发.调试性能脚本,建立测试场景并且可以进行性能测试分析.特色如下: 覆盖 JMeter 的每一个细节: 介绍了 JMeter 在性能.自动化的双领域应用: 有完善的性能测试体系的展现: 为 Java.MySQ