背景
最近在帮别的项目组执行性能测试,使用的工具是Jmeter。接口录制和参数化前一个人已经做好了,我主要的工作就是执行脚本,撰写测试报告。事情并不复杂,可做起来却极为耗时。
首先,由于有6组账号,分别对应6个不同的BU,而每个BU又需要执行1、10、20、30四种压力模式。如果使用GUI模式跑,就需要执行24次,还需要每次自己改参数,实在是费心费力。
其次,使用Jmeter插件生成聚合结果后,要根据结果出一份报告,。在我之前做的同事,由于是第一轮测试,也就无从比较,只是从接口、页面、错误率三个维度写了一份报告。而我则需要根据本次和上次的结果,生成图表,以便直观地展示结果。刚开始做这件事时,我是根据需求,找到对应的接口和页面,分别挪到Excel里,利用Excel生成图表。可是既容易错,还容易瞎,实在是折磨人。
解决方案
1
为了解决第一个问题,我的思路是找到Jmeter测试脚本的配置文件,复制多份,批量改成不同的配置,再利用bat脚本每次执行多个。
先将原来的测试脚本Jmx文件复制多份,按环境分成不同的文件夹,再按线程数整理进去,如下图:
因为Jmx文件其实都是xml格式,里面存储了脚本的配置,于是就使用VS Code打开文件夹,进行批量替换,这样很快就能完成配置工作。
之后再写bat脚本,以命令行模式执行jmx脚本,并生成测试报告。
注意在批处理文件中执行多条命令时,如果期望上一条执行完毕再继续执行下一条(也就是顺序调用),需要使用call方法。大致如下:
call %userprofile%\Desktop\apache-jmeter-3.3\bin\jmeter.bat -n -t ‘CP BU.jmx‘ -l test_report.csv -e -o cp_test_reportcall %userprofile%\Desktop\apache-jmeter-3.3\bin\jmeter.bat -n -t ‘FA BU.jmx‘ -l test_report.csv -e -o fa_test_report
%userprofile%是系统变量,代表用户目录,形如C:\Users\xxx。这样调用可以提高复用性,之后用到的电脑只需要将jmeter放在桌面,即可运行。
-n non-gui 以非GUI模式运行
-t test-file 要执行的脚本文件
-l logfile 记录结果的文件,之后可以用来生成聚合报告
-o output html报告保存的路径
这样每次执行执行每种线程数的批处理文件,就可以自动执行并生成报表了。
其实还可以对生成报告的路径,再做参数化配置,按照一定规则整合在一起。而且还可以将多线程的bat文件,再一起执行,这样就更省事。这些都是可优化的地方
2
对比报告这部分就要麻烦些了。初步的思路是从新旧报告宏读取数据,再使用生成图表的库生成对比图。有了对比图,要说的话就会少很多了,毕竟一图胜千言嘛。
之前同事其实是直接从Jmeter中粘贴出来的报告,与脚本生成的html报告还有不一样的地方。况且,html文件不好读取数据,很难与excel中的数据对比。
最省脑子的方法自然是我按照原来的方式重新跑一遍,一一把数据粘贴出来,这样结果的格式就一样了,可是复用性太差,就不考虑了。之后想用笨方法,利用插件从打开的html报告中读出表格。试了一圈,Chrome的插件要么只能用于http开头的网页,要么就是不起作用。又试了下UI Path(RPA工具,最近跟过一些教程),提取是成功了,可是好像和页面上的行数不一致,大概是某些元素的没有被识别为表格元素。无奈之下,只能想想能不能利用现有的报告生成类似之前版本的报告。有查到用jemter命令将jtl(jmeter的测试结果)转换为聚合报告,可是脚本无法执行,说是缺插件,奈何jmeter上装插件总是失败,也没办法。只得自己在jemter界面上试试,在聚合报告插件中导入之前生成的csv文件。这下成功了,也稍微理解了这些报告的作用。这些插件其实就是将日志文件重新计算整理,展示出最关注的几点。
这样就保证数据格式一致了。接下来就是考虑读取数据了。我最先想到的是用pandas中的Dataframe格式存储数据。
写个读取的方法:
def read_reports_csv(folder): cp_df = pd.read_csv(os.path.join(folder, ‘cp.csv‘)) mc_df = pd.read_csv(os.path.join(folder, ‘mc.csv‘)) mcp113_df = pd.read_csv(os.path.join(folder, ‘mcp113.csv‘)) mcproject_df = pd.read_csv(os.path.join(folder, ‘mcproject.csv‘)) pa_df = pd.read_csv(os.path.join(folder, ‘pa.csv‘)) fa_df = pd.read_csv(os.path.join(folder, ‘fa.csv‘)) return cp_df, mc_df, mcp113_df, mcproject_df, pa_df, fa_df
至于生成图表,我想到的是pyecharts。
绘制图表的示例如下:
from pyecharts.charts import Bar from pyecharts import options as opts bar = ( Bar({"width": "800px", "height": "750px", }) # 初始化图表宽和高 .add_xaxis(list(last_label)) # x轴的数 .add_yaxis(‘Response Time Average This Time‘,list(this_average)) # 增加y轴,本次结果 .add_yaxis(‘Response Time Average Last TIme‘,list(last_average)) # 增加y轴,上次结果 .set_global_opts( # 设置全局设置 title_opts=opts.TitleOpts(title=‘接口平均相应时间对比图‘), # 设置标题 xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=15)), # 设置x周,这里是将文字倾斜,便于显示较长的文字 legend_opts=opts.LegendOpts(is_show=True, pos_right=10) # 设置图例 ) )
生成图表这块,在网上查了很久,主要是参数配置不太理解。最后都是在官方文档中找到了最后答案。不得不说,还是官方文档靠谱,百度里搜索出来的结果有时能解燃眉之急,有时却是东拼西凑,质量不高。还是多用Google吧。不过pyechart本身是源自百度的库,估计国外用的人不多,资料大概也不多。
接下来是就往图表里塞数据了,这里也是问题最多的地方,主要有以下几点:
1.前后执行的接口并不是完全一致,没办法直接通过Label标签排序,将要比较的数据对齐。
2.有些接口请求的参数是动态变化的,没办法将接口名写死。
可见,数据清理将是重头,会决定之后生成的图表是否正确。我的解决思路是,将要比较的接口和页面分别参数化,再拿着要比较的数据,取其Label字段,分别在新旧数据中搜索,生成新旧待比较的数据集,再将数据排列对齐,保证顺序一致。Dataframe支持的操作其实已经很多了,就我目前了解的,没有找到现成方案,就自己写了些小方法,实现这些目标。具体代码如下:
def df_contains(df, partial_labels): ‘‘‘ 这一步是为了找出要对比的数据 遍历列表,在Dataframe中匹配,凡是包含当前字符串的,都拿出来 ‘‘‘ result_df = None for label in partial_labels: x = df[df[‘Label‘].str.contains(label)] if result_df is None: result_df = x else: if not x.empty: result_df = result_df.append(x, ignore_index=True) return result_df.drop_duplicates(subset=[‘Label‘, ‘Average‘,‘Median‘], keep=‘first‘)
def replace_digits_in_df(df, label): ‘‘‘ 这一步是为了取出label中的数字 Jmeter录制的脚本中,每次请求前面都会加上序号,影响排序,需要统一去掉 当然也许Jmeter中本身就可以设置,只是我不知道 ‘‘‘ for row in df.iterrows(): _ = row[1].Label df.loc[row[0], label] = re.sub(‘\d+‘, ‘‘, _) return df
def draw_api(last_df, this_df, column): ‘‘‘ last_df: 上一次结果,pd.Dataframe this_df: 本次结果,pd.Dataframe return: 柱状对比图,可在notebook中绘制,也可直接导出html ‘‘‘ last_temp = replace_digits_in_df(last_df,‘Label‘) last = df_contains(last_temp, api_labels).sort_values(by=[‘Label‘]) this_temp = replace_digits_in_df(this_df,‘Label‘) this = df_contains(this_df,api_labels).sort_values(by=[‘Label‘]) print(this.Label) print(‘--------‘) print(last.Label) # 下面都是为了取出新旧待比较数据集中的交集,避免数据错位 this_del_index = this.append(last, sort=False).drop_duplicates(subset=[‘Label‘], keep=False).index this = this.drop(this_del_index) last_del_index = last.append(this, sort=False).drop_duplicates(subset=[‘Label‘], keep=False).index last = last.drop(last_del_index) this_average = this[column] this_label = this.Label last_average = last[column] last_label = last.Label bar = ( Bar({"width": "800px", "height": "750px", }) .add_xaxis(list(last_label)) .add_yaxis(‘Response Time Average This Time‘,list(this_average)) .add_yaxis(‘Response Time Average Last TIme‘,list(last_average)) .set_global_opts( title_opts=opts.TitleOpts(title=‘接口平均相应时间对比图‘), xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=15)), legend_opts=opts.LegendOpts(is_show=True, pos_right=10) ) ) return bar
当然,这些方法也是前前后后尝试了很多次,慢慢写出来的规则。经过对比,执行的两轮中,没有数据错位的情况。其实这部分也是最费时间的。
另外,在jupyter notebook中可以实时查看生成的图表,很是方便,推荐使用。只需要对最后生成的图表对象,调用render_notebook()方法即可。最后生成的对比图如下:
代码地址:
https://github.com/MRFF/Learning-Python/blob/master/compare_reports.py
参考链接:
https://pandas.pydata.org/pandas-docs/stable/
原文地址:https://www.cnblogs.com/yifeixu/p/11742452.html