性能测试-响应时间的百分比指标

  先前看过一本书,说到了性能测试者的关键数学原理,充分说明了关于性能测试一些数据的统计和分析,最大力度的获取性能测试的真实指标。对此有也有些自己的感想,尤其是响应时间,和用户切身相关的性能指标,通过百分比指标的分析,性能结果的好坏一目了然。

  首先,大家看一组响应时间的数据:

  

  假设,我们执行某个任务,响应时间的需求指标上限为1秒,开发了两种方案:A、B,而且我们也做了相关的执行测试,分别收集了十组响应时间的性能数据。虽然,两组数据平均响应时间都一样,均为1秒,但本质上,差距还是很大的。List A方案,90%的用户响应时间都在1秒以内,而List B方案,只有60%的用户响应时间符合1秒以内的要求,单从用户体验的角度来说,List A显然要好于List B,List B有40%的用户会感觉不满意,因为用户感受到的恰恰是这种差异化,并不是平均的数据,所以平均值这种数据的统计意义和价值,要辩证的来看待。而这种数据百分比的模式恰恰会帮助我们避免出现这种情况,因为除了平均响应时间,我们通过关注90%响应时间,甚至95%的响应时间,能更加精确的定位到性能数据的这种差异化分布,而不仅仅是平均。List A 90%的响应时间为0.987秒,List B 90%的响应时间为1.273秒,因此,这种百分比的数据模式,比单纯的平均响应时间要包含更多的信息。

  另外,前面提到的关于一本web性能测试的书,关于性能测试者的关键数学原理,和性能测试的百分比模式有异曲同工之妙。关于关键数学原理这块知识,通过三组数据,分别介绍了平均值、百分比数据、中位数、正常值、标准偏差、均匀分布、正态分布等等,也从统计学方面做了说明。

时间: 2024-10-17 05:40:37

性能测试-响应时间的百分比指标的相关文章

性能测试入门(一):性能测试中的各项指标告诉我们什么

性能测试 性能测试是通过自动化的测试工具模拟多种正常.峰值以及异常负载条件来对系统的各项性能指标进行测试. 按照不同的目标,可以分为负载测试.压力测试.容量测试.稳定性测试.平时工作中如果不是专业的测试机构,开发人员或者运维人员做的基本上都属于压测. 压力测试是通过确定一个系统的瓶颈或者不能接受的性能点,来获得系统能提供的最大服务级别的测试. 性能指标 QPS 目前在业界告诉别人我系统的性能指标,比较容易说的就是QPS.QPS有时也说TPS,指的是每秒钟request/事务.通常有人告诉你他的接

性能测试的概念和指标

性能测试:是为描述测试对象与性能相关的特征并对其进行评价而实施和执行的一类测试.是通过自动化的测试工具模拟多种正常.峰值以及异常负载条件来对系统的各项性能指标进行测试.负载测试和压力测试都属于性能测试,两者可以结合进行: 通过负载测试,确定在各种工作负载下系统的性能,目标是测试当负载逐渐增加时,系统各项性能指标的变化情况.压力测试是通过确定一个系统的瓶颈或者不能接受的性能点,来获得系统能提供的最大服务级别的测试. 性能测试概括为三个方面:(1)应用在客户端性能的测试(2)应用在网络上性能的测试(

性能测试的相关概念和指标。

概念: 1.性能: 事务.物品的某些特性的评价值. 时间角度.处理能力 2.软件性能测试: 是用一定的技术,找出或验证某个性能指标值的测试.负载测试和压力测试都属于性能测试,两者可以结合进行. 3.压力测试的目的是:验证系统的稳定性 4.负载测试:测试系统的能力是多少 负载测试是一个分析软件应用程序和支撑架构.模拟真实环境的使用,从而来确定能够接收的性能过程. 压力测试(Stress Testing)是通过确定一个系统的瓶颈或者不能接收的性能点,来获得系统能提供的最大服务级别的测试. 并发性能测

怎么做性能测试--响应时间

做性能测试先要懂性能,响应时间(response time)作为性能测试过程中两大重要指标之一是我们必须关注的. 从用户角度来说,用户最讨厌等待.在大量的处理环境中,超过3秒以上的响应时间将会严重影响工作效率.然而最终用户的感受不仅仅是绝对时间问题,他们对于响应时间的期望是参照以往的经验,而这种期望是相对于他们使用该应用的基准性能.如果使用该应用的当前感受和以往的经验有很大的差别时,抱怨以及需要支持的电话就会成倍地增加.响应时间对于用户来说既有客观成分,也有主观成分. 例(1):对于小说网站来说

软件性能测试指标及其注意地方

并发性能测试的种类与指标 并发性能测试的种类取决于并发性能测试工具监控的对象,以QALoad自动化负载测试工具为例.软 件针对各种测试目标提供了DB2.DCOM.ODBC.ORACLE.NETLoad.Corba.QARun.SAP.SQLServer. Sybase.Telnet.TUXEDO.UNIFACE.WinSock.WWW.Java scrīpt等不同的监控对象,支持Windows和UNIX测试环境. 最关键的仍然是测试过程中对监控对象的灵活应用,例如目前三层结构的运行模式广泛使用,

性能测试结果分析

转自网络 性能测试工程师基本上都能够掌握利用测试工具来作负载.压力测试,但多数人对怎样去分析工具收集到的测试结果感到无从下手,下面我就把个人工作中的体会和收集到的有关资料整理出来,希望能对大家分析测试结果有所帮助. 分析原则: 1. 具体问题具体分析(这是由于不同的应用系统,不同的测试目的,不同的性能关注点) 2. 查找瓶颈时按以下顺序,由易到难. 服务器硬件瓶颈-〉网络瓶颈(对局域网,可以不考虑)-〉服务器操作系统瓶颈(参数配置)-〉中间件瓶颈(参数配置,数据库,web服务器等)-〉应用瓶颈(

性能测试工具Loadrunner使用之三(Analysis )

analysis简介 分析器就是对测试结果数据进行分析的组件,它是LR三大组件之一,保存着大量用来分析性能测试结果的数据图,但并不一定要对每个视图进行分析,可以根据实际情况选择相关的数据视图进行分析,分析结果可以生成一些不同格式的测试报告. 一.设置选项 analysis中的数据是怎么得到的呢?其实在场景运行的时候,默认情况下,所有的vuser信息都保存在该vusr的负载机上.只有当场景运行结束后,这些数据才会自动进行整理或合并,这时负载机上所有vuser的信息和数据都将被传输到结果目录中.默认

后台性能测试不可不知的二三事

某月黑风高之夜,某打车平台上线了一大波(G+)优惠活动,众人纷纷下单.于是乎,该打车平台使用的智能提示服务扛不住直接趴窝了(如下图).事后,负责智能提示服务开发和运维的有关部门开会后决定:必须对智能提示服务进行一次全面深入的性能摸底,立刻!现在!马上! 那么一大坨问题就迎面而来:对于智能提示这样的后台服务,性能测试过程中应该关心那些指标?这些指标代表什么含义?这些指标的通过标准是什么?下面将为您一一解答. 概述 不同人群关注的性能指标各有侧重.后台服务接口的调用者一般只关心吞吐量.响应时间等外部

后端性能测试不可不知的二三事

某月黑风高之夜,某打车平台上线了一大波(G+)优惠活动,众人纷纷下单.于是乎,该打车平台使用的智能提示服务扛不住直接趴窝了(如下图).事后,负责智能提示服务开发和运维的有关部门开会后决定:必须对智能提示服务进行一次全面深入的性能摸底,立刻!现在!马上! 那么一大坨问题就迎面而来:对于智能提示这样的后台服务,性能测试过程中应该关心那些指标?这些指标代表什么含义?这些指标的通过标准是什么?下面将为您一一解答. SEO|SEO优化|SEO排名|关键词收录 概述 不同人群关注的性能指标各有侧重.后台服务