测试质量评估与度量

不管产品规模是大还是小,结构简单还是复杂,质量评估都不是一件容易的事情。

尽管很难,但质量评估仍然是必需的,因为关系到版本是否能够发布、测试工作是否有效、测试投入是否有价值等。

那么,如何把握软件产品的质量?

发布之前

产品发布之前可以对如下指标进行评估

● Bug

Bug数量、Bug趋势图、Bug分布图等,有利于我们对问题的归纳总结。

● 测试通过率

包括计划的测试用例执行进度、通过的测试用例数目、失败的测试用例数目、被阻塞的测试用例数目等。一般要求达到95%以上。

我们还利用一次通过率去衡量开发的质量,这里不做详细的阐述。还可以延伸到模块通过率,来衡量系统某一具体功能模块的稳定性。

● 测试覆盖率

包括业务覆盖率(核心业务场景)、测试类别(性能、安全测试等)。业务覆盖率必须全部覆盖,根据产品的性质,考虑性能指标、安全指标是否需要100%达标。

● 信心

测试负责人对所测版本及需求的主观感受。作为需求及版本的第一手用户,测试员对其有比较敏感的判断。

延伸到我们经常提的:测试总结或者版本发布公告,应该包含但不限于上述提到的几项指标。

发布之后

软件产品发布之后一般面向的是项目(面向测试发布的制品进行一轮验证),亦或者是客户(直接部署到正式环境,面向客户使用)。

针对发布后的评估,根据项目或者客户现场发现的问题数量/(测试发布时发现的问题数量+客户现场发现的问题数量)*100%

一般统计周期是三个月,一般控制在10%以内算正常,当然也要看问题的严重等级。

那么,又该如何更合理的度量产品质量呢?

常见的有千行代码错误率,CMMI级别也定义了每一级的错误率:

有的公司也逐渐从CMM1升级到了CMM3,量化的指标比较能够直观的反应一些问题,不至于问起来质量好坏都是,我觉得应该可以。

但也有不少诟病:代码冗余;为了CMMI定级而去冲指标。

所以,我们也不能完全依赖千行代码错误率去评判和衡量产品质量的好坏,测试度量的目标还是提高产品质量。

从研发阶段和效率价值金字塔看,自底向上,越早参与测试发现问题,后期的投入就越少,产品质量就越稳定。

自底向上,我们可以做哪些工作来保障产品质量呢:

1. 需求的评审:测试参与

2. 架构设计方案评审

3. 代码模块设计,包的依赖的规划,接口的设计的review

4. 代码的review的机制

5. 测试用例评审

6. 使用代码检测工具,自动发现问题

7. 使用自动化测试,自动检测历史功能及模块完整性

8. 完善测试流程,增加性能、安全等未涉及领域测试

9. 漏洞Review分析,测试总结

当然上述每项,单独做起来都是需要耗时耗力的,前期还要有专人负责牵头保障效果与执行监督。

产品质量不是测试出来的,需要上游产品设计、开发编码、架构设计等环节以及下游运维、实施、维护等环节共同保障。

单纯依赖测试去保障研发出来的产品,只是冰山一角,更多的问题需要大家共同去关注,协同保障产品质量。

个人认为

完全依赖一些量化的指标去评判产品质量的好坏、测试质量的好坏是不够的,重点是数据背后的问题,管理者要重视起来,找到问题的根源并有意识的去提升。

这样产品质量才能持续稳步的提升。

原文地址:https://www.cnblogs.com/starlight-yang/p/10237936.html

时间: 2024-10-10 02:58:01

测试质量评估与度量的相关文章

语音质量评估

语音质量评估,就是通过人类或自动化的方法评价语音质量.在实践中,有很多主观和客观的方法评价语音质量.主观方法就是通过人类对语音进行打分,比如MOS.CMOS和ABX Test.客观方法即是通过算法评测语音质量,在实时语音通话领域,这一问题研究较多,出现了诸如如PESQ和P.563这样的有参考和无参考的语音质量评价标准.在语音合成领域,研究的比较少,论文中常常通过展示频谱细节,计算MCD(mel cepstral distortion)等方法作为客观评价.今年也出现了MOSNet等基于深度网络的自

如何提升测试质量??

测试的重要性我们就不在这里多说了,因为说测试重要的文章太多了.这里我只想从一个测试员的角度,提出如何提升测试的质量. 编写一份详细的测试用例提高测试质量.详细的测试用例完全覆盖了代码的所有路径.把这样一份测试用例发放到测试人员手中,都能高质量的执行测试过程,测试用例完全覆盖所有需求,测试人员就不会因为不熟悉业务而遗漏需要测试的需求.但是一份详细的,覆盖所有需求的,测试用例虽然能够让测试的执行测试覆盖所有的需求,但是测试人员稀少,并不能可能多的在测试过程中发现更多的问题. 投入大量的测试人员提高软

背单词类APP测试与评估

背单词类APP测试与评估 测试进度表 项目 内容说明 预计耗时(分钟) 实际耗时(分钟) Planning 计划 30 30 Estimate 估计这个任务需要多少时间 120 180 Testing Design 测试设计 30 30 Analysis 需求和测试需求分析 30 30 Design Test Cases 设计测试用例 30 30 Testing Environment 搭建测试环境(安装测试工具.管理工具等相关运行和支撑软件) 20 30 Testing Implementat

在实践中进行用户测试和评估

2019工业信息安全技能大赛个人线上赛第一场圆满收官.在保障竞赛平台成功稳定运行的同时,更多的还是思考竞赛平台在本次支撑过程中的用户体验,用户测试与评估情况.作为专业为工业信息安全打造的人才测评选拔和竞赛平台,实际的竞赛活动就是检验和测试产品最好的试金石,也是用户测试环节的最佳测试环境. 在产品设计与优化过程中,产品用户测试与评估环节是指请符合测试要求的目标用户来完成一些特定或具有代表性的任务,观察并记录用户使用产品的整个过程,包括用户使用的顺畅程度和情绪等多个方面.测试过程不是应对用户的不满和

干货 | VMAF视频质量评估在视频云转码中的应用

作者介绍:姜生,PP云高级技术经理,10余年视频编解码算法设计优化,流媒体应用等领域开发经验. 一 .VMAF 技术介绍: VMAF 的全称是:Visual Multimethod Assessment Fusion,视频质量多方法评价融合.这项技术是由美国Netflix公司开发的一套主观视频质量评价体系.2016年1月,VMAF 正式开源: 下载地址: https://github.com/Netflix/vmaf 二 .通行视频质量评价方法的局限: 评价一个编码后的视频流与压缩前的视频流质量

R_Studio(cart算法决策树)对book3.csv数据用测试集进行测试并评估模型

对book3.csv数据集,实现如下功能: (1)创建训练集.测试集 (2)用rpart包创建关于类别的cart算法的决策树 (3)用测试集进行测试,并评估模型 book3.csv数据集 setwd('D:\\data') list.files() dat=read.csv(file="book3.csv",header=TRUE) #变量重命名,并通过x1~x11对class属性进行预测 colnames(dat)<-c("x1","x2"

白葡萄酒质量评估——回归解决

从UCI下载数据集:Wine Quality Data Set ,里面包含红葡萄酒和白葡萄酒的2个样本数据集.里面均包含葡萄酒的11个物理化学方面的因素,还有1个对葡萄酒质量的测评平均分数(0-10分).现采用其白葡萄酒数据,对该数据集进行一定的数据分析: (1)建立回归模型,研究这些性质是怎样影响白葡萄酒的质量评价 (2)找出影响较大的前三因素 (3)这些物理化学性质之间是否存在一定的关系 import pandas as pd import numpy as np import matplo

如何提升测试质量,减少漏测

在测试过程中,我们需要一直在思考,如何保证产品的质量,降低漏测,给用户带来良好的使用感受,我们知道没有一个产品在外网是无bug,不同的人,使用习惯不同 会有很多意想不到的场景,那我们测试人员可以借助我们的知识储备.经验.方法去探索去测试模拟构造尽量多的用户使用场景,让产品在发到外网后,能给用户带来良好体验,我对于质量提升,以及降低漏测,有3个建议和思路: 1.过程 测试过程中的我们要有好的设计思路和测试点,掌握时间节点.及时汇报风险,在测试过程中积极主动跟进问题,压缩时间会降低我们的效率,我们可

为何经严格测试质量合格的产品,在用户那问题频现 ?

Hello ,各位Tester ,晚上好 . 今晚不聊具体技术细节,聊聊解决问题的思路 . 此主题,源于今晚老徐的一条朋友圈 . 此条朋友圈发出后,收到上百位同学的赞赏 & 体验 . 接下来的事,很多Tester应该能猜到, 随即朋友圈各种此玩法的刷屏,大家都在尝鲜体验 (每次老徐体验新产品后,都会有一批同学好奇去体验,「给赞」是不是考虑给广告费,哈哈哈 ) 接下来,老徐这条朋友圈下面,就是各种Bug反馈了(Tester的职业病,看到Bug就会去反馈). 主要几方面问题 . 1. 赞赏后,语音播