在探索式测试落地实践中奏出了协奏曲后进入到高级阶段,如何在问题定位和经验积累中发挥作用,也可以理解为在生活达到非常和谐后,如何孕育一个后代并为其提供良好的环境,因此本章的名字叫做生活进阶曲,表明在本章内容结束后生活将发生了质的改变,有了良好的传承。
1、反馈跟踪
前面讲的都是开发迭代过程,在实际中我们还有很重要的一个环节就是上线后的用户反馈跟踪。通过各种渠道,我们可以收集到各种用户反馈,能否将用户反馈复现出来直接影响到问题的定位和解决,另外一方面,随着用户反馈问题的复现,我们可以回顾反思漏测问题。
1.1、路径复现
拿到一条用户反馈,我们就要尝试去复现。举例来说。灰度后,收到一条用户反馈“视频横屏播放后,无法竖屏。”
寻找复现路径,根据视频规划图,可以确认影响视频播放的影响点:网络、横竖屏、锁屏、弹幕、小窗口等等,如下图所示。结合这些测试点,根据不同的探索式测试基础方法进行尝试。
最终发现复现路径为:任意视频源,小窗口横屏观看视频,点击暂停,等待手机自动黑屏,再次打开手机进入播放界面,竖屏旋转手机,视频播放界面无法横屏。
采用的测试策略包含:长路径测试(多种操作连续进行)、清晨测试法(屏幕解锁重新进入视频)。
1.2 漏测分析
在复现了用户反馈的问题,我们还可以回溯到问题产生的根源。主要是几个步骤:
【时机】
1) 引入bug的代码时机(开发)
2) 发现bug的时机(测试)
两个时间差可以用来评估漏测的时间成本。
【缺陷类型】
1) 必现程度:必然出现,大概率出现,很难出现。
2) 机型系统:全系统都出现,新系统出现(例如iOS9),少数低端系统出现(例如iOS6),常用系统出现(例如iOS7、iOS8)
3) 严重程度:闪退,重启或者重试可恢复的bug,一直不消失的bug
4) 修复成本:通过后台发布更新来修复,发patch版本来修复
上述不同维度结合起来可以评估缺陷的类型,定位漏测带来的损失程度。
【回顾反思】
如下图所示,逐个环节提问漏测的原因。
1) 5W:通过层层递进的提问和回答进行分析;通过并发时多维度提问和回答进行分析。
2) 扩展思考:缺陷在每个阶段是如何被漏过,今后应该怎样关注。
2、经验库积累
经验传承问题不光是探索测试的专利,但基于探索式测试的研究,我们仍然重点关注了这个环节。将前人的测试经验已库的方式存储起来,以便后人参考查阅。并且从个性化和通用角度分成了一级和二级。
2.1 一级经验库
一级经验库主要是基于各项目自身,总结出本项目核心功能及重点功能的测试方法,这里面包含项目个性化的功能,比如地图产品,导航是个性化又核心得功能,所以对于导航功能测试方法提取,适用于各个地图产品,但并不适用于其他类型产品。如下图所示是同步助手的以及经验库。
2.2 二级经验库
二级经验库主要是基于整个互联网产品,总结出互联网产品上面通用功能的测试方法,这个适用于多个互联网产品,需要从互联网产品结构进行分析,提取难度更大些,比如几乎所有产品都包含的登录功能,同步功能,列表功能,联网读取功能等。如下图所示是登录功能的经验库部分截图。