2016年已过半,目前,经过几年高速发展后的国内市场移动互联网用户量已经趋于饱和,这让想要在该行业先发制人、出奇制胜的机会已经一去不复返。究竟App如今存在哪些方面的质量问题,不同类别的应用需要关注的内容是否相同?看似普通的兼容性测试又有哪些被人忽略却至关重要的关键点?这些问题就是阻碍你在这片拼杀激烈的商业红海中站住脚跟的关键。
继《2016年上半年手游测试数据分析报告》后,TestBird再次重磅推出《2016上半年App测试白皮书》(以下简称白皮书),希望通过上半年总共测试的20806款App 数据,为您直观的展示App行业目前的质量概况,以期在您未来的市场发展和趋势判断中提供一些力所能及的帮助。
20806款APP数据14类应用,深入解析APP问题分布
一款能够长驻市场的应用必须保证质量和进行大量的性能优化,但不同类型的APP存在着不尽相同的质量问题,而了解各个类型APP主要的问题关键点在哪儿,我们才能够顺利地打造出一款成功的产品。
2016上半年, TestBird测试了20806款APP,涵盖了“系统工具、通讯社交、影音视听、新闻阅读、生活休闲、办公商务、摄影摄像、购物优惠、地图旅游、教育学习、金融理财、健康医疗、游戏娱乐以及其他”14类应用。
白皮书对这14类APP的测试数据进行详细的分析,譬如游戏娱乐、影音视听应用对手机的性能要求较其他类应用要高;摄影摄像类应用所发生的UI异常问题、程序异常问题也是最为严重的等等。
四大角度定义测试标准,详细剖析应用质量
2016上半年,TestBird测试了20806款APP,发现APP质量问题主要集中在APP与终端的兼容适配性、APP的功能以及终端的性能三个方面,同时由于APP使用对移动网络的依赖,加上移动网络的复杂和多变,客户在使用APP时频繁的面临网络切换问题,对APP的使用体验也有重要的影响。故而白皮书对APP质量问题从影响最关键和高频的功能测试、兼容性测试、网络测试和性能测试四个角度进行了详细的研究。
首先在兼容性测试方面,白皮书对将兼容性问题详细的分为安装失败、启动失败、闪退、卡顿、卡死、黑屏、数据异常、UI异常、连接异常和程序异常10大类,并对每类问题进行了标准定义。同时还结合CPU品牌、内存大小以及安卓版本等终端角度,对兼容性问题机型了交叉分析。
其次,APP功能使用是否正常,是影响用户体验的最关键因素之一,针对功能测试方面,白皮书从注册登录模块、定位服务模块、社交模块、个人信息管理模块和其他模块5个维度进行了分析分类阐述。同时,还对功能问题对用户体验的影响程度进行了详细的分级。
而针对APP网络测试方面,白皮书对常见的网络切换状况进行了分类,并对每种状况下出现的问题进行了详细阐述。同时还从APP类型的角度,对不同类型APP都在弱网条件下的测试和问题发生情况进了分类分析,完整展现了网络环境对APP质量的影响。
一款应用的性能是否良好,主要来源于应用运行过程中的CPU占用率、内存占用值、温度、启动时延、流量数据等,通过这五项数据可以很好的反应一款应用的性能表现。所以,白皮书对5个角度进行了标准化的定义和详细的数据分析。
平均每款APP 41个问题,程序闪退高达51%
2016上半年,TestBird在测试的20806款APP中总共发现864578个问题,平均每款APP存在41个问题,在14类应用中,地图旅游、游戏娱乐两种类型的APP平均问题检出数量最多,分别为63和61个。
▲每类应用平均问题检出数量
在各类兼容性问题分析中,白皮书统计显示闪退、UI异常、程序异常是兼容性问题占比最高的3大类问题,其中闪退问题占比最高,达到51.65%。
▲各类兼容性问题检出率
在功能性问题的研发上,白皮书的分析显示,有1/4的问题都发生在注册登录模块,重点体现为第三方账号登录失败。从问题的严重程度上来看,大量的Bug中,会影响到用户正常操作的A、B、C级问题合计将近80%,所以功能测试问题需要引起开发者的高度重视。
▲问题模块分布统计
在APP网络问题分析中,白皮书显示,服务器交互失败、掉线、数据获取异常等情况易发生在通信社交类、地图旅游类与生活休闲类APP上。而画面时延增加、画面卡顿以及无响应情况常发生于游戏娱乐类应用上。
在APP的性能指标分析上,白皮书统计发现,在CPU占用率上,游戏娱乐类最高,健康医疗类最低;启动时延方面,购物优惠类最大,其他类型最小;内存占用上,购物优惠类最高,金融理财类最低;而在平均流量消耗上,摄影摄像类应用最大,健康医疗类应用则最小;手机平均温度方面则是购物优惠类应用最高,系统工具类最低
4000款终端数据交叉分析,小米终端问题最少
目前,市面上安卓终端碎片化极其严重,而相应兼容性问题也随着增加,TestBird通过对 4000款测试手机,历经20000余款APP测试后,通过深度的交叉分析为大家总结出了分辨率、CPU、内存等方面对APP质量问题的影响,并期望开发者能够通过这些数据对测试机型进行相应的筛选,做针对性的测试。
从白皮书的数据来看,在众多终端品牌中,大部分主流品牌的兼容性整体较好,相对而言,小米的问题数最少。从系统版本上分析,Android 5.1的兼容性情况最好,4.1的兼容性问题最严重;在内存方面,4GB内存是一个分水岭,4GB以上内存容量的问题检出率稳定在8.44%左右,小于4G的手机,内存不足引起的问题较多;而在CPU品牌上,展讯出现的兼容性问题较多,问题检出率高达32%,我们熟知的联发科和高通两大类CPU品牌兼容性问题检出率相当,分别为9.6%和9.2%。
在IOS系统方面,白皮书也进行了专项的研究,发现2016年上半年平均每款程序IOS兼容性测试检测出8个以上问题,其中在系统层面上来说,IOS7问题检出率达到22.84%,普遍高于IOS8和IOS9;在机型上,iphone6的问题检出率达到12.59%,仅次于iphone4和iphone4s,高于其他机型。另外,相对于iphone,ipad问题检出率明显提高,其中mini1和mini2兼容性问题最为突出。
▲iphone手游测试问题检出率
▲ipad测试问题检出率
每款智能硬件105个问题,软硬件链接最突出
目前智能硬件市场迎来爆发式的增涨,智能硬件的测试和质量问题亦越来越受产商的重视,白皮书总结了TestBird上半年测试过151款智能硬件的经验,专门就智能硬件测试进行了系统的分析。
白皮书将智能硬件分为智能穿戴设备,智能家居,健康医疗,车联网,人工智能,运动休闲,影音娱乐和其他8个类别,其中智能家居市场占比最多,达到22.15%。
▲智能硬件各类型占比
同时,智能硬件的质量问题也比较突出,上半年TestBird在智能硬件上一共发现了15925个问题,平均每款智能硬件问题数量达到105个以上,其中还发现,硬件本身问题占比是最少的,反而软硬件链接问题最多,这无疑需要引起广大智能硬件厂商的注意和重视。
▲智能硬件问题占比
新增实操案例,全干货指导APP质量提升
《2016年APP测试白皮书》不仅给行业带来了一些测试经验和干货内容,帮助开发者在进行APP测试时更有目的、有针对性的入手,而且还新增了兼容性测试、功能测试以及智能硬件测试等大量不同类别的实操案例与测试日志Q&A,并期望通过更加直观的描述,为广大开发者提供一定的参考借鉴。
另外,在白皮书最后,TestBird依然毫无保留地针对APP各项测试问题,叙述了详尽的解决方案。譬如针对兼容性问题中最为严重的程序闪退情况,白皮书中对问题发生的原因进行了归纳并给出了相应的解决建议:
我们测试中发现APP闪退问题是所有兼容性问题中出现最多的问题,闪退问题出现场景各不相同,常见原因因为内存不足、温度过高、系统不兼容、CPU不兼容等。开发人员可以根据这几种现象分析定位原因,找到闪退原因后根据需求优化。
正是由于TestBird稳扎稳打,在占有70%手游市场后,凭其测试技术的累积和测试经验的丰富,顺利将业务拓展至整个APP领域,并通过2016上半年测试多达20806款的APP,整合分析的864578个测试问题,最终顺利推出了《2016上半年APP测试白皮书》,全面直观地展示了App行业目前的质量概况,并望以此与广大测试同胞一起分享 。
申请下载《2016上半年APP测试白皮书》完整版,请点击:https://jinshuju.net/f/6fxt2F