《2016上半年APP测试白皮书》:平均每款应用存在41个问题

2016年已过半,目前,经过几年高速发展后的国内市场移动互联网用户量已经趋于饱和,这让想要在该行业先发制人、出奇制胜的机会已经一去不复返。究竟App如今存在哪些方面的质量问题,不同类别的应用需要关注的内容是否相同?看似普通的兼容性测试又有哪些被人忽略却至关重要的关键点?这些问题就是阻碍你在这片拼杀激烈的商业红海中站住脚跟的关键。

继《2016年上半年手游测试数据分析报告》后,TestBird再次重磅推出《2016上半年App测试白皮书》(以下简称白皮书),希望通过上半年总共测试的20806款App 数据,为您直观的展示App行业目前的质量概况,以期在您未来的市场发展和趋势判断中提供一些力所能及的帮助。

20806款APP数据14类应用,深入解析APP问题分布

一款能够长驻市场的应用必须保证质量和进行大量的性能优化,但不同类型的APP存在着不尽相同的质量问题,而了解各个类型APP主要的问题关键点在哪儿,我们才能够顺利地打造出一款成功的产品。

2016上半年, TestBird测试了20806款APP,涵盖了“系统工具、通讯社交、影音视听、新闻阅读、生活休闲、办公商务、摄影摄像、购物优惠、地图旅游、教育学习、金融理财、健康医疗、游戏娱乐以及其他”14类应用。

白皮书对这14类APP的测试数据进行详细的分析,譬如游戏娱乐、影音视听应用对手机的性能要求较其他类应用要高;摄影摄像类应用所发生的UI异常问题、程序异常问题也是最为严重的等等。

四大角度定义测试标准,详细剖析应用质量

2016上半年,TestBird测试了20806款APP,发现APP质量问题主要集中在APP与终端的兼容适配性、APP的功能以及终端的性能三个方面,同时由于APP使用对移动网络的依赖,加上移动网络的复杂和多变,客户在使用APP时频繁的面临网络切换问题,对APP的使用体验也有重要的影响。故而白皮书对APP质量问题从影响最关键和高频的功能测试、兼容性测试、网络测试和性能测试四个角度进行了详细的研究。

首先在兼容性测试方面,白皮书对将兼容性问题详细的分为安装失败、启动失败、闪退、卡顿、卡死、黑屏、数据异常、UI异常、连接异常和程序异常10大类,并对每类问题进行了标准定义。同时还结合CPU品牌、内存大小以及安卓版本等终端角度,对兼容性问题机型了交叉分析。

其次,APP功能使用是否正常,是影响用户体验的最关键因素之一,针对功能测试方面,白皮书从注册登录模块、定位服务模块、社交模块、个人信息管理模块和其他模块5个维度进行了分析分类阐述。同时,还对功能问题对用户体验的影响程度进行了详细的分级。

而针对APP网络测试方面,白皮书对常见的网络切换状况进行了分类,并对每种状况下出现的问题进行了详细阐述。同时还从APP类型的角度,对不同类型APP都在弱网条件下的测试和问题发生情况进了分类分析,完整展现了网络环境对APP质量的影响。

一款应用的性能是否良好,主要来源于应用运行过程中的CPU占用率、内存占用值、温度、启动时延、流量数据等,通过这五项数据可以很好的反应一款应用的性能表现。所以,白皮书对5个角度进行了标准化的定义和详细的数据分析。

平均每款APP 41个问题,程序闪退高达51%

2016上半年,TestBird在测试的20806款APP中总共发现864578个问题,平均每款APP存在41个问题,在14类应用中,地图旅游、游戏娱乐两种类型的APP平均问题检出数量最多,分别为63和61个。

每类应用平均问题检出数量

在各类兼容性问题分析中,白皮书统计显示闪退、UI异常、程序异常是兼容性问题占比最高的3大类问题,其中闪退问题占比最高,达到51.65%。

各类兼容性问题检出率

在功能性问题的研发上,白皮书的分析显示,有1/4的问题都发生在注册登录模块,重点体现为第三方账号登录失败。从问题的严重程度上来看,大量的Bug中,会影响到用户正常操作的A、B、C级问题合计将近80%,所以功能测试问题需要引起开发者的高度重视。

问题模块分布统计

在APP网络问题分析中,白皮书显示,服务器交互失败、掉线、数据获取异常等情况易发生在通信社交类、地图旅游类与生活休闲类APP上。而画面时延增加、画面卡顿以及无响应情况常发生于游戏娱乐类应用上。

在APP的性能指标分析上,白皮书统计发现,在CPU占用率上,游戏娱乐类最高,健康医疗类最低;启动时延方面,购物优惠类最大,其他类型最小;内存占用上,购物优惠类最高,金融理财类最低;而在平均流量消耗上,摄影摄像类应用最大,健康医疗类应用则最小;手机平均温度方面则是购物优惠类应用最高,系统工具类最低

4000款终端数据交叉分析,小米终端问题最少

目前,市面上安卓终端碎片化极其严重,而相应兼容性问题也随着增加,TestBird通过对 4000款测试手机,历经20000余款APP测试后,通过深度的交叉分析为大家总结出了分辨率、CPU、内存等方面对APP质量问题的影响,并期望开发者能够通过这些数据对测试机型进行相应的筛选,做针对性的测试。

从白皮书的数据来看,在众多终端品牌中,大部分主流品牌的兼容性整体较好,相对而言,小米的问题数最少。从系统版本上分析,Android 5.1的兼容性情况最好,4.1的兼容性问题最严重;在内存方面,4GB内存是一个分水岭,4GB以上内存容量的问题检出率稳定在8.44%左右,小于4G的手机,内存不足引起的问题较多;而在CPU品牌上,展讯出现的兼容性问题较多,问题检出率高达32%,我们熟知的联发科和高通两大类CPU品牌兼容性问题检出率相当,分别为9.6%和9.2%。

在IOS系统方面,白皮书也进行了专项的研究,发现2016年上半年平均每款程序IOS兼容性测试检测出8个以上问题,其中在系统层面上来说,IOS7问题检出率达到22.84%,普遍高于IOS8和IOS9;在机型上,iphone6的问题检出率达到12.59%,仅次于iphone4和iphone4s,高于其他机型。另外,相对于iphone,ipad问题检出率明显提高,其中mini1和mini2兼容性问题最为突出。

iphone手游测试问题检出率

 

ipad测试问题检出率

每款智能硬件105个问题,软硬件链接最突出

目前智能硬件市场迎来爆发式的增涨,智能硬件的测试和质量问题亦越来越受产商的重视,白皮书总结了TestBird上半年测试过151款智能硬件的经验,专门就智能硬件测试进行了系统的分析。

白皮书将智能硬件分为智能穿戴设备,智能家居,健康医疗,车联网,人工智能,运动休闲,影音娱乐和其他8个类别,其中智能家居市场占比最多,达到22.15%。

 

智能硬件各类型占比

同时,智能硬件的质量问题也比较突出,上半年TestBird在智能硬件上一共发现了15925个问题,平均每款智能硬件问题数量达到105个以上,其中还发现,硬件本身问题占比是最少的,反而软硬件链接问题最多,这无疑需要引起广大智能硬件厂商的注意和重视。

 

智能硬件问题占比

新增实操案例,全干货指导APP质量提升

《2016年APP测试白皮书》不仅给行业带来了一些测试经验和干货内容,帮助开发者在进行APP测试时更有目的、有针对性的入手,而且还新增了兼容性测试、功能测试以及智能硬件测试等大量不同类别的实操案例与测试日志Q&A,并期望通过更加直观的描述,为广大开发者提供一定的参考借鉴。

另外,在白皮书最后,TestBird依然毫无保留地针对APP各项测试问题,叙述了详尽的解决方案。譬如针对兼容性问题中最为严重的程序闪退情况,白皮书中对问题发生的原因进行了归纳并给出了相应的解决建议:

我们测试中发现APP闪退问题是所有兼容性问题中出现最多的问题,闪退问题出现场景各不相同,常见原因因为内存不足、温度过高、系统不兼容、CPU不兼容等。开发人员可以根据这几种现象分析定位原因,找到闪退原因后根据需求优化。

正是由于TestBird稳扎稳打,在占有70%手游市场后,凭其测试技术的累积和测试经验的丰富,顺利将业务拓展至整个APP领域,并通过2016上半年测试多达20806款的APP,整合分析的864578个测试问题,最终顺利推出了《2016上半年APP测试白皮书》,全面直观地展示了App行业目前的质量概况,并望以此与广大测试同胞一起分享 。

申请下载《2016上半年APP测试白皮书》完整版,请点击:https://jinshuju.net/f/6fxt2F

 

时间: 2024-10-20 11:45:09

《2016上半年APP测试白皮书》:平均每款应用存在41个问题的相关文章

【转】移动App测试中的最佳做法

一说起软件测试,测试员想到肯定是去检查文件,功能,API,性能并确定软件是否安全,以及关于软件特定部分的其他事项.但是对于移动测试,测试员不得不基于用户移动使用模式考虑移动相关的功能. 本文是基于我的工作经验而写的.作为一名敏捷软件开发团队的软件质量保证经理,我一心投入iPhone,Android,WindowsPhone7的移动apps和移动webapps.在XING移动团队的日常工作以及与其他移动测试专家交流的过程中,我深刻了解了移动测试工作的困难.渐渐地,我明确了什么是帮助改进同事们和我的

[转]移动App测试中的最佳做法

Daniel Knott 用过各种不同编程语言和软件质量保证工具.他在软件开发和测试方面干了七年,自2010年起,他一直在德国汉堡的XING AG公司就职,几个项目里,比如XING调查和XING建议,他负责测试管理,测试自动化和测试执行.Daniel现在是XING移动和XING API团队的质量保证团队负责人.在XING移动团队中,他还负责XING安卓和iPhone Apps的测试管理和测试自动化.Daniel在包括像Robotium, KIF (Keep It Functional), Sel

迭代重负明显,App测试新时代需要树立新标准

随着移动互联网的飞速发展,移动APP的开发呈现出爆发式的增加,一大批互联网创业者如潮涌般进入APP市场,竞争也越发激烈.但是,很多APP在迅速占据应用市场榜单前列之后便不堪APP迭代开发的重负,渐渐地便消失在了大众的视野中. 可以说,APP的迭代便是其在市场中存活的生命力.而为了不断地给自己的产品"续命",开发者对于APP的迭代速度要求也越来越高.到现在,一款APP平均每两周甚至1周就需要更新版本,以便于能最先满足用户需求,占领市场先机,而每一次迭代开发又都必须进行繁琐费时的功能测试,

APP测试走过的那些坑

我现在的工作有一大部分也是app测试,虽然自己是app开发出身,但是在测试上还是跌入了很多大坑,毕竟二者还是有很大不同,所处的角度也是不一样的.而开发转测试中,我认为较难的也是一个角度的转换,以一个开发者的角度去测试,往往会忽略很多问题. 在记录app测试走过的那些坑之前,先总结下app测试的工作主要有哪些. 1.功能测试,无论是什么软件产品,必不可少的就是功能测试.我们需要测试这款app产品的功能是否完善,是否符合客户需求,是否符合用户正常体验.而功能测试最重要的一点也是测试案例的设计,这个抽

app测试

App测试 2016/9/14整理 一.环境搭建 1.安装jdk(java development kit)版本:jdk_8u91_windows_i586_8.0.910.15 ——新建系统变量: 名称:JAVA_HOME 变量值:C:\Program Files\Java\jdk1.7.0_79 ——添加到path: 变量值: ; C:\Program Files\Java\jre7\bin 2.安装 android sdk 模拟工具包 ——添加到path: E:\Setup\android

百大券商2016上半年经营业绩全排名

百大券商2016上半年经营业绩全排名 中国证券业协会昨日发布对2016上半年度126家证券公司经营数据(未经审计)及业务情况的统计排名,共计25项指标,涉及企业规模.经营绩效.风险管理和客户基础等方面内容,现为您呈现各家公司的排名情况(指标有合并.筛选). 1.总资产 总资产方面,126家证券公司今年上半年合计5.75万亿元,较2015年末下降约10.34%,超过千亿规模的依然有15家.相比上期,29家公司的排名没有变化,包括排名前13位的中信证券.海通证券.广发证券.国泰君安和华泰证券等. 排

App测试被制约,质量不过关,你的产品该怎样留住用户?

如今,很多App创业团队在起始时都会面临一个问题:由于没有重视上线前的APP测试工作,产品在上线后问题频出,导致用户体验大打折扣,用户大量流失,错失了发展核心用户的最好时机.那么,既然这样的现象已经不是个例,为什么不在产品上线前就做好质量管理呢?事实上,产品质量控制或者说产品的上线测试环节,无论是在大公司里还是中小开发者团队里都属于软肋,这主要是受到以下几个方面的客观因素制约: 1.企业没有实力/不愿意专门养测试团队或工程师. 要保证产品质量,势必需要企业出资组建一个专业的测试团队来搭建一个完善

几个移动App测试工具

介绍几款移动App测试的工具: 腾讯测试:http://bugly.qq.com/优测:http://utest.qq.com/fir.im测试:http://bughd.com/ 大致介绍如下: bugly:腾讯推出的移动应用崩溃检测服务,提升团队解决异常的效率. bugHD:开发者可以追踪崩溃信息.崩溃版本.崩溃总数.发生设备和是否修复等信息.是Fir.im 团队做的产品: ----------------------------更多介绍如下,详细请参考个网站官网,及阅读相关帮助 -----

软件测试 APP测试丶

一:APP概述 li { list-style: none; margin: 0 } p { margin: 0 } span.l { color: red; font-weight: bold } a.mapnode:link { text-decoration: none; color: black } a.mapnode:visited { text-decoration: none; color: black } a.mapnode:active { text-decoration: n