在实践中进行用户测试和评估

2019工业信息安全技能大赛个人线上赛第一场圆满收官。在保障竞赛平台成功稳定运行的同时,更多的还是思考竞赛平台在本次支撑过程中的用户体验,用户测试与评估情况。作为专业为工业信息安全打造的人才测评选拔和竞赛平台,实际的竞赛活动就是检验和测试产品最好的试金石,也是用户测试环节的最佳测试环境。
在产品设计与优化过程中,产品用户测试与评估环节是指请符合测试要求的目标用户来完成一些特定或具有代表性的任务,观察并记录用户使用产品的整个过程,包括用户使用的顺畅程度和情绪等多个方面。测试过程不是应对用户的不满和要求,而是通过观察用户的行为操作及情绪等方面来把握用户的实际使用情况。用户测试有时也会称为产品可用性测试,可用性测试的定义是“特定用户在特定的使用场景下,为了达到特定的目标而使用某产品时,所感受到的有效性、频率及满意度”。用户测试也作为竞品分析和市场调研的方法,我们会经常性的使用用户测试的方法对其他厂商的产品进行评测,为自身产品的设计提供参考。
对于目前市面上存在的网络安全竞赛平台而言,用户使用情境和目标就是支撑网络安全赛题展示交互与赛题答案提交,并为选手输出可定量和定性的评估结果。满足了这样的前提,我们才能使用有效性、效率及满意度等这些标准来对其进行评价。竞赛平台经过在我们典型的可用性实验室及产品测试团队的可用性测试的基础上,经历了2018工业信息安全技能大赛多个场次的用户使用测试,在产品的可用性上,已经具备了提供网络安全赛题展示交互与赛题答案提交并提供定量和定性评估结果的目标和功能,即产品已经具备了可用性。
在2019工业信息安全技能大赛的支撑上,我们对竞赛平台后续需要的可用性测试目标进行了进一步梳理,即在2019工业信息安全技能大赛过程中,我们的产品团队对竞赛平台的可用性测试的测试目标是什么?也就是我们做可用性测试到底要测那些内容,想知道些什么信息?根据标准的可用性测试方法及流程,一般来讲可用性测试主要分为三大内容:
第一:首先是有效性。是否有效就是说用户是否能达成自己的目标,比如网络安全竞赛,有效性就是用户能够进行赛题交互、提交答案并输出定量和定性结果,如果提交不了答案就是有效性出了问题,那这个竞赛平台就没有存在的价值了。所以有效性问题就是首要的必须要解决的问题。
第二:效率。效率就是用户不用做无用功,能以最快路径达成目标,仍然以网络安全竞赛为例,如果用户在竞赛过程中需要反复操作很多次才能完成任务,那就存着效率问题了,严重的效率问题就是有效性问题。
第三:满意度。满意度是在有效性和效率两方面都没有大问题的情况下,有没有给我们的用户带来不愉悦的体验,这就可能涉及到很多方面很多细节,比如用户注册的时候会不会要求输入过多的信息,或者系统反应及不及时等这种问题,
基于这三个基本要素的标准可用性内容,我们竞赛平台的可用性测试需要在有效性、效率及满意度上继续深挖,以比赛作为契机,竞赛用户选手作为测试评估的主体,它基于真实的用户数据进行评价,相对客观,拥有较强的说服力。用户测试的目的是发现问题,改善我们的设计,挖掘潜在的需求。其测试评估价值巨大:
第一,它能够挖掘潜在的需求。挖掘潜在需求是根本,决定了产品的发展方向;
第二,发现并解决产品存在的问题。发现需要解决的问题,包括界面框架逻辑结构交互等等是否合理,用户体验是否良好;
第三,降低产品周期成本。边做边测试评估,通过快速迭代降低交互设计的周期成本,或者对产品迭代提供良好的参考意见;
第四,增强设计说服力。用户测试可以用鲜活的案例,鲜活的数据等增强设计的说服力。
我们在竞赛结束后以电话调查和采访的方式对选手进行抽样用户测试数据采集,并将采集的测试评估数据记录并进行梳理归纳处理,最终输出我们需要的调查评估数据。在整个过程中,用户测试基本流程需要精心设计。根据经验,我们将用户测试基本流程分为四大部分:
第一:首先需要明确本次测试的目标,然后由用户研究员设计参与者在测试过程中需要完成的任务及测试脚本,由于本次是直接在竞赛过程中对用户进行用户测试,因此本次竞赛选手即为我们需要招募的测试用户。根据年龄段及社会经验作为招募标准和调查对象筛选条件。因为测试中设计什么样的任务和你要描述的用户操作直接相关,确定了前者,后者也就更加明确了。
第二:需要在竞赛选手中筛选用户进行数据采集,我们所邀请的用户必须是目标用户,并且符合本次测试的各项条件。综合目前调查的情况来看,我们筛选了进入场景题的所有用户作为本次调查和数据采集的对象,并根据设计对应的测试调查任务和问题进行电话逐一采访,成功收回所有测试数据。
第三:进行测试,在正常的产品测试中,我们会使用可用性实验室及产品测试团队。在本次测试中,我们直接使用选手的实际使用操作作为测试环境和测试对象,在进行测试中我们需要观察和记录参与者执行任务的情况。在电话采访中,一般我们以抛出问题为主,少做建议,在用户不知所措的时候适当地提问或者帮助加以引导。
第四:分析与报告,电话采访结束后,需要对采集的数据进行记录并进行预处理,仔细重读每个参与者的测试记录,挖掘其中的可用性问题,列出所有的问题并分类整理,判断问题的严重性,整理成为可阅读性的测试报告。

测试报告罗列出采集的问题,还不能直接用于产品的改善任务和优化条目,我们还得继续分析问题以梳理更多细节:比如如何判断测试用户对某一问题是理性还是感性的?这就又回到了我们设计测试任务的初衷及内容层面上,针对这一问题的判断还需要我们就任务内容本身着手,并就任务内容本身寻找答案。除了答案本身的理性与感性判断,我们还需对任务内容本身的采集数据进行定量和定性评估,定量评估是对可以计量的部分进行评价,如点击量,使用率等,完全可以用数据来说明。定性评估是指对非计量的部分进行评价,如流畅度、舒适性、创造性等进行评价,它只能表示一个度,无法准确用数据来说明问题。根据采集的问题的价值判断及定量定性评估分析,我们就能筛选出比较关切的可用性问题并针对性的罗列计划进行逐一解决。
本次用户测试调查帮助我们找出了一些问题,有益于产品的优化改进。在有效性方面,测试用户均表达了对×××接入场景的网络稳定性的担忧、***客户端下载速度受限于选手本身网络速度等问题。由于是第一次采取线上赛场景题接入模式,在调查反馈中,测试用户表示下载×××客户端花费了较长时间,在争分夺秒是赛场上,网络不好的一方将会受限于网络下载而拖慢进入场景的速度,影响与赛题的交互和答案的提交。从产品的可用性角度看,这是一个严重的有效性问题,将会在后续的几个场次中优先解决该问题。其次,测试用户均表达对×××网络的稳定性问题的担忧等重大有效性问题。
在效率方面,测试用户希望在赛题答案示例、***目标IP直接提供等方面提供操作效率。由于赛题答案格式不统一,均希望在提高答题效率方面,针对每个赛题能够提供赛题的答案示例,以提升选手寻找答案及拼接答案的操作效率,减少重复的尝试及时间浪费。此外,由于***目标确定,测试用户希望能够直接提供***目标IP地址,减少不必要的网络扫描,因为所有选手的网络扫描会严重占用大量带宽资源,造成网络在接入阶段的阻塞和卡顿。
还有其他各种细节的小问题记录也会帮助我们改善后续的产品用户体验。综合来看,竞赛平台在实践中进行用户测试和评估,能够最大程度的帮助我们改善产品、优化体验,发现并解决产品存在的问题。

原文地址:https://blog.51cto.com/tasnrh/2426615

时间: 2024-11-08 22:30:34

在实践中进行用户测试和评估的相关文章

背单词类APP测试与评估

背单词类APP测试与评估 测试进度表 项目 内容说明 预计耗时(分钟) 实际耗时(分钟) Planning 计划 30 30 Estimate 估计这个任务需要多少时间 120 180 Testing Design 测试设计 30 30 Analysis 需求和测试需求分析 30 30 Design Test Cases 设计测试用例 30 30 Testing Environment 搭建测试环境(安装测试工具.管理工具等相关运行和支撑软件) 20 30 Testing Implementat

Django 中的用户认证

Django 自带一个用户认证系统,这个系统处理用户帐户.组.权限和基于 cookie 的 会话.本文说明这个系统是如何工作的. 概览 认证系统由以下部分组成: 用户 权限:控制用户进否可以执行某项任务的二进制(是/否)标志. 组:一种为多个用户加上标签和权限的常用方式. 消息:一种为指定用户生成简单消息队列的方式. Deprecated in Django 1.2: 认证系统的消息部分将会在 Django 1.4 版中去除. 安装 认证系统打包在 Django 的 django.contrib

[转载]基于TFS实践敏捷-实现用户场景

您是新用户的 Visual Studio 应用程序生命周期管理 (ALM) 和 Team Foundation Server (TFS) 吗? 您想知道如何您和您的团队可以获得最大受益的这些工具来生成您的应用程序的最新版本? 然后花几分钟就可以走逐步完成该两个章节教程,并按照 Peter 和朱丽亚在 Fabrikam 纤程的两个开发人员的生活的一天 — — 虚构的公司,提供有线电视和相关的服务. 您将看到如何使用 Visual Studio 和 TFS 签出并更新代码. 暂停工作时被打断. 请求

【tool】软件测试中获取负面测试的技术

一个测试用例用于证明该需求已经满足,通常称作正面测试用例: ·另一个测试用例反映某个无法接受.反常或意外的条件或数据,用于论证只有在所需条件下才能够满足该需求,这个测试用例称作负面测试用例. 1.负面测试的目的负面测试在BS7925-1中的英国标准定义是采用Beizer的定义,其定义负面测试为“旨在说明 软件不能工作的测试”(原文:Testing aimed at showing software does not work).它可以带出一系列补充性的和竞争性的目的.•发现导致重大失效.崩溃.破

【新书推荐】《ASP.NET Core微服务实战:在云环境中开发、测试和部署跨平台服务》 带你走近微服务开发

<ASP.NET Core 微服务实战>译者序:https://blog.jijiechen.com/post/aspnetcore-microservices-preface-by-translator/ "微服务"的概念在 2014 年正式提出之后,越来越多的团队开始用它来设计自己的业务系统,各种微服务框架和开发过程管理方法也同时兴起.不断成熟.微服务设计方法清晰地定义了各个开发团队的业务边界,微服务框架以不同的方式实现了服务之间的协作与集成,根据康威定律我们可以推导这

Scrum 敏捷实践中的三大角色

在我过去的近两年工作中,我们一直在应用 Scrum 敏捷项目管理方法来开展工作,今天,我先从它的角色划分来讲起,毕竟这可是它最鲜明的特征. 首先,为什么这种项目管理方法叫 Scrum ? Scrum 是一个引申词,原义是橄榄球场上的并列争球.橄榄球号称是美国的国球,受关注度最高,我们经常听到的超级碗 Super Bowl(/b??l/)就是它的年度冠军赛. 就像橄榄球运动极度强调团队协作一样,它是用于开发和交付软件产品的一个框架,且过程是增量和迭代的. 好,我们回到 Scrum 的角色划分. 基

实践中的电商前端优化

前端优化已经是一个被写烂的题材了. 虽千万人吾往矣,这里我仅分享我的一些实践经验. 欢迎一起交流 欢迎关注我的个人公众号,不定期更新自己的工作心得. 正文如下 前端性能 1. 模块化 严格来说,代码模块化并不能带来性能上的提升,但我还是将模块化提出来,因为它真的很重要,重要到几乎所有的优化都与它息息相关. 常见的模块化方案有:AMD.CMD.UMD.ES6 如何选择? 团队习惯 个人偏好 业务需要 我靠!你怎么能把业务需要放在最后一个考虑? 因为没有哪一块业务会因为使用了不同的模块化方案而产生不

软件测试中的数据库测试

数据库中数据的基本结构 定义一:数据元素集合(也可称数据对象)中各元素的关系. 定义二:相互之间存在特定关系的数据元素集合. 一个表(数据库),我们就称它为一个数据结构,它由很多记录(数据元素)组成,每个元素又包括很多 字段(数据项)组成数据库测试分类系统测试.集成测试.单元测试.功能测试.性能测试.安全测试系统测试.数据库在初期设计中需要进行分析测试. 对于各种数据元素进行完美融合,并理清相互之间的关系便是数据库结构的基本定义. 在数据库中,不同数据之间会存在既定的特殊关系,其属于各种数据元素

PHP 使用Apache 中的ab 测试网站的压力性能

打开Apache服务器的安装路径(我用的是 WampServer),在bin目录中有一个ab.exe的可执行程序,它就是要介绍的压力测试工具. 在Windows系统的命令行下,进入ab.exe程序所在目录,执行ab.exe程序.注意直接双击无法正确运行. d:(回车/进入D盘) cd wamp\bin\apache\Apache2.4.4\bin(回车/进入 bin目录) ab(回车/) 如果看到下列一些帮助信息就说明成功启动ab     开始启动ab 压力测试 ab -n 5000 -c 20