使用测试工具解决产品问题(译)

标准的网站监控工具能接通网页并证明他们正在响应,而他们不会向你警告一个问题。但是你能使用压力测试技术去监测你的网站,通过跑一个交互脚本能检测出问题并生成必要的邮件。它像一位安静的哨兵持续运行,从来不睡觉或者休一个假,提升了你的网站可靠性。

我们的网站包含了一个用户登录,用户认证过程偶尔被停止。我们标准的网站监控工具能接通主页并验证网页在响应,但是可能与不在我们适当放置的工具外的网页交互。当客户向我们警告一个真实的问题时我们只能了解它。这是不可接受的,我们不得不找到一个更好的办法。

我们之前使用一个压力测试工具开发并执行一系列的压力测试,允许我们运行很大数量的用户在测试网站上做很多不同的动作。但是我们需要一种方法在重复的基础上去运行一个简单的用户去做简单的脚本,24/7,在它在我们的产品系统上影响我们真实客户前警告我们一个问题。我们的压力测试工具会作为一个单一用户做这种测试,但是当一个问题被检测出来时,它缺少一种生成警告的方法。

与我们的供应商一起工作,我们发现他们提供了一个简单的解决方案:作为一个单一用户以重复的流程并有某些出错时发出警告的方式使用一个不同的应用去执行压力测试脚本。我们现在有这种适当的流程有3年了,并且它有一个极好的解决方案。这儿是我们如何操作它。

设计测试

第一步是做一些业务分析去决定什么被测试和失败看起来像什么。当与压力测试类似,这次测试专注于不仅是网页的压力时间以及脚本运行的结果。你也需要以重复的基础上使用已知的用户名/密码组合登录产品系统的能力。

这次测试的目的是为了简单地验证网站是活跃的并且准备使用。我们的测试不包含事务(销售订单),但是你能包含这个操作;它只要求更多的工作。

我们的检查有这些:

  • ·每一页需要在少于5000毫秒内加载(5秒)
  • ·每一页需要正确地加载
  • ·每一页需要通过文本检查(验证页面加载预期的内容)

编写脚本

现在你已有设计,你可以创建你的脚本。

首先,我们选择一个合法的用户账号能用于这个流程。(它需要存在于产品中但是被看做一个测试账号。)

我们也能增加一些我们局域网站的监控,被授权用户专门使用。这个授权通过使用安全套接层控制,所以对那些网站,我们不得不增加一些特殊的代码去支持安全套接和端口映射。

我们使用我们普通的压力测试脚本设计工具创建脚本,衡量任一特殊被监控工具需要的规则被包含在这个设计里。如果你被支持,你的支持供应商可能有一些有用的在这领域的信息。

一旦你有被设计和正确运行的脚本,现在你能推动它到监控的应用程序里。

创建监测器

跟你的供应商核实什么脚本元素需要被覆盖,因为在某些情况下你需要所有的实时文件而不仅仅是脚本。好消息是这些文件是小的。

当创建你的监测器,首先决定什么网页元素被追踪。取决于你的解决方案,每一个你选择监测的元素能使用你的协议容量的部分,所以你可能选择限制监测元素的数量。在我们的案例里,我们只需要监测页面加载结果和它需要多长时间去加载,但是你可能同时选择其他元素,就像下面任意一些。

当你保存监测器,你能看到最初的在监测仪表盘上创建的结果。

创建监测原则

一旦你创建了监测器,你能为什么样的系统用来决定通过或失败的条件去创建规则。我们只选择监测页面状态和加载持续时间。

当你有通过/失败条件的标准集时,仪表盘反应了状态。

你也需要决定你多久需要测试执行。当第一次测试仍然运行时假如第二次测试尝试开始,你能得到错误的警告,所以我们在每次测试间允许3分钟。

创建警报规则

现在你创建测试并定义什么是一次失败,你需要创建当可能失败被检测时告诉谁的规则。

我们的工具允许多于10次不同的警报活动,但是我们为我们的警报流程选择邮件。我们使用明显的邮件主题去反应网站问题。我们能发送一封邮件或者短信息,假如单元载体支持邮件地址——比如,[email protected]。

其中一件事是区分技术是否易犯错误,偶而事件不发生在你的网站上。为了减少错误警报数,除非测试在一行里失败了3次,否则我们不生成警报。我们也建立了规则,每一小时只生成一封重复的邮件(每20次),当物价管制局正处理一个事件时,他们不需要一堆邮件告诉他们已经寻址的事件。

我们也能参与并使警报根据需要不可用,以防止计划的停机时间省城错误的邮件警报。

生成报告

这些监测工具提供了一个好的检查性能超时的方法,并生成有用的报告。这些能被剪切复制或者导出为HTML。(我发现它更易于被剪切和复制相关的信息而不是尝试解释报告生成的所有数据。)

这些是我们质量实例来的示例报告,关于奔溃和需要及时改变的登录流程:

维护可靠性

我们的工具也包括一个仪表盘视图,提供简单的地方去快速检查所有的监测器并看到是否有一个或多个问题,那可能一个更大的问题。

最初,这个工具有些强卖给美国物价管制局团队,因为使用虚拟用户测试的想法是对某些人来讲是一个新的概念。但是现在它执行得就像一个安静的哨兵,从不睡觉或者休个假,我们实际上有一个新的应用程序到来,询问我们检测他们的网站确保用户可靠性是能维护的。

这改进了我们的操作可靠性——并且这难道不是质量保证的角色吗?

原文地址:https://www.cnblogs.com/fengye151/p/11518816.html

时间: 2024-10-11 18:04:55

使用测试工具解决产品问题(译)的相关文章

数字化精准测试工具ThreadingTestCloud面向互联网征集产品设计人员

数字化精准测试工具ThreadingTestCloud面向互联网征集产品设计人员 各位互联网上的测试伙伴,目前我们已经有大量的用户在使用TTC进行数字化的精准测试,从TT升级到TTC历经了整整一年的时间,我们团队这一年一直在全力以赴的研发,我们坚信未来具有规范性.标准性和专业性的数字化精准测试一定会成为专业测试的趋势和潮流. 目前TTC的2.x版本已经发布,该版本是高性能的稳定版本,并且实现了所有规划的核心底层技术,但TTC到目前为止产品设计还是有TTC团队独立完成的,现在已经是大数据时代,大家

源代码测试工具推荐及点评

本文推荐并点评了软件开发测试中经常使用的20种源代码测试工具,能够帮助大部分人解决测试问题.>>原文来自20款源代码测试工具推荐及点评 AdaTEST--一款针对于Ada应用程序的覆盖率测试.静态测试和动态测试工具 AQtime--该产品含有完整的性能和调试工具集,能够收集程序运行时关键的性能信息和内存/资源分配信息,并提交概要报告和详细报告,还提供所有的程序优化处理工具,囊括了自定义过滤器.图形化的调用层次结构一直到源代码浏览等内容. BoundsChecker--为C++开发者而生的运行时

记一个质量极差的测试工具——请重视手工测试,自动化测试不是银弹

新年伊始,又想吐槽一番. 背景:我在一个做自动化的持续集成测试的组. 我们隔壁有一个做测试工具的组.半年前我们隔壁组做了一个工具,具有代码分支管理.静态分析.不同级别的单元测试.集成测试等功能, 这个工具被老板看中,强制让所有部门使用这个工具来提交代码.不用这个工具提交的代码将不能合入产品代码的主分支.使用这个工具提交的代码会自动去编译.打包.进行各层测试. 大家使用之后,发现这个工具烂透了.有无数的严重BUG.(比如提交上去的代码不能打包成功,等等.) 我每次提交代码使用这个工具需要浪费大约8

不要把测试工具当饭吃

近年几年,无论是行业聚会还是猎头招人.无不体现着这一理念,测试工作越发被机械化Coding化,很多企业招人时也不乏喜欢给自己的员工提些要求QTP/Loadrunner/jmeter/selenium一系列测试化工具被列入正规.精益的代名词.于是我们投入了大量人力物力来实现我们心中挥之不去的理想与抱负,每日Build成了很多测试经理追求的梦想. 加之行业领袖们的吹捧,行业新兵薪水的大幅提升,一些不明真相的人们正大步迈入这个陷阱.我们做测试工具开发.测试工具应用,根本的意义是提升工作效率,降低产品成

20种源代码测试工具

本文推荐并点评了软件开发测试中经常使用的20种源代码测试工具,能够帮助大部分人解决测试问题. AQtime--该产品含有完整的性能和调试工具集,能够收集程序运行时关键的性能信息和内存/资源分配信息,并提交概要报告和详细报告,还提供所有的程序优化处理工具,囊括了自定义过滤器.图形化的调用层次结构一直到源代码浏览等内容 AdaTEST--一款针对于Ada应用程序的覆盖率测试.静态测试和动态测试工具 BoundsChecker--为C++开发者而生的运行时错误检测和调试工具,支持C/C++..Net.

Mac下使用Web服务器性能/压力测试工具webbench、ab、siege

Web开发,少不了的就是压力测试,它是评估一个产品是否合格上线的基本标准,下面我们来一一剖析他们的使用方式. 测试前,前面先把系统的端口限制数改大,看看Mac下面的默认限制 ulimit -a open files (-n) 2560 2000多的fd数是很小的,我们把他改大,当然我测试过了,也只能开10000而已,Linux可以开6W多,所以: ulimit -n 10000 在用 ulimit -a 检查一下 open files (-n) 10000 接下来把cpu检查打开,通常我们只看使

最全测试工具大全

软件测试类工具大全第一部分,现列举如下,并非百分百全面,仅供测试同行参考: 功能自动化测试工具 厂商 工具名称 * Mercury Winrunner 备注:世界上最古老.经典的测试工具厂商Mercury Interactive公司(2004年改名Mercury)的绝对主打产品,于Loadrunner.Testdirector并称三雄,统治IT行业测试工具市场的20世纪末的10余年.然而它过时了,随着20世界末WEB应用技术的盛行,Winrunner显得力不从心.故2003年Mercury公司开

2015 GOOGLE I/O大会看点总结:新的开发工具及云端测试工具

http://ask.android-studio.org/?/article/48 尽管凌晨开始的主题演讲略显晦涩并继承了谷歌一贯的东一句西一句想起啥说啥的混乱风格,但期待用技术改变世界的技术男谷歌还是做了不少有意思的好事. 现在我们来盘点下,谷歌这场持续了3小时的发布会都有什么干货. 1.Android M:最新版移动系统 Android M系统 谷歌一直用一种甜品作为自己的系统版本代号,例如Android L,L指代Lollipop(棒棒糖).目前M只是开发者预览版,还没公布M究竟代表什么

Android应用测试工具ThreadingTest查错实例分析

1      ThreadingTest产品简介 ZOA公司研发的ThreadingTest智能型测试工具系列一期,是基于程序源代码的白盒测试工具.采取前端分析器和后端结果分析分离的技术路线,实现对多种语言的编译器级分析和多维度测试. ThreadingTest的核心思想来源于非线性复杂软件工程体系.通过ThreadingTest基于测试用例集与动态代码覆盖的双向追溯的专利技术,使得对于大型应用系统的维护和修改变得不再盲目和极易出错,使得对大型软件的系统测试期和维护期的测试过程从无量化依据到有明