性能测试工具 Web Service 性能测试工具比较

转自】https://testerhome.com/topics/3003

背景

希望选择一款Web Service性能测试工具,能真实模拟大量用户访问网站时的请求,从而获取服务器当前的请求处理能力(请求数/秒)。
以微信服务器为例,每个用户用独立的登录token,做各种操作,比如刷消息、发消息、看朋友圈等。

希望该性能测试工具符合如下要求:

  1. 测试脚本能力,最好是Python/Ruby等最常用的
  2. 每个并发实例能使用不同参数
  3. CLI启动测试,这对自动化测试很重要
  4. Session支持,也就是第一个请求的响应,能用于后续请求的参数。
  5. 单个结点的并发数量高。
  6. 分布式支持,不受限于单个结点的计算能力。

性能测试工具选手:

Gatling

http://gatling.io/

Gatling是一款基于Scala 开发的高性能服务器性能测试工具,它主要用于对服务器进行负载等测试,并分析和测量服务器的各种性能指标。Gatling主要用于测量基于HTTP的服务器,比如Web应用程序,RESTful服务等,除此之外它拥有以下特点:

  • 支持Akka Actors 和 Async IO,从而能达到很高的性能
  • 支持实时生成Html动态轻量报表,从而使报表更易阅读和进行数据分析
  • 支持DSL脚本,从而使测试脚本更易开发与维护
  • 支持录制并生成测试脚本,从而可以方便的生成测试脚本
  • 支持导入HAR(Http Archive)并生成测试脚本
  • 支持Maven,Eclipse,IntelliJ等,以便于开发
  • 支持Jenkins,以便于进行持续集成
  • 支持插件,从而可以扩展其功能,比如可以扩展对其他协议的支持
  • 开源免费

测试场景示例:
http://gatling.io/docs/2.1.7/advanced_tutorial.html

object Search {

val feeder = csv("search.csv").random // 1, 2

val search = exec(http("Home")    .get("/"))    .pause(1)    .feed(feeder) // 3    .exec(http("Search")    .get("/computers?f=${searchCriterion}") // 4    .check(css("a:contains(‘${searchComputerName}‘)", "href").saveAs("computerURL"))) // 5    .pause(1)    .exec(http("Select")    .get("${computerURL}")) // 6    .pause(1)}

统计图:

nGrinder

官网很卡,真的很卡...zzz...

http://naver.github.io/ngrinder/

nGrinder是一个基于 Grinder 开发的一个非常易于管理和使用的性能测试系统。

它是由一个controller和连接它的多个agent组成,用户可以通过web界面管理和控制测试,以及查看测试报告,controller会把测试分发到一个或多个agent去执行。用户可以设置使用多个进程和线程来并发的执行该脚本,而且在同一线程中,来重复不断的执行测试脚本,来模拟很多并发用户。

nGrinder的测试是基于一个python的测试脚本,用户按照一定规则编写测试脚本以后,controller会将脚本以及需要的其他文件分发到agent,用Jython执行。并在执行过程中收集运行情况、响应时间、测试目标服务器的运行情况等。并保存这些数据生成运行报告,以供以后查看。

nGrinder的一大特点就是非常容易使用,安装也非常容易,可以做到开箱即用,测试用户也可以很容易就开始测试任务。当然,如果想执行一些比较复杂场景的性能测试,就需要测试人员对python有一定认识。

测试场景示例:
http://grinder.sourceforge.net/faq.html#simulating-users

## testRandomise.py#import randomimport string

class TestRandomise:  def __init__(self, filename):    self._users = []    infile = open(filename, "r")

for line in infile.readlines():      self._users.append(string.split((line),‘,‘))    infile.close()

def getUserInfo(self):    "Pick a random (user, password) from the list."    return random.choice(self._users)

## Test script. Originally recorded by the TCPProxy.#from testRandomise import TestRandomisetre = TestRandomise("users.txt")

class TestRunner:    def __call__(self):        # Get user for this run.        (user, passwd) = tre.getUserInfo()

# ...

# Use the user details to log in.

tests[2002].POST(‘https://host:443/securityservlet‘,          ( NVPair(‘functionname‘, ‘Login‘),            NVPair(‘pagename‘, ‘Login‘),            NVPair(‘ms_emailAddress‘, user),            NVPair(‘ms_password‘, passwd), ))

统计图:

Locust

http://locust.io/

Locust 是一个开源负载测试工具。使用 Python 代码定义用户行为,也可以仿真百万个用户。

Locust 是非常简单易用,分布式,用户负载测试工具。Locust 主要为网站或者其他系统进行负载测试,能测试出一个系统可以并发处理多少用户。

Locust 是完全基于时间的,因此单个机器支持几千个并发用户。相比其他许多事件驱动的应用,Locust 不使用回调,而是使用轻量级的处理方式 gevent。

测试场景示例:
http://docs.locust.io/en/latest/quickstart.html#example-locustfile-py

from locust import HttpLocust, TaskSet

def login(l):    l.client.post("/login", {"username":"ellen_key", "password":"education"})

def index(l):    l.client.get("/")

def profile(l):    l.client.get("/profile")

class UserBehavior(TaskSet):    tasks = {index:2, profile:1}

def on_start(self):        login(self)

class WebsiteUser(HttpLocust):    task_set = UserBehavior    min_wait=5000    max_wait=9000

统计图:

其他未参与比较的工具

因为没有脚本能力或CLI,所以未加入比较

  • JMeter
  • ApacheBench(ab)
  • Tsung

Locust作者对JMeter和Tsung发的牢骚:

http://my.oschina.net/u/1433482/blog/464092#OSC_h4_3

我们研究了现有的解决方案,都不符合要求。比如Apache JMeter和Tsung。

JMeter基于UI操作,容易上手,但基本上不具备编程能力。其次JMeter基于线程,要模拟数千用户几乎不可能。

Tsung基于Erlang,能模拟上千用户并易于扩展,但它基于XML的DSL,描述场景能力弱,且需要大量的数据处理才知道测试结果。

比较

比较科目x工具矩阵

结论

很明显,首选的全能选手就是 Gatling ,Akka Actor的并发模型就是来自于并发语言的鼻祖Erlang。

如果想自己扩展性能测试工具,那么Locust这个小而精的工具可以考虑。

nGrinder工具是韩国版微信Line开源的,并且专门开设了中文论坛,由韩国工程师回答中国开发者。但有两个问题,一是官网太卡,其二示例都是片段不完整。

原文地址:https://www.cnblogs.com/yanhuidj/p/9780145.html

时间: 2024-10-11 12:12:56

性能测试工具 Web Service 性能测试工具比较的相关文章

Web Service 性能测试工具比较

背景 希望选择一款Web Service性能测试工具,能真实模拟大量用户访问网站时的请求,从而获取服务器当前的请求处理能力(请求数/秒).以微信服务器为例,每个用户用独立的登录token,做各种操作,比如刷消息.发消息.看朋友圈等. 希望该性能测试工具符合如下要求: 1. 测试脚本能力,最好是Python/Ruby等最常用的2. 每个并发实例能使用不同参数3. CLI启动测试,这对自动化测试很重要4. Session支持,也就是第一个请求的响应,能用于后续请求的参数.6. 单个结点的并发数量高.

Web Service 性能测试:soapUI还是Jmeter?

经常有人问我web service的性能测试是用JMeter好还是SoapUI好.说句实话这两款都是非常优秀的开源Web Service性能测试工具,简单地说哪个更好真不太容易.影响Web Service性能测试的因素太多到底谁的结果更准确一些很多时候并不主要取决于测试工具.在soapUI官方网站上有一个文章比较了这两款工具,我将要 点抽出来加以分析希望能反映它们的特点. JMeter在整个负载测试的优越性是毋庸置疑的,它覆盖了常见的各种测试类型,如HTTP, JDBC, JMS 和SOAP.单

Web Service测试工具SOAPSonar免费下载及使用教程

原文来自龙博方案网http://www.fanganwang.com/product/1403 SOAPSonar是领先的服务测试和诊断解决方案,世界上有超过40,000份部署应用.SOAPSonar为基于HTTP,HTTPs, MQ 和 JMS协议的SOAP, XML, 和REST服务提供简单.直观和综合的测试.SOAPSonar测试框架容易部署,并提供功能.性能.一致性和安全性测试. 自始自终,Crosscheck Networks 都将SOAPSonar设计为综合的测试解决方案,在服务开发

Web Service测试工具小汇

最近一直在做WebService的测试,考虑到手工测试的困难,所以特意去寻找好的测试工具,现在做一个整理. 1..NET WebService Studio 这款工具出自微软内部,最大的优点是可视化很好,不用去看那些XML文件,WebService的基础内容就有XML,但是测试中Case过多,每次测试结果都去看XML文件,看一轮下来对个人的视力是个很大的损害. 从上图可以看到,操作上也很方便,只需要把Service部署到IIS后,在WSDL EndPoint中输入这个要测的Service的URL

【转】Web Service单元测试工具实例介绍之SoapUI

SoapUI 是当前比较简单实用的开源Web Service 测试工具,提供桌面应用程序和IDE 插 件程序两种使用方式.能够快速构建项目和组织测试用例是该工具的一大特性,下面将通过实例介绍如果使用SoapUI 进 行Web Service 单元测试. l 构建项目 SoapUI 工具中的项目(Project )是由一个或多个Web Service 组成的,这里我们以"中国电视节目预告 Web 服务: http://www.webxml.com.cn/webservices/ChinaTVpro

Web Service单元测试工具实例介绍之SoapUI

原文  Web Service单元测试工具实例介绍之SoapUI SoapUI是当前比较简单实用的开源Web Service测试工具,提供桌面应用程序和IDE插件程序两种使用方式.能够快速构建项目和组织测试用例是该工具的一大特性,下面将通过实例介绍如果使用SoapUI进行Web Service单元测试. l        构建项目 SoapUI工具中的项目(Project)是由一个或多个Web Service组成的,这里我们以“中国电视节目预告 Web 服务: http://www.webxml

XML Web Service:HTTP-GET, HTTP-POST and SOAP的比较

XML Web Service:HTTP-GET, HTTP-POST and SOAP的比较 XML Web Service支持三种协议来与用户交流数据.这三种协议分别是: 1. SOAP:Simple Object Access Protocol 2.  HTTP-GET 3.   HTTP-POST 1.首先我们先来理解一下这三者的大概定义. 在这三种协议中,SOAP是XML Web Service最常用到的连接协议.与HTTP相比,SOAP显的更为复杂,但却拥有更强的接受能力.SOAP是

怎样创建.NET Web Service http://blog.csdn.net/xiaoxiaohai123/article/details/1546941

为什么需要Web Service 在通过internet网购买商品后,你可能对配送方式感到迷惑不解.经常的情况是因配送问题找配送公司而消耗你的大量时间,对于配送公司而言这也不是一项增值服务. 为了解决这种问题,配送公司需要在不降低安全级别的情况下了解更多的递送信息,然而安全公司设计的安全系统却非常复杂.那么我们能不能只使用80端口(web服务器端口)并且只通过web服务器提供信息呢?所以,我们建立了一个全新的web应用程序以便从核心商业应用程序中获得数据.配送公司将为些东西付money,所有的公

利用SoapUI 测试web service的方法介绍

1. 简介 SoapUI是用java开发的测试web service的工具. 2. 安装 2.1. 下载地址 http://www.soapui.org/ 2.2. 安装 By downloading and installing soapUI using the windows installer from SourceForge soapUI Web Site, which includes the required 1.6 JRE (Java Runtime Environment). U