mysqlslap工具测试mysql DB的性能

mysqlslap的一个主要工作场景就是对数据库服务器做基准测试。

    测试方法

  1、测试工具:mysqlslap,mysqlslap是MySQL5.1.4之后自带的benchmark基准测试工具,该工具可以模拟多个客户端同时并发的向服务器发出查询更新,给出了性能测试数据而且提供了多种引擎的性能比较。

  2、测试流程:建立测试数据库database和待测试的表tables → 根据table的结构,利用脚本生成一定数量的有效随机数据 → 利用mysqlslap对相应query语句进行测试 → 结果数据的分析。

  3、关键语句:考虑到资源平台的实际应用情况,通过资源属性查询资源的操作为主要操作,且这类操作的耗时占总操作耗时的比例为最大,故对应这类操作的查询语句为关键语句,对整个数据库性能影响很大,我们可以通过测试这个关键语句得出的结果来评估整个数据库的性能。

使用语法如下:
# mysqlslap [options]

常用参数 [options] 详细说明:

  • --auto-generate-sql, -a 自动生成测试表和数据,表示用mysqlslap工具自己生成的SQL脚本来测试并发压力。
  • --auto-generate-sql-load-type=type 测试语句的类型。代表要测试的环境是读操作还是写操作还是两者混合的。取值包括:read,key,write,update和mixed(默认)。
  • --auto-generate-sql-add-auto-increment 代表对生成的表自动添加auto_increment列,从5.1.18版本开始支持。
  • --number-char-cols=N, -x N 自动生成的测试表中包含多少个字符类型的列,默认1
  • --number-int-cols=N, -y N 自动生成的测试表中包含多少个数字类型的列,默认1
  • --number-of-queries=N 总的测试查询次数(并发客户数×每客户查询次数)
  • --query=name,-q 使用自定义脚本执行测试,例如可以调用自定义的一个存储过程或者sql语句来执行测试。
  • --create-schema 代表自定义的测试库名称,测试的schema,MySQL中schema也就是database。
  • --commint=N 多少条DML后提交一次。
  • --compress, -C 如果服务器和客户端支持都压缩,则压缩信息传递。
  • --concurrency=N, -c N 表示并发量,也就是模拟多少个客户端同时执行select。可指定多个值,以逗号或者--delimiter参数指定的值做为分隔符。例如:--concurrency=100,200,500。
  • --engine=engine_name, -e engine_name 代表要测试的引擎,可以有多个,用分隔符隔开。例如:--engines=myisam,innodb。
  • --iterations=N, -i N 测试执行的迭代次数,代表要在不同并发环境下,各自运行测试多少次。
  • --only-print 只打印测试语句而不实际执行。
  • --detach=N 执行N条语句后断开重连。
  • --debug-info, -T 打印内存和CPU的相关信息。

更详细的参数请查阅官网文档:https://dev.mysql.com/doc/refman/5.7/en/mysqlslap.html#option_mysqlslap_debug-info

说明:
测试的过程需要生成测试表,插入测试数据,这个mysqlslap可以自动生成,默认生成一个mysqlslap的schema,如果已经存在则先删除。可以用--only-print来打印实际的测试过程,整个测试完成后不会在数据库中留下痕迹。

  测试过程

mysqlslap的运行有如下3个步骤:

1. 创建schema、table、test data 等,使用单个连接 (在MySQL中,schema就是database);
        2. 运行负载测试,可以使用多个并发客户端连接;
        3. 测试环境清理(删除创建的数据、表等,断开连接),使用单个连接。

  1、建表:

  通过属性查询资源需要两张表:设备表device和设备属性对应表deviceattr。device表对应资源,记录资源的基本信息,如name,type,group,creator等等;deviceattr表对应资源和属性的关系,记录每个资源的每个属性和属性值;它们的结构如下所示:

  通过多个属性组合查询deviceattr表,获得相应的id ,id即是满足条件的设备id,进而能直接在device表中查询得到其基本属性。

  本次测试的关键语句即是从deviceattr表中组合查询出满足条件的id,故本测试只需要用到deviceattr一张表。

  2、生成随机数据并插入相应的表中:

  这里编写了几个生成随机数据的sql函数rand_name(),rand_value(),rand_num(),rand_creator(),并编写了存储过程insert_devattr,用来将一定量数据批量插入deviceattr表中。

  然后将整个建表和存储数据的过程写进一个sql脚本中,并在mysql中运行这个脚本,待测试的表和数据就建立好了。(sql脚本在附录)如下图所示,生成的deviceattr随机数据有4020条:

  3、利用mysqlslap进行测试:

  整个数据库的关键操作为通过属性查询资源,该操作的关键sql语句就是:

  select id from deviceattr where [ n attr ] group by id;

  例:查询拥有attr10或者attr20属性的所有资源的id为:

  select id from deviceattr where name = ‘attr10’ or name = ‘attr20’ group by id;

  在建立好待测数据库后,就可以利用mysqlslap进行测试,mysqlslap命令如下所示:

  shell < mysqlslap --create-schema=‘test1‘ --query="select id from deviceattr where name=‘attr10‘ or name=‘attr20‘ group by id;" -c 50 -i 100

  以上语句表示:使用test1数据库,使用query所指定的语句,测试50个并发查询,每一个查询100次。

  该语句的测试结果如下图所示:

  结果中可以看到执行语句的平均耗时,最大耗时和最小耗时,并发线程数等等。

 

  附录:

  生成测试数据的sql脚本:


   use test1

  drop table if exists device,attr,deviceattr;

  drop function if exists rand_name;

  drop function if exists rand_value;

  drop function if exists rand_num;

  drop function if exists rand_creator;

  drop procedure if exists insert_devattr;

  drop procedure if exists insert_dev;

  create table device

  (

  id int primary key,

  name varchar(40),

  type varchar(40),

  aquired int,

  groupname varchar(40),

  creator varchar(40)

  );

  create table attr

  (

  id int primary key,

  name varchar(40)

  );

  create table deviceattr

  (

  id int,

  name varchar(40),

  value varchar(40)

  );

  delimiter //

  create function rand_creator()

  returns varchar(20)

  begin

  declare return_str varchar(20) default ‘aronhe‘;

  declare n int default 0;

  set n = floor(rand()*10);

  case n

  when 0 then set return_str = ‘aronhe‘;

  when 1 then set return_str = ‘eeelin‘;

  when 2 then set return_str = ‘shadowyang‘;

  when 3 then set return_str = ‘luzhao‘;

  when 4 then set return_str = ‘tommyzhang‘;

  when 5 then set return_str = ‘pillarzou‘;

  when 6 then set return_str = ‘allenpan‘;

  when 7 then set return_str = ‘beyondli‘;

  when 8 then set return_str = ‘minshi‘;

  when 9 then set return_str = ‘bingchen‘;

  else set return_str = ‘joyhu‘;

  end case;

  return return_str;

  end//

  create function rand_num()

  returns int

  begin

  declare n int default 0;

  set n = floor(rand()*100);

  return n;

  end//

  create function rand_value()

  returns varchar(10)

  begin

  declare return_str varchar(10) default ‘false‘;

  declare n int default 0;

  set n = floor(rand()*10);

  case

  when n<5 then set return_str = ‘false‘;

  when n>5 then set return_str = ‘true‘;

  else set return_str = ‘true‘;

  end case;

  return return_str;

  end//

  create function rand_name()

  returns varchar(20)

  begin

  declare return_str varchar(20) default ‘‘;

  set return_str = concat(‘attr‘,floor(rand()*200));

  return return_str;

  end//

  create procedure insert_devattr(in start int,in max int)

  begin

  declare i int default 0;

  repeat

  set i=i+1;

  insert into deviceattr values(rand_num(),rand_name(),rand_value());

  until i =max

  end repeat;

  end//

  create procedure insert_dev(in start int,in max int)

  begin

  declare i int default 10;

  repeat

  set i=i+1;

  insert into device values(i,concat(‘runner‘,floor(rand()*100)),‘pc‘,floor(rand()*2),‘PCQQ‘,rand_creator());

  until i =max

  end repeat;

  end//

  call insert_devattr(0,4000)//

  call insert_dev(11,100)//

  实例  

单线程测试。测试做了什么。
# mysqlslap -a -uroot -p123456
多线程测试。使用–concurrency来模拟并发连接。
# mysqlslap -a -c 100 -uroot -p123456
迭代测试。用于需要多次执行测试得到平均值。
# mysqlslap -a -i 10 -uroot -p123456

# mysqlslap ---auto-generate-sql-add-autoincrement -a -uroot -p123456
# mysqlslap -a --auto-generate-sql-load-type=read -uroot -p123456
# mysqlslap -a --auto-generate-secondary-indexes=3 -uroot -p123456
# mysqlslap -a --auto-generate-sql-write-number=1000 -uroot -p123456
# mysqlslap --create-schema world -q "select count(*) from City" -uroot -p123456
# mysqlslap -a -e innodb -uroot -p123456
# mysqlslap -a --number-of-queries=10 -uroot -p123456

测试同时不同的存储引擎的性能进行对比:
# mysqlslap -a --concurrency=50,100 --number-of-queries 1000 --iterations=5 --engine=myisam,innodb --debug-info -uroot -p123456

执行一次测试,分别50和100个并发,执行1000次总查询:
# mysqlslap -a --concurrency=50,100 --number-of-queries 1000 --debug-info -uroot -p123456

50和100个并发分别得到一次测试结果(Benchmark),并发数越多,执行完所有查询的时间越长。为了准确起见,可以多迭代测试几次:
# mysqlslap -a --concurrency=50,100 --number-of-queries 1000 --iterations=5 --debug-info -uroot -p123456

原文地址:https://www.cnblogs.com/zhuochong/p/10329899.html

时间: 2024-07-28 16:02:26

mysqlslap工具测试mysql DB的性能的相关文章

mysqlslap压力测试mysql

简介 mysqlslap是mysql官方的压力测试工具无需另外安装,mysql自带 官方参考文档:https://dev.mysql.com/doc/refman/5.7/en/mysqlslap.html#option_mysqlslap_debug-info Create schema, table, and optionally any stored programs or data to use for the test. This stage uses a single client

MySQL抓包工具:MySQL Sniffer 和性能优化

MySQL Sniffer 是一个基于 MySQL 协议的抓包工具,实时抓取 MySQLServer 端的请求,并格式化输出.输出内容包访问括时间.访问用户.来源 IP.访问 Database.命令耗时.返回数据行数.执行语句等.有批量抓取多个端口,后台运行,日志分割等多种使用方式,操作便捷,输出友好. 同时也适用抓取 Atlas 端的请求,Atlas 是奇虎开源的一款基于MySQL协议的数据中间层项目,项目地址: 同类型工具还有vc-mysql-sniffer,以及 tshark 的 -e m

运用Loadrunner测试Mysql数据库性能 TRON?极客

1.前言 针对数据库的性能测试,loadrunner本身支持sql server和oracle数据库,这两种数据库可以用loadrunner直接录制进行测试.而我们项目中使用的是mysql数据库,针对用 loadrunner测试mysql数据库的方法网上也有很多介绍文章,主要有两种方案.一种是利用ODBC连接测试mysql,但是这种方法配置比较麻 烦,如果要录制的话需要安装支持ODBC连接的查询分析器,这工具不好找,能找到的也只能算凑合能用.如果大家有兴趣试试这种方法,可以上网搜搜,学习配 置一

sysbench测试mysql性能

sysbench测试mysql性能: 安装 sysbench 0.5: apt-get install bzr automake libtool libmysqlclient-dev ln -s /usr/lib/x86_64-linux-gnu/libmysqlclient.so.20.3.14 /usr/lib/libmysqlclient_r.so bzr branch lp:sysbench cd sysbench/ ./autogen.sh ./configure make &&

ab工具使用(测试平台的并发性能)简单介绍一下

Apache -- ab工具主要测试网站的(并发性能) 这个工具非常的强大. 基本语法 :   cmd>ab.exe –n 请求总次数  -c 并发数 请求页面的url    进入到ab.exe目录 举例:  cmd>ab.exe –n 10000 –c 100 http://localhost/test.php 简单test结果简单介绍一下: ab工具使用(测试平台的并发性能)简单介绍一下

python测试mysql写入性能完整实例

这篇文章主要介绍了python测试mysql写入性能完整实例,具有一定借鉴价值,需要的朋友可以参考下 本文主要研究的是python测试mysql写入性能,分享了一则完整代码,具体介绍如下. 测试环境: (1) 阿里云服务器centos 6.5 (2) 2G内存 (3) 普通硬盘 (4) mysql 5.1.73 数据库存储引擎为 InnoDB (5) python 2.7 (6) 客户端模块 mysql.connector 测试方法: (1) 普通写入 (2) 批量写入 (3) 事务加批量写入

mysqlslap 压力测试使用总结

今天从运维同事那听说了mysql压力测试工具mysqlslap.经了解其实mysql自带就有一个叫mysqlslap的压力测试工具,还是模拟的不错的.下面举例说说.mysqlslap是从5.1.4版开始的一个MySQL官方提供的压力测试工具.通过模拟多个并发客户端访问MySQL来执行压力测试,同时详细的提供了"高负荷攻击MySQL"的数据性能报告.并且能很好的对比多个存储引擎在相同环境下的并发压力性能差别.通过mysqlslap –help可以获得可用的选项,这里列一些主要的参数,更详

mysql监控、性能调优及三范式理解

原文:mysql监控.性能调优及三范式理解 1监控 工具:sp on mysql     sp系列可监控各种数据库 2调优 2.1 DB层操作与调优 2.1.1.开启慢查询 在My.cnf文件中添加如下内容(如果不知道my.cnf的路径可使用find / -name my.cnf进行查找): 在mysqld下添加 Log_slow_queries = ON  作用:开启慢查询服务 Log-slow-queries = /var/log/slowqueries.log 作用:慢查询日志存储路径.

测试EF6.1.3性能

公司原来用nhibernate,现在考虑要不要用EF.所以就产生了测试这两个性能的要求.对比两个ORM工具的性能,主要是对比ORM配置和启动速度:建表速度:插入行速度:修改行速度以及查询速度,删除用的比较少,就不测试了. 测试表结构 public class School { public Guid ID { get; set; } public string Name { get; set; } public int AllPersonCount { get; set; } } public