TPCC-MySQL的安装与使用

Tpcc-mysql 是 percona 基于 tpcc 衍生出来的产品,专用于 mysql 基准测试,其源码放在 bazaar 上( Bazaar 是一个分布式的版本控制系统,采用 GPL 许可协议,可运行于 Windows、GNU/Linux、UNIX 以及 Mac OS 系统之上。Bazaar 由 Canonical 公司(Ubuntu 母公司)赞助),因此还需要先安装 bazaar 客户端。

TPCC-MYSQL是由percona发布一个用来测试数据库的压力工具,模拟一个电商的业务,主要的业务有新增订单,库存查询,发货,支付等模块的测试

【TPC-C】

TPC-C 是 TPC(Transaction Processing Performance Council ) 组织发布的一个测试规范,用于模拟测试复杂的在线事务处理系统。其测试结果包括每分钟事务数(tpmC),以及每事务的成本(Price/tpmC )。在进行大压力下 MySQL 的一些行为时经常使用。

一、安装TPCC

获取源码:

yum install bzr

bzr branch lp:~percona-dev/perconatools/tpcc-mysql

编译安装TPCC-MySQL:

export  MYSQL_HOME=/usr/local/mysql

export  C_INCLUDE_PATH=$MYSQL_HOME/include

export LD_LIBRARY_PATH=$MYSQL_HOME/lib

cd tpcc-mysql/src

make

如果make没报错,就会在 tpcc-mysql 文件夹下生成 tpcc 二进制命令行工具 tpcc_load 、 tpcc_start

二、使用

tpcc-mysql的业务逻辑及其相关的几个表作用如下:

New-Order:新订单,一次完整的订单事务,几乎涉及到全部表
Payment:支付,主要对应 orders、history 表
Order-Status:订单状态,主要对应 orders、order_line 表
Delivery:发货,主要对应 order_line 表
Stock-Level:库存,主要对应 stock 表

其它表说明:

客户:主要对应 customer 表
地区:主要对应 district 表
商品:主要对应 item 表
仓库:主要对应 warehouse 表

三、TPCC测试前准备

查看 README 文件的内容(简单实用的说明)

1. Build binaries
   * cd scr ; make
   ( you should have mysql_config available in $PATH)

2. Load data
   * create database
     mysqladmin create tpcc1000
   * create tables
     mysql tpcc1000 < create_table.sql
   * create indexes and FK ( this step can be done after loading data)
     mysql tpcc1000 < add_fkey_idx.sql
   * populate data
     - simple step
       tpcc_load 127.0.0.1:33000 tpcc1000 root "" 1000
                 |hostname:port| |dbname| |user| |password| |WAREHOUSES|
       ref. tpcc_load --help for all options
     - load data in parallel
       check load.sh script

3. start benchmark
   * ./tpcc_start -h127.0.0.1 -P33000 -dtpcc1000 -uroot -w1000 -c32 -r10 -l10800
                  |hostname| |port| |dbname| |user| |WAREHOUSES| |CONNECTIONS| |WARMUP TIME| |BENCHMARK TIME|
   * ref. tpcc_start --help for all options

初始化测试库环境,先创建一个测试库然后导入create_table.sql,顾名思义是创表的sql语句:

[root tpcc-mysql]$mysql -uroot -p123456 -S /data/mysql-5.5/mysql.sock -e "create database tpcctest"
[root tpcc-mysql]$ mysql -uroot -p123456 -S /data/mysql-5.5/mysql.sock tpcctest <./create_table.sql [root tpcc-mysql]$ mysql -uroot -p123456 -S /data/mysql-5.5/mysql.sock tpcctest <./add_fkey_idx.sql  加载完数据后,创建相关索引和主外键:
[root tpcc-mysql]$ mysql -uroot -p123456 -S /data/mysql-5.5/mysql.sock -e "show tables from  tpcctest"
+--------------------+
| Tables_in_tpcctest |
+--------------------+
| customer           |
| district           |
| history            |
| item               |
| new_orders         |
| order_line         |
| orders             |
| stock              |
| warehouse          |
+--------------------+

初始化完毕后,就可以开始加载测试数据了

tpcc_load用法如下:

[root tpcc-mysql]$ ./tpcc_load --help
*************************************
*** ###easy### TPC-C Data Loader  ***
*************************************
 usage: tpcc_load [server] [DB] [user] [pass] [warehouse]
      OR
        tpcc_load [server] [DB] [user] [pass] [warehouse] [part] [min_wh] [max_wh]

在这里,需要注意的是 tpcc 默认会读取 /var/lib/mysql/mysql.sock 这个socket 文件。因此,如果你的 socket 文件不在相应路径的话,可以做个软连接,或者通过TCP/IP的方式连接测试服务器

真实测试场景中,仓库数一般不建议少于100个,视服务器硬件配置而定,如果是配备了SSD或者PCIE SSD这种高IOPS设备的话,建议最少不低于1000个。仓库越多,造数据的时间越长,需要耐心等待

执行下面的命令,开始灌入测试数据:(本人的是虚拟机,仓库数就弄了10,省得压死了,哈哈)

[root tpcc-mysql]$ ./tpcc_load 127.0.0.1:3308 tpcctest root 123456 10[root tpcc-mysql]$ ./load.sh  tpcctest 100 通过load.sh并发加载数据(创建100个warsehouse)

造数据成功后,会提示:...DATA LOADING COMPLETED SUCCESSFULLY.

四、进行TPCC测试及结果解读 tpcc_start 工具用于tpcc压测,其用法如下:

[root tpcc-mysql]$ ./tpcc_start --help
***************************************
*** ###easy### TPC-C Load Generator ***
***************************************
./tpcc_start: invalid option -- ‘-‘
Usage: tpcc_start -h server_host -P port -d database_name -u mysql_user -p mysql_password -w warehouses -c connections -r warmup_time -l running_time -i report_interval -f report_file -t trx_file

选项说明:

-w 指定仓库数量
-c 指定并发连接数
-r 指定开始测试前进行warmup的时间,进行预热后,测试效果更好
-l 指定测试持续时间
-i  指定生成报告间隔时长
-f 指定生成的报告文件名

使用例子:

[root tpcc-mysql]$ ./tpcc_start -h127.0.0.1 -P3308 -d tpcctest -u root -p 123456 -w 10 -c 10 -r 120 -l 120 

真实测试场景中,建议预热时间不小于5分钟,持续压测时长不小于30分钟,否则测试数据可能不具参考意义。

结果解读:

***************************************
*** ###easy### TPC-C Load Generator ***
***************************************
option h with value ‘127.0.0.1‘
option P with value ‘3308‘
option d with value ‘tpcctest‘
option u with value ‘root‘
option p with value ‘123456‘
option w with value ‘10‘
option c with value ‘10‘
option r with value ‘120‘
option l with value ‘120‘
<Parameters>
     [server]: 127.0.0.1      -- 主机
     [port]: 3308             -- 端口
     [DBname]: tpcctest       -- 压测的数据库
       [user]: root           -- 账号
       [pass]: 123456         -- 密码
  [warehouse]: 10             -- 仓库数
 [connection]: 10             -- 并发线程数
     [rampup]: 120 (sec.)     -- 数据预热时长
    [measure]: 120 (sec.)     -- 压测时长

RAMP-UP TIME.(120 sec.)       --预热结束

MEASURING START.              --开始压测

  10, 27(0):3.829|7.321, 26(0):1.854|4.399, 3(0):1.503|1.670, 3(0):4.467|5.559, 3(0):14.525|20.229 --每10秒输出一次压测数据
  20, 31(0):3.153|3.247, 29(0):0.861|1.202, 3(0):0.400|0.475, 3(0):4.471|4.980, 0(0):0.000|0.000
  30, 28(0):3.559|3.943, 27(0):0.807|0.838, 2(0):0.285|0.379, 2(0):3.273|3.628, 3(0):13.534|13.577
  40, 26(0):3.643|4.040, 32(0):0.676|0.686, 4(0):0.337|0.393, 4(0):4.397|5.081, 6(0):13.890|16.757
  50, 32(1):4.377|5.695, 30(0):0.749|0.813, 2(0):0.254|0.309, 3(0):3.418|4.066, 2(0):11.356|12.581
  60, 32(0):3.561|3.602, 33(0):1.024|1.645, 4(0):0.318|0.413, 3(0):3.446|3.542, 5(0):11.772|12.417
  70, 41(0):3.228|3.415, 39(0):0.956|1.296, 4(0):0.394|0.396, 5(0):3.671|3.925, 1(0):0.000|13.920
  80, 35(1):4.096|6.454, 35(0):0.727|0.877, 3(0):0.344|0.410, 3(0):3.100|3.961, 4(0):11.251|11.489
  90, 27(0):2.787|3.505, 25(0):0.945|1.093, 2(0):0.394|0.423, 2(0):2.804|5.293, 3(0):11.637|12.463
 100, 31(2):5.050|5.467, 31(0):0.835|0.884, 4(0):0.334|0.363, 4(0):3.094|3.738, 2(0):11.853|11.885
 110, 32(0):3.101|3.968, 33(0):0.606|1.503, 3(0):0.255|0.347, 3(0):3.007|3.427, 5(0):11.685|12.653
 120, 34(0):3.359|3.713, 33(0):0.730|0.844, 3(0):0.319|0.504, 3(0):3.092|3.502, 2(0):8.187|10.347

-- 以逗号分隔,共6列
-- 第一列,第N次10秒
-- 第二列,新订单成功执行压测的次数(推迟执行压测的次数):90%事务的响应时间|本轮测试最大响应时间,新订单事务数也被认为是总有效事务数的指标
-- 第三列,支付业务成功执行次数(推迟执行次数):90%事务的响应时间|本轮测试最大响应时间
-- 第四列,订单状态业务的结果,后面几个的意义同上
-- 第五列,物流发货业务的结果,后面几个的意义同上
-- 第六列,库存仓储业务的结果,后面几个的意义同上

STOPPING THREADS..........          -- 结束压测

<Raw Results>                       -- 第一次统计结果
  [0] sc:372  lt:4  rt:0  fl:0      -- New-Order,新订单业务成功(success,简写sc)次数,延迟(late,简写lt)次数,重试(retry,简写rt)次数,失败(failure,简写fl)次数
  [1] sc:373  lt:0  rt:0  fl:0      -- Payment,支付业务统计,其他同上
  [2] sc:37  lt:0  rt:0  fl:0       -- Order-Status,订单状态业务统计,其他同上
  [3] sc:38  lt:0  rt:0  fl:0       -- Delivery,发货业务统计,其他同上
  [4] sc:36  lt:0  rt:0  fl:0       -- Stock-Level,库存业务统计,其他同上
 in 120 sec.

<Raw Results2(sum ver.)>            -- 第二次统计结果,其他同上
  [0] sc:372  lt:4  rt:0  fl:0
  [1] sc:373  lt:0  rt:0  fl:0
  [2] sc:37  lt:0  rt:0  fl:0
  [3] sc:38  lt:0  rt:0  fl:0
  [4] sc:36  lt:0  rt:0  fl:0 

<Constraint Check> (all must be [OK])     -- 下面所有业务逻辑结果都必须为 OK 才行
 [transaction percentage]
        Payment: 43.37% (>=43.0%) [OK]    -- 支付成功次数(上述统计结果中 sc + lt)必须大于43.0%,否则结果为NG,而不是OK
   Order-Status: 4.30% (>= 4.0%) [OK]     --订单状态,其他同上
       Delivery: 4.42% (>= 4.0%) [OK]     -- 发货,其他同上
    Stock-Level: 4.19% (>= 4.0%) [OK]     -- 库存,其他同上
 [response time (at least 90% passed)]    -- 响应耗时指标必须超过90%通过才行
      New-Order: 98.94%  [OK]             -- 下面几个响应耗时指标全部 100% 通过
        Payment: 100.00%  [OK]
   Order-Status: 100.00%  [OK]
       Delivery: 100.00%  [OK]
    Stock-Level: 100.00%  [OK]

<TpmC>
                 188.000 TpmC  -- TpmC结果值(每分钟事务数,该值是第一次统计结果中的新订单事务数除以总耗时分钟数,例如本例中是:372/2=186)
时间: 2024-08-02 10:57:51

TPCC-MySQL的安装与使用的相关文章

Windows下MySQL下载安装、配置与使用

用过MySQL之后,不论容量的话,发现比其他两个(sql server .oracle)好用的多,一下子就喜欢上了.下面给那些还不知道怎么弄的童鞋们写下具体的方法步骤. (我这个写得有点太详细了,甚至有些繁琐,有很多步骤在其他的教程文档里都是省略掉的,但我还是要写出来,因为我当时走了很多弯路,我希望你们能够避免我走的这些弯路.当然,知道同学的可以略过,选择你想知道的地方看) 第一大步:下载.(不需要注册也可以下载,直接点下面的no thanks) a.俗话说:“巧妇难为无米之炊”嘛!我这里用的是

CentOS6.5 - yum对Mysql的安装与配置

一.mysql的安装 1.查看是否安装mysql [[email protected] ~]# rpm -qa | grep mysql 如果有进行卸载(以下三种方式选一种即可): 1)rpm -e mysql-libs-5.1.71-1.el6.x86_64 //普通删除模式 2)rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64 // 强力删除模式,如果使用上面命令1)删除时,提示有依赖的其它文件,则用该命令可以对其进行强力删除(推荐) 3)yum

mysql的安装和基本配置

一.mysql的安装和基本配置 1 安装cmake #./configure#make &&make install 2 安装mysql# yum install ncurses* bison*   # cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DMYSQL_DATADIR=/database/mydata -DSYSCONFDIR=/etc -DTMPDIR=/tmp -DWITH_INNOBASE_STORAGE_ENGINE=1 -

Python 3 mysql 简介安装

Python 3 mysql 简介安装 一.数据库是什么 1.  什么是数据库(DataBase,简称DB) 数据库(database,DB)是指长期存储在计算机内的,有组织,可共享的数据的集合.数据库中的数据按一定的数字模型组织.描述和存储,具有较小的冗余,较高的数据独立性和易扩展性,并且可为各种用户共享. 2.什么是数据(Data) 描述事物的符号记录称为数据,描述事物的符号既可以是数字,也可以是文字.图片,图像.声音.语言等,数据由多种表现形式,它们都可以经过数字化后存入计算机 在计算机中

mysql编译安装完成后,启动时报错The server quit without updating PID file

源码包下载: 编译安装: 设置配置文件: 添加启动脚本: 添加开机启动项: 完成后,/etc/init.d/mysqld start 时候报错如下: Starting MySQL..The server quit without updating PID file ( [FAILED] al/mysql/data/FrankTest01.pid). 1.防火墙SELINUX有没有关闭 2.3306端口有没有被占用   netstat -tulanp 3.是否有其他相关的mysqld进程在运行.

mysql 配置 安装和 root password 更改

第一步: 修改my.ini文件,替换为以下内容 (skip_grant_tables***重点) # For advice on how to change settings please see # http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html # *** DO NOT EDIT THIS FILE. It's a template which will be copied to the #

win10安装MySQL免安装版

一:下载并解压 这个就不多说了https://dev.mysql.com/downloads/mysql/,简单的很 二:MySQL根目录下新建my.ini [mysql] # 设置mysql客户端默认字符集 default-character-set=utf8 [mysqld] #设置3306端口 port = 3306 # 设置mysql的安装目录 basedir=C:\Program Files\mysql-5.7.18-winx64 # 设置mysql数据库的数据的存放目录 datadi

MySQL平台安装及应用

       Mysql数据库安装应用 1:MySQL是一个多用户,多线程的服务. 优点: 高性能 高可靠,易于使用 默认使用TCP 的3306端口匹配文件为 /etc/my.cnf   2:MySQL的编译安装过程: 使用rpm -q mysql-server  mysql 检查是否安装MySQL数据包,如果有建议卸载,否则后续发生冲突 安装ncurses-devel包解决依赖关系 rpm -ivh /media/Packages/ncurses-devel-5.7-3.20090208.e1

mysql数据库安装

用的可执行文件安装的,详细说明了一下!打开下载的mysql安装文件mysql-5.0.27-win32.zip,双击解压缩,运行"setup.exe",出现如下界面 mysql安装向导启动,按"Next"继续 选择安装类型,有"Typical(默认)"."Complete(完全)"."Custom(用户自定义)"三个选项,我们选择"Custom",有更多的选项,也方便熟悉安装过程: 在&

MySQL绿色安装

@echo off echo 停止服务 net stop mysql echo 删除服务 sc delete mysql echo 安装mysql... cd /d %~dp0\bin mysqld.exe -install ping 127.1 -n 1 >nul ping 127.1 -n 1 >nul echo 初始化mysql... mysqld.exe --initialize EXIT @echo off echo 停止服务 taskkill /f /im mysqld.exe t