Database Replay和Consolidated Database replay

简介

在数据库的迁移和升级场景中,我们经常会遇到一个问题:在做压力测试时,如何模拟真实的业务压力,解决这个问题的方法有很多,比如:应用方开发模拟程序或者使用压力测试工具模拟,如load runner,但是,如果要说哪种方法能最大限度地模拟真实业务压力,我认为还是Oracle的Database Replay(数据库重放)功能,Database Replay功能是Real Application Testing的一部分,它的基本原理图如下:

简单说,Database Replay可以在生产数据库上“捕获”负载(workload capture),保存成一定格式的二进制文件。将保存的负载文件复制到测试环境,经过一定的处理后,就可以在测试环境“重放”负载(workload replay),从而达到模拟真实压力,进行压力测试的目的。

Database Replay是11g才有的特性,但是,负载的捕获,支持10.2.0.4之后的数据库,这一点也正好符合国内很多客户的需求,因为国内还有相当一部分客户,因为稳妥起见,系统还都一直运行在10gR2版本的Oracle数据库上,都有升级的需求。

Consolidated Database Replay 是11.2.0.2之后才出现的功能,字面意思是整合的数据库重放,它可以将不同系统“捕获”的负载,整合到一起重放,适用于数据库整合测试和Scale-Up测试。

后面我们用实验来详细介绍一下Database Replay的相关功能,实验采用10.2.0.5作为负载的捕获端,用12.1.0.2作为负载的重放端。

准备工作(安装Database Replay相关补丁)

首先要根据文档 Mandatory Patches for Database Testing Functionality for Current and Earlier Releases (Doc ID 560977.1),检查该打的补丁是否打过了。捕获端和重放端都要打。

负载的捕获

捕获端是一个安装在OL5.9上的10.2.0.5,数据库SID是test1.

创建目录

在OS创建目录并创建相应的数据库目录对象,用于保存负载数据:

$ cd /u01/app/oracle

$ mkdir wrc_dir1

SQL>CREATE OR REPLACE DIRECTORY wrc_dir1 AS ‘/u01/app/oracle/wrc_dir1/‘;

打开10gR2的Workload Capture 支持

虽然Database Replay支持10.2.0.4以上的版本进行负载“捕获”,但是10gR2的数据库要想正常使用这个功能,需要对数据库设置一个初始化参数,联机文档上讲需要运行脚本$ORACLE_HOME/rdbms/admin/wrrenbl.sql,其实这个脚本只做一件事,就是设置初始化参数PRE_11G_ENABLE_CAPTURE=true。

[[email protected] ~]$ sqlplus "/ as sysdba"

SQL*Plus: Release 10.2.0.5.0 - Production on Fri Dec 23 10:57:26 2016

Copyright (c) 1982, 2010, Oracle. All Rights Reserved.

Connected to:

Oracle Database 10g Enterprise Edition Release 10.2.0.5.0 - 64bit Production

With the Partitioning, OLAP, Data Mining and Real Application Testing options

SQL> @?/rdbms/admin/wrrenbl.sql

SQL> SET FEEDBACK 1

SQL> SET NUMWIDTH 10

SQL> SET LINESIZE 80

SQL> SET TRIMSPOOL ON

SQL> SET TAB OFF

SQL> SET PAGESIZE 100

SQL> alter system set PRE_11G_ENABLE_CAPTURE=true sid=‘*‘;

System altered.

修改后需要重启数据库,不仅仅为了让参数生效,也是为了让所有会话都重新连接。

创建实验用户和对象

创建数据库用户app1,并在app1 schema中创建表test_table1:

SQL>create table test_table1 (col1 number, col2 varchar2(20));

开始捕获负载

使用sys用户执行:

BEGIN

DBMS_WORKLOAD_CAPTURE.start_capture (name => ‘test1_cap‘,

dir => ‘WRC_DIR1‘,

duration => NULL);

END;

/

模拟负载

使用app1 用户登录数据库,执行:

begin

for i in 1..10000 loop

insert into test_table1 values(i,‘test1:‘||i);

end loop;

commit;

end;

/

在test_table1表中插入10000条记录。

然后断开会话。

停止捕获负载

SQL>exec dbms_workload_capture.finish_capture;

负载的重放

重放端是一个安装在OL7.1上的12.1.0.2数据库,数据库SID是test3。

准备工作

创建目录及数据库对象:

$ mkdir –p /u01/app/oracle/con_dir/wrc_dir1

SQL>CREATE OR REPLACE DIRECTORY wrc_dir1 AS ‘/u01/app/oracle/con_dir/wrc_dir1/‘;

复制捕获的负载文件到/u01/app/oracle/con_dir/wrc_dir1下。

在重放端创建app1用户,并创建和捕获端相同结构的表test_table1。

处理负载文件

用SYS用户执行:

BEGIN

DBMS_WORKLOAD_REPLAY.PROCESS_CAPTURE (capture_dir => ‘WRC_DIR1‘, parallel_level=>1);

END;

/

BEGIN

DBMS_WORKLOAD_REPLAY.INITIALIZE_REPLAY (replay_name => ‘replay1‘,

replay_dir => ‘WRC_DIR1‘);

END;

/

exec dbms_workload_replay.prepare_replay ;

启动WRC客户端

WRC客户端是负责读取负载文件,重放负载的程序主体。重放除了在SQL环境中发出指令,还需要WRC客户端的配合。启动WRC客户端的命令:

$ wrc system/welcome1 mode=replay replaydir=./wrc_dir1

启动重放

SQL> exec dbms_workload_replay.start_replay;

WRC客户端退出才标志重放完成,下面是实际执行的输出:

[[email protected] con_dir]$ wrc system/welcome1 mode=replay replaydir=./wrc_dir1

Workload Replay Client: Release 12.1.0.2.0 - Production on Sun Jan 1 20:46:15 2017

Copyright (c) 1982, 2014, Oracle and/or its affiliates. All rights reserved.

Wait for the replay to start (20:46:15)

Replay client 1 started (20:46:45)

Replay client 1 finished (20:50:27)

这时我们能够看到重放端app1用户test_table1表中被插入了10000条记录,说明负载被正确地重放了。

另外,完成后可以查看重放报告,取得报告的命令:

SQL>set pagesize 0 long 30000000 longchunksize 2000 linesize 155

SQL>select DBMS_WORKLOAD_REPLAY.REPORT(replay_id => 71, format => ‘HTML‘) from dual;

当然,要想做更详细的分析,还是看相应时间段的AWR报告比较好。

Consolidated Database Replay
整合场景

比如有两个APP,分别运行在不同的数据库上,客户希望将两个应用整合到一个数据库上,但是不知道新数据库是否能承受住压力。那么就可以用Consolidated Database Replay来模拟测试一下。

捕获端准备工作

前面的例子我们做的捕获是从数据库test1上做的,我们再创建另一个10.2.0.5的数据库叫test2,在test2上也捕获一份负载。

$ cd /u01/app/oracle

$ mkdir wrc_dir2

在test2数据库中执行:

SQL>CREATE OR REPLACE DIRECTORY wrc_dir2 AS ‘/u01/app/oracle/wrc_dir2/‘;

创建数据库用户app2,并在app2 schema中创建表test_table2:

SQL>create table test_table2 (col1 number, col2 varchar2(20));

修改初始化参数,重启test2数据库。

开始捕获

用户SYS用户执行:

BEGIN

DBMS_WORKLOAD_CAPTURE.start_capture (name => ‘test2_cap‘,

dir => ‘WRC_DIR2‘,

duration => NULL);

END;

/

模拟压力

用app2用户登录数据库test2,执行下面的脚本模拟压力:

begin

for i in 1..10000 loop

insert into test_table2 values(i,‘test2:‘||i);

end loop;

commit;

end;

/

然后断开连接。

停止捕获

SQL>exec dbms_workload_capture.finish_capture;

重放端准备工作

我们还是使用前面实验用过的OL7.1上的12.1.0.2的这个环境,使用test3这个数据库。

创建Consolidated database replay目录:

SQL>CREATE OR REPLACE DIRECTORY con_dir AS ‘/u01/app/oracle/con_dir/‘;

创建存放test2负载的目录wrc_dir2。(wrc_dir1在前面的实验里已经创建过了。)

$ cd /u01/app/oracle/con_dir

$ mkdir wrc_dir2

SQL>CREATE OR REPLACE DIRECTORY wrc_dir2 AS ‘/u01/app/oracle/con_dir/wrc_dir2/‘;

WRC_DIR1和WRC_DIR2都是CON_DIR的子目录。

在数据库test3上创建app2用户,并创建和捕获端相同结构的表test_table2。

(app1用户和test_table1已经在上个实验中创建在数据库test3上了)

处理负载并设置重放时间表

使用SYS用户执行:

SQL>exec dbms_workload_replay.set_replay_directory(‘CON_DIR‘);

SQL>exec dbms_workload_replay.begin_replay_schedule(‘S1‘); -- S1是给时间表起的名字

SQL>select dbms_workload_replay.add_capture(‘WRC_DIR1‘) from dual;

SQL>select dbms_workload_replay.add_capture(‘WRC_DIR2‘) from dual;

SQL>exec dbms_workload_replay.end_replay_schedule; -- 保存重放时间表

SQL>exec dbms_workload_replay.initialize_consolidated_replay(‘CR1‘,‘S1‘);

SQL>exec dbms_workload_replay.prepare_consolidated_replay (synchronization => ‘OBJECT_ID‘);

-- 参数synchronization决定replay重放负载的方式,OBJECT_ID代表replay重放负载时,对象上的操作顺序,在对象及被引用的对象范围内,保证和捕获时的顺序一致。

启动WRC客户端

因为是2个不同的负载,所以需要启动至少2个WRC客户端

$ wrc system/welcome1 mode=replay replaydir=/u01/app/oracle/con_dir &

$ wrc system/welcome1 mode=replay replaydir=/u01/app/oracle/con_dir &

启动重放

用SYS用户执行:

SQL>exec dbms_workload_replay.start_consolidated_replay;

完成重放后,我们可以看到,在数据库test3中app1和app2两个用户下的test_table1和test_table2表中都被插入了10000条记录,证明负载被正确地重放了。

Scale-Up场景

有的时候,我们想知道未来业务量增长了,数据库是否能承受的了,比如模拟测试未来业务增加一倍的情况,也可以使用Consolidated Database Replay。这样使用的最简单方式就是一份捕获,复制多份,同时replay。

比如上面的实验,从test1库上捕获的负载,我们可以复制2份,分别放在WRC_DIR1和WRC_DIR2中,其他步骤完全一样,当我们重放时,就是执行了双份的test1上捕获的负载。

实际效果就是,app1用户下的test_table1表中被插入了20000条记录。

当然,Scale-Up并不只是这么简单,相应的还有Time Shifting,就是通过调整时间,让多个负载的高峰重合到一起,还有Workload Folding,就是将一个负载,分成不同的时间段,然后将不同时间段的负载并行执行。篇幅有限,留待大家自己研究了。

常见问题:

如果出现没有任何报错,但是重放端不重放负载的情况,可能是WRC客户端有问题,可以尝试在重放端,重新编译WRC客户端:

$ cd $ORACLE_HOME/rdbms/lib

$ make -f ins_rdbms.mk iwrc

时间: 2024-12-29 07:27:02

Database Replay和Consolidated Database replay的相关文章

Mac 下locate命令使用问题WARNING: The locate database (/var/db/locate.database) does not exist.

想在Mac下使用locate时,提醒数据库没创建: WARNING: The locate database (/var/db/locate.database) does not exist. To create the database, run the following command: sudo launchctl load -w /System/Library/LaunchDaemons/com.apple.locate.plist Please be aware that the d

使用RMAN DUPLICATE...FROM ACTIVE DATABASE创建物理standby database

Applies to: Oracle Server - Enterprise Edition - Version 11.1.0.6 to 11.2.0.4 [Release 11.1 to 11.2]Information in this document applies to any platform.GoalStep by step guide on how to create a physical standby database using RMAN DUPLICATE FROM ACT

解决spring-boot启动中碰到的问题:Cannot determine embedded database driver class for database type NONE

问题 如下: 2017-07-16 08:50:57.436  INFO 13524 --- [           main] c.p.p.web.PointshopWebApplication        : Starting PointshopWebApplication on MSI with PID 13524 (D:\javaProject\com.ppdai.pointshop\pointshop-web\target\classes started by yangliweng

spriing boot 启动报错:Cannot determine embedded database driver class for database type NONE

最近在学习使用spring boot.使用maven创建好工程,只引用需要用到的spring boot相关的jar包,除此之外没有任何的配置. 写了一个最简单的例子,如下所示: 1 package com.torlight; 2 3 import org.springframework.boot.SpringApplication; 4 import org.springframework.boot.autoconfigure.EnableAutoConfiguration; 5 import

Azure SQL Database (23) Azure SQL Database Dynamic Data Masking动态数据掩码

<Windows Azure Platform 系列文章目录> 我们在使用关系型数据的时候,有时候希望: - 管理员admin,可以查看到所有的数据 - 普通用户,某些敏感字段,比如信用卡,电子邮件等字段都是屏蔽的 在这种情况下,就可以使用Dynamic Data Masking动态数据掩码,对数据表的某些字段进行屏蔽. 比如我们对用户的信用卡信息.邮箱地址进行屏蔽,可以起到保护用户隐私的作用. 动态数据屏蔽策略: 1.不对其进行屏蔽的SQL用户:一组可以在 SQL 查询结果中获取非屏蔽数据的

我眼中的Oracle Database Software 和 Oracle Database

我眼中的Oracle Database Software 和 Oracle Database 我喜欢用微软的office软件和word文档(确切的说是:自己写的word文档,可以把这个Word文档想象成一本记录有修炼"降龙十八掌"的武功秘籍.) 来作为例子. office软件可以随便装,office软件不怕丢失,只要office软件的安装介质在,就能重新安装office软件. 但是Word文档(记录有修炼"降龙十八掌"的武功秘籍)却不能丢,若是武功秘籍丢了,你就是重

解决spring-boot启动中碰到的问题:Cannot determine embedded database driver class for database type NONE(转)

问题 如下: 2017-07-16 08:50:57.436  INFO 13524 --- [           main] c.p.p.web.PointshopWebApplication        : Starting PointshopWebApplication on MSI with PID 13524 (D:\javaProject\com.ppdai.pointshop\pointshop-web\target\classes started by yangliweng

Spring boot出现Cannot determine embedded database driver class for database type NONE

在spring boot项目中,我们在pom.xml文件中添加了mysql和mybatis的依赖,我们常常遇到下面这样的问题: Description: Cannot determine embedded database driver class for database type NONE Action: If you want an embedded database please put a supported one on the classpath. If you have data

报错Cannot determine embedded database driver class for database type NONE解决方法

由于我不需要数据库,启动springboot报错: Cannot determine embedded database driver class for database type NONE If you want an embedded database please put a supported one on the classpath. If you have database settings to be loaded from a particular profile you ma