Oracle并行执行特性应用初探

  1. 1.     

在历史数据转出测试过程中,通过不断的优化,包括SQL调整和数据库调整,从AWR中看到,基本上难以进行更多的性能提升,于是准备试试并行执行的特性,从这个任务的特点来分析,也比较适合采用这项技术。本文介绍了使用并行执行过程中的常用SQL,以及遇到的一些问题,以及性能对比试验的结果,并且分享了一些问题的解决经验,分析了适合并行执行的场景。

  1. 2.     
    概念及常用语法

并行执行通过充分利用硬件资源来实现特定任务的性能提升,将一个SQL语句同时分布到多个CPU上去执行,从而缩短总的耗时。

Oracle的并行执行包括:

1)        并行查询

2)       
并行DML(insert,delete,update)

3)       
并行DDL(表和索引的创建)。

为了方便参考使用,下面将收集的常用语句按并行执行的三个级别进行介绍:

对象级

设置表和索引的并行度,从而使用涉及这些对象的SQL操作按设定的并行度执行。

例如:alter table 门诊费用记录
parallel 8;

alter index 门诊费用记录_IX_登记时间 parallel;

如果不指定并行度的值,Oracle会根据参数和CPU数来估算一个缺省值。

禁用并行度(指定并行度为1或使用noparallel):

alter table 门诊费用记录 parallel 1;

alter index 门诊费用记录_IX_登记时间 noparallel;

如果不改变对象的并行度属性,唯一可以禁用并行查询的方法是将初始化参数parallel_max_servers设置为0。

会话级

人工启用和禁用的语法如下:

ALTER Session ENABLE PARALLEL query[|DML|DDL];

ALTER Session DISABLE PARALLEL query[|DML|DDL];

强制按指定的并行度执行。

ALTER Session FORCE
PARALLEL QUERY PARALLEL 8;

ALTER Session FORCE
PARALLEL DML PARALLEL 8;

ALTER Session FORCE
PARALLEL DDL PARALLEL 8;

强制并行对于递归SQL不起作用,但覆盖表或索引上定义的并行度。

查询当前会话是否启用了并行执行:

(Oracle 10.2.0.1上,缺省启用了并行QUERY和DDL,没有启用DML)

SQL> SELECT pq_status ,pdml_status, pddl_status

FROM v$session WHERE
sid=sys_context(‘userenv‘,‘sid‘);

PQ_STATUS PDML_STATUS PDDL_STATUS

--------- ----------- -----------

ENABLED   DISABLED    ENABLED

语句级

通过在SQL中添加提示来指定并行执行及并行度。

优化器只是按指定的提示来考虑是否使用并行执行,并不会强制使用(它会选择成本最低的那一个执行计划)

例如:

Select /*+ parallel(t1,8)*/count(*) from 门诊费用记录
t1;

Create table 医嘱执行时间 parallel 8 as

select /*+
parallel(t1,8)*/* from医嘱执行时间 t1;

alter index 门诊费用记录_IX_登记时间 rebuild parallel
8;

注意

并行DML需要先在会话级显示的启用,并且需要同时启用并行查询;

例:

SQL>ALTER Session ENABLE PARALLEL DML;

SQL> ALTER Session ENABLE PARALLEL QUERY;

SQL> Update /*+ parallel(t1,8)*/ 门诊费用记录 t1

Set 待转出 = 132

Where 结帐id In

(Select  /*+ parallel(t2,8)*/结帐id From 病人预交记录 t2
Where 待转出 = 132);

如果不提交事务,该会话的后续SQL无法访问被修改的表,查询未提交事务的表,将会返回错误:”ora-12838:无法读取、修改一个被并行修改过的表”

定义主键约束时,无法并行的自动创建主键索引,但可以采取以下变通方式:

CREATE UNIQUE INDEX 检验标本记录_UQ_标本序号

ON 检验标本记录(核收时间, 仪器ID, 标本序号, 标本类别)
PARALLEL 8;

ALTER TABLE 检验标本记录 ADD CONSTRAINT

检验标本记录_UQ_标本序号 Unique (核收时间, 仪器ID, 标本序号,
标本类别);

这种方式创建的主键约束与自动创建的有一个差别,就是删除主键的时候,不会自动删除对应的索引,需要增加删除索引的语法,例:

ALTER TABLE 检验标本记录 drop

CONSTRAINT 检验标本记录_UQ_标本序号 cascade drop index;

另外,关于并行查询的参数配置,大部分情况下,无须调整,网上的资料比较多,这里不再一一列举。仅说明一个参数:

当执行并行重建索引时,可能会遇到ora-00600错误,通过修改参数parallel_execution_message_size可解决这个问题,例:

SQL> alter system set parallel_execution_message_size=8192
scope=spfile;

缺省值为2148,对于一般的并行任务,这个值太小。

修改后需重启数据库。

  1. 3.     
    使用效果

并行查询及并行DML

由于所使用的历史数据转出,大部分查询均是索引范围扫描,没有全表扫描,所以,不适合并行执行。

但是,由于一次意外操作:索引压缩重建(并行DDL),执行后导致索引的属性自动加上了并行度,导致相关的SQL查询自动启用了并行查询,结果,执行计划采用了大表全表扫描,采用hash连接或嵌套连接,导致查询异常缓慢。

一些复杂的SQL执行超过了一个小时,甚至下面这种简单的SQL执行超过了5个小时仍然没有返回结果:

Update /*+ rule*/ 病人医嘱计价

Set 待转出 = n_批次

Where 医嘱id In (Select ID From 病人医嘱记录 Where 待转出 =
n_批次);

查看执行计划,发现采用了全表扫描+嵌套连接索引的方式。

并且,提示字rule失效,优化器模式变成了CBO。最后,取消了索引的并行度,然后,重建索引,禁用了压缩特性,最终执行计划才恢复了正常。

因为普通的索引范围扫描并不能使用并行查询(除非是分区索引),所以,优化器会选择全表扫描方式,但是很多时候这并不是我们所期望的访问方式。

所以,并行查询和并行DML一定要慎重,否则,性能差别非常大。

直接路径插入

      
为了快速的加载大量数据,采用直接路径插入方式可以大幅提升插入性能。

直接路径插入自动对insert
和Select操作采用了并行执行,并且目标表采用nologging最小日志模式的话,试验表明,最高可减少5倍的耗时。

例:

Insert Into /*+ append*/H住院费用记录(ID, 记录性质, NO, ……)

Select ID, 记录性质, NO, ……  From 住院费用记录  Where 待转出
= 132;

 

并行DDL

历史数据转出过程中,需要重建转出表上的查询所用到的索引,以便及时回收空间,加快查询速度,但这个索引重建的过程非常耗时。测试环境的配置为:32G内存、32路CPU(4*8)、Raid10的SCSI硬盘。

测试结果表明

  1. 并行DDL要50%以上。

没有并行时,重建索引需要36分钟,并行执行只需要16分钟。

  1. 并不是并行度越高就越快。

因为磁盘IO所限,该环境下并行度为8时最快

并行收集统计信息

收集对象统计信息的时候,有一个参数可以指定并行度,并行的效果非常明显。试验表明,收集ZLHIS的所有对象,并行执行可以将整个时间由1个半小时缩短到30分钟左右。

  1. 4.      小结

并行执行属于Oracle的OLAP应用特性之一,如果你有一些耗时很长的任务,并且服务器有大量的闲置资源(CPU,内存,IO带宽),则比较适合采用并行执行技术,它可以给你带来成倍的性能提升效果,否则,并行执行可能会由于大量的消耗资源从而影响其他人的正常使用。所以,并行执行一般情况,较少的在OLTP场合中应用,因为通常我们并不希望某一个人占用过多的系统资源。

  1. 5.     
    参考资料

1)      Oracle 性能诊断艺术.Christian Antognini.2009

2)      Oracle 性能优化求生指南.Guy Harrison .2012

  1. 6.     
    附:索引重建并行对比测试

--无并行

22:26:19 SQL> exec Zl1_Datamove_Reb(100, 1, 6);

PL/SQL procedure successfully completed

Executed in 2199.734 seconds

--------------------------------------------------------------

SQL> ALTER session FORCE PARALLEL DDL PARALLEL 24;

SQL> exec Zl1_Datamove_Reb(100, 1, 6);

PL/SQL procedure successfully completed

Executed in 1450.828 seconds

--------------------------------------------------------------

SQL> ALTER session FORCE PARALLEL DDL PARALLEL 16;

SQL> exec Zl1_Datamove_Reb(100, 1, 6);

PL/SQL procedure successfully completed

Executed in 1272.063 seconds

--------------------------------------------------------------

SQL> ALTER session FORCE PARALLEL DDL PARALLEL 8;

SQL> exec Zl1_Datamove_Reb(100, 1, 6);

PL/SQL procedure successfully completed

Executed in 1018.765 seconds

--------------------------------------------------------------

SQL> ALTER session FORCE PARALLEL DDL PARALLEL 4;

SQL> exec Zl1_Datamove_Reb(100, 1, 6);

PL/SQL procedure successfully completed

Executed in 1125.719
seconds

时间: 2024-07-31 14:44:49

Oracle并行执行特性应用初探的相关文章

Oracle“并行执行”之一——How to work

摘自<VLDB and Partitioning Guide> 1.介绍parallel execution 并行执行功能可以让单个数据库操作在多个CPU和IO设备上进行执行.在DSS和数据仓库系统等大数据量系统中,它可以极大地减少响应时间.在OLTP系统中,它对批量操作以及类似创建索引的系统维护任务也有用武之地.其只要的思路就是将一个任务进行分解,将一个人的活分给多个人一起做.常用的场景包括: 1)大表扫描.连接,以及分区索引扫描 2)创建大索引 3)创建大表(包括物化视图) 4)批量插入.

ios7新特性nsurlsession初探

ios7引入了nsurlsession,通过它可以支持后台相关的网络操作的新特性.让我们看看它有哪些好处: 1.后台上传下载: 2.不需要通过nsoperation,我们用nsurlsession的api就可以做到网络操作的暂停和恢复. 3.作为可配置的容器:例如你可以设置http头的一些属性并且保存在session里,你就不用重复去做配置了:don't repeat yourself~ 4.可以子类化并支持私有的存储: 5.对鉴权的回调做了改进,此前nsurlconnection的鉴权回调无法

Oracle&ldquo;并行执行&rdquo;之二&mdash;&mdash;并行执行类型

摘自<VLDB and Partitioning Guide> 并行执行主要有以下几种: 1)并行查询 2)并行DDL 3)并行DML 4)并行执行函数 5)其它类型并行 下面分别对其进行介绍,主要包括两方面:能否并行.确定DOP. 1.并行查询 你可以在SELECT语句中并行执行查询和子查询,也可以在DDL和DML语句中并行执行查询部分.你也可以并行查询外部表.并行包括两部分工作:确定是否并行.确定并行度(DOP).对于查询.DDL和DML,这两部分的确定方法各不相同.为了确定DOP,ORA

Oracle&ldquo;并行执行&rdquo;之三&mdash;&mdash;参数

摘自<VLDB and Partitioning Guide> 系统参数中直接涉及到参数,见Table 8-3,包括每个参数的缺省值.这些参数的缺省值,依赖于数据库启动时的参数CPU_COUNT 和 PARALLEL_THREADS_PER_CPU.这些参数可手工调整,增加或减少它们的值以适应系统配置需要或性能目标,比如: 对于不需要并行执行的系统,参数PARALLEL_MAX_SERVERS可设置为0. 对于拥有充裕SGA内存的系统,可增加PARALLEL_EXECUTION_MESSAGE

禁用与卸载Oracle AWR特性

AWR需要禁用?这么好的东东.缺省的情况下,AWR是可以使用的,需要耗用一定的sysaux表空间.但涉及到有关AWR相关的调试包(需要license)会访问AWR视图或者awr异常又不想更新patch,甚至没有patch可用的情况下,我们可以禁用AWR以及卸载AWR,本文演示了如果禁用AWR功能以及卸载awr相关的数据字典. 1.禁用AWR的目的    If most of the space in the SYSAUX tablespace is consumed by information

oracle事务特性详解

原子性 事务是一个完整的操作.事务的各步操作是不可分的(原子的):要么都执行,要么都不执行. -- 创建表 create table account_money ( id number(4) not null, name varchar2(4) not null, money number(5,2) not null ) ; -- 增加一个检查约束 alter table account_money add constraint CK_money check (money>=0); --向张三这

Oracle&ldquo;并行执行&rdquo;之四&mdash;&mdash;监控视图

摘自<VLDB and Partitioning Guide> 1.视图介绍 V$PX_BUFFER_ADVICE 提供所有并行查询的BUFFER的历史使用情况,以及相关的建议规划.对于并行执行过程中的内存不足等问题,可以查询这个视图以便能够重新配置一下SGA. V$PX_SESSION 提供关于并行进程会话.服务器组.服务器集合.服务器数量的信息,也提供实时的并行服务器进程信息.同时可以通过这个视图查看并行语句的请求DOP和实际DOP等信息. V$PX_SESSTAT 将V$PX_SESSI

oracle 并行执行sql

具体查询语法,在select 后面 添加  /*+PARALLEL */ 这里的/*+PARALLEL */ 是提示oracle 使用 并行方式去执行查询sql, 使用hint语句注意事项: https://www.cnblogs.com/attlia/p/3866593.html 原文地址:https://www.cnblogs.com/rwsren/p/9110225.html

【问底】陈焕生:深入理解Oracle 的并行执行

摘要:Oracle并行执行是一种分而治之的方法.执行一个sql 时,分配多个并行进程同时执行数据扫描,连接以及聚合等操作,使用更多的资源,得到更快的sql 响应时间.并行执行是充分利用硬件资源,处理大量数据时的核心技术. Oracle并行执行是一种分而治之的方法.执行一个sql 时,分配多个并行进程同时执行数据扫描,连接以及聚合等操作,使用更多的资源,得到更快的sql 响应时间.并行执行是充分利用硬件资源,处理大量数据时的核心技术. 在本文中,在一个简单的星型模型上,我会使用大量例子和sql m