SQL 调优专题总结

oracle 的优化器:
oracle 有两种优化器:基于规则的优化器(rbo/rule based optimizer)和基于代价的优化器(cbo/cost based optimizer).

有时、表明明建有索引,但查询过程显然没有用到相关的索引,导致查询过程耗时漫长,占用资源巨大,问题到底出在哪儿呢?

首先,我们要确定数据库运行在何种优化模式下,相应的参数是:optimizer_mode, 11g 的优化器再确认

其次、检查被索引的列或组合索引的首列是否出现在pl/sql 语句的where子句中,这是执行计划能用到相关索引的必要条件.

第三、看采用了哪种类型的连接方式。oracle 的共有sort merge join(smj)、hash join(hj)和nested loop join(nl)。在两张表连接,且内表的目标列上建有索引时,只有nested loop 才有效地利用到该索引。smj 即使相关列上建有索引,最多只能因索引的存在,避免数据排序过程。hj 由于须做hash 运算,索引的存在对数据查询速度几乎没有影响.

第四、看连接顺序是否允许使用相关索引。假设表emp 的deptno 列上有索引,表dept 的列deptno 上无索引,where 语句有 emp.deptno=dept.deptno 条件。在做nl连接时,emp 做为外表,先被问,由于连接机制原因,外表的数据访问方式是全表扫描,emp.deptno 上的索引显然是用不上,最多在其上做索引全扫描或索引快速全扫描.

第五、是否用到系统数据字典表或视图。由于系统数据字典表都未被分析过,可能导致极差的‘执行计划?。但是不要擅自对数据字典表做分析,否则可能导致死锁,或系统性能下降。

第六、索引列是否函数的参数。如是,索引在查询时用不上。

第七、是否存在潜在的数据类型转换。如将字符型数据与数值型数据比较,oracle 会自动将字符型用to_number()函数进行转换,从而导致第六种现象的发生。

第八、是否为表和相关的索引搜集足够的统计数据。对数据经常有增、删、改的表最好定期对表和索引进行分析,可用sql 语句analyze table table_name compute statistics for all indexes;oracle 掌握了充分反映实际的统计数据,才有可能做出正确的选择.

第九、索引列的选择性不高。我们假设典型情况,有表emp,共有一百万行数据,但其中的emp.deptno 列,数据只有4 种不同的值,如10、20、30、40。虽然emp 数据行有很多,oracle 缺省认定表中列的值是在所有数据行均匀分布的,也就是说每种deptno 值各有25 万数据行与之对应。假设sql 搜索条件deptno=10,利用deptno 列上的索引进行数据搜索效率,往往不比全表扫描的高,oracle理所当然对索引‘视而不见?,认为该索引的选择性不高。但我们考虑另一种情况,如果一百万数据行实际不是在4 种 deptno 值间平均分配,其中有 99 万行对应着值10,5000 行对应值20,3000 行对应值30,2000 行对应值 40。在这种数据分布图案中对除值为10 外的其它deptno 值搜索时,毫无疑问,如果索引能被应用,那么效率会高出很多。我们可以采用对该索引列进行单独分析,或用analyze 语句对该列建立直方图,对该列搜集足够的统计数据,使oracle 在搜索选择性较高的值能用上索引。

第十、索引列值是否可为空(null),如果索引列值可以是空值,在sql 语句中那些需要返回null 值的操作,将不会用到索引,如 count(*),而是用全表扫描。这是因为索引中存储值不能为全空。

第十一、看是否有用到并行查询(pqo)。并行查询将不会用到索引。

第十二、看 pl/sql 语句中是否有用到bind 变量。由于数据库不知道bind 变量具体是什么值,在做非相等连接时,如‚<‚>‚like等。oracle 将引用缺省值,在某些情况下会对执行计划造成影响。如果从以上几个方面都查不出原因的话,我们只好用采用在语句中加hint 的方式强制oracle 使用最优的‘执行计划?。hint 采用注释的方式,有行注释和段注释两种方式。 如我们想要用到a 表的ind_col1 索引的话,可采用以下方式:select /*+ index(a ind_col1)*/ * from a where col1 = xxx;注意,注释符必须跟在select 之后,且注释中的‘+?要紧跟着注释起始符‘/*?或‘--?,否则hint 就被认为是一般注释,对 pl/sql 语句的执行不产生任何影响。

两种有效的跟踪调试方法:

一种是explain table 方式。用户必须首先在自己的模式(schema)下,建立plan_table 表,执行计划的每一步骤都将记录在该表中,建表sql 脚本为在${oracle_home}/rdbms/admin/ 下的utlxplan.sql。打开sql*plus,输入set autotrace on,然后运行待调试的sql 语句。在给出查询结果后,oracle 将显示相应的‘执行计划?,包括优化器类型、执行代价、连接方式、连接顺序、数据搜索路径以及相应的连续读、物理读等资源代价。
如果我们不能确定需要跟踪的具体sql 语句,比如某个应用使用一段时间后,响应速度忽然变慢。我们这时可以利用oracle 提供的另一个有力工具tkprof,对应用的执行过程全程跟踪.我们要先在系统视图 v$session 中,可根据userid 或 machine,查出相应的sid 和serial#。以sys 或其他有执行dbms_system 程序包的用户连接数据库执行execute dbms_system.set_sql_trace_in_session(sid,serial#,true);。然后运行应用程序,这时在服务器端,数据库参数 user_dump_dest指示的目录下,会生成ora__xxxx.trc 文件,其中xxxx 为被跟踪应用的操作系统进程号。应用程序执行完成后,用命令tkprof 对该文件进行分析。
命令示例:"tkprof tracefile outputfile explain=userid/password"。在操作系统oracle 用户下,键入tkprof,会有详细的命令帮助。分析后的输出文件outputfile 中,有每一条pl/sql 语句的‘执行计划?、cpu 占用、物理读次数、逻辑读次数、执行时长等重要信息。根据输出文件的信息,我们可以很快发现应用中哪条pl/sql 语句是问题的症结所在。

SQL 语句编写注意问题

在这些where 子句中,即使某些列存在索引,但是由于编写了劣质的sql,系统在运行该sql 语句时也不能使用该索引,而同样使用全表扫描,这就造成了响应速度的极大降低。

1)、is null 与 is not null
不能用null 作索引,任何包含null 值的列都将不会被包含在索引中。任何在where 子句中使用is null 或is not null 的语句优化器是不允许使用索引的。

2)、语句中的函数语句中如有函数操作如(upper,substr 等)时,优化器是不会使用索引的,应尽量少用或不用。

3)、带通配符(%)的 like 语句如果通配符(%)在搜寻词首出现,oracle 系统不会使用索引。在很多情况下可能无法避免这种情况,然而当通配符出现在字符串其他位置时,优化器就能利用索引。在下面的查询中索引得到了使用:select * from user_m where loginid like ‘r%‘;

4)、order by 语句order by 语句决定了oracle 如何将返回的查询结果排序。order by 语句对要排序的列没有什么特别的限制。但任何在order by 语句的非索引项或者有计算表达式都将降低查询速度,应尽量少用。

5)、not 在查询时经常在where 子句使用一些逻辑表达式,如大于、小于、等于以及不等于等等,也可以使用and(与)、or(或)以及 not(非)。not 可用来对任何逻辑运算符号取反。not 运算符包含在另外一个逻辑运算符中,这就是不等于(<>)运算符。换句话说,即使不在查询where 子句中显式地加入not 词,not 仍在运算符中,见下例:select * from employee where salary<>3000; 对这个查询,可以改写为不使用not:select * from employee where salary<3000 or salary>3000; 虽然这两种查询的结果一样,但是第二种查询方案会比第一种查询方案更快些。第二种查询允许对salary 列使用索引,而第一种查询则不能使用索引。

6)、in 和exists 在where 子句中使用子查询。在where 子句中可以使用两种格式的子查询。第一种格式是使用in 操作符:第二种格式是使用exist 操作符:第二种格式要远比第一种格式的效率高。应尽可能使用not exists 来代替not in。

7)、条件的顺序问题,条件列和索引列的顺序要保持对应。

8)、使用union、intersect、minus;消除对大型表行数据的顺序存取,对连接的列进行索引,还可以使用并集来避免顺序存取。尽管在所有的检查列上都有索引,但某些形式的where 子句强迫优化器使用顺序存取。下面的查询将强迫对orders 表执行顺序操作:select *from orders where (customer_num=104 and order_num>1001) or order_num=1008 虽然在customer_num 和order_num 上建有索引,但是在上面的语句中优化器还是使用顺序存取路径扫描整个表。因为这个语句要检索的是分离的行的集合,所以应该改为如下语句: select *from orders where customer_num=104 and order_num>1001 union select *from orders where order_num=1008 这样就能利用索引路径处理查询。

其他注意事项:
1)、精确查询列及查询条件, 禁用通配符*;
2)、在满足业务逻辑的情况下,分割事务大小,及时提交事务;
3)、及时释放用户锁和资源,减少用户锁的使用;
4)、对外键建立相应顺序的索引;
5)、在可能的情况下修改不合理数据库系统的结构;
6)、使用临时表加速查询

时间: 2024-10-14 04:02:36

SQL 调优专题总结的相关文章

SQL调优日志--内存问题

SQL调优日志--内存问题排查入门篇 概述 很多系统的性能问题,是由内存导致的.内存不够会导致页面频繁换入换出,IO队列高,进而影响数据库整体性能. 排查 内存对数据库性能非常重要.那么我当出现问题的时候,我们怎么排查性能问题呢? 存在问题 主要查看2个部分.页生命周期 Page Life Expectancy,和  lazy writer /sec. 页生命周期 的参考值在很久很久以前,很多同学可能看到过,建议值是300s.但是这是基于32位操作系统,最大只能使用4GB内存给出的. Jonat

SQL调优

# 问题的提出 在应用系统开发初期,由于开发数据库数据比较少,对于查询SQL语句,复杂视图的的编写等体会不出SQL语句各种写法的性能优劣,但是如果将应用 系统提交实际应用后,随着数据库中数据的增加,系统的响应速度就成为目前系统需要解决的最主要的问题之一.系统优化中一个很重要的方面就是SQL语句的优 化.对于海量数据,劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍,可见对于一个系统不是简单地能实现其功能就可,而是要写出高质量的 SQL语句,提高系统的可用性. 在多数情况下,Oracle

Oracle SQL 调优健康检查脚本

Oracle SQL 调优健康检查脚本 我们关注数据库系统的性能,进行数据库调优的主要工作就是进行SQL的优化.良好的数据架构设计.配合应用系统中间件和写一手漂亮的SQL,是未来系统上线后不出现致命性能问题的有力保证. 在CBO时代,一个SQL的执行计划是多样的.影响执行计划的因素也从过去RBO时代的SQL书写规则变为综合性因素.这为我们生成更加优秀执行计划提供了基础,同时也给我们进行调优带来的很多麻烦. 目前我们通常的做法,是通过AWR报告或者调试手段,发现某某SQL有问题,之后从Librar

11g新特性-自动sql调优(Automatic SQL Tuning)

11g新特性-自动sql调优(Automatic SQL Tuning) 在Oracle 10g中,引进了自动sql调优特性.此外,ADDM也会监控捕获高负载的sql语句. 在Oracle 11g中,通过运行sql tuning advisor加强了自动sql调优功能.默认情况下是每天夜间通过自动任务的方式运行"自动sql调优". 自动sql调优的过程: 1.识别需要调优的sql语句  根据AWR中的CPU和I/O负载来识别 2.调优,生成新的sql profile 在维护窗口(mai

SQL调优常用方法

在使用DBMS时经常对系统的性能有非常高的要求:不能占用过多的系统内存和 CPU资源.要尽可能快的完成的数据库操作.要有尽可能高的系统吞吐量.如果系统开发出来不能满足要求的所有性能指标,则必须对系统进行调整,这个工作被称为调优.绝定DBMS的性能的因素有两个因素:硬件和软件.使用频率高的CPU.使用多处理器.加大内存容量.增加Cache.提高网络速度等这些都是非常有效的硬件调优方式,不过对硬件进行调优对系统性能的提高是有限的,如果有非常好的硬件条件但是如果编写的SQL质量非常差的话系统的性能并不

数据库学习——SQL调优

一.SQL调优与查询优化器 数据库性能调优一般从发现.分析和解决SQL语句执行中的问题着手,这个过程统称为SQL调优(SQL tuning). 1.了解查询优化器 例如,有些查询优化器对于连接操作,一般按连接对象在FROM子句中出现的先后次序进行连接.SQL程序设计者可以利用此特点将选择性高的小表放在前面,大表放在后面,以尽快淘汰无用的中间结果,从而节省查询处理开销.又如,有些查询优化器中,凡是查询条件用OR连接的,就一概不用索引,因而只能用全表扫描,可以考虑使用UNION ALL代替OR. 2

oracle sql调优集

************************************************************ 1.新建调优集对象 ************************************************************ ---授权 grant ADMINISTER ANY SQL TUNING SET to scott; ---删除存在的STS BEGIN DBMS_SQLTUNE.DROP_SQLSET( sqlset_name => 'OCPYAN

初次使用SQL调优建议工具--SQL Tuning Advisor

在10g中,Oracle推出了自己的SQL优化辅助工具: SQL优化器(SQL Tuning Advisor :STA),它是新的DBMS_SQLTUNE包. 使用STA一定要保证优化器是CBO模式下.可是我觉得使用这样的工具,仅适合全然不懂SQL的调优的人群,不要觉得工具能解决好问题. SQL说究竟是表达的是一个业务,工具怎么可能理解业务.SQL调优还是要用autotrace,10046,10053,display_cursor这些优秀的工具做诊断.然后依据业务和所具备的oracle基础的知识

Oracle技术沙龙《SQL调优-从手工到工业化》

 无dba 不调优 没有学过oracle能调优吗? 告诉你  YES I DO AWR出来好几年了,有关它的作用真正理解的有多少?ADDM能干啥?试一试就知道了! Oracle 10a 的出现,DBA会失业吗? SQL优化从传统模式进入工业化,你了解得有多少? SQL Tuning Advisor能够做哪些优化? SQL Access Advisor能够做哪些优化? 本次技术沙龙以上内容一锅端,使用真实的案例来一一的演绎SQL调优的乐趣 特邀讲师陈卫星:从2010至今,已经在Oracle总部做过