数据库 - 关系数据库系统的查询优化

查询优化

在关系数据库系统中有着非常重要的地位

关系查询优化是影响RDBMS性能的关键因素

由于关系表达式的语义级别很高,使关系系统可以从关系表达式中分析查询语义,提供了执行查询优化的可能性

查询优化的优点不仅在于用户不必考虑如何最好地表达查询以获得较好的效率,而且在于系统可以比用户程序的“优化”做得更好

(1) 优化器可以从数据字典中获取许多统计信息,而用户程序则难以获得这些信息

(2)如果数据库的物理统计信息改变了,系统可以自动对查询重新优化以选择相适应的执行计划。在非关系系统中必须重写程序,而重写程序在实际应用中往往是不太可能的。

(3)优化器可以考虑数百种不同的执行计划,程序员一般只能考虑有限的几种可能性。

(4)优化器中包括了很多复杂的优化技术,这些优化技术往往只有最好的程序员才能掌握。系统的自动优化相当于使得所有人都拥有这些优化技术

RDBMS通过某种代价模型计算出各种查询执行策略的执行代价,然后选取代价最小的执行方案

集中式数据库

执行开销主要包括:

磁盘存取块数(I/O代价)

处理机时间(CPU代价)

查询的内存开销

I/O代价是最主要的

分布式数据库

总代价=I/O代价+CPU代价+内存代价+通信代价

查询优化的总目标:
选择有效的策略
求得给定关系表达式的值
使得查询代价最小(实际上是较小) 
[例3] 求选修了2号课程的学生姓名。用SQL表达:
      SELECT  Student.Sname
       FROM  Student,SC
       WHERE  Student.Sno=SC.Sno AND                 SC.Cno=‘2’; 

假定学生-课程数据库中有1000个学生记录,10000个选课记录
其中选修2号课程的选课记录为50个
系统可以用多种等价的关系代数表达式来完成这一查询
Q1=πSname(σStudent.Sno=SC.Sno∧Sc.Cno=‘2‘ (Student×SC))
Q2=πSname(σSc.Cno=‘2‘ (Student     SC))
Q3=πSname(Student      σSc.Cno=‘2‘(SC))

一、第一种情况

Q1=πSname(σStudent.Sno=SC.Sno∧Sc.Cno=’2’ (Student×SC))

1. 计算广义笛卡尔积

把Student和SC的每个元组连接起来的做法:

在内存中尽可能多地装入某个表(如Student表)的若干块,留出一块存放另一个表(如SC表)的元组。

把SC中的每个元组和Student中每个元组连接,连接后的元组装满一块后就写到中间文件上

从SC中读入一块和内存中的Student元组连接,直到SC表处理完。

再读入若干块Student元组,读入一块SC元组

重复上述处理过程,直到把Student表处理完

2. 作选择操作

依次读入连接后的元组,按照选择条件选取满足要求的记录

假定内存处理时间忽略。读取中间文件花费的时间(同写中间文件一样)需5×104s

满足条件的元组假设仅50个,均可放在内存

3. 作投影操作

把第2步的结果在Sname上作投影输出,得到最终结果

第一种情况下执行查询的总时间≈105+2×5×104≈105s

所有内存处理时间均忽略不计

二、 第二种情况

Q2=πSname(σSc.Cno=’2’ (Student SC))

1. 计算自然连接

执行自然连接,读取Student和SC表的策略不变,总的读取块数仍为2100块花费105 s

自然连接的结果比第一种情况大大减少,为104个

写出这些元组时间为104/10/20=50s,为第一种情况的千分之一

2. 读取中间文件块,执行选择运算,花费时间也为50s。

3. 把第2步结果投影输出。

第二种情况总的执行时间≈105+50+50≈205s

三、 第三种情况

Q3=πSname(Student σSc.Cno=’2’(SC))

1. 先对SC表作选择运算,只需读一遍SC表,存取100块花费时间为5s,因为满足条件的元组仅50个,不必使用中间文件。

2. 读取Student表,把读入的Student元组和内存中的SC元组作连接。也只需读一遍Student表共100块,花费时间为5s。

3. 把连接结果投影输出

第三种情况总的执行时间≈5+5≈10s

假如SC表的Cno字段上有索引

第一步就不必读取所有的SC元组而只需读取Cno=‘2’的那些元组(50个)

存取的索引块和SC中满足条件的数据块大约总共3~4块

若Student表在Sno上也有索引

第二步也不必读取所有的Student元组

因为满足条件的SC记录仅50个,涉及最多50个Student记录

读取Student表的块数也可大大减少

总的存取时间将进一步减少到数秒

把代数表达式Q1变换为Q2、 Q3,

即有选择和连接操作时,先做选择操作,这样参加连接的元组就可以大大减少,这是代数优化

在Q3中

SC表的选择操作算法有全表扫描和索引扫描2种方法,经过初步估算,索引扫描方法较优

对于Student和SC表的连接,利用Student表上的索引,采用index join代价也较小,这就是物理优化

代数优化策略

:通过对关系代数表达式的等价变换来提高查询效率

关系代数表达式的等价:指用相同的关系代替两个表达式中相应的关系所得到的结果是相同的

两个关系表达式E1和E2是等价的,可记为E1≡E2

常用的等价变换规则:
1.  连接、笛卡尔积交换律
   设E1和E2是关系代数表达式,F是连接运算的条件,则有
    E1  × E2≡E2  × E1
    E1      E2≡E2      E1
    E1      E2≡E2      E1
2. 连接、笛卡尔积的结合律
   设E1,E2,E3是关系代数表达式,F1和F2是连接运算的条件,则有
    (E1  × E2) × E3≡E1 × (E2 × E3)
    (E1      E2)      E3≡E1      (E2      E3)
    (E1     E2)      E3≡E1     (E2      E3)
3. 投影的串接定律
                 (            (E))≡            (E)
    这里,E是关系代数表达式,Ai(i=1,2,…,n),Bj(j=1,2,…,m)是属性名且{A1,A2,…,An}构成{B1,B2,…,Bm}的子集。
4. 选择的串接定律
           (     (E))≡           (E)
    这里,E是关系代数表达式,F1、F2是选择条件。
    选择的串接律说明选择条件可以合并。这样一次就可检查全部条件
5. 选择与投影操作的交换律
    σF(          (E))≡            (σF(E))
    选择条件F只涉及属性A1,…,An。
    若F中有不属于A1,…,An的属性B1,…,Bm则有更一般的规则:
                (σF(E))≡          (σF(                       (E)))

6. 选择与笛卡尔积的交换律
    如果F中涉及的属性都是E1中的属性,则
         (E1×E2)≡     (E1)×E2
    如果F=F1∧F2,并且F1只涉及E1中的属性,F2只涉及E2中的属性,则由上面的等价变换规则1,4,6可推出:
         (E1×E2)≡     (E1)×     (E2)
    若F1只涉及E1中的属性,F2涉及E1和E2两者的属性,则仍有
        (E1×E2)≡      (     (E1)×E2)
    它使部分选择在笛卡尔积前先做。 

7. 选择与并的分配律
    设E=E1∪E2,E1,E2有相同的属性名,则
    σF(E1∪E2)≡σF(E1)∪σF(E2)
8. 选择与差运算的分配律
    若E1与E2有相同的属性名,则
    σF(E1-E2)≡σF(E1)-σF(E2)
9. 选择对自然连接的分配律
    σF(E1    E2)≡σF(E1)      σF(E2)
    F只涉及E1与E2的公共属性
10. 投影与笛卡尔积的分配律
    设E1和E2是两个关系表达式,A1,…,An是E1的属性,B1,…,Bm是E2的属性,则
                        (E1×E2)≡            (E1)×            (E2)
11. 投影与并的分配律
    设E1和E2有相同的属性名,则
                  (E1∪E2)≡            (E1)∪            (E2)

查询树的启发式优化

典型的启发式规则:

1. 选择运算应尽可能先做。在优化策略中这是最重要、最基本的一条

2. 把投影运算和选择运算同时进行(pipelining技术)

如有若干投影和选择运算,并且它们都对同一个关系操作,则可以在扫描此关系的同时完成所有的这些运算以避免重复扫描关系,也避免存储中间关系

3. 把投影同其前或其后的双目运算结合起来执行(pipelining技术)

4. 把某些选择同在它前面要执行的笛卡尔积结合起来成为一个连接运算

5. 找出公共子表达式

如果这种重复出现的子表达式的结果不是很大的关系并且从外存中读入这个关系比计算该子表达式的时间少得多,则先计算一次公共子表达式并把结果写入中间文件是合算的

当查询的是视图时,定义视图的表达式就是公共子表达式的情况

遵循这些启发式规则,应用9.3.1的等价变换公式来优化关系表达式的算法。

算法:关系表达式的优化

输入:一个关系表达式的查询树

输出:优化的查询树

方法:

(1) 利用等价变换规则4把形如σF1∧F2∧…∧Fn(E)变换为σF1(σF2(…(σFn(E))…))。

(2) 对每一个选择,利用等价变换规则4~9尽可能把它移到树的叶端。

(3) 对每一个投影利用等价变换规则3,5,10,11中的一般形式尽可能把它移向树的叶端。

注意:

等价变换规则3使一些投影消失

规则5把一个投影分裂为两个,其中一个有可能被移向树的叶端

(4) 利用等价变换规则3~5把选择和投影的串接合并成单个选择、单个投影或一个选择后跟一个投影。使多个选择或投影能同时执行,或在一次扫描中全部完成

(5) 把上述得到的语法树的内节点分组。每一双目运算(×, ,∪,-)和它所有的直接祖先为一组(这些直接祖先是(σ,π运算)。

如果其后代直到叶子全是单目运算,则也将它们并入该组

但当双目运算是笛卡尔积(×),而且后面不是与它组成等值连接的选择时,则不能把选择与这个双目运算组成同一组,把这些单目运算单独分为一组

例[5] 查询语句:检索学习课程名为MATH的女学生学号和姓名。
该查询语句的关系代数表达式如下:
   πS#,SNAME(σCNAME=’MATH’∧SEX=’F’(C   SC   S))
上式中, 符号用π、σ、×操作表示,可得下式
 πS#,SNAME(σCNAME=’MATH’∧SEX=’F’(πL
          (σC.C# = SC.C#∧SC.S# = S.S#(C×SC×S))))
此处L是C、SC、S中全部属性,去除重复属性。
时间: 2024-08-10 21:18:22

数据库 - 关系数据库系统的查询优化的相关文章

数据库 - 关系数据库系统的查询处理

关系系统 本章目的: RDBMS的查询处理步骤 查询优化的概念 基本方法和技术 查询优化分类 : 代数优化 物理优化 RDBMS查询处理阶段 : 1. 查询分析 2. 查询检查 3. 查询优化 4. 查询执行 对查询语句进行扫描.词法分析和语法分析 从查询语句中识别出语言符号 进行语法检查和语法分析 查询检查 根据数据字典对合法的查询语句进行语义检查 根据数据字典中的用户权限和完整性约束定义对用户的存取权限进行检查 检查通过后把SQL查询语句转换成等价的关系代数表达式 RDBMS一般都用查询树(

数据库 chapter 15 对象关系数据库系统

第十五章 对象关系数据库系统 对象关系数据库系统(OPRDBS)是面向对象数据模型(简称OO模型)和关系数据模型相结合的产物. 一个OO模型是用面向对象观点来描述现实世界实体(对象)的逻辑组织.对象间限制.联系等的模型.其核心概念有: 对象(通常与实际领域的实体对应,包括属性集合和方法集合) 对象标识(独立的,系统全局唯一的) 封装 类 面向对象数据库模式是类的集合

MySql学习(六) —— 数据库优化理论(二) —— 查询优化技术

逻辑查询优化包括的技术 1)子查询优化  2)视图重写  3)等价谓词重写  4)条件简化  5)外连接消除  6)嵌套连接消除  7)连接消除  8)语义优化 9)非SPJ优化 一.子查询优化 1. 什么是子查询:当一个查询是另一个查询的子部分时,称之为子查询. 2. 查询的子部分,包含的情况: a) 目标列位置:子查询如果位于目标列,则只能是标量子查询,否则数据库可能返回类似“错误:子查询只能返回一个字段 ( [Err] 1242 - Subquery returns more than 1

用mysql workbench导出mysql数据库关系图

用mysql workbench导出mysql数据库关系图 1. 打开mysql workbench,选择首页中间"Data Modeling"下方的第二栏"Create EER Model From Existing Database";2. 在"Stored Connection"里选择"Manage Stored Connections...";3. 在Manage DB Connections里选择“New”新建连接,

关系数据库系统!

对应于一个关系模型的所有关系的集合称为关系数据库. 在关系模型中,实体以及实体间的联系都是用关系来表示的.例如,例7-2中的教师.学生.课程.授课和学习这些关系以及关系间的联系就组成一个教学管理数据库.因此,对应于一个关系模型的所有关系的集合称为关系数据库. 数据库也有型与值之分,数据库的型也称为数据库模式,是对数据库关系的描叙.数据库的值是这些关系模式在某一刻对应的关系的集合. 关系:关系模型中的数据表示,由关系模式和关系实例组成,关系模式用来描述关系表中的列,关系实例为关系中的各行.因此,可

数据库关系图

对特定的数据库表进行可视化管理与分析 一个数据库可以创建多个数据库关系图 使用系统存储过程改变数据库所有者为当前登录SA账号 EXEC sp_changedbowner sa 原文地址:https://www.cnblogs.com/xiaowie/p/8674995.html

数据库原理-数据库系统的结构

数据库系统的三级模式 外模式 外模式又称子模式或用户模式,对应于用户级.它是某个或某几个用户所看到的数据库的数据视图,是与某一应用有关的数据的逻辑表示.外模式是从模式导出的一个子集,包含模式中允许特定用户使用的那部分数据.用户可以通过外模式描述语言来描述.定义对应于用户的数据记录(外模式),也可以利用数据操纵语言(Data Manipulation Language,DML)对这些数据记录进行.外模式反映了数据库的用户观. 模式 模式又称概念模式或逻辑模式,对应于概念级.它是由数据库设计者综合所

数据库 数据库管理系统 数据库系统

数据库:存放数据的仓库. 数据库管理系统:位于用户与操作系统之间的用于管理数据库的软件集合. 数据库系统:由数据库及其管理软件组成的系统.一般有数据库,数据库管理系统,开发工具以及各类用户组成. 数据库模型:1层次模型(树状结构) 2网状模型 (图状结构)3关系模型(一般的二维关系表) 数据模型的三要素:结构  操作 完整性约束条件 数据库的三种模式结构:内模式 外模式 概念模式(介于内模式与外模式之间) 原文地址:https://www.cnblogs.com/zyt123/p/8542095

ER 和 数据库关系模式

http://lianghuanyue123.blog.163.com/blog/static/130423244201162011850600/ 我们眼下所接触的数据库基本上是关系数据库,关系数据库中的关系模式是型,而关系是值.关系模式是对关系的描写叙述. 什么是关系?关系实质上是一张二维表,当中每一行是一个元组,每一列是一个属性,每一个元组是该关系涉及到属性集合笛卡尔积的一个元素.(笛卡尔积是这种一个集合.集合中的元素是有序对,若A={0,1}B={a,b}则:A*B={<0,a>,<