MySQL 性能优化系列之一 单表预处理

MySQL 性能优化系列之一 单表预处理


背景介绍

我们经常在写多表关联的SQL时,会想到 left jion(左关联),right jion(右关联),inner jion(内关联)等。

但是,当表中数据量过大时,如果没有写好查询条件或者查询条件书写的先后顺序不同,可能会有明显的性能差别。

近期,有个同事遇到一个SQL查询比较慢的问题:tableA,tableB,tableC三张表联合查询的SQL,查询用时将近50s


原因分析

1、分别确认3张表的数据量

tableA:3千万+ 条记录;

tableB:5千+ 条记录;

tableC:7千+ 条记录;

2、确认SQL查询逻辑

SQL如下(查询tableA中name包含miracle,tableB中age大于20岁,tableC性别为male的联合信息):

select *
from
tableA a, tableB b, tableC c
where a.id = c.id
and b.uuid = c.uuid
and a.name like ‘%miracle%‘
and b.age > 20
and c.sex = ‘male‘

上述SQL的效果和内关联等价,根据SQL的关联逻辑我们可以知道,表之间关联查询,其实就是集合之间先做“笛卡尔积”,根据查询条件对这个笛卡尔积结果集再次做过滤。

可以看到,此时笛卡尔积的集合容量为:(3千万+)*(5千+)*(7千+),是一个百万亿级的庞大数据集合。

因此从这个庞大集合中,再按照过滤条件查询想要的数据,当然会慢很多。


调优方案

1、单表预处理

tableA 预处理 (处理后,tableA 中“有效”数据量级降到1千+):

select * from tableA where name like ‘%miracle%‘

tableB 预处理 (处理后,tableB 中“有效”数据量级降到2千+):

select * from tableB where age > 20

tableC 预处理 (处理后,tableC 中“有效”数据量级降到3千+):

select * from tableC where sex = ‘male‘

此时三张表“笛卡尔”的数据量级为:(1千+)*(2千+)*(3千+),约为 十亿级 的数据集合。相比之前,量级已经降低了十万倍

2、调整查询SQL结构

select *
from
(select * from tableA where name like ‘%miracle%‘) a,
(select * from tableB where age > 20) b,
(select * from tableC where sex = ‘male‘) c
where a.id = c.id
and b.uuid = c.uuid

此时,SQL的查询时间为 0.14s,相比之前的50s,查询速度已经提高了几百倍

3、表关联方式转换(二次优化)

做了上面的操作,查询速度得到了明显提高。

如果我们想让查询效率更上一层楼,可以对关联方式做下调整。

由于是三张表关联,左关联和内关联在性能上还是有很大差距的。

此时三表的左关联比内关联查询性能上是提高的,SQL调整如下:

select *
from
(select * from tableA where name like ‘%miracle%‘) a
left jion
(select * from tableC where sex = ‘male‘) c on a.id = c.id
left jion (select * from tableB where age > 20) b on b.uuid = c.uuid

此时 tableA 和 tableC 左关联的笛卡尔积集合容量为(1千+)*(2千+),是一个 百万级 的数据集合,经过 a.id = c.id 过滤后得到是一个 1千+ 的数据集合

将tableA 和 tableC 左关联后的结果集和 tableB 进行左关联,其笛卡尔积集合容量为 为(1千+)*(3千+),也是一个 百万级 的数据集合。

相比于步骤2的 十亿量级, 又降低了 1000 倍。最终,上述 SQL执行用时不到 0.1s


优化总结

对于数据表的数据量比较大的多表联合查询的场景。

SQL优化原则如下:

1、预处理单表数据,获取每张表的“有效”数据,达到首次“降级”的目的;

2、调整关联关系,实现二次“降级”。

(说明:本文说的“降级”,指的是降低SQL执行的数量级


PS:

希望能帮到大家,谢谢!

原文地址:https://www.cnblogs.com/miracle-luna/p/12026729.html

时间: 2024-10-27 01:48:57

MySQL 性能优化系列之一 单表预处理的相关文章

MYSQL性能优化分享(分库分表)

MYSQL性能优化之分库分表与不停机修改mysql表结构,需要的朋友可以参考下 1.分库分表 很明显,一个主表(也就是很重要的表,例如用户表)无限制的增长势必严重影响性能,分库与分表是一个很不错的解决途径,也就是性能优化途径,现在的案例是我们有一个1000多万条记录的用户表company,查询起来非常之慢,同事的做法是将其散列到100个表中,分别从company0到company99,然后根据id分发记录到这些表中,牛逼的代码大概是这样子: 复制代码代码如下: <?php for($i=0;$i

MySQL索引优化(索引单表优化案例)

1.单表查询优化 建表SQL CREATE TABLE IF NOT EXISTS `article` ( `id` INT(10) UNSIGNED NOT NULL PRIMARY KEY AUTO_INCREMENT, `author_id` INT(10) UNSIGNED NOT NULL, `category_id` INT(10) UNSIGNED NOT NULL, `views` INT(10) UNSIGNED NOT NULL, `comments` INT(10) UNS

MySQL性能优化(三)表结构优化

一.选择合适的数据类型 1.使用可以存下你的数据的最小的数据类型.2.使用简单的数据类型.int要比varchar类型在mysql处理上更简单.3.尽可能的使用not null定义字段.4.尽量少用text类型,非用不可时最好考虑分表.*使用int来存储日志时间,利用FROM_UNIXTINE()(得到日期),UNIX_TIMESTAMP()(得到时间戳)两个函数来进行转换*使用bigint来存ip地址,利用INET_ATON(),INET_NTOA()两个函数来进行转换 二.表的范式和反范式化

Mysql性能优化三(分表、增量备份、还原)

对表进行水平划分 如果一个表的记录数太多了,比如上千万条,而且需要经常检索,那么我们就有必要化整为零了.如果我拆成100个表,那么每个表只有10万条记录.当然这需要数据在逻辑上可以划分.一个好的划分依据,有利于程序的简单实现,也可以充分利用水平分表的优势.比如系统界面上只提供按月查询的功能,那么把表按月拆分成12个,每个查询只查询一个表就够了.如果非要按照地域来分,即使把表拆的再小,查询还是要联合所有表来查,还不如不拆了.所以一个好的拆分依据是 最重要的.UNION 例: 订单表根据订单产生时间

MySQL性能优化(二)

1.MySQL基础操作 一:MySQL基础操作 1:MySQL表复制 复制表结构 + 复制表数据 create table t3 like t1; --创建一个和t1一样的表,用like(表结构也一样) insert into t3 select * from t1; --t1的数据全部拿过来,注意是表结构一致才select* ,否则选择相应的的字段列插入 create table t1( id int unsigned not null auto_increment primary key,

19个MySQL性能优化要点解析

19个MySQL性能优化要点解析 以下就是跟大家分享的19个MySQL性能优化主要要点,一起学习学习. 1.为查询优化你的查询 大多数的MySQL服务器都开启了查询缓存.这是提高性最有效的方法之一,而且这是被MySQL的数据库引擎处理的.当有很多相同的查询被执行了多次的时候,这些查询结果会被放到一个缓存中,这样,后续的相同的查询就不用操作表而直接访问缓存结果了. 这里最主要的问题是,对于程序员来说,这个事情是很容易被忽略的.因为,我们某些查询语句会让MySQL不使用缓存.请看下面的示例: //

mysql性能优化总结1

MySQL性能优化总结 一.MySQL的主要适用场景 1.Web网站系统 2.日志记录系统 3.数据仓库系统 4.嵌入式系统 二.MySQL架构图: 三.MySQL存储引擎概述 1)MyISAM存储引擎 MyISAM存储引擎的表在数据库中,每一个表都被存放为三个以表名命名的物理文件.首先肯定会有任何存储引擎都不可缺少的存放表结构定义信息的.frm文件,另外还有.MYD和.MYI文件,分别存放了表的数据(.MYD)和索引数据(.MYI).每个表都有且仅有这样三个文件做为MyISAM存储类型的表的存

PLSQL_性能优化系列16_Oracle DataScan数据扫描

对数据的读取操作是非常消耗资源的,如何减少对数据的扫描,是提升sql效率的一个重要方面,例如物化视图技术.本篇介绍几种sql写法,分别是CASE expression/DML with returning clause /multitable insert.[@[email protected]] 一. 用CASE EXPRESSION将多句查询组合在一起SELECT COUNT (*)FROM employeesWHERE salary < 2000;SELECT COUNT (*)FROM

mysql性能优化-索引与优化

http://hongge.blog.51cto.com/ 一.MySQL性能优化之-影响性能的因素 1.商业需求的影响 不合理需求造成资源投入产出比过低,这里我们就用一个看上去很简单的功能来分析一下. 需求:一个论坛帖子总量的统计,附加要求:实时更新 从功能上来看非常容易实现,执行一条SELECT COUNT(*) from 表名 的Query 就可以得到结果.但是,如果我们采用不是MyISAM 存储引擎,而是使用的Innodb 的存储引擎,那么大家可以试想一下,如果存放帖子的表中已经有上千万