MySql分页查询慢|这里告诉你答案

一、背景

  我们在开发的过程中使用分页是不可避免的,通常情况下我们的做法是使用limit加偏移量:select * from table where column=xxx order by xxx limit 1,20。当数据量比较小时(100万以内),无论你翻到哪一页,性能都是很快的。如果查询慢,只要在where条件和order by 的列上加上索引就可以解决。但是,当数据量大的时候(小编遇到的情况是500万数据),如果翻到最后几页,即使加了索引,查询也是非常慢的,这是什么原因导致的呢?我们该如何解决呢?

二、limit分页原理

  当我们翻到最后几页时,查询的sql通常是:select * from table where column=xxx order by xxx limit 1000000,20。查询非常慢。但是我们查看前几页的时候,速度并不慢。这是因为limit的偏移量太大导致的。MySql使用limit时的原理是(用上面的例子举例):

  1. MySql将查询出1000020条记录。
  2. 然后舍掉前面的1000000条记录。
  3. 返回剩下的20条记录。

上述的过程是在《高性能MySql》书中确认的。

三、解决方案

  解决的方法就是尽量使用索引覆盖扫描,就是我们select后面检出的是索引列,而不是所有的列,而且这个索引的列最好是id。然后再做一次关联查询返回所有的列。上述的sql可以写成:

?


1

2

3

4

5

6

7

8

9

10

11

12

13

SELECT

    *

FROM

    table t

INNER JOIN (

    SELECT

        id

    FROM

        table

    WHERE

        xxx_id = 143381

    LIMIT 800000,20

) t1 ON t.id = t1.id

 我们在mysql中做的真实的实验:

  上图是没有优化过的sql,执行时间为2s多。经过优化后如下:

  执行时间为0.3s,性能有了大幅度的提升。虽然做了优化,但是随着偏移量的增加,性能也会随着下降,MySql官方虽然也给出了
其他的解决方案,但是在实际开发中很难使用。

  有的同学可能会问,能不能使用IN嵌套子查询,而不使用INNER JOIN的方式,答案是不可以,因为MySql在子查询中不能使用LIMIT

  MySql分页优化就先介绍到这里了。

原文地址:https://www.cnblogs.com/jpfss/p/10789029.html

时间: 2024-10-27 11:48:25

MySql分页查询慢|这里告诉你答案的相关文章

sql server 与 mysql 分页查询以及创建临时表的区别

一: 分页查询的时候 sql server使用的是top关键字,而mysql 使用的是limit e.g: 查询第五个到第十个入职的职员 sql server2000: select top 6 * from emp where empno not in (select top 4 empno from emp order by hiredate) order by hiredate; mysql: select * from emp order by hire date limit 4,6;

mysql分页查询语法

一.limit语法 SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset LIMIT 子句可以被用于强制 SELECT 语句返回指定的记录数.LIMIT 接受一个或两个数字参数.参数必须是一个整数常量.如果给定两个参数,第一个参数指定第一个返回记录行的偏移量,第二个参数指定返回记录行的最大数目. 初始记录行的偏移量是 0(而不是 1); mysql> SELECT * FROM table LIMIT 5,10; // 检索记

MySQL分页查询性能优化

当需要从数据库查询的表有上万条记录的时候,一次性查询所有结果会变得很慢,特别是随着数据量的增加特别明显,这时需要使用分页查询.对于数据库分页查询,也有很多种方法和优化的点.下面简单说一下我知道的一些方法. 准备工作 为了对下面列举的一些优化进行测试,下面针对已有的一张表进行说明. 表名:order_history 描述:某个业务的订单历史表 主要字段:unsigned int id,tinyint(4) int type 字段情况:该表一共37个字段,不包含text等大型数组,最大为varcha

(记录)mysql分页查询,参数化过程的坑

在最近的工作中,由于历史遗留,一个分页查询没有参数化,被查出来有sql注入危险,所以对这个查询进行了参数化修改. 一看不知道,看了吓一跳,可能由于种种原因,分页查询sql是在存储过程中拼接出来的,where之后的条件也是在代码中先进行拼接,然后作为整体参数在传入存储过程里,在存入过程里又进行一次拼接.这样的话就有sql注入的潜在危险,尽管在拼接where之前进行的查询条件的验证. 大家都明白,参数化是防止sql注入的有效方法,然后就对这个分页查询进行大刀阔斧的改革. 思路一:1.对原先的代码中拼

mysql 分页查询 limit

每次都会忘掉limit,记录下来. 分页查询(limit 起始行,查询几行) -- 起始行从0开始 -- 分页:当前页  每页显示多少条 -- 分页查询当前页的数据的sql: SELECT * FROM student LIMIT (当前页-1)*每页显示多少条,每页显示多少条; -- 需求: 查询第1,2条记录(第1页的数据) SELECT * FROM student LIMIT 0,2; -- 查询第3,4条记录(第2页的数据) SELECT * FROM student LIMIT 2,

mysql分页原理和高效率的mysql分页查询语句

该博来自网络转载!!!供自己学习使用!!! 以前我在mysql中分页都是用的 limit 100000,20这样的方式,我相信你也是吧,但是要提高效率,让分页的代码效率更高一些,更快一些,那我们又该怎么做呢? 第一部分:看一下分页的基本原理: 代码如下: mysql explain SELECT * FROM message ORDER BY id DESC LIMIT 10000, 20***************** 1. row **************id: 1select_typ

六、mysql分页查询

参考url:https://www.bilibili.com/video/BV12b411K7Zu?p=132 应用场景:当要显示的数据,一页显示不全,需要分页提交SQL请求 语法: SELECT 查询列表 FROM 表1 [join type join 表2 ON 连接条件 WHERE 筛选条件 GROUP BY 分组字段 HAVING 分组后的筛选 ORDER BY 排序的字段] LIMIT offset,size; Offset要显示条目的起始索引(起始索引从0开始) Size要显示的条目

Mysql 分页查询

直奔主题 一.sql语句:select * from table limit startPageNum,everyPageNum 1)语句解析: table:你要查询的表 startPageNum:从多少条开始 everyPageNum:每页多少条数 二.以上的sql语句可以写成如下: select * from table limit (page*everyPageNum),everyPageNum 2)语句解析: table:你要查询的表 page:第几页 everyPageNum:每页多少

MySQL分页查询

一.在Dao类中写两种方法:获得总页数和指定页的数据 获得总页数 public int getPageCount(int pageSize) throws Exception{ try { conn=DBConnection.getConnection(); String sql="select count(*) from car"; stat=conn.prepareStatement(sql); rs=stat.executeQuery(); rs.next(); int rows