mysql优化--分页

一般我们通常会order by limit start ,offset的方式进行分页查询。

1一般而言,分页sql的耗时随着start的增加而急剧的增加

例如:select * from a1 limit 100,10 --->0.02s

select * from a1 limit 100000,10--->3.02s

可以看出,随着start的急剧增加,耗时成倍的增加,如何优化呢?

一般想要优化分页,最好的解决办法就是:没有分页。或者可以把分页的算法给Sphinx,Lucence等第三方解决方案。没有必要让mysql做它不擅长的事情。

limit 100,10-->mysql查询计划是row是110行,limit 100000,10,row是100010,速度慢就可想而知了,

思路:

  1.尽可能直接从索引中获取数据,减少扫描行数据的频率。(索引覆盖)

  2.尽可能减少扫描的记录的数量,也就是先确定起始的范围,再往后取n条记录就行。

解决:

  1子查询的方式:在子查询中,先从索引找到最大的Id,然后倒排序去10行。

  索引找最大的ID,用了索引覆盖,速度很快,找到最大ID,where id<maxid limit 10,但是要注意一点,子查询用的是All,例如:select .....where id in(select id .....);子查询是在主表里全表扫描,然后再与子表进行匹配,所以一般慎用子查询。

  2inner join

  select id from a1 limit 100000,10-->用索引覆盖取到主键ID,inner join 连表查询

  最好还是用inner join

3.测试 不带where

explain select * from tr_outdb_16_05  order by id desc limit 100000,10(616ms)

  3.1 子查询方式:select * from (select * from tr_outdb_16_05 where id >(select id from tr_outdb_16_05 order by id desc limit 100000,1) limit 10) t order by id desc (137ms)

  3.2 innerjoin :select *  from tr_outdb_16_05 inner join (select id from tr_outdb_16_05 order by id desc limit 100000,10) tt on tt.id=tr_outdb_16_05.id (131ms)

  这是数据量还是比较少的,尤其是针对大分页的情况,优先采用inner join的方法。

时间: 2024-10-10 23:32:33

mysql优化--分页的相关文章

mysql优化笔记之分页

过年闲得蛋疼,于是看看mysql优化,看了网上好多关于分页的优化方法,但是呢,我亲自试上一把的时候,没有出现他们说的现象...难道是我的机器问题么? 下面看看我的实践记录,希望看到的加入进来交流一下O(∩_∩)O~ 以下采用常规分页和网上大伙都提倡的做法: offset较小时: 常规做法 可以看出当limit offset较小时分页用常规做法的执行时间是0.01s. 当limit offset较小时采用另一种特殊的方法,在这种情况下,确实是符合大伙的推荐做法,即在 limit offset 较小

MySQL的分页优化

mysql的分页比较简单,只需要limit offset,length就可以获取数据了,但是当offset和length比较大的时候,mysql明显性能下降 1.子查询优化法 先找出第一条数据,然后大于等于这条数据的id就是要获取的数据 缺点:数据必须是连续的,可以说不能有where条件,where条件会筛选数据,导致数据失去连续性 实验下 Sql代码   mysql> set profiling=1; Query OK, 0 rows affected (0.00 sec) mysql> s

mysql limit分页优化

近期一个项目遇到mysql limit分页奇慢无比,查看了数量也就一百万左右,可是查询的一页数据需要两分多钟,sql语句大约是order by limit,网上的优化大概都是在索引,优化子查询这类,都一一试过,速度并没有大的提升. 后来脑洞大开,是不是order by的问题,想想一百万条数据排序应该也是很耗时间的,于是将order by删除了,果然两分半钟竟然缩短到了0.045秒.经过测试如果是单个表的查询,order by 对速度的影响不太明显,当查询和关联和子查询的时候,对速度的影响就显而易

mysql limit分页优化方法分享

MySQL的优化是非常重要的.其他最常用也最需要优化的就是limit.MySQL的limit给分页带来了极大的方便,但数据量一大的时候,limit的性能就急剧下降. 同样是取10条数据 select * from yanxue8_visit limit 10000,10 和 select * from yanxue8_visit limit 0,10 就不是一个数量级别的. 网上也很多关于limit的五条优化准则,都是翻译自MySQL手册,虽然正确但不实用.今天发现一篇文章写了些关于limit优

php+Mysql 优化,百万至千万级快速分页

php+Mysql 优化,百万至千万级快速分页 MySql 性能到底能有多高?用了php半年多,真正如此深入的去思考这个问题还是从前天开始.有过痛苦有过绝望,到现在充满信心!MySql 这个数据库绝对是适合dba级的高手去玩的,一般做一点1万篇新闻的小型系统怎么写都可以,用xx框架可以实现快速开发.可是数据量到了10万,百万至千万,他的性能还能那么高吗?一点小小的失误,可能造成整个系统的改写,甚至更本系统无法正常运行!好了,不那么多废话了.用事实说话,看例子: 数据表 collect ( id,

网站优化之mysql优化

一,网站优化之mysql优化:1.前缀索引,可以通过前缀去识别唯一性,把这个前缀作为索引内容,可以节省存储索引的空间,从而提高索引的查询速度.distinct 排重操作2,2.in条件索引使用同时查询出id为1,3,6select * from where id =1:select * from where id =3:select * from where id =6:select * from where id in(1,3,6): //in条件可以使用到索引3,全文索引文本字段才能够建立全

单表60亿记录等大数据场景的MySQL优化和运维之道

此文是根据杨尚刚在[QCON高可用架构群]中,针对MySQL在单表海量记录等场景下,业界广泛关注的MySQL问题的经验分享整理而成,转发请注明出处. 杨尚刚,美图公司数据库高级DBA,负责美图后端数据存储平台建设和架构设计.前新浪高级数据库工程师,负责新浪微博核心数据库架构改造优化,以及数据库相关的服务器存储选型设计. 前言 MySQL数据库大家应该都很熟悉,而且随着前几年的阿里的去IOE,MySQL逐渐引起更多人的重视. MySQL历史 1979年,Monty Widenius写了最初的版本,

单表60亿记录等大数据场景的MySQL优化和运维之道 | 高可用架构(转)

转自http://www.php1.cn/Content/DanBiao_60_YiJiLuDengDaShuJuChangJingDe_MySQL_YouHuaHeYunWeiZhiDao_%7C_GaoKeYongJiaGou.html, 更多详细资料请参看原文 此文是根据杨尚刚在[QCON高可用架构群]中,针对MySQL在单表海量记录等场景下,业界广泛关注的MySQL问题的经验分享整理而成,转发请注明出处. 杨尚刚,美图公司数据库高级DBA,负责美图后端数据存储平台建设和架构设计.前新浪高

MySQL的分页

有朋友问: MySQL的分页似乎一直是个问题,有什么优化方法吗?网上看到网上推荐了一些分页方法,但似乎不太可行,你能点评一下吗? 方法1: 直接使用数据库提供的SQL语句 ---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N. ---适应场景: 适用于数据量较少的情况(元组百/千级). ---原因/缺点: 全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3).Limit限制的是从结果集的M位置处取