抛弃【 LIMIT O,N 】,换种方法查询分页

　　在分页功能开发时，我们很习惯用LIMIT O,N的方法来取数据。这种方法在遇到超大分页偏移量时是会把MySQL搞死的ooo...

　　通常，我们会采用ORDER BY LIMIT start, offset 的方式来进行分页查询。例如下面这个SQL：

SELECT * FROM `t1` WHERE ftype=1 ORDER BY id DESC LIMIT 100, 10;

　　或者像下面这个不带任何条件的分页SQL：

SELECT * FROM `t1` ORDER BY id DESC LIMIT 100, 10;

　　一般而言，分页SQL的 耗时随着 start 值的增加而急剧增加，我们来看下面这2个不同起始值的分页SQL执行耗时：

yejr@imysql.com> SELECT * FROM `t1` WHERE ftype= 
 
ORDER BY id DESC LIMIT , ;
 
…
 
 rows in set (0.05 sec)
 
yejr@imysql.com> SELECT * FROM `t1` WHERE ftype= 
 
   ORDER BY id DESC LIMIT , ;
 
…
 
 rows in set (2.39 sec)

　　可以看到，随着分页数量的增加，SQL查询耗时也有数十倍增加，显然不科学。

　　今天我们就来分析下，如何能优化这个分页方案。

　　一般滴，想要优化分页的终极方案就是：没有分页，哈哈哈~~~，不要说我讲废话，确实如此，可以把分页算法交给Solr、Lucene、Sphinx等第三方解决方案，尤其是遇到有模糊搜索的需求时，没必要让MySQL来做它不擅长的事情。

　　当然了，有小伙伴说，用第三方太麻烦了，我们就想用MySQL来做这个分页，咋办呢？莫急，且待我们慢慢分析。

　　先看下表DDL、数据量、查询SQL的执行计划等信息：

yejr@imysql.com> SHOW CREATE TABLE `t1`;
 
CREATE TABLE `t1` (
 
 `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
 
...
 
 `ftype` tinyint(3) unsigned NOT NULL,
 
...
 
 PRIMARY KEY (`id`)
 
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
 
yejr@imysql.com> select count(*) from t1;
 
+----------+
 
| count(*) |
 
+----------+
 
| 994584 |
 
+----------+
 
yejr@imysql.com> EXPLAIN SELECT * FROM `t1` WHERE ftype=1 
 
   ORDER BY id DESC LIMIT 500, 10\G
 
*************************** 1. row ***************************
 
 id: 1
 
 select_type: SIMPLE
 
 table: t1
 
 type: index
 
possible_keys: NULL
 
 key: PRIMARY
 
 key_len: 4
 
 ref: NULL
 
rows: 510
 
 Extra: Using where
 
yejr@imysql.com> EXPLAIN SELECT * FROM `t1` WHERE ftype=1
 
   ORDER BY id DESC LIMIT 935500, 10\G
 
*************************** 1. row ***************************
 
 id: 1
 
 select_type: SIMPLE
 
 table: t1
 
 type: index
 
possible_keys: NULL
 
 key: PRIMARY
 
 key_len: 4
 
 ref: NULL
 
rows: 935510
 
 Extra: Using where

　　可以看到，虽然是通过主键索引扫描数据的，但第二个SQL需要扫描的记录数太大了，而且需要先扫描约935510条记录，然后再根据排序结果取10条记录，这肯定是非常慢了。

　针对这种情况，我们的优化思路就比较清晰了，有两点：

尽可能从索引中直接获取数据，避免或减少再次扫描行数据的次数（也就是我们通常所说的避免回表）；
尽可能减少扫描的记录数，也就是先确定起始的范围，再往后取N条记录。

　根据上面这两种优化思路，有相应的SQL改写方法：子查询、表连接，像下面这样的：

#方法一
 
#采用子查询的方式优化，在子查询里先从索引获取到最大id，然后倒序排，再取10行结果集
 
#注意这里采用了两次倒序排，因此在取LIMIT的start值时，比原来的值加了10，即935510，否则结果将和原来的不一致
 
yejr@imysql.com> EXPLAIN SELECT * FROM (SELECT * FROM `t1` WHERE 
 
  id > ( SELECT id FROM `t1` WHERE ftype=1 
 
  ORDER BY id DESC LIMIT 935510, 1) LIMIT 10) t ORDER BY id DESC\G
 
*************************** 1. row ***************************
 
 id: 1
 
 select_type: PRIMARY
 
 table: <derived2>
 
 type: ALL
 
possible_keys: NULL
 
 key: NULL
 
 key_len: NULL
 
 ref: NULL
 
 rows: 10
 
 Extra: Using filesort
 
*************************** 2. row ***************************
 
 id: 2
 
 select_type: DERIVED
 
 table: t1
 
 type: ALL
 
possible_keys: PRIMARY
 
 key: NULL
 
 key_len: NULL
 
 ref: NULL
 
 rows: 973192
 
 Extra: Using where
 
*************************** 3. row ***************************
 
 id: 3
 
 select_type: SUBQUERY
 
 table: t1
 
 type: index
 
possible_keys: NULL
 
 key: PRIMARY
 
 key_len: 4
 
 ref: NULL
 
 rows: 935511
 
 Extra: Using where
 
#方法二
 
#采用INNER JOIN优化，JOIN子句里也优先从索引获取ID列表，然后直接关联查询获得最终结果，这里不需要加10
 
yejr@imysql.com> EXPLAIN SELECT * FROM `t1` INNER JOIN 
 
  ( SELECT id FROM `t1` WHERE ftype=1 
 
  ORDER BY id DESC LIMIT 935500,10) t2 USING (id)\G
 
*************************** 1. row ***************************
 
 id: 1
 
 select_type: PRIMARY
 
 table: <derived2>
 
 type: ALL
 
possible_keys: NULL
 
 key: NULL
 
 key_len: NULL
 
 ref: NULL
 
 rows: 935510
 
 Extra: NULL
 
*************************** 2. row ***************************
 
 id: 1
 
 select_type: PRIMARY
 
 table: t1
 
 type: eq_ref
 
possible_keys: PRIMARY
 
 key: PRIMARY
 
 key_len: 4
 
 ref: t2.id
 
 rows: 1
 
 Extra: NULL
 
*************************** 3. row ***************************
 
 id: 2
 
 select_type: DERIVED
 
 table: t1
 
 type: index
 
possible_keys: NULL
 
 key: PRIMARY
 
 key_len: 4
 
 ref: NULL
 
 rows: 973192
 
 Extra: Using where

然后来对比下这2个优化后的执行时间/代价：

#1、子查询优化：从profiling的结果来看，相比原来耗时减少 28.2%
 
yejr@imysql.com> SELECT * FROM (SELECT * FROM `t1` WHERE 
 
  id > ( SELECT id FROM `t1` WHERE ftype=1 
 
  ORDER BY id DESC LIMIT 935510, 1) LIMIT 10) T ORDER BY id DESC;
 
...
 
rows in set (1.86 sec)
 
#2、INNER JOIN优化：从profiling的结果来看，相比原来耗时减少30.8%
 
yejr@imysql.com> SELECT * FROM `t1` INNER JOIN 
 
  ( SELECT id FROM `t1` WHERE ftype=1 
 
  ORDER BY id DESC LIMIT 935500,10) t2 USING (id);
 
...
 
10 rows in set (1.83 sec)

再来看一个不带过滤条件的分页SQL对比：

#1、原始SQL
 
yejr@imysql.com> EXPLAIN SELECT * FROM `t1` ORDER BY id DESC LIMIT 935500, 10\G
 
*************************** 1. row ***************************
 
           id: 1
 
  select_type: SIMPLE
 
        table: t1
 
         type: index
 
possible_keys: NULL
 
          key: PRIMARY
 
      key_len: 4
 
          ref: NULL
 
         rows: 935510
 
        Extra: NULL
 
yejr@imysql.com> SELECT * FROM `t1` ORDER BY id DESC LIMIT 935500, 10;
 
...
 
10 rows in set (2.22 sec)
 
#2、采用子查询优化，相比原来耗时减少10.6%
 
yejr@imysql.com> EXPLAIN SELECT * FROM (SELECT * FROM `t1` WHERE 
 
  id > ( SELECT id FROM `t1` ORDER BY id DESC 
 
  LIMIT 935510, 1) LIMIT 10) t ORDER BY id DESC;
 
*************************** 1. row ***************************
 
           id: 1
 
  select_type: PRIMARY
 
        table: <derived2>
 
         type: ALL
 
possible_keys: NULL
 
          key: NULL
 
      key_len: NULL
 
          ref: NULL
 
         rows: 10
 
        Extra: Using filesort
 
*************************** 2. row ***************************
 
           id: 2
 
  select_type: DERIVED
 
        table: t1
 
         type: ALL
 
possible_keys: PRIMARY
 
          key: NULL
 
      key_len: NULL
 
          ref: NULL
 
         rows: 973192
 
        Extra: Using where
 
*************************** 3. row ***************************
 
           id: 3
 
  select_type: SUBQUERY
 
        table: t1
 
         type: index
 
possible_keys: NULL
 
          key: PRIMARY
 
      key_len: 4
 
          ref: NULL
 
         rows: 935511
 
        Extra: Using index
 
yejr@imysql.com> SELECT * FROM (SELECT * FROM `t1` WHERE 
 
  id > ( SELECT id FROM `t1` ORDER BY id DESC 
 
  LIMIT 935510, 1) LIMIT 10) t ORDER BY id DESC;
 
…
 
10 rows in set (2.01 sec)
 
#3、采用INNER JOIN优化，相比原来耗时减少30.2%
 
yejr@imysql.com> EXPLAIN SELECT * FROM `t1` INNER JOIN 
 
  ( SELECT id FROM `t1`ORDER BY id DESC 
 
  LIMIT 935500,10) t2 USING (id)\G
 
*************************** 1. row ***************************
 
           id: 1
 
  select_type: PRIMARY
 
        table: 
 
         type: ALL
 
possible_keys: NULL
 
          key: NULL
 
      key_len: NULL
 
          ref: NULL
 
         rows: 935510
 
        Extra: NULL
 
*************************** 2. row ***************************
 
           id: 1
 
  select_type: PRIMARY
 
        table: t1
 
         type: eq_ref
 
possible_keys: PRIMARY
 
          key: PRIMARY
 
      key_len: 4
 
          ref: t1.id
 
         rows: 1
 
        Extra: NULL
 
*************************** 3. row ***************************
 
           id: 2
 
  select_type: DERIVED
 
        table: t1
 
         type: index
 
possible_keys: NULL
 
          key: PRIMARY
 
      key_len: 4
 
          ref: NULL
 
         rows: 973192
 
        Extra: Using index
 
yejr@imysql.com> SELECT * FROM `t1` INNER JOIN 
 
  ( SELECT id FROM `t1`ORDER BY id DESC 
 
  LIMIT 935500,10) t2 USING (id);
 
…
 
10 rows in set (1.70 sec)

　　至此，我们看到采用子查询或者INNER JOIN进行优化后，都有大幅度的提升，这个方法也同样适用于较小的分页。

说下结论，子查询和INNER JOIN分页优化方法的提升效率是：

带WHERE条件的分页分别能提高查询效率：24.9%、156.5%；
不带WHERE条件的分页分别提高查询效率：554.5%、11.7%

单从提升比例说，还是挺可观的。而且这两种优化方法基本上可适用于各种分页模式，强烈建议一开始就改成这种SQL写法习惯。

我们来看下各种场景相应的提升比例是多少：

	大分页，带WHERE	大分页，不带WHERE	大分页平均提升比例	小分页，带WHERE	小分页，不带WHERE	总体平均提升比例
子查询优化	28.20%	10.60%	19.40%	24.90%	554.40%	154.53%
INNER JOIN优化	30.80%	30.20%	30.50%	156.50%	11.70%	57.30%

这样看就很明显了，尤其是针对大分页的情况，因此我们优先推荐使用INNER JOIN方式优化分页算法。

　上述每次测试都重启mysqld实例，并且加了SQL_NO_CACHE，以保证每次都是直接数据文件或索引文件中读取。如果数据经过预热后，查询效率会一定程度提升，但上述相应的效率提升比例还是基本一致的。

　　from: http://m.blog.csdn.net/article/details?id=70039403

抛弃【 LIMIT O,N 】,换种方法查询分页的更多相关文章

MySql、SqlServer、Oracle 三种数据库查询分页方式
SQL Server关于分页 SQL 的资料许多,有的使用存储过程,有的使用游标.本人不喜欢使用游标,我觉得它耗资.效率低:使用存储过程是个不错的选择,因为存储过程是颠末预编译的,执行效率高,也更灵活 ...
50种方法优化SQL Server数据库查询
查询速度慢的原因很多,常见如下几种: 1.没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷) 2.I/O吞吐量小,形成了瓶颈效应. 3.没有创建计算列导致查询不优化. 4.内存不足 ...
SQL Server查询优化方法(查询速度慢的原因很多，常见如下几种) .
今天看到一位博友的文章,觉得不错,转载一下,希望对大家有帮助,更多文章,请访问:http://blog.haoitsoft.com 1.没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺 ...
转载 50种方法优化SQL Server数据库查询
原文地址 http://www.cnblogs.com/zhycyq/articles/2636748.html 50种方法优化SQL Server数据库查询查询速度慢的原因很多,常见如下几种: 1 ...
MS数据库优化查询最常见的几种方法
1.没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷) 2.I/O吞吐量小,形成了瓶颈效应. 3.没有创建计算列导致查询不优化. 4.内存不足 5.网络速度慢 6.查询出的数据量过大 ...
MySQL、SQLServer2000(及SQLServer2005)和ORCALE三种数据库实现分页查询的方法
在这里主要讲解一下MySQL.SQLServer2000(及SQLServer2005)和ORCALE三种数据库实现分页查询的方法. 可能会有人说这些网上都有,但我的主要目的是把这些知识通过我实际的应 ...
MS SQL Server查询优化方法查询速度慢的原因很多，常见如下几种
1.没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷) 2.I/O吞吐量小,形成了瓶颈效应. 3.没有创建计算列导致查询不优化. 4.内存不足 5.网络速度慢 6.查询出的数据量过大 ...
EntityFramework嵌套查询的五种方法
这样的双where的语句应该怎么写呢: var test=MyList.Where(a => a.Flows.Where(b => b.CurrentUser == “”) 下面我就说说这 ...
服务器文档下载zip格式 SQL Server SQL分页查询 C#过滤html标签 EF 延时加载与死锁在JS方法中返回多个值的三种方法（转载） IEnumerable,ICollection,IList接口问题不吹不擂，你想要的Python面试都在这里了【315+道题】基于mvc三层架构和ajax技术实现最简单的文件上传事件管理
服务器文档下载zip格式刚好这次项目中遇到了这个东西,就来弄一下,挺简单的,但是前台调用的时候弄错了,浪费了大半天的时间,本人也是菜鸟一枚.开始吧.(MVC的) @using Rattan.Co ...

随机推荐

CCF 第六次计算机职业认证第四题收货 stl动态存储和fleury算法的综合应用
问题描述为了增加公司收入,F公司新开设了物流业务.由于F公司在业界的良好口碑,物流业务一开通即受到了消费者的欢迎,物流业务马上遍及了城市的每条街道.然而,F公司现在只安排了小明一个人负责所有街道的服 ...
【Trie模板】HDU1251-统计难题
[题意] n统计出以某个字符串为前缀的单词数量(单词本身也是自己的前缀). [思路] 裸题,不过G++好像会超内存,C++就不会. #include<iostream> #include& ...
【BFS】POJ3669-Meteor Shower
[思路] 预处理时先将陨石落到各点的最短时间纪录到数组中,然后在时间允许的范围内进行广搜.一旦到某点永远不会砸到,退出广搜. #include<iostream> #include< ...
[JZOJ5426]摘Galo
题目大意: 有一棵n个结点的树,每个点都有一个权值,你要从中选出不超过k+1个点使得权值和尽量大. 同时要注意如果一个点被选择,那么它的子树和这个点到根结点路径上的点不能被选择. 思路: 很水的树形D ...
vm克隆linux系统后连接网络
第一步 vi /etc/udev/rules.d/70-persistent-net.rules 将之前的eth0注释掉, 将eth1改为eth0 并复制mac地址第二部 vi /et ...
Java并发包之闭锁/栅栏/信号量
二.同步工具类详解 1.Semaphore信号量:跟锁机制存在一定的相似性,semaphore也是一种锁机制,所不同的是,reentrantLock是只允许一个线程获得锁,而信号量持有多个许可(per ...
String.format("%0"+length+"d", arr)中的%0和"d"分别代表什么
public static void main(String[] args) { int a = 8; String s = String.format("%04d", a); S ...
Luci实现框架
转自:http://www.cnblogs.com/zmkeil/archive/2013/05/14/3078774.html 1.总述上一篇总结了uhttpd的工作方式,openwrt中利用它作 ...
简单总结es6箭头符号
1.es6箭头符号的几种写法 (1)没有参数 ()=>1*1 (2)一个参数 x=>x*x (3)两个参数以及多个参数 (x,y,z)=>x*y*z 2.箭头符号不会绑定this.a ...
支持解析GitHub Flavored Markdown(GFM)的PHP库-Parsedown
网上搜索PHP的markdown解析库,只能找得到Michel的PHP Markdown,这个库很不错,但是他只能支持标准markdown和他自己定义的一套扩展php Markdown Extra.这 ...

抛弃【 LIMIT O,N 】,换种方法查询分页

抛弃【 LIMIT O,N 】,换种方法查询分页的更多相关文章

随机推荐

热门专题