Mysql使用limit深度分页优化
1、背景:
mysql使用select * limit offset, rows分页在深度分页的情况下。性能急剧下降。
- 例如:select * 的情况下直接⽤limit 600000,10 扫描的是约60万条数据,并且是需要回表
60W次,也就是说⼤部分性能都耗在随机访问上,到头来只⽤到10条数据(总共取600010条数据只留10条记录)
2、limit 语法解读
limit用于数据的分页查询,当然也会用于数据的截取,下面是limit的用法:
SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset
变形
第一种:SELECT * FROM table LIMIT offset, rows # 常用形式
-- 从0开始,截取5条记录,即检索行为1到5
select * from table limit 0,5
-- 注意: 关键字limit后面的两个参与用逗号分割
第二种:SELECT * FROM table LIMIT rows OFFSET offset
-- 从0开始,截取5条记录,即检索行为1到5
select * from tb_account limit 5 offset 0
-- 注意: 使用limit和offset两个关键字,并且各带一个参数,中间没有逗号分割
第三种:SELECT * FROM table LIMIT rows
-- 截取记录的前五行数据,可以理解为offset的默认值为0
select * from tb_account limit 5
3、优化方式
1. 模仿百度、谷歌方案(前端业务控制)
类似于分段。我们给每次只能翻100页、超过一百页的需要重新加载后面的100页。这样就解决了每次加载数量数据大 速度慢的问题了
2. 记录每次取出的最大id, 然后where id > 最大id
select * from table_name Where id > 最大id limit 10000, 10;
这种方法适用于:除了主键ID等离散型字段外,也适用连续型字段datetime等
最大id由前端分页pageNum和pageIndex计算出来。
3. IN获取id
select * from table_name where id in (select id from table_name where ( user = xxx )) limit 10000, 10;
4. join方式 + 覆盖索引(推荐)
select * from table_name inner join ( select id from table_name where (user = xxx) limit 10000,10) b using (id)
如果对于有where 条件,又想走索引用limit的,必须设计一个索引,将where 放第一位,limit用到的主键放第2位,而且只能select 主键!
select id from test where pid = 1 limit 100000,10;`
创建索引:`alter table test add index idx_pid_id(pid, id)
4、案例
1. jdbcpagingReader使用方式
# MySqlPagingQueryProvider#
public static String generateLimitSqlQuery(AbstractSqlPagingQueryProvider provider, boolean remainingPageQuery,
String limitClause) {
StringBuilder sql = new StringBuilder();
sql.append("SELECT ").append(provider.getSelectClause());
sql.append(" FROM ").append(provider.getFromClause());
buildWhereClause(provider, remainingPageQuery, sql);
buildGroupByClause(provider, sql);
sql.append(" ORDER BY ").append(buildSortClause(provider));
sql.append(" " + limitClause);
return sql.toString();
}
- 解读:jdbcPageingreader中使用了limit 10 这种写法。默认是查出10条记录。等价于 limit 0,10
2. db索引分区器使用方式
入参1: 表名 如test_table
入参2: 排序索引字段 可以是主键,也可以是其他索引。需要保证是唯一索引即可。如:id
入参3: 主键可手动传入,也可以根据表名计算出来:现在只支持单列主键的。 如:id
入参4: 具体表 要分多少块。如:4
-- 使用过程 1. 先统计多少数据
select count(1) as countAllNumber from test_table; -- countAllNumber=200
-- 2. 在 根据需要分多少块,算出每块需要包含的数据量,即limit
-- countAllNumber /4 =200/4 =50; 也就是每块的数据量需要包含50个数据。需要算这50个数据的开始节点和结束节点
-- 3. 循环遍历按照主键自增的拍寻方式算出第一块。
-- 3.1 第一块开始节点为0
select id from test_table where id >=0 order by id limit 50,1; -- 算出第51个元素 如就51;那第一块的范围为【0,51);左闭右开
-- 3.2 第二块 开始节点为51
select id from test_table where id >=51 limit 50,1; -- 算出第101个元素 如101;那第二块的范围为【51,101);左闭右开
-- 3.3 第三块类似,算出第三块的边界点为151.
select id from test_table where id>=151 ; -- 算出第四块的范围为 【151,+∞);左闭右开
使用: 拿到每块的分块边界值。进行主键查找接口。
如第一块,已经有边界值为【0,51);
那么拼接的查询sql为 。需要的入参为表名,索引名,分区开始,分区结束
select id from test_table where id >=0 and id <51 order by id
Mysql使用limit深度分页优化的更多相关文章
- MySQL的LIMIT与分页优化
在系统中需要进行分页操作的时候,我们通常会使用LIMIT加上偏移量的办法实现,同时加上合适的ORDER BY子句.如果有对应的索引,通常效率会不错,否则,MySQL需要做大量的文件排序操作. 一个非常 ...
- MySQL的limit用法及优化(转)
常规用法: 用法一: OFFSET ; 比如这个SQL ,limit后面跟的是2条数据,offset后面是从第1条开始读取. 用法二: ,; 而这个SQL,limit后面是从第2条开始读,读取1条信息 ...
- mysql中用limit 进行分页有两种方式
代码示例:语句1: select * from student limit 9,4 语句2: slect * from student limit 4 offset 9 // 语句1和2均返回表stu ...
- MySQL 大数据量分页优化
假设有一个千万量级的表,取1到10条数据: ,; ,; 这两条语句查询时间应该在毫秒级完成: ,; 你可能没想到,这条语句执行之间在5s左右: 为什么相差这么大? 可能mysql并没有你想的那么智能, ...
- Mysql大数据量分页优化
假设有一个千万量级的表,取1到10条数据: select * from table limit 0,10; select * from table limit 1000,10; 这两条语句查询时间应该 ...
- mysql limit分页优化方法分享
同样是取10条数据 select * from yanxue8_visit limit 10000,10 和 select * from yanxue8_visit limit 0,10 就不是 ...
- mysql的limit经典用法及优化
用法一 SELECT `keyword_rank`.* FROM `keyword_rank` WHERE (advertiserid='59') LIMIT 2 OFFSET 1; 比如这个 ...
- MySQL的limit查询优化
MySQL的limit查询优化以下的文章主要是对MySQL limit查询优化的具体内容的介绍,我们大家都知道MySQL数据库的优化是相当重要的.其他最为常用也是最为需要优化的就是limit.MySQ ...
- mysql中limit与in不能同时使用的解决方式.
mysql中limit与in不能同时使用的解决方式. 分类: MySQL2011-10-31 13:53 1277人阅读 评论(0) 收藏 举报 mysqlsubquery MySQL5.1中子查询是 ...
- 如何优化Mysql千万级快速分页,limit优化快速分页,MySQL处理千万级数据查询的优化方案
如何优化Mysql千万级快速分页,limit优化快速分页,MySQL处理千万级数据查询的优化方案
随机推荐
- HTML超链接自定义颜色
先添加一个css样式 我这里直接内嵌了因为代码量比较少不会影响太大的性能 <style type="text/css"> body {background-color: ...
- Windows 核心编程笔记 [2] 字符串
1. ANSI 和 Unicode Windows 中涉及字符串的函数有两个版本 1)ANSI版本的函数会把字符串转换为Unicode形式,再从内部调用函数的Unicode版本 2)Unicode版本 ...
- 【六】gym搭建自己环境升级版设计,动态障碍------强化学习
相关文章: [一]gym环境安装以及安装遇到的错误解决 [二]gym初次入门一学就会-简明教程 [三]gym简单画图 [四]gym搭建自己的环境,全网最详细版本,3分钟你就学会了! [五]gym搭建自 ...
- 【链表】链表的合并【经典面试OJ详解】【力扣21,力扣23】超详细的算法教程
链表的合并 导航小助手 说在前面 题目链接 链表结构 OJ21.合并两个有序链表 题目描述和算法分析 接口的完整实现代码 OJ23.合并K个升序链表 题目描述和算法分析 接口的完整实现代码 尾声 说在 ...
- ElasticSearch7.3学习(十二)----type底层结构及弃用原因
1.type是什么 type,是一个index中用来区分类似的数据的.类似的数据,但是可能有不同的fields,而且有不同的属性来控制索引建立.分词器.field的value. 在底层的lucene中 ...
- 完蛋,我被offer包围了|秋招自救指南
前言 白泽时隔8年终于记起了b站的密码,这篇文章的视频讲解版已经上传,出镜怪不好意思的,后面写技术文章也会同步用视频的方式讲解,期待您的关注. 公众号:白泽talk,交流群:622383022. 大家 ...
- Linux-RAID类型介绍、创建、彻底删除
一.RAID(磁盘阵列) 1.1.RAID概念 RAID简称为独立冗余磁盘阵列,把多块独立的物理硬盘按不同的方式组合起来形成一个硬盘组(逻辑硬盘),从而提供比单个硬盘更高的存储性能和提供数据备份技术, ...
- Linux离线安装MySQL(5.7.22)
1.下载tar包 (1)Window PC下载(PC需要联网) MySQL官网地址:https://www.mysql.com/ MySQL社区版下载地址: https://dev.mysql.com ...
- 机器学习基础01DAY
数据的特征抽取 现实世界中多数特征都不是连续变量,比如分类.文字.图像等,为了对非连续变量做特征表述,需要对这些特征做数学化表述,因此就用到了特征提取. sklearn.feature_extract ...
- NC20951 网络优化
题目链接 题目 题目描述 <梦三国2>是一款3D MOBA类网游.游戏继承<梦三国>的三国文化背景和基础玩法,并加入许多全新地图和全新竞技玩法.由于人气高,游戏在线人数与日俱增 ...