DB分布式 跨库分页

DB分布式-两种方式

1. JDBC扩展

    sharding-jdbc: 直接封装JDBC，代码迁移成本低，适用于任何连接池及ORM框架，JAR包提供服务，未使用中间层，不用额外部署，DBA无需改变原有运维方式，使用DRUID sql解析器，速度快。

    分布策略灵活，SQL解析功能完善，能支持分布式生成全局主键，读写分离，柔性（努力送达）事物

 

盗图

   TDDL（taobao data distribute layer）:中间层，以jar包形式调用

2. 服务中间件

    Amoeba： 独立中间件服务，用户链接amoeba操作Mysql集群，后端还是jdbc driver

    Cobar：后端jdbc driver改为原生的mysql通信协议层，这里将不支持Jdbc规范，但也更具灵活性

    Mycat : 增加nio方式，多种聚合，活跃

 

跨库分页-摘自网文，觉得不错

方法一：全局视野法

（1）将order by time offset X limit Y，改写成order by time offset 0 limit X+Y

（2）服务层对得到的N*(X+Y)条数据进行内存排序，内存排序后再取偏移量X后的Y条记录

这种方法随着翻页的进行，性能越来越低。

方法二：业务折衷法-禁止跳页查询

（1）用正常的方法取得第一页数据，并得到第一页记录的time_max

（2）每次翻页，将order by time offset X limit Y，改写成order by time where time>$time_max limit Y

以保证每次只返回一页数据，性能为常量。

方法三：业务折衷法-允许模糊数据

（1）将order by time offset X limit Y，改写成order by time offset X/N limit Y/N

方法四：二次查询法

（1）将order by time offset X limit Y，改写成order by time offset X/N limit Y

（2）找到最小值time_min

（3）between二次查询，order by time between $time_min and $time_i_max

（4）设置虚拟time_min，找到time_min在各个分库的offset，从而得到time_min在全局的offset

（5）得到了time_min在全局的offset，自然得到了全局的offset X limit Y