MemSQL 架构初探(转)

MemSQL 自称是最快的内存数据库。目前已发布了2.5版本。

MemSQL 具有以下特点

1 高效的并行，尤其是分布式的MemSQL.

2 高效的并发，采用lock-free的内存数据结构skip list 和hash.支持MVCC.

3 查询执行计划编译成C++的形式，可以高效执行并且可以重用

4 支持数据的冗余存储，提高可用性

5 支持重放事物日志的复制

6 支持JSON格式的数据处理

下面来看看Memsql的share-nothing分布式架构

两层架构：分为aggregator 和 leaf

 

     Aggregator 存储元数据，负责分发sql给leaf,然后综合leaf的查询结果。aggregator可以有多个，其中有一个为主aggregator。 主aggregator 还可以执行DDL和负责Leaf的auto-failover.其它普通aggregator 则不行。当主aggregator 失效，可以从其它普通aggregator 选择一个通过sql命令设置为主aggregator 。

     Leaf上存储真正的数据，数据通过主键hash存储到各个leaf节点，leaf之间的数据均匀分布不会倾斜。目前还不支持范围分区。在建库时指定分区数，分区数应该为leaf节点的整数倍，一般设为8倍。每个leaf都是一个分库，分取数据存储在分库的表中。表只持二级索引，同时支持以主键为前缀的唯一索引。

 

两种表类型：

    参照表（reference table): 数据分布在主aggregator和每个leaf节点。每个节点的数据都是完整的（没有分区）。参照表同过复制从主aggregator向每个leaf节点同步数据。另外参照表的写只能在主aggregator进行。

    分布表 （sharded table):数据通过hash分片存储在每个leaf节点，每个leaf节点只有部分数据。

 

数据冗余：

    可用组（availability group），每个组是一些leaf的集合。组与组之间是冗余存储的。目前最多支持两个组。以两个组为例，每个组都包含完整数据，每个分区表在两个组都有一分copy.可以基于电力和网络条件进行分组。

 

扩展性：

     支持动态增删Leaf节点，但需要执行rebalance partitions命令来重新分布分区数据。rebalance 操作都是在线进行的，即操作过程中不影响数据正常访问。rebalance操作的单位是库，最小粒度是 partition.

       下面是leaf节点状态变化图

 

MemSQL兼容mysql协议。支持mysql的ODBC,JDBC及其它语言接口。

 

一些思考：

1 支持mysql 协议，使的memsql学习成本较低，同时mysql的ODBC，JDBC可以直接拿来使用，提高了可用性，同时也减少了MemSQL自身的开发成本。
2 redundancy_level目前最高支持2.集群中出现两个Leaf节点同时故障的可能性不是很低。后需应该支持3及以上的level;在redundancy_level为2的情况下，如果一个leaf节点出现故障，对应的冗余节点负载一般会提升一倍，负载不均衡，很可能造成新的故障。
3 availability group是一个很好的分组方式，可以将不同的组放在不同的机房，提高可用性。
4 对于reblance table 操作，可以做到在线的方式进行，感觉难度比较大，但文档中没有看到更详细的实现说明。

参考：

http://www.memsql.com