在过去的一年中的数据库相关的源代码分析。前段时间分析levelDB实施和BeansDB实现,数据库网络分析这两篇文章非常多。他们也比较深比较分析,所以没有必要重复很多劳力。MYSQL,当然主要还是数据库存储引擎,首先我还是从innodb这个最流行的开源关系数据库引擎着手来逐步分析和理解。

我一般分析源代码的时候都是从基础的数据结构和算法逐步往上分析。遇到不明确的地方,自己依照源代码又一次输入一遍并做相应的单元測试,这样便于理解。对于Innodb这种大项目,也应该如此,以后我会逐步将详细的细节和实现写到BLOG上。我分析Innodb是以MySQL-3.23为蓝本作为分析对象,然后再去比較5.6版本号的修改来做分析的。这样做有个优点就是先理解相对基础的代码easy。在有了基本概念后再去理解最新的修改。下面是我对innodb基础的数据结构和算法的理解。

1.vector

innodb的vector是个动态数组的数据结构。和c++的STL使用方法相似,值得一提的是vector的内存分配能够通过函数指针来指定是从heap内存池堆上分配内存还是用OS自带的malloc来分配内存。内存分配器的结构为:
        struct ib_alloc_t {
ib_mem_alloc_t mem_malloc; //分配器的malloc函数指针
ib_mem_free_t mem_release; //分配器的free函数指针
ib_mem_resize_t mem_resize; //分配器的又一次定义堆大小指针
void* arg; //堆句柄,假设是系统的malloc方式,这个值为NULL
<span style="white-space:pre"> </span>};

vector内部集成了排序功能函数。其排序的算法是通过qsort(高速)来进行排序。

vector内存结构:
  


2.内存list

innodb的list数据结构是个标准的双向链表结构。ib_list_node_t其中有指向前一个node的prev和指向后一个
node的next,list的内存分配能够通过heap内存堆来分配,也能够通过系统的malloc来分配。

就看是採用

ib_list_create_heap来创建list爱是永ib_list_create来创建list。可是内部的ib_list_node_t的内存分配是通过
heap来分配的。

ist的内存结构:

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveXVhbnJ4ZHU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

3.FIFO-queue

innodb的FIFO queue是个多线程的消息队列。能够有多个线程向queue中加入消息,可有多个线程同一时候读取queue中的消息并进行处理。queue的mutex是保证同一时候仅仅有一个线程在操作(读或者写)queue的items链表,os_event是写线程完毕后通知全部读线程能够进行queue的读事件。也就是说,仅仅有向queue写完毕一个消息。才会发送event信号给读线程。queue的消息缓冲区是採用ib_list_t来做存储的。一般写的时候写在list的最后,而读总是读取list的第一个。

queue处理提供一直读取到消息为止的方法以外,也提供最长等待读取消息的方法。这样读取线程没有必要一直等待消息。能够在等待一段时间后去处理其它的任务。其C结构定义例如以下:

struct ib_wqueue_t
{
ib_mutex_t mutex; /*相互排斥量*/
ib_list_t* items; /*用list作为queue的载体*/
os_event_t event; /*信号量*/
};

4.哈希表

innodb中的哈希表的基本构造和传统的哈希表的构造是相似的,不同的就是innodb的哈希表採用的是自己定义链式桶结构。而没有採用每一个桶单元用传统的list来做碰撞管理。由于这个特性。innodb中的哈希表操作採用了一系列操作宏来做操作。这样做的目的是为了能泛型的对哈希表做操作,由于在innodb中,除了操作内存中的数据以外,还会操作隐射硬盘中的数据。下面是innodb的操作宏:
        HASH_INSERT                                    插入操作
        HASH_DELETE                                    删除操作
        HASH_GET_FIRST                               获取指定HASH key相应cell的第一个数据单元
        HASH_GET_NEXT                                获取cell_node相应的下一个单元
        HASH_SEARCH                                   查找相应key的值
        HASH_SEARCH_ALL                            遍历整个hash table并将每一个数据单元为參数运行ASSERTION操作
        HASH_DELETE_AND_COMPACT        删除操作而且优化和调整heap堆上的内存分配布局,使得heap效率更高
        HASH_MIGRATE                                 将OLD_TABLE的数据单元合并到NEW_TABLE其中
这些宏在调用的时候都会指定数据的类型和Next函数名。
innodb的哈希表在多线程并发模式下也提供cell级粒度的锁,有mutex类型的锁。也有rw_lock类型的锁。

在hash_create_sync_obj_func函数调用过程中,会创建一个n_sync_obj的锁数据单元。n_sync_obj必须是2的N次方。也就是说假设n_sync_obj
= 8, 哈希表的n_cells = 19。那就至少两个cell公用一个锁。

这是其它哈希表无法比拟的。

下面是hash table的结构定义:
struct hash_table_t
{
enum hash_table_sync_t type; /*hash table的同步类型*/
ulint n_cells; /*hash桶个数*/
hash_cell_t* array; /*hash桶数组*/
#ifndef UNIV_HOTBACKUP
ulint n_sync_obj;
union{ /*同步锁*/
ib_mutex_t* mutexes;
rw_lock_t* rw_locks;
}sync_obj;
/*heaps的单元个数和n_sync_obj一样*/
mem_heap_t** heaps;
#endif
mem_heap_t* heap;
ulint magic_n; /*校验魔法字*/
#endif
};

5.小结

Innodb还有其它的一些数据结构,比如最小堆,这些都是通用的封装,也就不做过多的描写叙述,在能够去看看innodb的源代码相关就能够。innodb在定义数据结构的时候做了特殊的处理,比如对线程并发的控制。对内存分配的控制。

这样做的目的是为了统一的管理。

innodb的代码是C的。但支持C++。里面并没有使用STL这样的传统的数据结构和算法,非常大程度上是适合性的问题。

据说MYSQL 5.7開始大量使用boost 和STL。

个人感觉STL还勉强。使用boost有点感觉阔步前进。


版权声明:本文博主原创文章,博客,未经同意不得转载。

MySQL列:innodb的源代码的分析的基础数据结构的更多相关文章

  1. MySQL的innoDB存储引擎的运作方式,数据结构等

    先上InnoDB架构图: 自上而下依次为内存区结构,后台线程,操作系统,磁盘存储,日志文件等. 其中内存由缓冲池,额外缓冲池,日志缓冲池组成.其中缓冲池中结构如下: 在磁盘存储文件中,MyISAM存储 ...

  2. MySQL数据库InnoDB存储引擎多版本控制(MVCC)实现原理分析

    文/何登成 导读:   来自网易研究院的MySQL内核技术研究人何登成,把MySQL数据库InnoDB存储引擎的多版本控制(简称:MVCC)实现原理,做了深入的研究与详细的文字图表分析,方便大家理解I ...

  3. (转)mysql、innodb和加锁分析

    mysql.innodb和加锁分析 原文:https://liuzhengyang.github.io/2016/09/25/mysqlinnodb/ 介绍 本文主要介绍MySQL和InnoDB存储引 ...

  4. MySQL的InnoDB索引原理详解

    摘要 本篇介绍下Mysql的InnoDB索引相关知识,从各种树到索引原理到存储的细节. InnoDB是Mysql的默认存储引擎(Mysql5.5.5之前是MyISAM,文档).本着高效学习的目的,本篇 ...

  5. MYSQL索引结构原理、性能分析与优化

    [转]MYSQL索引结构原理.性能分析与优化 第一部分:基础知识 索引 官方介绍索引是帮助MySQL高效获取数据的数据结构.笔者理解索引相当于一本书的目录,通过目录就知道要的资料在哪里, 不用一页一页 ...

  6. MySQL的InnoDB索引原理详解 (转)

    摘要: 本篇介绍下Mysql的InnoDB索引相关知识,从各种树到索引原理到存储的细节. InnoDB是Mysql的默认存储引擎(Mysql5.5.5之前是MyISAM,文档).本着高效学习的目的,本 ...

  7. 一:MySQL数据库的性能的影响分析及其优化

    MySQL数据库的性能的影响分析及其优化 MySQL数据库的性能的影响 一. 服务器的硬件的限制 二. 服务器所使用的操作系统 三. 服务器的所配置的参数设置不同 四. 数据库存储引擎的选择 五. 数 ...

  8. mysql死锁-查询锁表进程-分析锁表原因【转】

    查询锁表进程: 1.查询是否锁表 show OPEN TABLES where In_use > 0;   2.查询进程     show processlist   查询到相对应的进程===然 ...

  9. Mysql 的InnoDB事务方面的 多版本并发控制如何实现 MVCC

    Mysql的MVCC不能解决幻读的问题,但是Mysql还有间隙锁功能,Mysql的间隙锁工作在Repeatable Read隔离级别下面,可以防止幻读, 参考:Mysql 间隙锁原理,以及Repeat ...

随机推荐

  1. linux crontab定时执行shell脚本

    linux下使用crontab命令被用来提交和管理用户的需要周期性执行的任务,示例如下:crontab -e 编辑周期任务30 21 * * * /etc/init.d/smb restart 每晚的 ...

  2. c++ 对象指针参数和对象引用参数02

    对象指针作为函数参数和对象引用作为函数参数都比对象作为函数参数要用的更为普遍 传对象指针和传对象引用作为实参,那么实参在函数里发生了变话,那么相应的对象本身也会发生变化,二传递对象本身作为实参的话,实 ...

  3. 重写equals()与hashCode()方法

    出自:http://blog.csdn.net/renfufei/article/details/16339351 Java语言是完全面向对象的,在java中,所有的对象都是继承于Object类.Oj ...

  4. poj1804(归并排序求逆序数)

    逆序数.也就是说,对于n个不同的元素,先规定各元素之间有一个标准次序(比如n个 不同的自然数,可规定从小到大为标准次序),于是在这n个元素的任一排列中,当某两个元素的先后次序与标准次序不同一时候,就说 ...

  5. tab功能菜单——使用tab之间不同的交换机div

    需求:在web实现类型的接口tab标签效应 watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvem91eXVqaWUxMTI3/font/5a6L5L2T/fo ...

  6. 在Button上、下、左、右位置加入图片和文字

    转载请注明出处:http://blog.csdn.net/droyon/article/details/37564419 非常多人有如标题所述的需求,并且大多数人採用了自己定义组件攻克了需求,事实上还 ...

  7. Android ImageButton Example 图片按钮

    Android ImageButton Example 图片按钮 使用“android.widget.ImageButton” 展现一个具有背景图片的按钮 本教程将展现一个具有名字为 c.png背景图 ...

  8. Android在浏览器启动APP

    要想在浏览器启动APP的方法例如以下: 在须要跳转的ACTIVITY中加入intent-filter的相关信息: <intent-filter>     <data android: ...

  9. HDU-3502-Huson&#39;s Adventure Island(BFS+如压力DP)

    Problem Description A few days ago, Tom was tired of all the PC-games, so he went back to some old F ...

  10. 重新想象 Windows 8 Store Apps (1) - 控件之文本控件: TextBlock, TextBox, PasswordBox, RichEditBox, RichTextBlock, RichTextBlockOverflow

    原文:重新想象 Windows 8 Store Apps (1) - 控件之文本控件: TextBlock, TextBox, PasswordBox, RichEditBox, RichTextBl ...