lightning mdb 源代码分析(5)-事务控制
本博文系列前面已经探讨了LMDB的系统架构、MMAP映射、B-Tree操作等部分,本文将尝试描述LMDB中的事务控制的实现。
事务的基本特征:
事务是恢复和并发控制的基本单位。它是一个操作序列,这些操作要么都执行,要么都不执行,它是一个不可分割的工作单位。
事务是数据库维护数据一致性的单位,在每个事务结束时,都能保持数据一致性。
事务应该具有4个属性:原子性、一致性、隔离性、持久性。这四个属性通常称为ACID特性。
原子性(atomicity)。一个事务是一个不可分割的工作单位,事务中包括的诸操作要么都做,要么都不做。
一致性(consistency)。事务必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。
隔离性(isolation)。一个事务的执行不能被其他事务干扰。即一个事务内部的操作及使用的数据对并发的其他事务是隔离的,并发执行的各个事务之间不能互相干扰。
持久性(durability)。持久性也称永久性(permanence),指一个事务一旦提交,它对数据库中数据的改变就应该是永久性的。接下来的其他操作或故障不应该对其有任何影响。
LMDB中的实现基本思路:
Atom(A):LMDB中通过txn数据结构和cursor数据结构的控制,通过将脏页列表放入dirtylist中,当txn进行提交时再一次性统一刷新到磁盘
中或者abort时都不提交保证事务要不全成功、要不全失败。对于长事务,若页面spill到磁盘,因为COW技术,这些页面未与整棵B-Tree的root
page产生关联,因此后续的事务还是不能访问到这些页面,同样保证了事务的原子性。
其数据就是一致的,不存在因为多线程同时写数据导致数据产生错误的情况。
Isolation(I):事务隔离通过锁控制(MUTEX),LMDB支持的锁互斥是进程级别/线程级别,支持的隔离方式为锁表支持,读读之间不锁,写等待读完成之后开始,
读等待写完成后开始
Duration(D):LMDB中,没有使用WAL、undo/redo log等技术来保证系统崩溃时数据库的可用性,其保证数据持续可用的技术是COW技术和只有一线程写技术。
假如LMDB或者系统崩溃时,只有读操作,那么数据本来就没有发生变化,因此数据将不可能遭到破坏。假如崩溃时,有一个线程在进行写操作,则只需要判断最后的
页面号与成功提交到数据库中的页面号是否一致,若不一致则说明写操作没有完成,则最后一个事务写失败,数据在最后一个成功的页面前的是正确的,后续的属于
崩溃事务的,不能用,这样就保证了数据只要序列化到磁盘则一定可用,要不其就是还没有遵循ACI原则序列化到磁盘
顺便说一句,因为MMAP技术、只一个写线程的实现方案,所以数据库进行备份时特别简单,只要定期在线热备整个数据库即可完成。同时恢复也将比较快。当然由于
其使用了重用旧页技术,LMDB在恢复时只能恢复到最新状态,不能恢复到任意时刻。
实现方法:
LMDB支持嵌套事务,不期望在子事务完成之前父事务有任何读写操作,这样的话可以避免父子事务之间的数据不一致。
LMDB不支持跨线程事务,一个事务只能属于一个线程,一个线程在任一时刻只能持有一个事务。
mdb_txn_begin:
开启一个事务,根据是否传入父事务判断是否为子事务,根据传入参数判断是否为只读事务。嵌套事务支持只支持一个子事务,且子事务为写事务父事务也必须为写事务,
而且数据库不能为mmap可写方式。事务开启流程:分配内存,设置变量,若为子事务,设置父子相关关联变量并shadow父亲所有cursor以减少IO读取。否则调用renew0完成
最终的事务开启工作。
mdb_txn_abort:
放弃一个事务,有子事务则先放弃子事务,然后调用reset0真正执行结束操作。
mdb_txn_commit:
提交一个事务,有子事务则先提交子事务,若为只读事务,则关闭所有打开的数据库句柄并保持打开状态,然后放弃事务即可,若为可写事务,确定事务状态是否正确,若为error
状态,不可以提交,若不是则根据是否存在父事务进行处理,没有父事务则首先更新数据库的root节点,然后保存可重用空间到freedb以便空间重用,并释放midl空间之后,进行
页面刷新,同步相关环境变量之后释放内存,最后释放写锁,至此没有父事务情况提交完成。若有父事务,则其进行将midl列表与父事务的midl合并,cursor同样合并到父事务中进行
最终关闭,将dirtylist合并到父事务中,相关合并和本事务的变量内存释放完毕之后,子事务提交成功,即子事务主要完成内存释放,其他动作如磁盘刷新等都合并至父事务中一次性完成。
mdb_txn_reset:
放弃一个事务,但是保留句柄,仅对只读事务有效,同样调用reset0进行真正事务结束操作。
mdb_txn_reset0 :
放弃事务的公共代码.首先关闭事务中打开的数据库句柄。若是只读事务,设置事务相关变量即可,若为可写事务,需要关闭所有游标,然后释放midl空间,最后释放写锁。至此事务
关闭完毕。
mdb_txn_renew:
重用一个只读事务句柄,避免一次内存分配,检查是否有严重错误,若有失败,没有的话调用renew0完成。
mdb_txn_renew0:
renew0是renew和begin的公共代码。若是写事务,申请进程间互斥锁,若是读事务,首先检查本线程是否已经有读事务,有不支持返回错误,没有的话,开始申请读表互斥锁,
成功后将线程id记录到读表里面,然后立刻释放读表锁。然后再次确认线程中确有事务。事务(读写)申请成功后,将env的meta页面根据txnid进行切换,轮流使用。
最后再次设定些变量后通知调用者申请成功。
mdb_txn_env:
返回事务关联的env对象
上文解释了LMDB实现事务控制的方式和主要接口方法的基本流程,若实现类似关系型数据库的细粒度事务,则需要更细粒度的锁以及复杂的页面等待队列机制等以保证行锁或表锁
的正确性并最终实现事务控制机制,且在数据库应用时有可能陷入死锁状态,而在LMDB当中,读写锁分开,且进程崩溃时,系统会释放相关内核变量,从而保证要不进程正常,
锁成功释放,要不进程崩溃,系统释放锁,因此数据库永远不会陷入死锁状态,不过若事务在等待写锁,有可能等待较长时间。
希望各位能积极批评指正以及转载。
lightning mdb 源代码分析(5)-事务控制的更多相关文章
- lightning mdb 源代码分析(1)
lighting mdb(lmdb) 是一个高性能mmap kv数据库,基本介绍和文档参见symas官网,本文将尝试分析其源代码结构以理解数据库设计的关键技术. 本系列文章将尝试从以下几个方面进行分析 ...
- lightning mdb 源代码分析(4)—MVCC/COW
本博文将描述MVCC和cow技术以及LMDB中如何使用以及实现这两种技术. COW(Copy On Write): COW技术背后的思想是拖延技术,基本方法是假如有多个调用者需要访问的资源,在其初始化 ...
- lightning mdb 源代码分析(2)
本系列前一篇已经分析了lightningmdb的整体架构和主要的数据结构.本文将介绍一下MMAP原理以及lmdb中如何使用它. 1. Memory Map原理 内存映射文件与虚拟内存有些类似,通过内存 ...
- lightning mdb 源代码分析系列(3)
本系列前两章已经描述了系统架构以及系统构建的基础内存映射,本章将详细描述lmdb的核心,外存B+Tree的操作.本文将从基本原理.内存操作方式.外存操作方式以及LMDB中的相关函数等几方面描述LMDB ...
- [Android]Fragment源代码分析(三) 事务
Fragment管理中,不得不谈到的就是它的事务管理,它的事务管理写的很的出彩.我们先引入一个简单经常使用的Fragment事务管理代码片段: FragmentTransaction ft = thi ...
- cocos2d-x 源代码分析 : control 源代码分析 ( 控制类组件 controlButton)
源代码版本号来自3.1rc 转载请注明 cocos2d-x源代码分析总文件夹 http://blog.csdn.net/u011225840/article/details/31743129 1.继承 ...
- Fragment事务管理源代码分析
转载请标明出处:http://blog.csdn.net/shensky711/article/details/53132952 本文出自: [HansChen的博客] 概述 在Fragment使用中 ...
- spring事务:事务控制方式,使用AOP控制事务,七种事务传播行为,声明事务,模板对象,模板对象原理分析
知识点梳理 课堂讲义 1)事务回顾 1.1)什么是事务-视频01 事务可以看做是一次大的活动,它由不同的小活动组成,这些活动要么全部成功,要么全部失败. 1.2)事务的作用 事务特征(ACID) 原子 ...
- Hadoop源代码分析
http://wenku.baidu.com/link?url=R-QoZXhc918qoO0BX6eXI9_uPU75whF62vFFUBIR-7c5XAYUVxDRX5Rs6QZR9hrBnUdM ...
随机推荐
- Maven的安装、配置及使用入门
Maven的安装.配置及使用入门 本书代码下载 大家可以从我的网站下载本书的代码:http://www.juvenxu.com/mvn-in-action/,也可以通过我的网站与我取得联系,欢迎大家与 ...
- js将map转换成数组
/** * map转数组. * * @param {Map}map * map对象 * @return 数组 */ Share.map2Ary = function(map) { var list = ...
- jquery去掉或者替换字符,设置指定options为selected状态
<html> <body> <div><select id="queryYear"> <opt ...
- 【python】lamda表达式,map
一个很好的博客:http://blog.csdn.net/mathboylinlin/article/details/9413551 博客不让转载,我只摘抄了里面几个例子,更多内容到博客里去看 lam ...
- UVALive 7269 Snake Carpet (构造)
题目:传送门. 题意:构造出一个矩阵,使得矩阵含有n条蛇,每条蛇的长度是1到n,并且奇数长度的蛇有奇数个拐弯,偶数长度 的蛇有偶数个拐弯. 奇数和偶数分开构造,奇数可以是: 1357 3357 555 ...
- 让Entity Framework支持MySql数据库(转载)
转载地址:http://www.cnblogs.com/wintersun/archive/2010/12/12/1903861.html Entity Framework 4.0 也可以支持大名鼎鼎 ...
- oracle 卸载步骤(图解)
1.卸载第一步:点击开始菜单: 步骤阅读 2 2.点击Universal Installer来实现下面 步骤阅读 3 3.点击卸载产品后出现的内容: 步骤阅读 4 4.点击打开Oracle主目录下的O ...
- C/C++中extern关键字详解
转自:http://www.cnblogs.com/yc_sunniwell/archive/2010/07/14/1777431.html 1 基本解释:extern可以置于变量或者函数前,以标示变 ...
- ListView系列(七)——Adapter内的onItemClick监听器四个arg参数 (转)
举个例子你会理解的更快:X, Y两个listview,X里有1,2,3,4这4个item,Y里有a,b,c,d这4个item.如果你点了b这个item.如下: public void onItemCl ...
- 最新IP地址数据库
2016年12月1日 最新发行版 265051条数据 基于:国内基于省市区以及运营商 国外基于国家 版本:全球旗舰版 国内精华版 国外拓展版 英文版 掩码版 字段:大洲 国家 省份 城市 县区 运营 ...