Rocksdb事务隔离性指的是多线程并发事务使用时候,事务与事务之间的隔离性,通过加锁机制来实现,本文重点剖析Read Commited隔离级别下,Rocksdb的加锁机制。

  1. Rocksdb事务相关类族

Rocksdb的事务相关的类图如下图所示。主要有两个类族,Transaction和DB,默认采用PessimisticTransaction,而PessimisticTransaction内部的加锁机制通过TransactionLockMgr来实现的。

TransactionLockMgr内部维护了LockMap。TransactionLockMgr根据每个记录的Key计算hash值,再对num_stripes取模,在LockMap中的向量Std::vector<LockMapStripe>定位LockMapStripe,这样减少实体锁的竞争激烈程度,相当于锁分解。

LockMap的数据成员如下

Size_t num_stripes          LockMapStripe个数,默认16个

Std::vector<LockMapStripe>   LockMapStripe数组

LockMapStripe的数据成员如下

std::shared_ptr<TransactionDBMutex>  stripe_mutex :   实体锁

std::shared_ptr<TransactionDBCondVar>  stripe_cv :     实体条件变量

std::unordered_map<std::string, LockInfo>  keys :       具有相同Key hash值的每条记录的加锁信息,std::string为记录的Key值。

LockInfo的数据成员如下

bool exclusive :                     排它锁,还是共享锁

uint64_t expiration_time :            锁的过期时间

autovector<TransactionID>  txn_ids :   这把锁阻塞的事务ID列表

2. Rocksdb事务流程分析

上述流程,是应用创建TransactionDB,然后Put一条记录,再Commit的协作流程图,在Put阶段调用TransactionLockMgr的TryLock方法,Commit阶段调用TransactionLockMgr的UnLock方法。

TransactionLockMgr::TryLock内部的主要逻辑在AcquireLocked函数中,TransactionLockMgr::UnLock内部的主要逻辑在UnlockKey函数中,下面具体分析这两个函数。绿色部分字体为个人注解。

AcquireLocked

Status TransactionLockMgr::AcquireLocked(LockMap* lock_map,

LockMapStripe* stripe,

const std::string& key,    //记录的Key值

Env* env,

LockInfo&& txn_lock_info,  //当前事务锁信息

uint64_t* expire_time,     //锁的过期时间

autovector<TransactionID>* txn_ids)

{

Status result;

auto stripe_iter = stripe->keys.find(key);  // 检查这条记录的Key是否已经被加锁了。

if (stripe_iter != stripe->keys.end()) {       // 这条记录的Key已经被之前事务加过锁

LockInfo& lock_info = stripe_iter->second;

if (lock_info.exclusive || txn_lock_info.exclusive) {   //之前事务或者当前事务加的是排他锁,

if (lock_info.txn_ids.size() == 1 &&

lock_info.txn_ids[0] == txn_lock_info.txn_ids[0]) {  //之前加锁的事务就是当前事务

lock_info.exclusive = txn_lock_info.exclusive;

lock_info.expiration_time = txn_lock_info.expiration_time;

} else {       //之前加锁的事务不是当前事务

if (IsLockExpired(txn_lock_info.txn_ids[0], lock_info, env,

expire_time)) {   // 之前事务加的锁已经过期,可以清除

lock_info.txn_ids = txn_lock_info.txn_ids;

lock_info.exclusive = txn_lock_info.exclusive;

lock_info.expiration_time = txn_lock_info.expiration_time;

} else {

result = Status::TimedOut(Status::SubCode::kLockTimeout);

*txn_ids = lock_info.txn_ids;   // 返回之前事务列表

}

}

} else {   //当前事务加的是共享锁

lock_info.txn_ids.push_back(txn_lock_info.txn_ids[0]);

lock_info.expiration_time =

std::max(lock_info.expiration_time, txn_lock_info.expiration_time);

}

} else {  // 这条记录的Key没有被之前事务加过锁

if (max_num_locks_ > 0 &&

lock_map->lock_cnt.load(std::memory_order_acquire) >= max_num_locks_) {

result = Status::Busy(Status::SubCode::kLockLimit);

} else {

// 当前事务执行加锁操作

stripe->keys.emplace(key, std::move(txn_lock_info));

if (max_num_locks_) {

lock_map->lock_cnt++;

}

}

}

return result;

}

UnlockKey逻辑相对简单一些,主要是删除加锁的记录,并且唤醒被阻塞的事务。

void TransactionLockMgr::UnLockKey(const PessimisticTransaction* txn,

const std::string& key,

LockMapStripe* stripe, LockMap* lock_map,

Env* env) {

TransactionID txn_id = txn->GetID();

auto stripe_iter = stripe->keys.find(key);

if (stripe_iter != stripe->keys.end()) {

auto& txns = stripe_iter->second.txn_ids;

auto txn_it = std::find(txns.begin(), txns.end(), txn_id);

// Found the key we locked.  unlock it.

if (txn_it != txns.end()) {

if (txns.size() == 1) {

stripe->keys.erase(stripe_iter);

} else {

auto last_it = txns.end() - 1;

if (txn_it != last_it) {

*txn_it = *last_it;

}

txns.pop_back();

}

if (max_num_locks_ > 0) {

// Maintain lock count if there is a limit on the number of locks.

assert(lock_map->lock_cnt.load(std::memory_order_relaxed) > 0);

lock_map->lock_cnt--;

}

}

} else {

// This key is either not locked or locked by someone else.  This should

// only happen if the unlocking transaction has expired.

assert(txn->GetExpirationTime() > 0 &&

txn->GetExpirationTime() < env->NowMicros());

}

}

RocksDB事务的隔离性分析【原创】的更多相关文章

  1. MySQL:事务的隔离性

    [参考文章]:数据库的事务特性及隔离级别 1. 事务的四大特性 1.1 原子性(Atomicity) 原子性是指事务包含的所有操作要么全部成功,要么全部失败回滚,因此事务的操作如果成功就必须要完全应用 ...

  2. 一文搞懂MySQL事务的隔离性如何实现|MVCC

    关注公众号[程序员白泽],带你走进一个不一样的程序员/学生党 前言 MySQL有ACID四大特性,本文着重讲解MySQL不同事务之间的隔离性的概念,以及MySQL如何实现隔离性.下面先罗列一下MySQ ...

  3. Mysql学习之事务的隔离性

    今天咱们说说事务,相信大家都知道事务的 ACID (Atomicity.Consistency.Isolation.Durability,即原子性.一致性.隔离性.持久性). 原子性:表示一个事务不可 ...

  4. Spring 事务机制详解(事务的隔离性和传播性)

    原文出处: 陶邦仁 Spring事务机制主要包括声明式事务和编程式事务,此处侧重讲解声明式事务,编程式事务在实际开发中得不到广泛使用,仅供学习参考. Spring声明式事务让我们从复杂的事务处理中得到 ...

  5. 具体问题:Spring 事务的隔离性,并说说每个隔离性的区别

    使用步骤: 步骤一.在spring配置文件中引入<tx:>命名空间<beans xmlns="http://www.springframework.org/schema/b ...

  6. 事务四大特征:原子性,一致性,隔离性和持久性(ACID)

    一.事务 定义:所谓事务,它是一个操作序列,这些操作要么都执行,要么都不执行,它是一个不可分割的工作单位. 准备工作:为了说明事务的ACID原理,我们使用银行账户及资金管理的案例进行分析. [sql] ...

  7. 跟面试官侃半小时MySQL事务隔离性,从基本概念深入到实现

    提到MySQL的事务,我相信对MySQL有了解的同学都能聊上几句,无论是面试求职,还是日常开发,MySQL的事务都跟我们息息相关. 而事务的ACID(即原子性Atomicity.一致性Consiste ...

  8. 事务传播性、隔离性与MVCC

    一.事务传播性 1.1 什么是事务的传播性 事务的传播性一般在事务嵌套时候使用,比如在事务A里面调用了另外一个使用事务的方法,那么这俩个事务是各自作为独立的事务执行提交,还是内层的事务合并到外层的事务 ...

  9. 事务ACID特性,其中I代表隔离性(Isolation)。

    事务ACID特性,其中I代表隔离性(Isolation). 什么是事务的隔离性? 隔离性是指,多个用户的并发事务访问同一个数据库时,一个用户的事务不应该被其他用户的事务干扰,多个并发事务之间要相互隔离 ...

随机推荐

  1. 关于VMware问题:无法获得 VMCI 驱动程序的版本: 句柄无效。驱动程序“vmci.sys”的版本不正确

    有的童鞋可能安装虚拟机时出现了下边这样的错误,莫慌,下面咋们来解决!!! 1.首先,找到你的安装虚拟机的目录下有一个.vmx的文件 找到这个文件,用编辑器打开,将该值改为FALSE即可!

  2. 八皇后问题求解java(回溯算法)

    八皇后问题 八皇后问题,是一个古老而著名的问题,是回溯算法的典型案例.该问题是国际西洋棋棋手马克斯·贝瑟尔于1848年提出:在8×8格的国际象棋上摆放八个皇后,使其不能互相攻击,即任意两个皇后都不能处 ...

  3. [书籍分享]0-006.App营销解密:移动互联网时代的营销革命

    封面 内容简介 如何在移动互联网上推广和销售自己的产品?如何通过移动互联网为顾客提供服务?如何在移动互联网上树立和传播自己的品牌?这几乎是当下所有互联网企业和传统企业都在思考的问题,企业要想在移动互联 ...

  4. 深入浅出Spring MVC

    摘要 本文旨在详细分析SpringMVC工作原理以及作为开发者如何基于SpringMVC做扩展.因为SpringMVC分析的文章比较多,所以本文重点讲解如何利用SpringMVC的扩展点实现我们的需求 ...

  5. 跨域解决方案 - node 转发

    目录 1. 定义 2. 代理转发 3. node 转发解决跨域问题 4. 代码演示 5. 参考地址 1. 定义 当用户需要请求数据时, 用户向前端服务器发送请求, 然后前端服务器接收请求之后向后端服务 ...

  6. CVE-2020-0796永恒之黑复现POC EXP以及修复方案

    描述: 北京时间3月12日,针对最新披露的SMB远程代码执行漏洞(CVE-2020-0796),微软官方发布了针对Windows 10/Server禁用SMBv3(SMB 3.1.1版本)协议压缩的安 ...

  7. 如何获取CSDN的积分?

    个人感觉就是写博客就给积分 具体给多少? CSDN应该有自己的积分规则 总之一句话:写博客涨积分

  8. Java实现 蓝桥杯 算法提高 p1001

    算法提高 P1001 时间限制:1.0s 内存限制:256.0MB 提交此题  当两个比较大的整数相乘时,可能会出现数据溢出的情形.为避免溢出,可以采用字符串的方法来实现两个大数之间的乘法.具体来说 ...

  9. Java实现 蓝桥杯VIP 算法训练 删除多余括号

    算法训练 删除多余括号 时间限制:1.0s 内存限制:512.0MB 问题描述 从键盘输入一个含有括号的四则运算表达式,要求去掉可能含有的多余的括号,结果要保持原表达式中变量和运算符的相对位置不变,且 ...

  10. Java实现 LeetCode 216. 组合总和 III(三)

    216. 组合总和 III 找出所有相加之和为 n 的 k 个数的组合.组合中只允许含有 1 - 9 的正整数,并且每种组合中不存在重复的数字. 说明: 所有数字都是正整数. 解集不能包含重复的组合. ...