本文基于 TiDB release-5.1进行分析,需要用到 Go 1.16以后的版本 我的博客地址:: https://www.luozhiyun.com/archives/620 事务模型概述 由于 TiDB 的事务模型沿用了 Percolator 的事务模型.所以先从 Percolator 开始,关于 Percolator 论文没看过的同学看这里:https://www.luozhiyun.com/archives/609 我已经翻译好了 Percolator 分布式事务 Percolat…

前言 在对数据库进行优化前,我们先要思考一下数据库系统可能存在的瓶颈所在之外.数据库服务是运行在不同的硬件设备上的,优化即通过参数配置(不考虑应用客户端程序的情况下),而实现硬件资源的最大利用化.那么硬件资源有哪些呢,那就无外乎CPU,内存,磁盘,网络这些资源. 作为常用单机数据库(如MySQL,PostgreSQL),最常见的性能瓶颈在哪呢? 根据我的经验,绝大部分出现在磁盘性能.那我们如何来对它进行优化呢,那就是把磁盘的读写转化为内存的读写(增大数据缓存),或是采用数据压缩,转化为CPU的资…

MySQL是我们日常生活中常见的数据库,他的innodb存储引擎尤为常见,在事务方面使用的是扁平事务,即要么都执行,要么都回滚.而tidb数据库则使用的是分布式事务.两者都能保证数据的高一致性,但是在实现方式上是不一样的. 我们先来看看MySQL的事务机制,采用redo log机制来保证事务更新的一致性和持久性.那我们来看看innodb重做日志的内部机制. 当更新数据时,innodb内部的操作流程是: 而tidb数据库,在事务上采用的是乐观锁: TiDB 使用乐观事务模型,在执行 Update.…

在 <企业应用架构模式> 中 提到了 乐观锁定, 用 时间戳 来 判定 交易 是否有效, 避免 传统事务 的 表锁定 造成 的 瓶颈 . 在 现在的 大并发 的 大环境下, 传统事务 及其 表锁定 以及 事务带来 的 性能消耗, 确实 不能适应 当今 的 大并发 的 场景 了 . 感觉 传统事务 也就只能用在 办公系统 了,   哈哈哈哈 . 但是 传统事务 的 表锁定 是 合理的, 表锁定 使得 事务中 其它 线程 不能 读写 表 . 不能 写, 这个容易理解, 不能 读 是怎么回事 ? 因…

一 简介:介绍新型NEW SQL数据库tidb 二 目的: tidb出现的目的,就是代替mysql+中间件,实现横向水平扩展 三 核心理论观点 1 MySQL 是单机数据库,只能通过 XA 来满足跨数据库事务,而 TiDB 本身就通过 Google 的 Percolator 事务模型支持分布式事务,性能稳定性比 XA 要高出很多,所以不会也不需要支持 XA.也就是说tidb并不是依靠XA事务实现的分布式一致性 2 三层架构 TiDB 是 Server 计算层,主要负责 SQL 的解析.制定查询计…

著名的开源分布式缓存服务 Codis 的作者,PingCAP 联合创始人& CTO ,资深 infrastructure 工程师的黄东旭,擅长分布式存储系统的设计与实现,开源狂热分子的技术大神级别人物.即使在互联网如此繁荣的今天,在数据库这片边界模糊且不确定地带,他还在努力寻找确定性的实践方向. 在数据库的平行世界里,黄东旭以不同的方式在追随着自己的内心.他认为,通常传统的关系型数据库无法满足海量数据处理和分析时,新一轮的窗口期也随之需求开启,但是各类劣势架构.内存架构. NoSQL 等方案都不…

TiKV事务实现浅析 Percolator事务的理论基础 Percolator的来源 Percolator事务来源于Google在设计更新网页索引的系统时提出的论文Large-scale Incremental Processing Using Distributed Transactions and Notifications中,Google用它在支持单行事务的分布式数据库Bigtable的基础上实现跨节点的分布式事务.Percolator是一种优化版的2PC,但是与 常见的2PC不同,它并没…

背景 在日益数据量增长的情况下,影响数据库的读写性能,我们一般会有分库分表的方案和使用newSql方案,newSql如TIDB.那么为什么需要使用TiDB呢?有什么情况下才用TiDB呢?解决传统分库分表的什么问题呢?还会解释一些关键点和踩坑点.下面我会用比较白话的形式解读,当做对TiDB进行推广. 点赞再看,关注公众号:[地藏思维]给大家分享互联网场景设计与架构设计方案 掘金:地藏Kelvin https://juejin.im/user/5d67da8d6fb9a06aff5e85f7 目前痛…

转载请声明出处哦~,本篇文章发布于luozhiyun的博客:https://www.luozhiyun.com/archives/584 本篇文章应该是我研究的 TiDB 的第一篇文章,主要是介绍整个 TiDB 架构以及它能支持哪些功能为主.至于其中的细节,我也是很好奇,所以不妨关注一下,由我慢慢讲述. 为什么要研究 TiDB ? 其实 TiDB 我想要了解已经很久了,但是一直都有点不想去面对这么大一滩代码.由于在项目组当中一直用的是 Mysql,但是数据量越来越大,有些表的数据量已达上亿,数据…

转载:http://www.hollischuang.com/archives/934 在数据库的锁机制中介绍过,数据库管理系统(DBMS)中的并发控制的任务是确保在多个事务同时存取数据库中同一数据时不破坏事务的隔离性和统一性以及数据库的统一性. 乐观并发控制(乐观锁)和悲观并发控制(悲观锁)是并发控制主要采用的技术手段. 无论是悲观锁还是乐观锁,都是人们定义出来的概念,可以认为是一种思想.其实不仅仅是关系型数据库系统中有乐观锁和悲观锁的概念,像memcache.hibernate.tair等都…