一 简介:undo管理 二 各版本说明 1 5.5     undo位置:默认ibdata1中,不支持独立表空间   缺点:大事务可能造成ibdata1暴涨,只能dump导出导入或者从新搭建  参数:rollback_segment(默认128个回滚段)2 5.6 undo位置:默认ibdata1中,支持独立表空间 参数   innodb_undo_logs(代替5.5的名字,默认128个回滚段)   innodb_undo_directory 设置undo位置,默认当前文件夹   innodb…

mysql undo详谈1 简介:undo是MVCC机制的基础部分之一2 作用:为了实现可重复性读,存储历史数据3 存储:5.6以前undo都存储在内存和ibdata1中,5.6以后undo可以独立成单独的文件,更可以进行truncate表空间,减少磁盘容量4 处理过程       1 针对于 update/delete操作.会进行记录快照数据.统称为update_undo.针对insert操作,会进行记录但是随后会删除,毕竟没人关注这个.      2 本文不考虑对临时表的undo段操作5 回…

本文是介绍MySQL数据库InnoDB存储引擎重做日志漫游 00 – Undo LogUndo Log 是为了实现事务的原子性,在MySQL数据库InnoDB存储引擎中,还用Undo Log来实现多版本并发控制(简称:MVCC). - 事务的原子性(Atomicity)  事务中的所有操作,要么全部完成,要么不做任何操作,不能只做部分操作.如果在执行的过程中发生  了错误,要回滚(Rollback)到事务开始前的状态,就像这个事务从来没有执行过. - 原理  Undo Log的原理很简单,为了满…

本文是介绍MySQL数据库InnoDB存储引擎重做日志漫游 00 – Undo LogUndo Log 是为了实现事务的原子性,在MySQL数据库InnoDB存储引擎中,还用Undo Log来实现多版本并发控制(简称:MVCC). - 事务的原子性(Atomicity)  事务中的所有操作,要么全部完成,要么不做任何操作,不能只做部分操作.如果在执行的过程中发生  了错误,要回滚(Rollback)到事务开始前的状态,就像这个事务从来没有执行过. - 原理  Undo Log的原理很简单,为了满…

00 – Undo LogUndo Log 是为了实现事务的原子性,在MySQL数据库InnoDB存储引擎中,还用Undo Log来实现多版本并发控制(简称:MVCC). - 事务的原子性(Atomicity)  事务中的所有操作,要么全部完成,要么不做任何操作,不能只做部分操作.如果在执行的过程中发生  了错误,要回滚(Rollback)到事务开始前的状态,就像这个事务从来没有执行过. - 原理  Undo Log的原理很简单,为了满足事务的原子性,在操作任何数据之前,首先将数据备份到一个地方…

本文是介绍MySQL数据库InnoDB存储引擎重做日志漫游 00 – Undo LogUndo Log 是为了实现事务的原子性,在MySQL数据库InnoDB存储引擎中,还用Undo Log来实现多版本并发控制(简称:MVCC). - 事务的原子性(Atomicity)  事务中的所有操作,要么全部完成,要么不做任何操作,不能只做部分操作.如果在执行的过程中发生  了错误,要回滚(Rollback)到事务开始前的状态,就像这个事务从来没有执行过. - 原理  Undo Log的原理很简单,为了满…

在数据库系统中,既有存放数据的文件,也有存放日志的文件.日志在内存中也是有缓存Log buffer,也有磁盘文件log file,本文主要描述存放日志的文件.     MySQL中的日志文件,有这么两类常常讨论到:undo日志与redo日志. 1 undo 1.1 undo是什么 undo日志用于存放数据修改被修改前的值,假设修改 tba 表中 id=2的行数据,把Name='B' 修改为Name = 'B2' ,那么undo日志就会用来存放Name='B'的记录,如果这个修改出现异常,可以使用…

一 简介: 今天是第二篇,讲解的是mysql的事务日志 二 具体 1 WAL技术(先写日志,再写磁盘) 2 binlog redolog 二阶段提交协议     目的 保持 redo log和binlog之间的逻辑一致,这样采用binlog方式就能恢复数据     第一阶段先写redo log,处于prepare状态    1 redo log记录的是物理日志,数据页的具体修改操作    2 控制参数与原理 原理系列 1 mysql写日志过程 log_buff ---mysql写 (write)…

  UNDO特性:避免脏读.事务回滚.非阻塞读.MVCC.崩溃恢复 事务工作流程(图2) MVCC原理机制 崩溃恢复:redo前滚.undo回滚 长事务.大事务:危害.判断.处理 UNDO优化:实现undo分离.收缩undo表空间 0.undo物理存储研究 1>ibdata第五个数据块(系统事务表)中存储着128个undo段的段头块的地址 2>每一个undo段头块有1024行,两行记录一个事务,一共可以记录512个事务 3>一个数据行中存放XID.rollpointr 4>一个数据…

最近一直没啥时间写点东西,坚持分享真的好难,也不知道该分享点啥,正好有人要问我这些东西,所以腾出点时间,写一下这个主题.同样本篇可以给读者承诺,听不懂或者没收获算我输,哈哈! 众所周知,mysql中读取方式按照是否需要传统意义的锁,分为锁定读和非锁定读两种.锁定读不用多说,那就一堆算法了,行锁,间隙锁,next-key锁,无非就是为了保证,一个事务中锁定读取一条或者多条数据时,不能读到别的事务没有提交的更改(不能脏读),不能同一个事务两次读到的数据内容不一致(应该要可重复读),不能同一个事务,两…

MySQL基础: sql语句的执行过程: 连接器:登录连接sql数据库 分析器:分析解读sql语句,并检查是否符合SQL语法规则 优化器:对实现方式进行优化,比如在查询时决定使用哪个索引. 执行器:执行. 事务:一系列聚合性操作,一组不可分割的sql语句.要么全部执行,要么全部不执行. 原子性:不可分割.undo log保证可以回滚 隔离性:事务不可被其他事务干扰.MVCC保证. 一致性:数据库处理结果应与其所代表的客观世界中真实状况保持一致.由其他三个特性保证 持久性:即便故障也不应该使数据的…

原文:https://mp.weixin.qq.com/s__biz=MzI4NTA1MDEwNg==&mid=2650763421&idx=1&sn=2515421f09c150d31e8d1b8b59243bd5&chksm=f3f9c508c48e4c1ea64b00b25c226efa2b9e32910f83290bf383ce0d16ee0991c42ad59527da&mpshare=1&scene=1&srcid=0928OiKJlDA…

一 简介:redo log二 文件   ib_logfile0 ib_logfile1 两个redo log 默认为一组 循环覆盖写入三 相关参数   innodb_log_file_size=256M 不能太大也不能太小,推荐256M  innodb_log_file_in_group=16M redo log buffer的大小,不宜太大  innodb_log_buffer_size=2 日志文件数量默认为2,可根据情况适当调节四 redo log 与binlog的不同  1 产生的机制不…

一 简介:今天来聊聊具体的线程和IO 二 具体线程与作用 1 master thread    mysql的主要工作触发线程 1 redo and binlog日志      2 合并插入缓冲.      3 脏页的刷新      4 undo页回收      5 产生一个ckp点 2 IO THREAD insert buffer thread->insert buffer merges插入缓冲线程 1个     log thread -> asynchronous log flushes…

一 简介:今天咱们来聊聊 mysql 两阶段提交二 事务过程    perpare-commit 两个过程1  perpare阶段 redo日志   1.设置undo state=TRX_UNDO_PREPARED: //trx_undo_set_state_at_prepare调用   2.刷事务更新产生的redo日志:[步骤1产生的redo日志也会刷入]2   commit阶段 binlog日志  1.将事务产生的binlog写入文件,刷入磁盘:  2.设置undo页的状态,置为TRX_UN…

背景 在使用Oracle或者其它数据库时,使用like 关键字进行模糊查询是大家经常使用的功能,在纯中文环境中使用非常好用,还有一些通配符可以使用,但是在纯英文环境中,会出现大小需要精确匹配的问题,主要原因还是字符串的问题 FL like '%{0}%' and 这里like后是一个字符串,这样必然会有大小敏感的问题.比如如下的大小混编的字段 解决方案 方案1 使用Oracle系统函数对需要查询的列字符串进行小写转换(大写也行,变量相关部分都是大写转换),如下所示: select * from…

说起MySQL的查询优化,相信大家积累一堆技巧:不能使用SELECT *.不使用NULL字段.合理创建索引.为字段选择合适的数据类型..... 你是否真的理解这些优化技巧?是否理解其背后的工作原理?在实际场景下性能真有提升吗?我想未必.因而理解这些优化建议背后的原理就尤为重要,希望本文能让你重新审视这些优化建议,并在实际业务场景下合理的运用.   MySQL逻辑架构 如果能在头脑中构建一幅MySQL各组件之间如何协同工作的架构图,有助于深入理解MySQL服务器.下图展示了MySQL的逻辑架构图.…

## 主键 超键 候选键 外键 (mysql数据库常见面试题) 数据库之互联网常用架构方案 数据库之互联网常用分库分表方案 分布式事务一致性解决方案 MySQL Explain详解 ## 数据库事务的四个特性及含义 (mysql数据库常见面试题) ## drop,delete与truncate的区别(mysql数据库常见面试题) ## 索引的工作原理及其种类(mysql数据库常见面试题) ## 连接的种类(mysql数据库常见面试题) ## 数据库优化的思路(mysql数据库常见面试题) ##…

  要了解数据库索引的底层原理,我们就得先了解一种叫树的数据结构,而树中很经典的一种数据结构就是二叉树!所以下面我们就从二叉树到平衡二叉树,再到B-树,最后到B+树来一步一步了解数据库索引底层的原理! 二叉树(Binary Search Trees)   二叉树是每个结点最多有两个子树的树结构.通常子树被称作"左子树"(left subtree)和"右子树"(right subtree).二叉树常被用于实现二叉查找树和二叉堆.二叉树有如下特性: 1.每个结点都包含一…

一.背景 昨天早上,交流群有一位同学提出了一个问题.看下图: 我不是大佬,而且当时我自己的想法也只是猜测,所以并没有回复那位同学,只是接下来自己做了一个测试验证一下. 他只简单了说了一句话,就是同样的sql,一个没加 order by 就全表扫描,一个加了 order by 就走索引了. 我们可以仔细点看一下他提供的图(主要分析子查询即可,就是关于表 B 的查询,因为只有表 B 的查询前后不一致),我们可以先得出两个前提: 1.首先可以肯定的是,where 条件中的 mobile 字段是没有索引…

发现自己的知识点有点散,今天就把它们连接起来,好好总结一下. 一.undo log.redo log.binlog的定义和对比   定义和作用                       所在架构层级 日志形式 所在文件和默认名称,组织结构 是否缓存,如何缓存  写文件方式 undo log 回滚日志,在事务执行的过程中操作任何数据之前先将数据备份到undolog中. 事务失败时可根据undo log进行回滚. 用来保证事务的一致性. 还可以用来实现多版本并发控制MVCC. InnoDB引擎层…

本文基于 MySQL 8 在前面的两篇文章,我们分析了 MySQL InnoDB 引擎的两种行记录存储格式: Compact 格式 Redundant 格式 在这里简单总结下: Compact 格式结构: 变长字段长度表:包括数据不为NULL的每个可变长度字段的长度,并按照列的顺序逆序排列 NULL 值列表:针对可以为 NULL 的字段,用一个 BitMap 来标识哪些字段为 NULL 记录头信息:固定 5 字节,包括: 无用位:2 bits,目前没用 deleted_flag:1 bits,标…

  与不同引擎的关系 核心作用 生命周期   日志类型 undo log 属于innodb引擎独有 回滚,保证事务的"原子性",事务日志  事务开始前,以类似"快照"的方式记录现场  逻辑日志 redo log 属于innodb引擎独有 重做,保证事务的"持久性",事务日志  事务开始后记录,prepare阶段落盘  物理日志 binlog 工作在mysql的Server层,与使用哪种引擎无关 实现主从节点数据的复制  事务执行期间记录,comm…

一 简介:mysql是如何创建用户的二 基本语法:  1 grant 权限 on db.table to 'user'@'ip' identified by 'password'     目的 创建用户,如果已存在用户就修改密码  2 revoke 权限 for 'user'@'ip'  3 drop 'user'@'ip三 基本过程  0 'user'@'ip'为一个标准用户  1 grant会将执行的信息录入到mysql.user中,插入用户信息,更改权限设置  2 grant会将内存中维护…

一 简介:针对查询和事务的页在内存中的处理,是如何进行的 二 LRU算法 普通 : 实现的是末尾淘汰法,当整个链表已满时,淘汰尾部,将新的数据页加入头部 mysql_lru改进 : 分为两部分 yang和old,对过期页实行末尾淘汰没有问题,针对新插入的数据页需要做二次判断 1 如果数据页保持1S以上时间,则推进到yang头部 2 如果数据页不能保持1S,则依然保留到old区,等待被淘汰 改进优点:防止一次性的大查询读取的数据页污染整个LRU列表,影响整体的事务命中率 三 相关参数 1 inno…

一 简介:kill session为什么需要很久 二 kill语句分为三类  1 DML语句   2 select语句   3 DDL语句 三  kill都要做什么操作   1 kill对session的处理       1 正在执行的session        2 正在等待的session    2 把session的状态改成THD::KILLQUERY -> 给session发送一个信号->线程执行到判断session状态的逻辑->执行后续操作终止session四 kill慢的原因…

一 简介:今天来DDL的变革二 DDL演化方式:  1 copy table : 1 创建临时表2 copy数据到临时表 3 rename进行交换 缺点 1 阻塞事务 2占用磁盘空间  2 inplace : 1 在线更改表,不会拷贝临时表 缺点 1 阻塞事务  3 online_ddl :1 在线更改表,不会拷贝临时表 优点 1 不会阻塞事务  因此MySQL最新版本中,InnoDB支持了所谓的Online方式DDL.与以上两种方式相比,online方式支持DDL时不仅可以读,还可以写,对于d…

一 锁1 锁的定义   1 按照宏观角度     共享锁[S锁]     又称读锁,若事务T对数据对象A加上S锁,则事务T可以读A但不能修改A,其他事务只能再对A加S锁,而不能加X锁,直到T释放A上的S锁.这保证了其他事务可以读A,但在T释放A上的S锁之前不能对A做任何修改.     排他锁[X锁]    又称写锁.若事务T对数据对象A加上X锁,事务T可以读A也可以修改A,其他事务不能再对A加任何锁,直到T释放A上的锁.这保证了其他事务在T释放A上的锁之前不能再读取和修改A.  2 按照微观角度…

简介: 来说说索引吧目的:为了加快数据库的数据查找速度,索引应用而生基础知识基本定义  1 遍历 所谓遍历二叉树,就是按一定的规则和顺序走遍二叉树的所有结点,使每一个结点都被访问一次,而且只被访问一次.由于二叉树是非线性结构,因此,树的遍历实质上是将二叉树的各个结点转换成为一个线性序列来表示.  3 深度 节点的层数  4 NX树 宽度定义为具有最多结点数的层中包含的结点数.数据模型的选择   目的 为了让一个查询尽量少地读磁盘,就必须让查询过程访问尽量少的数据库   1 让树容纳更多的子节点,…

简介: 事务隔离知多少内容  一 基础知识  1 事务特性 ACID   A 原子性 C 一致性 I 隔离性 D 持久性  2 并行事务出现的问题    1 脏读 读取了其他事务未提交的数据     2 不可重复性读 1 在同一个事务内多次查询的结果不一致 2 可以通过for update or RR模式的MVCC避免这种现象 3 针对的是update/delete操作      3 幻读 1 当前事务读第一次取到的数据比后来读取到数据条目少 通过 next  key lock避免 这里要注意…