如果文件系统损坏或意外删除了数据库文件,只要磁盘空间没有被覆盖,其实数据都还在磁盘的扇区中,还是可以恢复出来的,有些通用的文件恢复工具好象也可以恢复文件 ,但这里要研究的是在通用文件 恢复工具失效的时候. innodb文件是按页保存的,这为打捞工作提供了非常有利的条件,页面具有一些特征,我们可以根据页面特征来把数据页从磁盘中提取出来,也就是数据打捞. 决大多数内容都是抄自网络,但也有错误,2016.0505 20:49 Innodb表空间的概念:表空间,数据文件的集合,在innodb就是idb文…

有了页面的结构和特征,需要编程实现数据库页面的打捞工作: 为了方便windows and linux 的通用,计划做成C语言的控制台应用,并且尽量只用ansi c;关于多线程,计划做成多线程的程序,最好是一个线程读文件,一个线程计算与输出:关于线程库:选择pthead,多线程正是个头疼的事儿呀,undrop虽然也用了多线程,但每个线程都是做完全部流程,编程难度上和单线程基本没什么区别;我的计划是一个线程读源文件,另一个线程做判断和提取工作; 写了一天,现在才发现undrop 中的stream_p…

操作系统簇大小一般是4K,而innoDB的页大小一般是16K,那么就有可能16K的页没有存储在连续的簇中,这样扫描软件就不会扫描出来这样的页面.为了解决这个问题,决定给软件增加半页扫描功能. 在第一次扫描的时候把所有页头部特征正确,但尾部特征不正确的页保存在单独的文件中,并生成一个非完整页信息列表文件. 第二次再扫描(开发一个专门的程序)时,根据非完整页信息列表,搜索可能的非完整页下半部分,并保存在另外的文件中,同时也生成一个下半部分的页页信息列表. 第三次,再做一个专门的程序,来组合成完整的页…

一,用winhex把正常页有意做成不连续的两部分,把后8K向后移动4K,中间隔开4K,启动第一次扫描; 扫描结果是,没有提取到有效页面,但在输出目录生成两个文件:upper.pages和upper.list,这两个文件是第二次扫描下半页是要用的; 二次扫描需要数据源文件,和上一步的upper.list文件,二次扫描后输出目录又多两个文件 多出来的两个文件为下半页列表文件和下半页页面文件,当不连续页较多时,半页页面文件为多个页而的数据.一下步应该合并面页了,合并页面不再去要源文件,只需要指定上面的…

前言 ​ 关于数据库我们知道是通过内存对磁盘进行操作的,也知道数据会落实到磁盘上,但是数据在磁盘上的存储结构可能大家还不是很清楚. ​ MySQL服务器上负责对表中的数据的读取和写入的工作的部分是存储引擎,而关于服务器会支持不同类型的服务器,如:InnoDB.MyISAM.Memory...... ​ 不同的存储引擎都是为了实现不同的特性进行开发的,真实数据的存储在不同的存储引擎中存放的格式一般是不同的,有的存储引擎比如Memory都不用磁盘来存储数据,就跟NoSQL一样,服务器关闭后数据就不见…

前言 之前介绍的月报中,详细介绍了InnoDB Buffer Pool的实现细节,Buffer Pool主要就是用来存储数据页的,是数据页在内存中的动态存储方式,而本文介绍一下数据页在磁盘上的静态存储方式以及相关的操作.由于数据页的结构涉及InnoDB非常底层的代码,因此各个版本的MySQL都可以参考.相关代码主要集中在page目录下. 基础知识 数据库采用数据页的形式组织数据.MySQL默认的非压缩数据页为16KB.在ibd中间中,0-16KB偏移量即为0号数据页,16KB-32KB的为1号数…

Mysql+innodb数据存储逻辑. 表空间由段,区,页组成 ibdata1:共享表空间.即所有的数据都存放在这个表空间内.如果用户启用了innodb_file_per_table,则每张表内的数据可以单独放到一个表空间内.(只是数据,索引和插入缓冲Bitmap页面.其他数据还是放到共享表中.) 段 表空间是由各个段组成,有数据段,索引段,回滚段等.数据与索引段都是用B+树数据结构. 区 是由连续页组成的空间,在任何情况下每个区的大小都是1M,每个区由64个连续的大小为16K的页组成.当然64…

http://hatemysql.com/?p=503 1.  概述 前面很多大侠都分享过MySQL的InnoDB存储引擎将数据刷新的各种情况.我们这篇文章从InnoDB往下,看看数据从InnoDB的内存到真正写到存储设备的介质上到底有哪些缓冲在起作用. 我们通过下图看一下相关的缓冲: 图 1 innodb all buffers 从上图中,我们可以看到,数据InnoDB到磁盘需要经过 InnoDB buffer pool, Redo log buffer.这个是InnoDB应用系统本身的缓冲.…

InnoDB为了不同的目的而设计了不同类型的页,我们把用于存放记录的页叫做数据页. 一个数据页可以被大致划分为7个部分,分别是 File Header,表示页的一些通用信息,占固定的38字节. Page Header,表示数据页专有的一些信息,占固定的56个字节. Infimum + Supremum,两个虚拟的伪记录,分别表示页中的最小和最大记录,占固定的26个字节. User Records:真实存储我们插入的记录的部分,大小不固定. Free Space:页中尚未使用的部分,大小不确定.…

http://hatemysql.com/?p=503 1.  概述 前面很多大侠都分享过MySQL的InnoDB存储引擎将数据刷新的各种情况.我们这篇文章从InnoDB往下,看看数据从InnoDB的内存到真正写到存储设备的介质上到底有哪些缓冲在起作用. 我们通过下图看一下相关的缓冲: 图 1 innodb all buffers 从上图中,我们可以看到,数据InnoDB到磁盘需要经过 InnoDB buffer pool, Redo log buffer.这个是InnoDB应用系统本身的缓冲.…