个人理解,欢迎指正

数据库 引擎 写数据 读数据 补充
MySql

InnoDB:支持事务,高速读写性能一般

Myisam:不支持事务,高速读写性能好

以InnoDB更新一条记录为例

1、B+Tree搜索找到这行记录,如果数据页在内存直接返回给【执行器】,否则从磁盘读入内存再返回

2、【执行器】更新数据,再调用【引擎】接口写入这行新数据

3、【引擎】将旧数据备份到undo log,然后更新内存中数据页的这行数据,同时将操作记录写到redo log里,此时redo log 处于prepare状态

4、【执行器】记录binlog日志

5、【执行器】调用引擎接口,【引擎】将redo log改成commit状态

6、此时更新就算完成了,【InnoBD引擎】会在适当的时候将操作记录批量刷到磁盘,并清理redo log

其基本流程是:先去缓存页查找,若没有则通过B+Tree检索到叶子节点对应的数据页,然后加到缓存页并返回

redo log(重做日志)和 binlog(归档日志)

1、redo log 是 InnoDB 引擎特有的;binlog 是 MySQL 的 Server 层实现的,所有引擎都可以使用。

2、redo log 是物理日志,记录的是“在某个数据页上做了什么修改”;binlog 是逻辑日志,记录的是这个语句的原始逻辑,比如“给 ID=2 这一行的 c 字段加 1 ”。

3、redo log 是循环写的,空间固定会用完;binlog 是可以追加写入的。“追加写”是指 binlog 文件写到一定大小后会切换到下一个,并不会覆盖以前的日志。

Hadoop

存储:HDFS

计算:MapReduce

HDFS写数据

1、Client向NameNode请求上传Block(文件块)

2、NameNode向Client返回DataNode地址

3、Client以Package为单位向DataNode依次写入,直到写完整个Block

4、每传输完一个Package,DataNode会向Clent返回一个ack,若失败会重试

HDFS读数据

1、Client向NameNode请求下载文件

2、NameNode按负载均衡和节点距离返回DataNode给Client

3、Client读取DataNode,以Package为单位拉取,先存入缓存,最后生成文件,中间有checksum校验

MapReduce运算

1、InputFormat会从DataNode拉取一个个Bolck块

2、然后启动若干个MapTask对Block数据做运算

3、运算后的结果经过Shuffer落到磁盘

4、然后启动若干个ReduceTask从磁盘读取数据进行聚合

5、最后通过OutputFormat把结果写到HDFS或其他存储介质里

BigTable SSTable

其实SSTable文件也是存在GFS上,但GFS不支持随机写【增删改】,那么BigTable是如何实现的呢?

1、其实BigTable在内存里维护了一个内存表(MemTable),每次数据【增删改】都会增加一条记录,并附带版本。当容量到达阀值的时候会把MemTable转成SSTable【顺序写】到GFS上,后续数据继续写新的MemTable

2、另外,会启动一个后台进程(Major Compaction机制),不断的合并SSTable,只保留【增删改】的最终数据,老版本的数据被删除

当查询数据时,会去读取索引数据,找到数据块返回给Tablet Server,再从这个数据块里提取出对应的 KV 数据返回给客户端

1、内存里缓存 BloomFilter,使得对于不存在于 SSTable 中的行键,可以直接过滤掉,无需访问 SSTable 文件才能知道它并不存在

2、通过 Scan Cache 和 Block Cache 这两层缓存,利用局部性原理,使得查询结果可以在缓存中找到,而无需访问 GFS 上的硬盘

3、经过前2步还没找到,会通过SSTable索引来查找,底层是AVL红黑树或跳表,随机读写都是O(log n)

1、SSTable 的文件格式是由两部分组成:

数据块(data block),就是实际要存储的行键、列、值以及时间戳,这些数据会按照行键排序分成一个个固定大小的块(block)来进行存储。

元数据块(meta block),是一系列的元数据和索引信息,这其中包括用来快速过滤当前 SSTable 中不存在的行键的布隆过滤器,以及整个数据块的一些统计指标。

另外还有针对数据块和元数据块的索引(index),这些索引内容,则分别是元数据索引块(metaindex block)和数据索引块(index block)

2、因为 SSTable 里面的数据块是顺序存储的,所以Major Compaction做的是一个有序链表的多路归并,这个过程中在磁盘上是顺序读写

Clickhouse 表引擎主要是MergeTree系列,还有Log系列等其他引擎

1、一个Table是由多个Partition组成,一个Partition是由多个Part组成,Part里按column【列式存储】

2、旧数据在一个Part,新数据会写另一个Part,然后通过MergeTree引擎将多个Part异步合并(按排序键归并排序)

因为是按排序键已经排好序了,所以索引结构不需要像其他引擎设计的那么复杂;

底层是稀疏索引(默认8192为一个步长),通过【稀疏索引+标记的偏移量】就能很快找到Block的位置

1、Clickhouse通过【批处理+预排序】将数据提前排好序

2、Clickhouse能处理的最小单位是block,block就是一群行的集合,默认最大8192行组成一个block

相关资料

HDFS设计原理

日志系统:一条SQL更新语句是如何执行的?

SSTable存储引擎

Clickhouse的优化手段之block+lsm

Clickhouse索引结构

Clickhouse存储引擎

Clickhouse官方文档:MergeTree系列

浅谈MySQL、Hadoop、BigTable、Clickhouse数据读写机制的更多相关文章

  1. 浅谈mysql innodb缓存策略

    浅谈mysql innodb缓存策略: The InnoDB Buffer Pool Innodb 持有一个存储区域叫做buffer pool是为了在内存中缓存数据和索引,知道innodb buffe ...

  2. 浅谈mysql主从复制的高可用解决方案

    1.熟悉几个组件(部分摘自网络)1.1.drbd     —— DRBD(Distributed Replicated Block Device),DRBD号称是 "网络 RAID" ...

  3. 浅谈mysql配置优化和sql语句优化【转】

    做优化,我在这里引用淘宝系统分析师蒋江伟的一句话:只有勇于承担,才能让人有勇气,有承担自己的错误的勇气.有承担错误的勇气,就有去做事得勇气.无论做什么事,只要是对的,就要去做,勇敢去做.出了错误,承担 ...

  4. 浅谈MySQL中优化sql语句查询常用的30种方法 - 转载

    浅谈MySQL中优化sql语句查询常用的30种方法 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中使 ...

  5. 浅谈Mysql共享锁、排他锁、悲观锁、乐观锁及其使用场景

    浅谈Mysql共享锁.排他锁.悲观锁.乐观锁及其使用场景   Mysql共享锁.排他锁.悲观锁.乐观锁及其使用场景 一.相关名词 |--表级锁(锁定整个表) |--页级锁(锁定一页) |--行级锁(锁 ...

  6. 辛星浅谈mysql中的数据碎片以及引擎为MyISAM下的操作

    对于mysql中的数据碎片,事实上和我们删除数据是息息相关的,删除数据的时候必定会在数据文件里造成不连续的空白空间,对于少量的数据的删除,并不会产生多少的空白空间.假设在一段时间内的大量的删除操作,会 ...

  7. (转)运维角度浅谈MySQL数据库优化

    转自:http://lizhenliang.blog.51cto.com/7876557/1657465 一个成熟的数据库架构并不是一开始设计就具备高可用.高伸缩等特性的,它是随着用户量的增加,基础架 ...

  8. 运维角度浅谈MySQL数据库优化(转)

    一个成熟的数据库架构并不是一开始设计就具备高可用.高伸缩等特性的,它是随着用户量的增加,基础架构才逐渐完善.这篇博文主要谈MySQL数据库发展周期中所面临的问题及优化方案,暂且抛开前端应用不说,大致分 ...

  9. 从运维角度浅谈 MySQL 数据库优化

    一个成熟的数据库架构并不是一开始设计就具备高可用.高伸缩等特性的,它是随着用户量的增加,基础架构才逐渐完善.这篇博文主要谈MySQL数据库发展周期中所面临的问题及优化方案,暂且抛开前端应用不说,大致分 ...

随机推荐

  1. el-form 每行显示两列,底部按钮居中

    需求: el-form 每行显示两列,底部按钮居中 问题: 以前的解决办法是: el-col, el-row.但是这里只有一个 el-form-item 的 label 数据是已知的,其余项都是循环得 ...

  2. Python花式读取大文件(10g/50g/1t)遇到的性能问题(面试向)

    原文转载自「刘悦的技术博客」https://v3u.cn/a_id_97 最近无论是面试还是笔试,有一个高频问题始终阴魂不散,那就是给一个大文件,至少超过10g,在内存有限的情况下(低于2g),该以什 ...

  3. selenium webDriver的运用

    声明实例运行浏览器 配置浏览器驱动后,可以通过简单的2行代码就可以驱动浏览器(配置这里不加赘述) from selenium import webdriver driver = webdriver.C ...

  4. 关于mybatis-plus出现Not Found TableInfoCache. 的解决方法

    查看自己的pom里面是不是导入了多个mybatis相关,若是的话就全部删去,然后添加如下代码段即可 <dependency> <groupId>com.baomidou< ...

  5. Flutter-填平菜鸟和高手之间的沟壑

    Flutter-填平菜鸟和高手之间的沟壑 准备写作中... 1.Flutter-skia-影像,Flutter skia-图形渲染层.应用渲染层2.方法通道使用示例,用于演示如何使用方法通道实现与原生 ...

  6. 微信小程序检查版本更新并重启

    目录 1,前言 2,解决方案 3,调试须知 1,前言 最近开发小程序时候碰上了一个问题,当发布新版本小程序后,需要用户能赶紧用上最新的,避免出问题.查了一下官方文档,总结出几个情况如下: 微信运行时, ...

  7. Express 设置请求跨域

    import cors from "cors"; import express from "express"; const app = express(); a ...

  8. [CF1523C] Compression and Expansion (DP/贪心)

    C. Compression and Expansion 题面 一个合法的表单由横向 N N N 行数字链,纵向一层或多层数字链组成,第 k k k 层的数字链(可以想象为前面打了 k k k 个制表 ...

  9. java代码审计的点

    java代码审计的点 组件的审计 首先看pom.xml查看第三方组件和第三方组件的版本 常用的第三方组件: 第三方组件 漏洞类型 组件漏洞版本 log4j2 远程代码执行 Apache log4j2 ...

  10. KingbaseES V8R3 由于修改系统时间导致sys_rman备份故障案例

    ​ 案例说明: 此案例,为复现"current time may be rewound"错误.对于数据库环境,在使用前必须保证系统时间的正确性.如果数据库创建后,再将系统时间修改为 ...