mysql内存数据淘汰机制和大查询会不会把内存打爆?
首先我们说一下大查询会不会把内存打爆?
比如说主机内存有5g,但是我们一个大查询的数据有10g,这样会不会把内存打爆呢?
答案:不会
为什么?
因为mysql读取数据是采取边读边发的策略
select * from t1
这条语句的流程是这样的
1.读取数据放入net_buffer中,net_buffer大小是由net_buffer_length控制
2.net_buffer放满了以后,调用网络栈发送数据到客户端
3.如果发送成功就清空net_buffer,继续读取数据放入net_buffer中
4.如果发送函数返回EAGAIN或者WSAEWOULDBLOCK就表示本地网络栈满了,这时候就进入等待,知道网络栈重新可写,再继续发送。
根据这个流程来看,读取数据的时候占用的内存最多也就是net_buffer的大小。
InnoDB内存(buffer pool)管理
我们都知道mysql查询数据是先看内存中有没有数据,如果没有就从磁盘中读出来,然后在读入内存
所以说bufferpool对查询有加速效果,加速效果依赖于一个指标也就是内存命中率,如果命中率能达到100%那是最好的
通过
show engine innodb status
可以查看命中率
innodb buffer pool的大小是由参数innodb_buffer_pool_size控制的,一般设置为可用物理内存的60%-80%
内存淘汰
既然内存是一块固定大小的,那么存放在内存里的数据就肯定有的会被淘汰
下面是一个lur算法的基本模型
innodb管理bufferpool的lru算法是基于链表实现的
state1:我们要查询p3的数据,由于p3是在内存中的,那么久直接把p3移动到链表头部,
也就是对应图中state2的状态
state3中由于我们查询的px数据不是在px中,那么就从磁盘中查询出px的数据放入链表头部,
但是由于内存满了,所以
就会把pm的数据从链表尾部淘汰掉,从现象上来看就是最久没有被访问都的数据会被淘汰
这种算法对于mysql来说有什么问题??
如果我们对一个冷数据表进行全表扫描,比如说日志表,这些不是正常用户访问的表,
那么在bufferpool中就会大量存在这些数据的表,那么就会导致用户正常访问存放的业务数据会被淘汰掉,
就会导致大量数据需要重新读磁盘放入内存,这样性能就会大大降低
mysql肯定不会允许这种情况发生的,所以它基于上面的lru算法做了改进
下图就是改进后的模型
innodb把整个内存的前八分之五记为young区域,后八分之三记为old区域,
我们看上图state1中由于我们访问的p3是在young区域,那么就把p3移动到链表头部
但是如果我们访问的数据如果是在old区域,比如说我们访问了px,这个时候会做个判断
如果px在内存中存活时间超过1秒,就会把它移动到young区域的链表头部,否则位置不动
这个1秒是由参数
innodb_old_blocks_time控制的,默认值是1000,单位毫秒
这样我们在看扫描全表的步骤
扫描过程中被访问的数据页会被放在old区域
一个数据页有多条记录会被访问,所以这数据页会被多次访问到,但是由于是顺序扫描,
这个数据页第一次被访问和最后一次被访问的时间间隔不会超过一秒,所以就会一直在old区域
在继续扫描后面的数据页,之前的这个数据页也不会被访问到,因此就会一直在old区域,也就很快就会被淘汰掉了
可以看到这个策略的最大收益,就是在扫描的过程中,虽然也用到了bufferpool,
但是不会对young区域造成影响,也就保证了bufferpool响应业务的内存命中率
了解更多:https://www.toutiao.com/c/user/83293539887/#mid=1633933053814798
mysql内存数据淘汰机制和大查询会不会把内存打爆?的更多相关文章
- redis 内存管理与数据淘汰机制(转载)
原文地址:http://www.jianshu.com/p/2f14bc570563?from=jiantop.com 最大内存设置 默认情况下,在32位OS中,Redis最大使用3GB的内存,在64 ...
- Redis 数据淘汰机制
为了更好的利用内存,使Redis存储的都是缓存的热点数据,Redis设计了相应的内存淘汰机制(也叫做缓存淘汰机制) 通过maxmemory 配置项来设置允许用户使用的最大内存大小,当内存数据集大小达到 ...
- redis数据淘汰机制
volatile-lru:从已设置过期时间的数据集(server.db[i].expires)中挑选最近最少使用 的数据淘汰 volatile-ttl:从已设置过期时间的数据集(server.db[i ...
- mysql更新数据,条件为实时查询出来的数据
--将更新条件保存到临时表里 CREATE TABLE tmp3 AS (SELECT username FROM oa_user WHERE username NOT IN (SELECT user ...
- springboot自己实现mysql主从数据切换机制
在很多公司都是实现了数据的读写分离,所谓的读写分离,就是写的时候从主库 ,然后从库就会从主库中复制过去,这样就会形成了数据的读写分离,然而在很多场景是适用的,那么我们怎么做呢,可以利用aop 加注解的 ...
- Redis系列--内存淘汰机制(含单机版内存优化建议)
https://blog.csdn.net/Jack__Frost/article/details/72478400?locationNum=13&fps=1 每台redis的服务器的内存都是 ...
- Redis内存淘汰机制
转自:https://my.oschina.net/andylucc/blog/741965 摘要 Redis是一款优秀的.开源的内存数据库,我在阅读Redis源码实现的过程中,时时刻刻能感受到Red ...
- redis 的过期策略都有哪些?内存淘汰机制都有哪些?
面试题 redis 的过期策略都有哪些?内存淘汰机制都有哪些?手写一下 LRU 代码实现? 面试官心理分析 如果你连这个问题都不知道,上来就懵了,回答不出来,那线上你写代码的时候,想当然的认为写进 r ...
- Redis 内存淘汰机制
Redis内存淘汰指的是用户存储的一些键被可以被Redis主动地从实例中删除,从而产生读miss的情况,那么Redis为什么要有这种功能?这就是我们需要探究的设计初衷.Redis最常见的两种应用场景为 ...
随机推荐
- 2019牛客暑期多校训练营(第三场) - D - Big Integer - 数论
https://ac.nowcoder.com/acm/contest/883/D \(A(n)\) 是由n个1组成的一个整数. 第一步:把 \(A(n)\) 表示为 \(\frac{10^n-1}{ ...
- maven 常用插件 拷贝依赖 拷贝jar包 查看属性 环境变量
1 maven编译后希望将生产的jar包拷贝到指定目录 在pom中配置maven插件 maven-antrun-plugin <build > <plugins> <pl ...
- stream benchmark 介绍
英文原版 https://www.cs.virginia.edu/stream/ref.html FAQ中有关于STREAM_ARRAY_SIZE NTIME OFFSET STREAM_TYPE的设 ...
- NOIP原题板刷
update 10.11 我可能已经刷完大部分了,可是这篇blog我也不想更了 这个人很懒,做了很多题但是不想写题解,也不想更blog,所以这篇blog又咕咕了. 把从 \(1997-2017\) 近 ...
- spring boot 集成 websocket 实现消息主动推送
spring boot 集成 websocket 实现消息主动 前言 http协议是无状态协议,每次请求都不知道前面发生了什么,而且只可以由浏览器端请求服务器端,而不能由服务器去主动通知浏览器端,是单 ...
- super语句不必须放在方法第一行。
class A(object): pass class B(A): def __init__(self): self.__a = "B#a" super(B, self).__in ...
- 前端面试题:不使用loop循环,创建一个长度为100的数组,并且每个元素的值等于它的下标,,怎么实现好?
昨天,看这道题,脑子锈住了,就是没有思路,没看明白是什么意思?⊙﹏⊙|∣今天早上起床,想到需要思考一下这个问题. 当然,我没想明白为什么要这样做?(创建一个长度为100的数组,并且每个元素的值等于它的 ...
- 快速开发框架下载地址(github)
eladmin:https://github.com/elunez/eladmin bootDo:https://www.oschina.net/p/bootdo
- 封装 pyinstaller -F -i b.ico excel.py
安装pywin32,可以参考<怎么给python安装pywin32模块?> 一定要注意对应的python版本,否则不能安装. 5怎么给python安装pywin32模块? 2 用命 ...
- 对eventloop的研究
javasctipt是一门单线程的非阻塞的脚本语言,单线程意味着,JavaScript 单线程意味着,javascript代码在执行的任何时候,都只有一个主线程来处理所有的任务. JavaScript ...