MySQL InnoDB内存压力判断以及存在的疑问
本文出处:http://www.cnblogs.com/wy123/p/7259866.html
(保留出处并非什么原创作品权利,本人拙作还远远达不到,仅仅是为了链接到原文,因为后续对可能存在的一些错误进行修正或补充,无他)
与其他数据一样,内存对数据库的性能有着至关重要的影响,MySQL InnoDB也一样通过内存来缓存数据,在访问数据的时候通过访问内存中缓存的数据来提高数据的访问效率。
MySQL中通过show variables like 'Innodb_buffer_pool%'命令或者直接访问performance_schema.global_status系统表,
可以得到数据库在运行过程中对内存或者磁盘的读取情况,根据这个数据,可以计算出来InnoDB在对数据读取过程中发生的内存或者物理磁盘读写情况,也即缓存命中率。
对于“缓存命中率”,在SQL Server中也有这一概念,而且含义几乎是一致的,
不过SQL Server中通过Buffer Cache hit ratio性能计数器或者 sys.dm_os_performance_counters计算出来的Buffer Cache hit ratio并不能直接反应内存压力情况,
原因归结为SQL Server在计算Buffer Cache hit ratio的时候,是包含了预读这部分数据的(把预读部分的page也算做缓存命中),
对于MySQL的InnoDB引擎,有同样类似的逻辑读,物理读与预读的概念,因此在计算MySQL缓存命中率的时候,需要靠预读这部分数据的信息。
对于SQL Server之前关注过这个知识点http://www.cnblogs.com/wy123/p/5272675.html

在判定内存压力的时候,关注performance_schema.global_status中与InnoDB读写相关的参数有如下几个,这里的次数也就是MySQL存储的默认page大小,
page大小同样可以通过performance_schema.global_status 来获取,单位是字节数,默认情况下页大小是16kb

Innodb_buffer_pool_read_requests:································从缓冲池中读取的页的次数
Innodb_buffer_pool_reads:············································从物理此案读取页的次数
Innodb_buffer_pool_reads_ahead:··································预读的次数
Innodb_buffer_pool_read_ahead_evicted:························预读的页,但是没有被预读就从缓冲池中被替换的页的数量,一般用来判断预读的效率
Innodb_data_read:·······················································读取的字节数
Innodb_data_reads:······················································读取的次数
这些参数是MySQL服务器启动以来累计增加的,如果重启MySQL服务,如果重启服务器(可能有参数配置),默认情况下这些参数将清零从新开始累计增加。
缓冲命中率理论上就是:缓冲读取次数/(缓冲读取次数+物理读取次数+预读次数)
也即:Innodb_buffer_pool_read_requests/(Innodb_buffer_pool_read_requests+Innodb_buffer_pool_reads+Innodb_buffer_pool_reads_ahead)
个人认为,这个值的实时计算结果参考意义并不大,如果直接根据查询出来的值进行计算,当前计算值反馈的是自服务启动以来的平均值。
在衡量实际压力的时候,因为数据的压力是阶段性的,需要在一定的时间段之内,按照某一个频率收集这一段时间之内,
每个时间段之内发生的逻辑读次数,物理读次数,预读次数,分别计算每个时间间隔之内的缓存命中率,才具备参考意义。
可能在业务繁忙期,内存压力较大,而在空闲期压力较小,计算出来的平均值意义并不大。
另外,缓存命中率只能从一个方面反映内存的压力情况,并没有一个绝对值去判断压力大还是不大。
究竟缓存命中率有多高,个人认为没有一个定数,非要是99%或者某个值?主要是看与基线相比其波动情况,另外取决于具体的具体的环境。
比如对于高速存储,根据其他数据库的长期观察,由于物理存储经过优化或者本身就比较强,即便是存在一定程度的物理读,物理IO延迟不是非常长的情况下,都是可以接受的。
同时,内存压力情况也不仅仅是说“内存不足够大”,尤其是MySQL,受多种配置的影响,包括各种内存分配的大小,都会存在影响缓存命中率的情况。
另外有两个实际问题,
1,MySQL在测试的时候,如何清空表(或者特定表)的缓存的数据?
2,在(重启MySQL服务)强制清空缓存之后,查询Innodb_buffer_pool_read_requests和Innodb_buffer_pool_reads,
然后查询某个物理表,再次查询Innodb_buffer_pool_read_requests和Innodb_buffer_pool_reads,发现Innodb_buffer_pool_read_requests的增幅大于Innodb_buffer_pool_reads
重启完之后,第一次查询一张物理表的前后,如下截图看到的是物理读增加了2,逻辑读增加了5(测试表上没有任何索引)

继续,再次对测试的物理表进行一次查询,发现物理读没有增加(可以理解为数据被缓存了),逻辑读增加了4(当前情况多次测试依旧是该规律),
也就是说2次物理读缓存的数据,逻辑读每次都增加4?不太理解,这个参数具体是怎么计算出来的(很明显这里不涉及预读)。

或者说:MySQL缓存命中率的计算,并非这个公式:Innodb_buffer_pool_read_requests/(Innodb_buffer_pool_read_requests+Innodb_buffer_pool_reads+Innodb_buffer_pool_reads_ahead)?
不由得想起了当时对于sqlserver缓存命中率的理解,当时所有的中文资料上都说是95%什么的,基本上没有正确解读这个参数的。
实际在观察服务器参数的时候,发现实际情况跟理论根本不搭嘎,后来英文资料才发现不是这么回事。
参考
MySQL技术内幕InnoDB存储引擎
https://dev.mysql.com/doc/refman/5.7/en/innodb-parameters.html#sysvar_innodb_buffer_pool_size
https://dev.mysql.com/doc/refman/5.7/en/innodb-buffer-pool-resize.html#innodb-buffer-pool-online-resize
MySQL InnoDB内存压力判断以及存在的疑问的更多相关文章
- Sql Server 内存相关计数器以及内存压力诊断
在数据库服务器中,内存是数据库对外提供服务最重要的资源之一, 不仅仅是Sql Server,包括其他数据库,比如Oracle,MySQL等,都是一类非常喜欢内存的应用. 在Sql Server服务器中 ...
- MySQL InnoDB技术内幕:内存管理、事务和锁
前面有多篇文章介绍过MySQL InnoDB的相关知识,今天我们要更深入一些,看看它们的内部原理和机制是如何实现的. 一.内存管理 我们知道,MySQl是一个存储系统,数据最后都写在磁盘上.我们以前也 ...
- mysql innodb 引擎
innodb 引擎 一.概述 InnoDB 是一个用的比较广泛的存储引擎,因为它支持事物和外键,还有不错的效率;我们先看看官方教程怎么说; 我们先读一下, 对于上面的文档, 对一个InnoDB的表首先 ...
- 从一个死锁看mysql innodb的锁机制
背景及现象 线上生产环境在某些时候经常性的出现数据库操作死锁,导致业务人员无法进行操作.经过DBA的分析,是某一张表的insert操 作和delete操作发生了死锁.简单介绍下数据库的情况(因为涉及到 ...
- MySQL InnoDB 修改表列Online DDL
概述 一般来说数据库结构一经设计,不能轻易更改,因为更改DDL(Data Definition Language)操作代价很高,所以在进行数据库结构设计时需要谨慎. 但是业务发展是未知的,特别是那些变 ...
- MySQL InnoDB 存储引擎探秘
在MySQL中InnoDB属于存储引擎层,并以插件的形式集成在数据库中.从MySQL5.5.8开始,InnoDB成为其默认的存储引擎.InnoDB存储引擎支持事务.其设计目标主要是面向OLTP的应用, ...
- MySQL InnoDB特性:两次写(Double Write)
http://www.ywnds.com/?p=8334 一.经典Partial page write问题? 介绍double write之前我们有必要了解partial page write(部分页 ...
- Mysql InnoDB三大特性-- double write
转自:http://www.ywnds.com/?p=8334 一.经典Partial page write问题? 介绍double write之前我们有必要了解partial page write( ...
- MySQL/InnoDB中,对于锁的认识
MySQL/InnoDB的加锁,一直是一个面试中常问的话题.例如,数据库如果有高并发请求,如何保证数据完整性?产生死锁问题如何排查并解决?我在工作过程中,也会经常用到,乐观锁,排它锁,等.于是今天就对 ...
随机推荐
- Javascript Canvas验证码
用Canvas画的验证码,效果图如下 1.验证码的JS代码,保存到一个名称是validatedCode.js的文件内,代码如下: (function(window,document){ functio ...
- C# 开发ModBus的服务器程序 实现ModBus数据总站 搭建自定义的Modbus服务器 同时支持tcp和rtu
前言 本文将使用一个NuGet公开的组件技术来实现一个ModBus TCP的服务器端数据引擎,方便的实现接收来自各种设备的数据.并且该服务器模拟真实的设备,包含了数据池功能,可以接受来自任何支持Mod ...
- 解决eclipse高版本JDK编译的项目到低版本JDK服务器上不能运行的问题
错误提示信息:Unsupported major.minor version 52.0,意思是说,当前jdk的版本不支持更高版本jdk编译出来的class文件. 我的编译环境,eclipse使用的是j ...
- Xamarin SearchView 用法摘记
与Windows开发不同,这个控件的事件比较难找,费了半天劲才知道应该用哪个事件.核心代码如下: public class MainActivity : Activity { protected ov ...
- bootstrap 模态框事件
事件 描述 实例 show.bs.modal 在调用 show 方法后触发. $('#identifier').on('show.bs.modal', function () { // 执行一些动作. ...
- PPTV(pplive)_forap_1084_9993.exe 木马清除经历
## 流氓行经 这几天电脑上突然自动安装pptv,金山毒霸清除了也不管用, 卸载了pptv过一会又自动安装上了,太嚣张了哈. ## 监控进程跟目录变化 接下来使用 ProcessMonitor 监控进 ...
- Hanlp汉字转拼音使用python调用详解
1.hanlp简介 HanLP是一系列模型与算法组成的NLP工具包,由大快搜索主导并完全开源,目标是普及自然语言处理在生产环境中的应用.HanLP具备功能完善.性能高效.架构清晰.语料时新.可自定义的 ...
- shell 生成MAC地址
# cat /dev/urandom |od -x |awk '{print $2,$3,$4}' |head -n 1 |sed -e 's/[[:space:]]//g' -e 's/\(..\) ...
- Spring Cloud(Dalston.SR5)--Zuul 网关-过滤器
Spring Cloud 为 HTTP 请求的各个阶段提供了多个过滤器,这些过滤器的执行顺序由各自提供的一个 int 值决定,提供的值越小则优先级越高,默认的过滤器及优先级如下: 自定义过滤器 在默认 ...
- Python 算术运算符
Python 算术运算符 运算结果为浮点数 除法:/ 整除: // 求余计算: % 求余运算可以用于固定时间的检测,比如说每10分钟进行一次什么样的操作,则:minute % 10 乘方运算: