【转】mysql对large page的支持
昨天同事问我关于大页内存的事,我也只是有个模糊的概念,从别的博客转过来的,先记录下
在 Linux 操作系统上运行内存需求量较大的应用程序时,由于其采用的默认页面大小为 4KB,因而将会产生较多 TLB Miss 和缺页中断,从而大大影响应用程序的性能。当操作系统以 2MB 甚至更大作为分页的单位时,将会大大减少 TLB Miss 和缺页中断的数量,显著提高应用程序的性能。这也正是 Linux 内核引入大页面支持的直接原因。好处是很明显的,假设应用程序需要 2MB 的内存,如果操作系统以 4KB 作为分页的单位,则需要 512 个页面,进而在 TLB 中需要 512 个表项,同时也需要 512 个页表项,操作系统需要经历至少 512 次 TLB Miss 和 512 次缺页中断才能将 2MB 应用程序空间全部映射到物理内存;然而,当操作系统采用 2MB 作为分页的基本单位时,只需要一次 TLB Miss 和一次缺页中断,就可以为 2MB 的应用程序空间建立虚实映射,并在运行过程中无需再经历 TLB Miss 和缺页中断(假设未发生 TLB 项替换和 Swap)。
为了能以最小的代价实现大页面支持,Linux 操作系统采用了基于 hugetlbfs 特殊文件系统 2M 字节大页面支持。这种采用特殊文件系统形式支持大页面的方式,使得应用程序可以根据需要灵活地选择虚存页面大小,而不会被强制使用 2MB 大页面。
在mysql中,innodb可以使用large pages来分配buffer pool跟additional memory pool.
下面来看下mysql使用large pages具体的实现方法
1:查看系统是否支持huge-pages
[root@localhost ~]# cat /proc/meminfo | grep -i huge
AnonHugePages: 47708160 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
[root@localhost ~]#
Hugepagesize有值,说明系统支持large pages(如不支持,系统需要重新编译来支持)
2.修改预分配的hugepages大小
[root@localhost ~]# sysctl -w vm.nr_hugepages=512
vm.nr_hugepages = 512
[root@localhost ~]#
[root@localhost ~]# cat /proc/meminfo | grep -i huge
AnonHugePages: 79872 kB
HugePages_Total: 512
HugePages_Free: 505
HugePages_Rsvd: 229
HugePages_Surp: 0
Hugepagesize: 2048 kB
[root@localhost ~]#
3.查看mysql用户的组信息
[root@localhost ~]# id mysql
uid=500(mysql) gid=501(mysql) groups=501(mysql)
[root@localhost ~]#
4.配置使用大页内存的用户组
[root@localhost ~]# sysctl -w vm.hugetlb_shm_group=501
vm.hugetlb_shm_group = 501
[root@localhost ~]#
5.修改ulimit
vim /etc/security/limits.conf
@mysql soft memlock unlimited
@mysql hard memlock unlimited
6.修改/etc/sysconfig.conf
# Increase the amount of shmem allowed per segment
# This depends upon your memory, remember your
kernel.shmmax = 68719476736
# Increase total amount of shared memory.
kernel.shmall = 4294967296
shmmax 是最大的共享内存段的大小,单位是字节,默认32M,肯定是不够的,这个应该比innodb_buffer_pool要大。shmall是共享内存的总大小,单位是页,默认2097152(8G)。可以使用sysctl -w或者在/etc/sysctl.conf中设置。
sysctl -p使其设置生效。
7.修改my.cnf
[mysqld]
large-pages
8.重启mysql
[root@localhost mysql]# /etc/init.d/mysqld restart
Shutting down MySQL. [ OK ]
Starting MySQL.... [ OK ]
[root@localhost mysql]# cat localhost.localdomain.err
140320 15:18:12 [Note] /usr/local/mysql/bin/mysqld: Normal shutdown 140320 15:18:12 [Note] Event Scheduler: Purging the queue. 0 events
140320 15:18:12 InnoDB: Starting shutdown...
140320 15:18:12 InnoDB: Shutdown completed; log sequence number 3629001490
140320 15:18:12 [Note] /usr/local/mysql/bin/mysqld: Shutdown complete 140320 15:18:12 mysqld_safe mysqld from pid file /data/mysql/localhost.localdomain.pid ended
140320 15:18:13 mysqld_safe Starting mysqld daemon with databases from /data/mysql
140320 15:18:13 InnoDB: The InnoDB memory heap is disabled
140320 15:18:13 InnoDB: Mutexes and rw_locks use GCC atomic builtins
140320 15:18:13 InnoDB: Compressed tables use zlib 1.2.3
140320 15:18:13 InnoDB: Initializing buffer pool, size = 256.0M
140320 15:18:13 InnoDB: Completed initialization of buffer pool
140320 15:18:13 InnoDB: highest supported file format is Barracuda.
140320 15:18:15 InnoDB: Waiting for the background threads to start
140320 15:18:16 InnoDB: 1.1.8 started; log sequence number 3629001490
140320 15:18:16 [Note] Server hostname (bind-address): '0.0.0.0'; port: 3306
140320 15:18:16 [Note] - '0.0.0.0' resolves to '0.0.0.0';
140320 15:18:16 [Note] Server socket created on IP: '0.0.0.0'.
140320 15:18:16 [Note] Event Scheduler: Loaded 0 events
140320 15:18:16 [Note] /usr/local/mysql/bin/mysqld: ready for connections.
Version: '5.5.25a-log' socket: '/tmp/mysqld.sock' port: 3306 Source distribution
可以看见没有报错,假如我们调小nr_hugepages为200看看
[root@localhost mysql]# sysctl -w vm.nr_hugepages=200
vm.nr_hugepages = 200
[root@localhost mysql]# /etc/init.d/mysqld restart
Shutting down MySQL. [ OK ]
Starting MySQL... [ OK ]
[root@localhost mysql]# cat localhost.localdomain.err
140320 15:20:08 [Note] /usr/local/mysql/bin/mysqld: Normal shutdown 140320 15:20:08 [Note] Event Scheduler: Purging the queue. 0 events
140320 15:20:08 InnoDB: Starting shutdown...
140320 15:20:08 InnoDB: Shutdown completed; log sequence number 3629001490
140320 15:20:08 [Note] /usr/local/mysql/bin/mysqld: Shutdown complete 140320 15:20:08 mysqld_safe mysqld from pid file /data/mysql/localhost.localdomain.pid ended
140320 15:20:09 mysqld_safe Starting mysqld daemon with databases from /data/mysql
140320 15:20:09 InnoDB: The InnoDB memory heap is disabled
140320 15:20:09 InnoDB: Mutexes and rw_locks use GCC atomic builtins
140320 15:20:09 InnoDB: Compressed tables use zlib 1.2.3
140320 15:20:09 InnoDB: Initializing buffer pool, size = 256.0M
InnoDB: HugeTLB: Warning: Failed to allocate 274726912 bytes. errno 12
InnoDB HugeTLB: Warning: Using conventional memory pool
140320 15:20:09 InnoDB: Completed initialization of buffer pool
140320 15:20:09 InnoDB: highest supported file format is Barracuda.
140320 15:20:11 InnoDB: Waiting for the background threads to start
140320 15:20:12 InnoDB: 1.1.8 started; log sequence number 3629001490
140320 15:20:12 [Note] Server hostname (bind-address): '0.0.0.0'; port: 3306
140320 15:20:12 [Note] - '0.0.0.0' resolves to '0.0.0.0';
140320 15:20:12 [Note] Server socket created on IP: '0.0.0.0'.
140320 15:20:12 [Note] Event Scheduler: Loaded 0 events
140320 15:20:12 [Note] /usr/local/mysql/bin/mysqld: ready for connections.
Version: '5.5.25a-log' socket: '/tmp/mysqld.sock' port: 3306 Source distribution
[root@localhost mysql]#
上面出现了如下警告:
InnoDB: HugeTLB: Warning: Failed to allocate 274726912 bytes. errno 12
InnoDB HugeTLB: Warning: Using conventional memory pool
因为hugepage分配内存的时候,是一次性、且独占的, 一次性指在mysqld起来的时候,所有buffer pool需要的内存总和一次性的被分配,而且这些分配的内存不能被其他进程占用。所以就是一次性且独占。而当buffer pool所需要的内存被一次性的分配了之后,那么必然就不会使用swap了。
using conventional memory pool是什么意思呢?因为你的hugepage内存不够你的buffer pool大小,所以就用常规内存了。
开启大页内存的好处:
1.减少内存置换
2.减少TLB miss次数
3.减少swap
在启动mysql的时候,最容易报的错误是:
InnoDB: HugeTLB: Warning: Failed to allocate 274726912 bytes. errno 12
InnoDB HugeTLB: Warning: Using conventional memory pool
这是由于上面配置的两点所致。
1)nr_hugepages 的值*2M应大于(innodb_buffer_pool_size+innodb_additional_mem_pool_size)因为以上谈到 innodb可以使用large pages来分配buffer pool跟additional memory pool.
2)memlock 的设置,在启动mysql时,一定要先查看用ulimit -a 来查看max locked memory 设置是否合理,可以尝试用以上两种方法来设置该值。还有一点,/etc/security/limits.conf配置文件的修改.
作者:Atlas
出处:Atlas的博客 http://www.cnblogs.com/gomysql
【转】mysql对large page的支持的更多相关文章
- Linux就这个范儿 第15章 七种武器 linux 同步IO: sync、fsync与fdatasync Linux中的内存大页面huge page/large page David Cutler Linux读写内存数据的三种方式
Linux就这个范儿 第15章 七种武器 linux 同步IO: sync.fsync与fdatasync Linux中的内存大页面huge page/large page David Cut ...
- Ubuntu 15.04下MySQL 5.6.25不支持中文解决办法
Ubuntu 15.04下MySQL 5.6.25不支持中文解决办法,apt-get install 安装的,不是源码包安装的mysql. 1 修改mysql的配置文件 /etc/mysql/conf ...
- mysql对GIS空间数据的支持,包括创建空间索引
CREATE TABLE tb_geo( id INT PRIMARY KEY AUTO_INCREMENT, NAME ) NOT NULL, pnt POINT NOT NULL, SPATIAL ...
- MySQL 5.6 以上版本支持三种sql_mode模式:ANSI、TRADITIONAL和STRICT_TRANS_TABLES。
Field 'id' doesn't have a default value问题解决方法 运维的名义关注0人评论3323人阅读2018-01-23 17:37:42 MySQL 5.0 以上版本 ...
- mysql的5.6版本支持分区吗?
转载请注明出处:http://blog.csdn.net/dongdong9223/article/details/72291698 本文出自[我是干勾鱼的博客] 我们知道,查看mysql是否支持分区 ...
- 分布式事务(三)mysql对XA协议的支持
系列目录 分布式事务(一)原理概览 分布式事务(二)JTA规范 分布式事务(三)mysql对XA协议的支持 分布式事务(四)简单样例 分布式事务(五)源码详解 分布式事务(六)总结提高 引子 从Mys ...
- 关于PDF.NET开发框架对Mysql Sqlite PostgreSQL数据库分页支持的个人看法
关于PDF.NET开发框架的名字由来 在设计www.pwmis.com站点的时候,考虑到架构的兼容性和将来升级的可能性,最重要的是没有足够的时间去为网站添加和维护很多复杂的程序,所以在借鉴前人成功经 ...
- 【MySQL】容器集群支持数据库实践
京东容器数据库系统,管理1800台物理计算节点,生产1W+ 多MySQL Docker容器实例.架构简单可靠,Docker容器计算平台与MySQL集群管理平台解耦处理.为描述方便,京东容器化数据库系统 ...
- mysql 修改表结构以支持事务操作
修改表的类型为 INNODB 的 SQL: alter table category_ ENGINE = innodb; 查看表的类型的 SQL show table status from ...
随机推荐
- IBM 3090 with Vector Facility
COMPUTER OR GANIZATION AND ARCHITECTURE DESIGNING FOR PERFORMANCE NINTH EDITION
- Ionic + AngularJS
Ionic Framework Ionic framework is the youngest in our top 5 stack, as the alpha was released in lat ...
- Log4J的入门简介学习【转】
原文:http://blog.csdn.net/lengyuhong/article/details/5832799 简介: Log4j是Apache的一个开放源代码项目,通过使用Log4j,我们可以 ...
- List与Json的相互转换
List 与 Json 的相互转换,需要使用到6个jar包,如果不引用这些jar包,需要写的代码量比较多,这里暂时记录的是使用jar包来进行转换的情况. 下面图片是测试demo的结构,仅供参考,需要注 ...
- Win10 锁屏图片 路径
Win10锁屏图片非常漂亮,下面是获得这些图片的方法: 一. 找到这个路径 C:\Users\UserName\AppData\Local\Packages\Microsoft.Windows.Con ...
- iOS duplicate symbol 变量 in 类名 报错
该错误信息是我在一个.h文件里申明了公共变量,然后在其他类里重复使用. Build Settings ->No Common Blocks默认为YES,编译器就报错了,需要修改Build Set ...
- Windows Server 2008 R2组策略创建用户桌面快捷方式
问题: 如何让所有域用户桌面有一个公司共享的快捷方式,让所有域用户直接双击就能打开公司共享. 解决办法: 1.创建一个zhuyu组织单元 ----- 在zhuyu组织单元创建一个域用户user1. 2 ...
- SVN File Name Case Sensitivity--SVN大小写问题
from:http://www.visualsvn.com/support/topic/00019/ Windows has a case-insensitive file system. Unix ...
- Css深入理解之浮动_慕课网课程笔记
前言 这篇是在慕课网上跟着张鑫旭重走CSS之路的第三篇学习笔记了,主要是学习float属性,闲话少说,下面进入正文. float的历史 要想了解一个东西,我们还是需要从本质去了解它,那么我们就需要问一 ...
- JQ 数字验证
$.fn.extend({ checknum: function (min, max, accurate) { if ($(this).val() != "") { $(this) ...