在 Linux 操作系统上运行内存需求量较大的应用程序时,由于其采用的默认页面大小为 4KB,因而将会产生较多 TLB Miss 和缺页中断,从而大大影响应用程序的性能。当操作系统以 2MB 甚至更大作为分页的单位时,将会大大减少 TLB Miss 和缺页中断的数量,显著提高应用程序的性能。这也正是 Linux 内核引入大页面支持的直接原因。好处是很明显的,假设应用程序需要 2MB 的内存,如果操作系统以 4KB 作为分页的单位,则需要 512 个页面,进而在 TLB 中需要 512 个表项,同时也需要 512 个页表项,操作系统需要经历至少 512 次 TLB Miss 和 512 次缺页中断才能将 2MB 应用程序空间全部映射到物理内存;然而,当操作系统采用 2MB 作为分页的基本单位时,只需要一次 TLB Miss 和一次缺页中断,就可以为 2MB 的应用程序空间建立虚实映射,并在运行过程中无需再经历 TLB Miss 和缺页中断(假设未发生 TLB 项替换和 Swap)。

为了能以最小的代价实现大页面支持,Linux 操作系统采用了基于 hugetlbfs 特殊文件系统 2M 字节大页面支持。这种采用特殊文件系统形式支持大页面的方式,使得应用程序可以根据需要灵活地选择虚存页面大小,而不会被强制使用 2MB 大页面。

在mysql中,innodb可以使用large pages来分配buffer pool跟additional memory pool.
下面来看下mysql使用large pages具体的实现方法

1:查看系统是否支持huge-pages

[root@localhost ~]# cat /proc/meminfo | grep -i huge
AnonHugePages: kB
HugePages_Total:
HugePages_Free:
HugePages_Rsvd:
HugePages_Surp:
Hugepagesize: kB
[root@localhost ~]#

Hugepagesize有值,说明系统支持large pages(如不支持,系统需要重新编译来支持)

2.修改预分配的hugepages大小

[root@localhost ~]# sysctl -w vm.nr_hugepages=
vm.nr_hugepages =
[root@localhost ~]#
[root@localhost ~]# cat /proc/meminfo | grep -i huge
AnonHugePages: kB
HugePages_Total:
HugePages_Free:
HugePages_Rsvd:
HugePages_Surp:
Hugepagesize: kB
[root@localhost ~]#

3.查看mysql用户的组信息

[root@localhost ~]# id mysql
uid=(mysql) gid=(mysql) groups=(mysql)
[root@localhost ~]#

4.配置使用大页内存的用户组

[root@localhost ~]# sysctl -w  vm.hugetlb_shm_group=
vm.hugetlb_shm_group =
[root@localhost ~]#

5.修改ulimit

vim /etc/security/limits.conf
@mysql soft memlock unlimited
@mysql hard memlock unlimited

6.修改/etc/sysconfig.conf

# Increase the amount of shmem allowed per segment
# This depends upon your memory, remember your
kernel.shmmax =
# Increase total amount of shared memory.
kernel.shmall =

shmmax 是最大的共享内存段的大小,单位是字节,默认32M,肯定是不够的,这个应该比innodb_buffer_pool要大。shmall是共享内存的总大小,单位是页,默认2097152(8G)。可以使用sysctl -w或者在/etc/sysctl.conf中设置。

sysctl -p使其设置生效。

7.修改my.cnf

[mysqld]
large-pages

8.重启mysql

[root@localhost mysql]# /etc/init.d/mysqld restart
Shutting down MySQL. [ OK ]
Starting MySQL.... [ OK ]
[root@localhost mysql]# cat localhost.localdomain.err
:: [Note] /usr/local/mysql/bin/mysqld: Normal shutdown :: [Note] Event Scheduler: Purging the queue. events
:: InnoDB: Starting shutdown...
:: InnoDB: Shutdown completed; log sequence number
:: [Note] /usr/local/mysql/bin/mysqld: Shutdown complete :: mysqld_safe mysqld from pid file /data/mysql/localhost.localdomain.pid ended
:: mysqld_safe Starting mysqld daemon with databases from /data/mysql
:: InnoDB: The InnoDB memory heap is disabled
:: InnoDB: Mutexes and rw_locks use GCC atomic builtins
:: InnoDB: Compressed tables use zlib 1.2.
:: InnoDB: Initializing buffer pool, size = 256.0M
:: InnoDB: Completed initialization of buffer pool
:: InnoDB: highest supported file format is Barracuda.
:: InnoDB: Waiting for the background threads to start
:: InnoDB: 1.1. started; log sequence number
:: [Note] Server hostname (bind-address): '0.0.0.0'; port:
:: [Note] - '0.0.0.0' resolves to '0.0.0.0';
:: [Note] Server socket created on IP: '0.0.0.0'.
:: [Note] Event Scheduler: Loaded events
:: [Note] /usr/local/mysql/bin/mysqld: ready for connections.
Version: '5.5.25a-log' socket: '/tmp/mysqld.sock' port: Source distribution

可以看见没有报错,假如我们调小nr_hugepages为200看看

[root@localhost mysql]# sysctl -w vm.nr_hugepages=
vm.nr_hugepages =
[root@localhost mysql]# /etc/init.d/mysqld restart
Shutting down MySQL. [ OK ]
Starting MySQL... [ OK ]
[root@localhost mysql]# cat localhost.localdomain.err
:: [Note] /usr/local/mysql/bin/mysqld: Normal shutdown :: [Note] Event Scheduler: Purging the queue. events
:: InnoDB: Starting shutdown...
:: InnoDB: Shutdown completed; log sequence number
:: [Note] /usr/local/mysql/bin/mysqld: Shutdown complete :: mysqld_safe mysqld from pid file /data/mysql/localhost.localdomain.pid ended
:: mysqld_safe Starting mysqld daemon with databases from /data/mysql
:: InnoDB: The InnoDB memory heap is disabled
:: InnoDB: Mutexes and rw_locks use GCC atomic builtins
:: InnoDB: Compressed tables use zlib 1.2.
:: InnoDB: Initializing buffer pool, size = 256.0M
InnoDB: HugeTLB: Warning: Failed to allocate bytes. errno
InnoDB HugeTLB: Warning: Using conventional memory pool
:: InnoDB: Completed initialization of buffer pool
:: InnoDB: highest supported file format is Barracuda.
:: InnoDB: Waiting for the background threads to start
:: InnoDB: 1.1. started; log sequence number
:: [Note] Server hostname (bind-address): '0.0.0.0'; port:
:: [Note] - '0.0.0.0' resolves to '0.0.0.0';
:: [Note] Server socket created on IP: '0.0.0.0'.
:: [Note] Event Scheduler: Loaded events
:: [Note] /usr/local/mysql/bin/mysqld: ready for connections.
Version: '5.5.25a-log' socket: '/tmp/mysqld.sock' port: Source distribution
[root@localhost mysql]#

上面出现了如下警告:

InnoDB: HugeTLB: Warning: Failed to allocate  bytes. errno
InnoDB HugeTLB: Warning: Using conventional memory pool

因为hugepage分配内存的时候,是一次性、且独占的, 一次性指在mysqld起来的时候,所有buffer pool需要的内存总和一次性的被分配,而且这些分配的内存不能被其他进程占用。所以就是一次性且独占。而当buffer pool所需要的内存被一次性的分配了之后,那么必然就不会使用swap了。
using conventional memory pool是什么意思呢?因为你的hugepage内存不够你的buffer pool大小,所以就用常规内存了。

开启大页内存的好处:

1.减少内存置换

2.减少TLB miss次数

3.减少swap

在启动mysql的时候,最容易报的错误是:

InnoDB: HugeTLB: Warning: Failed to allocate 274726912 bytes. errno 12
InnoDB HugeTLB: Warning: Using conventional memory pool

这是由于上面配置的两点所致。
1)nr_hugepages 的值*2M应大于(innodb_buffer_pool_size+innodb_additional_mem_pool_size)因为以上谈到 innodb可以使用large pages来分配buffer pool跟additional memory pool.
2)memlock 的设置,在启动mysql时,一定要先查看用ulimit -a 来查看max locked memory 设置是否合理,可以尝试用以上两种方法来设置该值。还有一点,/etc/security/limits.conf配置文件的修改.

 
参考资料:
http://www.cyberciti.biz/tips/linux-hugetlbfs-and-mysql-performance.html
https://dev.mysql.com/doc/refman/5.0/en/large-page-support.html

InnoDB启用大内存页的更多相关文章

  1. 转://Linux大内存页Oracle数据库优化

    PC Server发展到今天,在性能方面有着长足的进步.64位的CPU在数年前都已经进入到寻常的家用PC之中,更别说是更高端的PC Server:在Intel和AMD两大处理器巨头的努力下,x86 C ...

  2. 【云和恩墨】性能优化:Linux环境下合理配置大内存页(HugePage)

    原创 2016-09-12 熊军 [云和恩墨]性能优化:Linux环境下合理配置大内存页(HugePage)   熊军(老熊) 云和恩墨西区总经理 Oracle ACED,ACOUG核心会员 PC S ...

  3. 如何启用“锁定内存页”选项 (Windows)

    默认情况下,禁用 Windows 策略"锁定内存页"选项.必须启用此权限才能配置地址窗口化扩展插件 (AWE).此策略将确定哪些帐户可以使用进程将数据保留在物理内存中,从而阻止系统 ...

  4. JVM优化之调整大内存分页(LargePage)

    转自:http://cjjwzs.iteye.com/blog/1059381 本文将从内存分页的原理,如何调整分页大小两节内容,向你阐述LargePage对JVM的性能有何提升作用,并在文末点明了大 ...

  5. Java的大内存分页支持

    原文:http://kilik.iteye.com/blog/677253 最近在研究java的性能调优,顺手写了一个小程序来测试性能问题.这个程序用来进行矩阵乘法运算,如下: for (int i ...

  6. (转)mongoDB 禁用大内存页面 transparent_hugepage=never

    最近在学mongoDB,安装倒没什么困难,有yum仓库.不过接入ctl后的一条warning倒挺让人烦心的. 1 2 2015-03-22T09:27:00.222+0800 I CONTROL  [ ...

  7. 一个Java对象到底占用多大内存?

    最近在读<深入理解Java虚拟机>,对Java对象的内存布局有了进一步的认识,于是脑子里自然而然就有一个很普通的问题,就是一个Java对象到底占用多大内存? 在网上搜到了一篇博客讲的非常好 ...

  8. 一个Java对象到底占用多大内存

    在网上搜到了一篇博客讲的非常好,里面提供的这个类也非常实用: import java.lang.instrument.Instrumentation; import java.lang.reflect ...

  9. mysql大内存高性能优化方案

    mysql优化是一个相对来说比较重要的事情了,特别像对mysql读写比较多的网站就显得非常重要了,下面我们来介绍mysql大内存高性能优化方案 8G内存下MySQL的优化 按照下面的设置试试看:key ...

随机推荐

  1. 集群介绍 keepalived介绍 用keepalived配置高可用集群

    集群介绍 • 根据功能划分为两大类:高可用和负载均衡 • 高可用集群通常为两台服务器,一台工作,另外一台作为冗余,当提供服务的机器宕机,冗余将接替继续提供服务 • 实现高可用的开源软件有:heartb ...

  2. Pika的设计及实现

    Pika pika是360奇虎公司开源的一款类redis存储系统,主要解决的是用户使用 Redis 的内存大小超过 50G.80G 等等这样的情况,会遇到启动恢复时间长,一主多从代价大,硬件成本贵,缓 ...

  3. IOC容器特性注入第二篇:初始引擎查找对应的IOC容器

    上篇文章介绍了如何利用反射类查找网站bin文件夹下面所有DLL的程序集类,这篇文章将介绍如何初始化一个IOC容器引擎. 目前IOC容器有很多,如Ninject,Autofac等,每个容器的驱动都不一样 ...

  4. [SLAM] ***AR Tracking based on which tools?

    SLAM虽然小复杂,但对于开发者而言,ar sdk通常会解决这个问题. 所以相对于识别,跟踪是个看上去高大上但实则不需要关注细节的部分. 识别,要技术深耕:跟踪,需行业深耕. 在此了解下常见的ar s ...

  5. [OpenCV] Samples 18: Load image and check its attributes

    本篇内容: * 图片读取 * 图片高宽 * 图片ROI * 图片缩放 Ref: http://blog.csdn.net/u012005313/article/details/51943442 官网2 ...

  6. redis如何后台启动

    当安装好redis之后,运行redis-server命令之后,显示如图所示: 但是这样没有办法在这个tab下做任何操作了,因为这个时候使用Ctrl+c之后,就变成了这个样子 然后就关闭了,那么我想让r ...

  7. css3整理--background-origin

    background-origin语法: background-origin: padding-box || border-box || content-box 参数取值: padding-box(p ...

  8. 网络通信协议之ICMP

    ICMP(互联网控制消息协议) ICMP >>Internet Control Message Protocol IP协议的缺点: >>无差错报告和差错纠正机制 >> ...

  9. 常用Common集合

    Log using System; using System.IO; using System.Linq; using System.Text; namespace Common { public c ...

  10. window10装机 nvem简介,针对于 联想R720系列

    1.nvem格式的硬盘比较新,传统的老毛桃,大白菜,并不能有效使用. 2.对于镜像类 goust类,仍然具备 硬盘兼容性差(对于gpt,MAR,uefi并不够智能)成功率极低,容易丢失一些关键文件,造 ...