mysql oom之后,重启时发生130517 16:00:10 InnoDB: Error: page 447 log sequence number 292344272InnoDB: is in the future! Current system log sequence number 1595916.InnoDB: Your database may be corrupt or you may have copied the InnoDBInnoDB: tablespace but no…

问题 前几天遇到一个奇怪的问题,服务器内存明明够用,结果在对 MySQL 进行测压的时候却出现了 OOM,是 Linux 内核出错了吗? 具体现象如下:使用 sysbench 对 mysql 进行压测,并发 50.80 均正常输出,当并发达到 100 时开始报 OOM. [root@BJDB-01 ~]# sysbench /usr/share/sysbench/oltp_read_write.lua --mysql-host=BJDB-02 --mysql-port=3306 --mysql-…

转载自:http://www.sohu.com/a/231766385_487483 MySQL 5.7是十年内最为经典的版本,这个观点区区已经表示过很多次.然而,经典也是由不断地迭代所打造的传奇.5.7给我印象最深的莫过于各种OOM,比如线程池.XA事务.information_schema等OOM的各种场景,之前在网易时就遇到了不少. 遇到OOM问题是非常令人头疼的,因为这类问题可能是最难排查的故障,复现需要很长的时间.好在5.7的performance_schema能够各种维度监控MySQ…

一个月之前,Scott和同事们发现公司有一个MySQL MHA集群的master(假设master机器名为hostA)每隔一周左右就会挂一次(指MySQL挂掉),在几周内,MHA来回切了好几次. 按照国际惯例,Scott按照如下顺序去查问题到底出在哪里:(1)先翻MySQL error log,没有发现异常(2)再翻Linux系统日志文件,果然,翻到了下面的内容: Nov 26 13:05:38 hostA kernel: mysql invoked oom-killer: gfp_mask=0…

数据库的配置是基础.SQL优化最重要(贯穿始终,每日必做),由图可知,越往上优化的面越小,最基本的SQL优化是最重要的,往上各个参数也没太多调的,也不可能说调一个innodb参数性能就会好多少,而动不动就加配置那更是不对的 Ⅰ.数据库配置 1.1 关于内存的 innodb_buffer_pool_size = 总内存的60%~80%甚至更高 innodb_buffer_pool_instances = cpu数量或者一半 innodb_page_size = 不要设置太小,现在的业务保持默认8k…

最近经常有收到MySQL实例类似内存不足的报警信息,登陆到服务器上一看发现MySQL 吃掉了99%的内存,God ! 有时候没有及时处理,内核就会自己帮我们重启下MySQL,然后我们就可以看到 dmesg 信息有如下记录: Mar 9 11:29:16 xxxxxx kernel: mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_adj=0, oom_score_adj=0Mar 9 11:29:16 xxxxxx kernel…

本文来自:杨德华的原创分享 | MySQL 5.6 OOM 问题解决分享 延伸阅读:Linux的内存回收和交换 当遇到应用程序OOM的时候,大多数时候只能用头疼来形容,应用程序还可以通过引流来临时重启解决. 但当遇到MySQL数据库出现SWAP甚至是OOM的时候,只能用非常来头疼来形容了,如果发生SWAP的MySQL服务器是主库,那就比较痛苦了. 前段时间整理了一篇PDF版本的,今天在部门内用PPT进行了一次分享. 分享完后,感觉PPT的形式更容易让大家更好的理解,现在分享给大家…

[问题] 有一台MySQL5.6.21的服务器发生OOM,分析下来与多种因素有关 [分析过程] 1.服务器物理内存相对热点数据文件偏小,62G物理内存+8G的SWAP,数据文件大小约550G 触发OOM是binlog备份的cp进程 2.mysqld实际使用物理内存远大于innodb_buffer_pool_size设置,与我们之前分析的内存分配管理模块有关,建议更换为jemalloc 可以参考我之前的文章,MySQL5.7.18(ptmalloc VS tcmalloc VS jemalloc)…

本文来自:杨德华的原创分享 | MySQL 5.6 OOM 问题解决分享 原文:http://www.cnblogs.com/zhoujinyi/p/5763112.html 延伸阅读:Linux的内存回收和交换 当遇到应用程序OOM的时候,大多数时候只能用头疼来形容,应用程序还可以通过引流来临时重启解决. 但当遇到MySQL数据库出现SWAP甚至是OOM的时候,只能用非常来头疼来形容了,如果发生SWAP的MySQL服务器是主库,那就比较痛苦了. 前段时间整理了一篇PDF版本的,今天在部门内用P…

一.前言 java 中MySQL JDBC 封装了流式查询操作,通过设置几个参数,就可以避免一次返回数据过大导致 OOM. 二.如何使用 2.1 之前查询 public void selectData(String sqlCmd) throws SQLException { validate(sqlCmd); Connection conn = null; PreparedStatement stmt = null; ResultSet rs = null; try { conn = petad…

转载自:http://www.sohu.com/a/114903225_487483 Inside君最近把金庸先生的笑傲江湖重看了三遍,感慨良多.很多工作.管理.生活.学习上的问题都能在其中一窥究竟,而那是年轻时所不能体会的一种感悟.比如下面的这段话: 风清扬又道:“单以武学而论,这些魔教长老们也不能说真正已窥上乘武学之门.他们不懂得,招数是死的,发招之人却是活的.死招数破得再妙,遇上了活招数,免不了缚手缚脚,只有任人屠戮.这个‘活’字,你要牢牢记住了.学招时要活学,使招时要活使.倘若拘泥不化,…

一.前言 程序访问 MySQL 数据库时,当查询出来的数据量特别大时,数据库驱动把加载到的数据全部加载到内存里,就有可能会导致内存溢出(OOM). 其实在 MySQL 数据库中提供了流式查询,允许把符合条件的数据分批一部分一部分地加载到内存中,可以有效避免OOM:本文主要介绍如何使用流式查询并对比普通查询进行性能测试. 二.JDBC实现流式查询 使用JDBC的 PreparedStatement/Statement 的 setFetchSize 方法设置为 Integer.MIN_VALUE 或…

欢迎来到 GreatSQL社区分享的MySQL技术文章,如有疑问或想学习的内容,可以在下方评论区留言,看到后会进行解答 在MGR测试中,人为制造磁盘满问题后,节点被oom killed 问题描述 在对MySQL 8.0.26 vs GreatSQL 8.0.25的对比测试过程中,有一个环节是人为制造磁盘满的场景,看看MGR是否还能正常响应请求. 在实测过程中,最后发现磁盘满的那个节点,持续时间足够久后,会因为内存消耗过大而最终被OS给OOM Kill. 这个问题我已报告BUG(#104979),…

中午收到反馈平台所有账号全部无法登录,运维就是苦逼,饭都没吃就跑来处理紧急故障,先自己测试了下确实无法登录进系统,登录服务器检查,发现mysql数据库挂掉了,定位到了原因就赶紧重启mysql吧,结果启动失败,一直报端口地址被占用,ps aux netstat查看都没有mysql进程,使用lsof -i :3306终于看到了还存在一个连接,kill掉pid,然后再启动成功处理好后一看手机微信里早有告警,哎,犯了个运维大错,手机应该时刻保持在手可以收到通信,在处理问题时应该先看下自己的告警信息,痛定…

http://backend.blog.163.com/blog/#m=0&t=3&c=mysql…

…

情景: 遍历并处理一个大表中的所有数据, 这个表中的数据可能会是千万条或者上亿条, 很多人可能会说用分页limit……但需求本身一次性遍历更加方便, 且Oracle/DB2都有方便的游标机制. 对DB来说Stream其实也就是我们说的游标(Cursor), MySQL的Stream方式有2种, Client Side Cursor和Server Side Cursor. JDBC默认的方式Client Side Cursor, 没有任何设置的默认情况下JDBC驱动会将select的全部结果都读取…

Mysql优化已经讲过很多篇教程了,而且网上也很多相关内容,但是本文我们是讲Linux下Mysql运行环境如何进行优化,有些地方与以往有所不同,也具有参考价值.具体mysql教程 如下: 一.修改Linux默认的IO调度算法. linux默认的IO调度算法为cfq,需要修改为dealine,如果是SSD或者PCIe-SSD设备,需要修改为noop,可以使用下面两种修改方式. 1.在线动态修改,重启失效. echo “deadline” > /sys/block/sda/queue/schedul…

一.操作系统环境 操作系统版本选择 CentOS/RHRL/ORACLE Linux 5.x/6.x x86_64 发行版 建议磁盘分区规则 MySQL 运行环境建议规范 挂载点 大小 分区类型 分区用途 /boot 100M 系统默认即可 /boo swap 4G-16G swap swap /opt 20G xfs 安装应用软件应用程序安装在 /opt/app/ 下的子目录,例如 /opt/app/mysql-5.5.37 / 40G ,最小不低于 20G 系统默认即可 / /home 第一…

 ➠更多技术干货请戳:听云博客 前段时间,Oracle官方发布了MySQL 5.7的GA版本.新版本中实现了真正意义的并行复制(基于Group Commit的Group Replication),而不再是基于schema的并行复制.这一特性极大的改善了特定场景下的主从复制延迟过高的状况.随着MySQL成熟度的提升,越来越多的用户选择使用MySQL存放自家的数据,其中不乏使用MySQL来存放大量数据的. 在过去的半年多时间里,听云业务量呈爆发式增长,后端的数据量由去年第一季度的几TB增长到几十TB…

进程的运行,必须使用内存.下图是Linux中进程中的内存的分布图: 其中最重要的 heap segment 和 stack segment.其它内存段基本是大小固定的.注意stack是向低地址增长的,和heap相反.另外进程的内存地址从0开始,是因为使用的是虚拟内存.所以存在虚拟内存到物理内存的映射.目前服务器一般都是64位的,32位的已经极少了,32为对内存有极大限制. 1. Linux 虚拟内存 Linux是通过虚拟内存的方式来管理内存的.虚拟内存和物理内存之间存在映射关系.当进程在CPU上…

一.选择Percona Server.MariaDB还是MYSQL  mysql应用源码:http://www.jinhusns.com/Products/Download/?type=xcj 1.Mysql三种存储引擎 MySQL提供了两种存储引擎:MyISAM和 InnoDB,MySQL4和5使用默认的MyISAM存储引擎.从MYSQL5.5开始,MySQL已将默认存储引擎从MyISAM更改为InnoDB. MyISAM没有提供事务支持,而InnoDB提供了事务支持. XtraDB是Inno…

来新公司前,领导就说了,线上生产环境Mysql库经常会发生日间内存爆掉被killed的情况,结果来到这第一天,第一件事就是要根据线上服务器配置优化配置,同时必须找出现在mysql内存持续增加爆掉的原因,虽然我主业已经不是数据库更不是dba了.看了下mysql占用内存区域的分布: [root@iZ23nn1p4mjZ osm-all]# pmap -x 55245524: /usr/local/Percona-Server-5.7.16-10-Linux.x86_64.ssl101/bin/mys…

最近有些生产服务器老是mysql内存不停得往上涨,开发人员和维护反馈,用了不少的临时表,问题时常线上发生,测试又一直比较难重现. 经观察mysql内存的os占用趋势,发现从8:40开始,mysql内存逐渐上升,到下午1:30左右差不多占了整个系统90%多的物理内存.在业务较为繁忙的时间,还发生过好几次oom导致被killed的情形. 经过分析配置,innodb_buffer_pool_size配置并不高,差不多50%,其他log_buffer,additional_mem,key_buffer,…

转自:http://mp.weixin.qq.com/s?__biz=MjM5NDE0MjI4MA==&mid=208777870&idx=1&sn=6efddd6283e4deb3fe55a141b0db965c 本文根据 DevOps华南运维圈@UCloud微信群的「运维在线」栏目的嘉宾分享整理而成.「运维在线」将邀请业界运维前线技术专家作为分享嘉宾,分享技术趋势和技术实战,为运维朋友提供各种踩坑.躲坑.绕坑新技能. 嘉宾介绍 叶金荣Oracle MySQL ACE,国内最早的…

转自:http://imysql.com/2015/05/24/mysql-optimization-reference-1.shtml 本文整理了一些MySQL的通用优化方法,做个简单的总结分享,旨在帮助那些没有专职MySQL DBA的企业做好基本的优化工作,至于具体的SQL优化,大部分通过加适当的索引即可达到效果,更复杂的就需要具体分析了,可以参考本站的一些优化案例或者联系我,下方有我的联系方式.这是上篇. 1.硬件层相关优化 1.1.CPU相关 在服务器的BIOS设置中,可调整下面的几个配…

Linux 内核 有个机制叫OOM killer(Out-Of-Memory killer),该机制会监控那些占用内存过大,尤其是瞬间很快消耗大量内存的进程,为了 防止内存耗尽而内核会把该进程杀掉.典型的情况是:某天一台机器突然ssh远程登录不了,但能ping通,说明不是网络的故障,原因是sshd进程被 OOM killer杀掉了(多次遇到这样的假死状况).重启机器后查看系统日志/var/log/messages会发现 Out of Memory: Kill process 1865(sshd)…

转载: MySQL通用优化手册 内容提纲 MySQL的特点: 硬件.系统优化: MySQL 配置优化: SCHEMA设计优化: SQL 优化: 其他优化. MySQL 的特点 首先,需要明确的是.想要做好MySQL优化,需要先了解MySQL都有哪些特点: 简言之,MySQL一般用于互联网业务的数据持久化存储,并且用于保证数据的一致性.可靠性,而不是用于: 复杂查询: 复杂运算: 大二进制存储. 等奇葩用途. CPU的利用特点 看看MySQL不同版本对CPU多核的支持.利用情况: 建议: 采用最新…

转载自http://www.dbasquare.com/kb/how-to-adjust-oom-score-for-a-process/ How to adjust OOM score for a process? Each process in Linux has a OOM score assigned to it. Its value is primarily based on the amount of memory a process uses. Whenever system is…

原文:http://www.vpsee.com/2013/10/how-to-configure-the-linux-oom-killer/ 最近有位 VPS 客户抱怨 MySQL 无缘无故挂掉,还有位客户抱怨 VPS 经常死机,登陆到终端看了一下,都是常见的 Out of memory 问题. 这通常是因为某时刻应用程序大量请求内存导致系统内存不足造成的,这通常会触发 Linux 内核里的 Out of Memory (OOM) killer,OOM killer 会杀掉某个进程以腾出内存留给…