DB磁盘满导致Zabbix Server Crash一例
故障描述
今天线上zabbix出现几次数据中断的情况,经排查为DB服务器磁盘空间不足导致的。还好我们目前我们zabbix,falcon两套监控系统并存,哈哈。
故障排查过程没什么技术含量,简单的将故障处理过程记录一下~
1,开始收到DB磁盘空间不足的告警(falcon),DBA查看后表示剩余磁盘大,磁盘空间还有一百多G,没啥问题。
2,十几分钟刚好有业务线在查看监控数据,发现监控数据中断了,把问题报到我们这边。
3,开始着手排查:查看Zabbix Server进程都是OK存在的,端口监听也都没有问题;检查日志发下大量的query failed报错,报错信息如下:
48102:20170324:200108.112 [Z3005] query failed: [1030] Got error 28 from storage engine [insert into history (itemid,clock,ns,value) values (1288566,1490315706,484955330,0.000000),(1287666,1490315706,516539194,0.000000),(1116846,1490315706,517255643,0.230000),(1306326,1490315706,519850399,99.910019),(761887,1490315707,652732960,0.000000),(762427,1490315707,654663788,0.010000),(943207,1490315707,655098203,99.966644),(943567,1490315707,655193288,97.071841),(762367,1490315707,655228276,0.000000),(943147,1490315707,655652053,0.000000);
]
4,上述报错中的关键信息就是“query failed: [1030] Got error 28 from storage engine”,数据在插入DB的时候出问题,赶紧将问题报给DBA进行查看。发现连接数已经几乎没有了。
5,同时google了下,查到这个报错的原因:
Mysql error "28 from storage engine" - means "not enough disk space".
DBA查看之后,发现磁盘空间还有109GB。
6,尽管空间还有很多,但是日志输出是不会骗人的,赶紧删除可以删除的binlog、历史数据等来腾地儿喽~
7,果然,zabbix server在DB这边的磁盘空间清理之后恢复了写入。
参考链接:
http://stackoverflow.com/questions/10631387/1030-got-error-28-from-storage-engine
https://www.zabbix.com/forum/showthread.php?t=4203
关于故障期间的数据丢失,我们可以通过将zabbix server的日志中插入失败的SQL进行解析,重新写入即可。
后记
此处的故障是解决了,但是我们不该仅仅停留在担当救火队员的角色,我们还应该更深入的分析问题原因,利用技术、非技术的手段来杜绝这样的问题再次发生:
- 故障时在磁盘空间占用超过95%之后才出现的问题,因此合理推断在某处有一个门限值的配置,而95%恰巧就是那个门限值,此处暂时将推断留在此处,后面验证之后,我会把排查结果更新在这里
- 应该有监控手段来cover类似此处DB写入的状态
- 日志监控应该尽快落实、推广,将这些zabbix server等平台的日志进行采集和告警
DB磁盘满导致Zabbix Server Crash一例的更多相关文章
- RDS数据库磁盘满导致实例锁定
问题描述: 阿里云RDS空间不足,进行报警.收到报警后.对数据库中不重要的数据备份后执行delete删除操作.执行成功后发现数据删掉了.但是数据库的空间并没有释放.数据占用空间反而越来越大,最后RDS ...
- 技术分享 | MySQL中MGR中SECONDARY节点磁盘满,导致mysqld进程被OOM Killed
欢迎来到 GreatSQL社区分享的MySQL技术文章,如有疑问或想学习的内容,可以在下方评论区留言,看到后会进行解答 在MGR测试中,人为制造磁盘满问题后,节点被oom killed 问题描述 在对 ...
- 在线程内关闭thread handle,导致server crash
很多年以前了,那时tester发现一个server crash,通过测试pager功能很多次,可以把server搞崩溃. 一般来说,能再现的bug都不难改,不过这次因为要跑很多次test,才能再现cr ...
- Web服务器磁盘满故障
问题: 硬盘显示被写满,但是用du -sh /*查看时占用硬盘空间之和还远小于硬盘大小,即找不到硬盘分区是怎么被写满的.今天下午接到同事紧急求助,说生产线服务器硬盘满了.该删的日志都删掉了.可空间还是 ...
- (转)Web服务器磁盘满故障深入解析
Web服务器磁盘满故障深入解析 原文:http://blog.51cto.com/oldboy/612351 ############################################# ...
- 阿里云ECS(linux)磁盘满触发的mysql的表异常修复案例
阿里云ECS(linux)磁盘满触发的mysql的表异常修复案例 阿里云技术支持:完颜镇江 问题现象: 磁盘空间满了,第一想到的就是删除无用的服务日志或者升级数据盘. 通常是使用du –sh去分析目录 ...
- Zabbix监控之迁移zabbix server
abbix监控中有时会根据需要对zabbix服务器进行迁移,zabbix迁移是非常简单的,因为zabbix的前端所有的操作都存在zabbix数据库里.所以zabbix迁移只需对zabbix库中相应的表 ...
- zabbix server+agent+proxy搭建性能监控平台
这是新找到了配置文件配置方法但未尝试 每个模块工作职责: Zabbix Server:负责接收agent发送的报告信息的核心组件,所有配置,统计数据及操作数据均由其组织进行: Database Sto ...
- Zabbix3.2下Template App Zabbix Server+Template OS Linux Item
序号 Name Key 返回值 释义1 Agent ping agent.ping 1 就是ping一下2 Avaliable memory vm.memory.size[available] 563 ...
随机推荐
- java实现哈弗曼树
O(∩_∩)O~~ 概述 我想学过数据结构的小伙伴一定都认识哈弗曼,这位大神发明了大名鼎鼎的“最优二叉树”,为了纪念他呢,我们称之为“哈弗曼树”.哈弗曼树可以用于哈弗曼编码,编码的话学问可就大了,比如 ...
- 爬取代理IP
现在爬虫好难做啊,有些网站直接封IP,本人小白一个,还没钱,只能找免费的代理IP,于是去爬了西刺免费代理,结果技术值太低,程序还没调试好, IP又被封了... IP又被封了... IP又被封了... ...
- FileDialog对象
返回表示文件对话框实例的 FileDialog 对象. 语法 expression. FileDialog( _fileDialogType_ ) expression:表示 Application ...
- Zigbee系列(路由机制)
参考文档: ug103-02-fundamentals-zigbee.pdf section4 zigbe routing concepts docs-05-3474-21-0csg-zigbee-s ...
- 我是如何自学 Python 的?
最近一直有读者私信问我,Ahab你是如何学习Python的?能推荐几本适合新手学习的书吗?有没有好的实践项目分享一下呢? Python未来发展前景怎么样呀?今天我就认真的告诉大家我是如何学习Pytho ...
- GitHub笔记(五)——忽略文件、配置别名、搭建服务器
六.忽略文件 忽略某些文件时,需要编写.gitignore: .gitignore文件本身要放到版本库里,并且可以对.gitignore做版本管理! 忽略文件的原则是: 忽略操作系统自动生成的文件,比 ...
- 基础的 sparkSQL操作
spark连接mysql操作 数据库jdbc 连接封装 package test.com import org.apache.spark.sql.{DataFrame, SparkSession} / ...
- Ruby知识点三:运算符
1.逻辑运算符 (1)条件1 || 条件2 条件1为假时,才需判断条件2 (2)条件1 && 条件2 条件1为真时,才需判断条件2 2.范围运算符 (1)x..y 从x到y,包括y ...
- java基础学习总结——线程(二)
一.线程的优先级别
- 如何在静态方法或非Spring Bean中注入Spring Bean
在项目中有时需要根据需要在自己new一个对象,或者在某些util方法或属性中获取Spring Bean对象,从而完成某些工作,但是由于自己new的对象和util方法并不是受Spring所 ...