故障描述

今天线上zabbix出现几次数据中断的情况,经排查为DB服务器磁盘空间不足导致的。还好我们目前我们zabbix,falcon两套监控系统并存,哈哈。

故障排查过程没什么技术含量,简单的将故障处理过程记录一下~

1,开始收到DB磁盘空间不足的告警(falcon),DBA查看后表示剩余磁盘大,磁盘空间还有一百多G,没啥问题。

2,十几分钟刚好有业务线在查看监控数据,发现监控数据中断了,把问题报到我们这边。

3,开始着手排查:查看Zabbix Server进程都是OK存在的,端口监听也都没有问题;检查日志发下大量的query failed报错,报错信息如下:

48102:20170324:200108.112 [Z3005] query failed: [1030] Got error 28 from storage engine [insert into history (itemid,clock,ns,value) values (1288566,1490315706,484955330,0.000000),(1287666,1490315706,516539194,0.000000),(1116846,1490315706,517255643,0.230000),(1306326,1490315706,519850399,99.910019),(761887,1490315707,652732960,0.000000),(762427,1490315707,654663788,0.010000),(943207,1490315707,655098203,99.966644),(943567,1490315707,655193288,97.071841),(762367,1490315707,655228276,0.000000),(943147,1490315707,655652053,0.000000);
]

4,上述报错中的关键信息就是“query failed: [1030] Got error 28 from storage engine”,数据在插入DB的时候出问题,赶紧将问题报给DBA进行查看。发现连接数已经几乎没有了。

5,同时google了下,查到这个报错的原因:

Mysql error "28 from storage engine" - means "not enough disk space".

DBA查看之后,发现磁盘空间还有109GB。  

6,尽管空间还有很多,但是日志输出是不会骗人的,赶紧删除可以删除的binlog、历史数据等来腾地儿喽~

7,果然,zabbix server在DB这边的磁盘空间清理之后恢复了写入。

参考链接:

http://stackoverflow.com/questions/10631387/1030-got-error-28-from-storage-engine

https://www.zabbix.com/forum/showthread.php?t=4203

关于故障期间的数据丢失,我们可以通过将zabbix server的日志中插入失败的SQL进行解析,重新写入即可。

后记

此处的故障是解决了,但是我们不该仅仅停留在担当救火队员的角色,我们还应该更深入的分析问题原因,利用技术、非技术的手段来杜绝这样的问题再次发生:

  1. 故障时在磁盘空间占用超过95%之后才出现的问题,因此合理推断在某处有一个门限值的配置,而95%恰巧就是那个门限值,此处暂时将推断留在此处,后面验证之后,我会把排查结果更新在这里
  2. 应该有监控手段来cover类似此处DB写入的状态
  3. 日志监控应该尽快落实、推广,将这些zabbix server等平台的日志进行采集和告警

DB磁盘满导致Zabbix Server Crash一例的更多相关文章

  1. RDS数据库磁盘满导致实例锁定

    问题描述: 阿里云RDS空间不足,进行报警.收到报警后.对数据库中不重要的数据备份后执行delete删除操作.执行成功后发现数据删掉了.但是数据库的空间并没有释放.数据占用空间反而越来越大,最后RDS ...

  2. 技术分享 | MySQL中MGR中SECONDARY节点磁盘满,导致mysqld进程被OOM Killed

    欢迎来到 GreatSQL社区分享的MySQL技术文章,如有疑问或想学习的内容,可以在下方评论区留言,看到后会进行解答 在MGR测试中,人为制造磁盘满问题后,节点被oom killed 问题描述 在对 ...

  3. 在线程内关闭thread handle,导致server crash

    很多年以前了,那时tester发现一个server crash,通过测试pager功能很多次,可以把server搞崩溃. 一般来说,能再现的bug都不难改,不过这次因为要跑很多次test,才能再现cr ...

  4. Web服务器磁盘满故障

    问题: 硬盘显示被写满,但是用du -sh /*查看时占用硬盘空间之和还远小于硬盘大小,即找不到硬盘分区是怎么被写满的.今天下午接到同事紧急求助,说生产线服务器硬盘满了.该删的日志都删掉了.可空间还是 ...

  5. (转)Web服务器磁盘满故障深入解析

    Web服务器磁盘满故障深入解析 原文:http://blog.51cto.com/oldboy/612351 ############################################# ...

  6. 阿里云ECS(linux)磁盘满触发的mysql的表异常修复案例

    阿里云ECS(linux)磁盘满触发的mysql的表异常修复案例 阿里云技术支持:完颜镇江 问题现象: 磁盘空间满了,第一想到的就是删除无用的服务日志或者升级数据盘. 通常是使用du –sh去分析目录 ...

  7. Zabbix监控之迁移zabbix server

    abbix监控中有时会根据需要对zabbix服务器进行迁移,zabbix迁移是非常简单的,因为zabbix的前端所有的操作都存在zabbix数据库里.所以zabbix迁移只需对zabbix库中相应的表 ...

  8. zabbix server+agent+proxy搭建性能监控平台

    这是新找到了配置文件配置方法但未尝试 每个模块工作职责: Zabbix Server:负责接收agent发送的报告信息的核心组件,所有配置,统计数据及操作数据均由其组织进行: Database Sto ...

  9. Zabbix3.2下Template App Zabbix Server+Template OS Linux Item

    序号 Name Key 返回值 释义1 Agent ping agent.ping 1 就是ping一下2 Avaliable memory vm.memory.size[available] 563 ...

随机推荐

  1. java实现哈弗曼树

    O(∩_∩)O~~ 概述 我想学过数据结构的小伙伴一定都认识哈弗曼,这位大神发明了大名鼎鼎的“最优二叉树”,为了纪念他呢,我们称之为“哈弗曼树”.哈弗曼树可以用于哈弗曼编码,编码的话学问可就大了,比如 ...

  2. 爬取代理IP

    现在爬虫好难做啊,有些网站直接封IP,本人小白一个,还没钱,只能找免费的代理IP,于是去爬了西刺免费代理,结果技术值太低,程序还没调试好, IP又被封了... IP又被封了... IP又被封了... ...

  3. FileDialog对象

    返回表示文件对话框实例的 FileDialog 对象. 语法 expression. FileDialog( _fileDialogType_ ) expression:表示 Application  ...

  4. Zigbee系列(路由机制)

    参考文档: ug103-02-fundamentals-zigbee.pdf section4 zigbe routing concepts docs-05-3474-21-0csg-zigbee-s ...

  5. 我是如何自学 Python 的?

    最近一直有读者私信问我,Ahab你是如何学习Python的?能推荐几本适合新手学习的书吗?有没有好的实践项目分享一下呢? Python未来发展前景怎么样呀?今天我就认真的告诉大家我是如何学习Pytho ...

  6. GitHub笔记(五)——忽略文件、配置别名、搭建服务器

    六.忽略文件 忽略某些文件时,需要编写.gitignore: .gitignore文件本身要放到版本库里,并且可以对.gitignore做版本管理! 忽略文件的原则是: 忽略操作系统自动生成的文件,比 ...

  7. 基础的 sparkSQL操作

    spark连接mysql操作 数据库jdbc 连接封装 package test.com import org.apache.spark.sql.{DataFrame, SparkSession} / ...

  8. Ruby知识点三:运算符

    1.逻辑运算符 (1)条件1 || 条件2 条件1为假时,才需判断条件2 (2)条件1 && 条件2 条件1为真时,才需判断条件2 2.范围运算符 (1)x..y  从x到y,包括y ...

  9. java基础学习总结——线程(二)

    一.线程的优先级别

  10. 如何在静态方法或非Spring Bean中注入Spring Bean

           在项目中有时需要根据需要在自己new一个对象,或者在某些util方法或属性中获取Spring Bean对象,从而完成某些工作,但是由于自己new的对象和util方法并不是受Spring所 ...