Linux系统 磁盘IO过高排查总结

最近做的一个电商网站因为磁盘 I/O 过高导致访问速度奇慢，问题存在两个月有余未得到解决办法。此次排查原因的经验可以作下次问题的参考。

1、会看懂 top 系统命令出来的各项参数。此次是无意中发现 us% 正常，但是 wa% 很高，才得知是系统磁盘的 I/O 过高导致网站访问慢。

2、会安装和使用监控应用。iotop、pt-ioprofile等工具，都是有助于分析问题所在的应用。借助这些工具，最终定位是MySQL的原因。

3、会用MySQL常用的分析命令。一开始认为分配给MySQL的内存不够，一直在调试MySQL的参数以期可以改善I/O，但是发现这个方向是错误的。
（1）应该先使用 "show processlist"，查看MySQL中有哪些线程在跑，最明显要注意哪些sql语句跑了很久还没执行完，"Time"那一列的单位是秒(s)，所以这一列的数字上了30都是挺大的性能问题，要关注慢查询了。正是用这个命令，发现了一条sql语句经常执行了几百上千秒还没结束，而且一旦开始执行，I/O就非常高，一旦kill掉这个线程，I/O马上恢复正常，问题的症结就找到了。
（2）还有一个是 "show engine innodb status \G"，这个输出的数据是归纳数据库引擎的运行情况的数据，结合上面的命令会更有参考价值。比如死锁(deadlock)，因为磁盘 I/O 过高，sql语句很长时间执行不完，会造成数据发生死锁（大概是这么理解）。
（3）MySQL的参数优化也是需要的，安装好的MySQL配置都是默认的，效率比较低，不过这次的问题跟优化没有必然联系，因为之前的项目都没有优化过MySQL。

参考文章：https://blog.csdn.net/zimeng0/article/details/68066146

jdb2导致的IO率过高
http://www.bubuko.com/infodetail-971804.html
https://serverfault.com/questions/363355/io-wait-causing-so-much-slowdown-ext4-jdb2-at-99-io-during-mysql-commit

什么导致MySQL数据库服务器磁盘I/O高?
http://www.xtrdb.net/mysql/MySQL-io-%E8%B0%83%E4%BC%98/
MySQL InnoDB磁盘I/O优化
http://www.ywnds.com/?p=9452

查看磁盘的文件系统
https://blog.csdn.net/lzjsqn/article/details/72059035

IO负载高的来源定位
https://www.cnblogs.com/legendbaby/p/5056967.html

拥有相似问题的解决方案
https://www.jianshu.com/p/36151e44b671

MySQL · 特性分析 · (deleted) 临时空间
http://mysql.taobao.org/monthly/2018/04/08/