这个脚本是基于pt-query-digest做的日志分析脚本,变成可视化的格式。

目录结构是

./mysql_data/log
./mysql_data/log/tmp
./slow_query

# coding = gbk
__author__ = 'T_two' import datetime
import os IP = '111'
dirname = os.path.dirname(os.path.abspath(__file__))
# 解析后的目录名
slow_query= os.path.join(dirname, 'slow_query')
# pt-query-digest前的目录的
mysql_data = os.path.join(os.path.join(dirname, 'mysql_data'), 'log')
# pt-query-digest后的目录的
tmp = os.path.join(mysql_data, 'tmp') def getYesterday():
today=datetime.date.today()
yesterday = str(today - datetime.timedelta(days=1))
return yesterday def getLog(yes_time, slow_query):
# 对日志进行pt-query-digest分析
before_name = yes_time.replace('-', '') + '-' + 'slow-query.log'
# pt-query-digest之前的日志 b_filename
b_filename = os.path.join(mysql_data, before_name)
# print(b_filename)
# pt-query-digest之后的日志 a_filename
after_name = yes_time.replace('-', '') + '-' + IP + '-' + 'slow-query.log'
a_filename = os.path.join(tmp, after_name)
# print(a_filename)
# 最终格式化的日志 e_filename
end_name = IP + '-slow-log-' + yes_time + '.txt'
e_filename = os.path.join(slow_query, end_name)
#print(e_filename)
return b_filename,a_filename,e_filename def getSlowquery(b_filename,a_filename,e_filename):
print('File format starting...')
#os.system('pt-query-digest '+ b_filename + '>' + a_filename) a_slow_query = open(a_filename, 'r', encoding = 'utf8')
e_slow_query = open(e_filename, 'w', encoding = 'utf8')
_line = ''
line = a_slow_query.readlines()[20:] # 对文件切片,去除不需要的前20行。
for line in line:
line = line.strip()
# 提取需要的行
if line.startswith('#') and '# Hosts' not in line and '# Users' not in line and '# Databases' not in line and 'byte' not in line \
and '# Count' not in line and '# Exec time' not in line :
pass
elif line == '':
pass
else:
# 序列号
if '# Query' in line: line = ('\nNO.%s' % line.split()[2])
# 执行次数
elif '# Count' in line: line = ('执行次数: %s' % line.split()[3])
#执行时间
elif '# Exec time' in line: line = ('执行时间 Total: %s min: %s max: %s' % (line.split()[4],line.split()[5],line.split()[6],))
# DB
elif '# Databases' in line: line = ('库名: %s' % line.split()[2])
# 源IP
elif '# Host' in line:line = ('源IP: %s' % line.split()[2])
# 用户名
elif '# User' in line: line = ('用户名: %s' % line.split()[2]) _line = _line + line + '\n' e_slow_query.write(_line)
a_slow_query.close()
e_slow_query.close()
# 将文件拷贝到web目录下
os.system('cp ' + e_filename + ' ' + web_dir)
# 删除10天之前的数据
os.system('find ' + str(slow_query) + ' -mtime +10 | xargs rm -rf ')
os.system('find ' + mysql_data + ' -mtime +10 | xargs rm -rf ')
os.system('find ' + tmp + ' -mtime +10 | xargs rm -rf ') print ('File format end...') if __name__ == '__main__':
yes_time = getYesterday()
b_filename,a_filename, e_filename = getLog(yes_time, slow_query)
getSlowquery(b_filename,a_filename,e_filename)

  

解析之后显示的结果:

MySQL 数据库慢查询日志分析脚本的更多相关文章

  1. MySQL之慢查询日志分析

    在MySQL命令行中查看慢查询日志是否打开了: mysql> show variables like '%slow_query%'; +---------------------------+- ...

  2. mysql使用慢查询日志分析数据执行情况

    #查询慢查询日志文件路径show variables like '%slow_query%';#开启慢查询日志 ; #设置慢查询阀值为0,将所有的语句都记入慢查询日志 ;#未使用索引的查询也被记录到慢 ...

  3. MySQL慢查询日志分析

    一:查询slow log的状态,如示例代码所示,则slow log已经开启. mysql> show variables like '%slow%'; +-------------------- ...

  4. MySQL慢查询日志分析提取【转】

    原文:https://www.cnblogs.com/skymyyang/p/7239010.html 一:查询slow log的状态,如示例代码所示,则slow log已经开启. mysql> ...

  5. MySql数据库慢查询

    一.什么是数据库慢查询? 数据库慢查询,就是查询时间超过了我们设定的时间的语句. 可以查看设定的时间: 默认的设定时间是10秒.也可以自己根据实际项目设定. set long_query_time=0 ...

  6. MySQL 通用查询日志和慢查询日志分析

    MySQL中的日志包括:错误日志.二进制日志.通用查询日志.慢查询日志等等.这里主要介绍下比较常用的两个功能:通用查询日志和慢查询日志. 1)通用查询日志:记录建立的客户端连接和执行的语句.2)慢查询 ...

  7. 关于MySQL 通用查询日志和慢查询日志分析

    MySQL中的日志包括:错误日志.二进制日志.通用查询日志.慢查询日志等等.这里主要介绍下比较常用的两个功能:通用查询日志和慢查询日志. 1)通用查询日志:记录建立的客户端连接和执行的语句. 2)慢查 ...

  8. 关于MySQL 通用查询日志和慢查询日志分析(转)

    MySQL中的日志包括:错误日志.二进制日志.通用查询日志.慢查询日志等等.这里主要介绍下比较常用的两个功能:通用查询日志和慢查询日志. 1)通用查询日志:记录建立的客户端连接和执行的语句. 2)慢查 ...

  9. Mysql慢查询和慢查询日志分析

     Mysql慢查询和慢查询日志分析   众所周知,大访问量的情况下,可添加节点或改变架构可有效的缓解数据库压力,不过一切的原点,都是从单台mysql开始的.下面总结一些使用过或者研究过的经验,从配置以 ...

随机推荐

  1. MySQL学习-基础练习题

    day1 学生表操作: 1. 查询出班级205有多少个男生 2. 查询出名字为4个字的所有学生信息(编号.姓名,年龄,班级) 3. 查询出所有姓王的学生信息(编号.姓名,年龄,班级) 4. 查询出班级 ...

  2. 安装mysql5.6-centOs7

    安装mysql mysql,下载地址:https://dev.mysql.com/downloads/mysql/ 安装参考链接:https://segmentfault.com/a/11900000 ...

  3. [19/09/16-星期一] Python的运算符和条件判断语句

    一.运算符 (1)算术运算符  + 加法运算符(如果是两个字符串之间进行加法运算,则会进行拼串操作) a = 10 + 5  计算 a = 'hello' + ' ' + 'world' 拼串  - ...

  4. PythonDay08

    第八章 今日内容 文件操作 读操作 写操作 +操作 其他操作 读操作 r模式f = open('test.txt', mode='r', encoding='utf-8')print(f.read() ...

  5. Spark出现java.lang.stackoverflowerror的解决方法

    正在测试的程序需要多次迭代(400+次),每次迭代有复杂的运算 迭代到100多次的时候报java.lang.stackoverflowerror的错误 解决方法:先checkpoint()再count ...

  6. Asp.net MVC 发布到IIS6

    1.发布网站 2.打开IIS,添加网站 3.修改程序池,改为.net 4.0 4.添加虚拟目录(及添加aspnet_isapi.dll文件,该文件目录在“C:\Windows\Microsoft.NE ...

  7. 吴恩达深度学习:2.1Logistic Regression逻辑回归及其损失函数

    1.Logistic Regression是一个二元分类问题 (1)已知输入的特征向量x可能是一张图,你希望把它识别出来,这是不是猫图,你需要一个算法,可以给出预测值,更正式的y是一个概率,当输入特征 ...

  8. scala学习笔记(9)

    一.高阶函数 --------------------------------------------------- 1.作为值的函数:在Scala中,函数是头等公民,就和数字一样. import s ...

  9. 流畅的Python (Fluent Python) —— 第二部分01

    2.1 内置序列类型概览 Python 标准库用 C 实现了丰富的序列类型,列举如下. 容器序列 list. tuple 和 collections.deque 这些序列能存放不同类型的数据. 扁平序 ...

  10. oracle比较两个查询结果的差异

    可以使用minus select * from A minus select * from B; select * from B minus select * from A;