# -*- coding:utf8 -*- ''' Created on 2017年1月9日 @author: qiancheng ''' import re import os from email.mime.multipart import MIMEMultipart from email.mime.text import MIMEText from email.header import Header import smtplib import subprocess import time

Python 简易web日志查看工具&可改装为命令行工具 效果图 原理 利用python的paramiko库模拟ssh登录操作,并执行tail命令 所需库 flask.paramiko.gevent,python3 部分代码 @app.route('/api/do', methods=["POST", "GET"]) def api_do(): try: ip = flask.request.form.get("ip") port = f

1. 摘要: Mysql日志抽取与解析正如名字所将的那样,分抽取和解析两个部分.这里Mysql日志主要是指binlog日志.二进制日志由配置文件的log-bin选项负责启用,Mysql服务器将在数据根目录创建两个新文件XXX-bin.001和XXX-bin.index,若配置选项没有给出文件名,Mysql将使用主机名称命名这两个文件,其中.index文件包含一份全体日志文件的清单.Mysql会把用户对所有数据库的内容和结构的修改情况记入XXX-bin.n文件,而不会记录SELECT和没有实际操作

from: http://www.cnblogs.com/duanxz/p/5062833.html 背景 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求.不过早期的数据库同步业务,主要是基于trigger的方式获取增 量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此 开启了一段新纪元.ps. 目前内部使用的同步,已经支持mysql5.x和oracle部分版本的日志解析 基于日

以前写python的时候都会自己在文件开头写一个usgae函数,用来加上各种注释,给用这个脚本的人提供帮助文档. 今天才知道原来python已经有一个自带的命令行解析工具argparse,用了一下,效果还不错. argparse的官方文档请看 https://docs.python.org/2/howto/argparse.html#id1 from argparse import ArgumentParser p = ArgumentParser(usage='it is usage tip'

由于意外..阿里云mysql中有一张表被全部删除了,深吸三口气候,开始解决. 首先用凌晨的自动备份的,进行全量恢复,然后找binlog日志(见下文),查找从全量备份到数据删除之间的记录 这导致了一个问题,为了恢复那一张表,其他的表的数据也回滚到了凌晨备份的事后... 由于当时比较紧张,而且时间有限,所以考虑不周,事后总结: 应该在数据库实例中新建一个新的临时库,将备份恢复到临时库中,然后在临时库导出被误删的表的数据,然后再将数据导入到正式的数据库中对应表中. 最后再从binlog日志文件中只寻找

  当使用--log-slow-queries[=file_name]选项启动时,mysqld写一个包含所有执行时间超过long_query_time秒的SQL语句的日志文件.获得初使表锁定的时间不算作执行时间. 如果没有给出file_name值, 默认未主机名,后缀为-slow.log.如果给出了文件名,但不是绝对路径名,文件则写入数据目录. 语句执行完并且所有锁释放后记入慢查询日志.记录顺序可以与执行顺序不相同. 慢查询日志可以用来找到执行时间长的查询,可以用于优化.但是,检查又长又慢的查询

想要获取每天数据库每张表的DML的次数,统计热度表,可以使用该脚本 # coding:utf-8 # 解析binlog,统计热度表,表的DML个数 import sys import os # mysqlbinlog解析binlog日志 def binlog_output(): binlog_file = sys.argv[1] file_num = binlog_file.split('.')[1] binlog_log = 'binlog_%s.log' % file_num os.syst

开始做python 的数据库访问了,暂时选定了mysql数据库.原本想使用ORM,后来考虑到项目的情况是:表结构不复杂,但是数据库非常大.还是自己来操作sql,不过PYTHON的那些数据库ORM的代码写的还是挺酷的,作为PYTHON和mysql初学者的我来说正好可以学习一下.这里记录下,遇到的所有问题和技术要点 2014-08-14 sql: 查询语句去除重复:使用distinct 关键字 selecti distinct * from table_name 2014-08-19 sql: 查询

为什么需要argparse 开门见山,举一个简易计算器代码的例子,其中sys.argv用来读取脚本执行时后面传入的参数. def calculator(x, y, operation): if "add" == operation: return x + y elif "mod" == operation: return x % y elif "sub" == operation: return x - y elif "div"

python的命令行参数 之前有用到optget, optparse, 现在这些都被弃用了. import argparse parser = argparse.ArgumentParser() args = parser.parse_args() 参数添加方法: 1.parser.add_argument("echo") 添加位置参数,每次必须调用.参数可以有 help, type, 2. parser.add_argument("-v", "--ver

处理命令行参数的模块 用法: opts, args = getopt.getopt( sys.args[1:],  shortStr,  longList) 输入: shortStr 形式如下: "a:b:c:def" 其中a,b,c是后面跟参数的 d,e,f是后面不跟参数的 也就是说后面接冒号的是跟参数的 longList 形式如下:["longA=", "longB=", "longC=", "longD&quo

作者:王航威 - fordba.com 来源:http://fordba.com/box-anemometer-visual-mysql-slow.html,叶师傅对原文内容略有调整 备注:王航威是知数堂第8期同学,现任职有赞DBA MySQL 慢日志简介 MySQL慢日志(slow query log)想必大家都有听说,它是用来记录MySQL中的慢SQL(执行耗时超过 long_query_time 预设时间的SQL),并且扫描的行数超过min_examined_row_limit(如果也设置

MySQL中的日志包括:错误日志.二进制日志.通用查询日志.慢查询日志等等.这里主要介绍下比较常用的两个功能:通用查询日志和慢查询日志. 1)通用查询日志:记录建立的客户端连接和执行的语句. 2)慢查询日志:记录所有执行时间超过long_query_time秒的所有查询或者不使用索引的查询 MySQL日志文件系统的组成   a.错误日志:记录启动.运行或停止mysqld时出现的问题.   b.通用日志:记录建立的客户端连接和执行的语句.   c.更新日志:记录更改数据的语句.该日志在MySQL

一条慢查询会造成什么后果?刚开始使用MySQL的开发.初级DBA 以为就是简单的查询变慢些,体验稍微有一丢丢影响,殊不知,慢查询的破坏力远不止如此.业务高峰期,这头SQL还没处理完,大量新的查询请求堆积,CPU使用率长时间居高不下,甚至高达100%,系统直接崩溃--慢查询这样的黑天鹅事件,可能直接影响业务稳定性,造成巨大经济损失. 慢查询,字面理解就是查询慢的意思,比如某类查询,正常情况下消耗100ms 左右,异常时可能飙升到 15s.为定位慢查询问题,我们可以按如下几个步骤进行: 一.开启慢日

1.介绍: mysqlsla是hackmysql.com推出的一款MySQL的日志分析工具,可以分析mysql的慢查询日志.分析慢查询非常好用,能针 对库分析慢查询语句的执行频率.扫描的数据量.消耗时间等,而且分析出来以后还有语句范例,这是mysqldba必不可少的工具之一. 2.安装mysqlsla: (1)安装依赖包: [root@backup ~]#yum install perl perl-Time-HiRes perl-DBI perl-DBD-MySQL perl-ExtUtils-

转自: MySQL慢日志查询全解析:从参数.配置到分析工具 - MySQL - DBAplus社群——围绕数据库.大数据.PaaS云,运维圈最专注围绕“数据”的学习交流和专业社群http://dbaplus.cn/news-11-694-1.html 一.慢查询日志概念 MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志中.long_query_time的默认值为

maxwell 简介 Maxwell是一个能实时读取MySQL二进制日志binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka,Kinesis.RabbitMQ.Redis.Google Cloud Pub/Sub.文件或其它平台的应用程序.它的常见应用场景有ETL.维护缓存.收集表级别的dml指标.增量到搜索引擎.数据分区迁移.切库binlog回滚方案等.官网(http://maxwells-daemon.io).GitHub(https://github.com/zende

mysql慢日志太多,需要分析下具体有哪些慢日志 mysql可以直接记录所有慢日志,现在的问题是将日志文件sql进行去重 想了老半天该怎样将sql的查询字段去掉进行排序,没有get到重点.后来发现mysql自带提供了mysqldumpslow工具用于解析慢日志 下面是选项: Option Name Description -a Do not abstract all numbers to N and strings to 'S' -n Abstract numbers with at least

背景介绍: 很多情况下,都需要对MySQL日志进行各种分析,来了解系统运行的方方面面.MySQL官方自带了一些工具对日志进行分析,比如mysqlbinlog可以用来分析二进制日志,mysqlslow可以用来分析慢查询日志,但这些工具相对功能较为单一,而且对查询日志没有提供分析工具.因此,很多第三方工具应用而生,而mysqlsla(MySQL Statement Log Analyzer)是其中使用较为广泛的一个. 目前常见mysql慢查询分析工具大概归纳为: 工具 / 命令 一般统计信息 高级统

Go/Python/Erlang编程语言对比分析及示例   本文主要是介绍Go,从语言对比分析的角度切入.之所以选择与Python.Erlang对比,是因为做为高级语言,它们语言特性上有较大的相似性,不过最主要的原因是这几个我比较熟悉. Go的很多语言特性借鉴与它的三个祖先:C,Pascal和CSP.Go的语法.数据类型.控制流等继承于C,Go的包.面对对象等思想来源于Pascal分支,而Go最大的语言特色,基于管道通信的协程并发模型,则借鉴于CSP分支. Go/Python/Erlang语言特