MySQL数据归档小工具推荐--mysql_archiver
一.主要概述
MySQL数据库归档历史数据主要可以分为三种方式:一.创建编写SP、设置Event;二.通过dump导入导出;三.通过pt-archiver工具进行归档。第一种方式往往受限于同实例要求,往往被大家舍弃。第二种,性能相对较好,但是归档表较多时运维也是比较头疼的事。所以很多DBA往往采用第三种方式--pt-archiver。
pt-archiver是Percona-Toolkit工具集中的一个组件,是一个主要用于对MySQL表数据进行归档和清除的工具。它可以将数据归档到另一张表或者是一个文件中。pt-archiver在清除表数据的过程中并不会影响OLTP事务的查询性能。对于数据的归档,它可以归档到另一台服务器上的另一张表,也可归档到一个文件中。
有一个网友通过Python开发了将pt-archiver打包成了一个小工具—mysql_archiver,它基本实现了归档作业的配置化部署,使用起来挺不错。"MySQL_archiver基本上实现了数据归档的自动运转,统一的归档任务调度管理、自动监控和预警、自动生成报表。在一定程度上节约了生产力,提高了运维效率。"
github地址:https://github.com/dbarun/mysql_archiver
二.pt-archiver主要参数
参数 | 默认值 | 参数解释 |
--check-slave-lag | 指定主从复制延迟大于选项'--max-lag'指定的值之后暂停归档操作。默认情况下,工具会检查所有的从库,但该选项只作用于指定的从库(通过DSN连接方式)。 | |
--check-interval | 1s | 如果同时指定了选项'--check-slave-lag',则该选项指定的时间为工具发现主从复制延迟时暂停的时间。每进行操作100行时进行一次检查。 |
--[no]check-charset | yes | 指定检查确保数据库连接时字符集和表字符集相同。 |
--commit-each | 指定按每次获取和归档的行数进行提交,该选项会禁用选项'--txn-size'。 在每次获取表数据并进行归档之后,在获取下一次数据和选项'--sleep'指定的休眠时间之前,进行事务提交和刷新选项'--file'指定的文件,通过选项'--limit'控制事务的大小。 | |
--host,-h | 指定连接的数据库IP地址。 | |
--port,-P | 指定连接的数据库Port端口。 | |
--user,-u | 指定连接的数据库用户。 | |
--password,-p | 指定连接的数据库用户密码。 | |
--socket,-S | 指定使用SOCKET文件连接。 | |
--databases,-d | 指定连接的数据库 | |
--source | 指定需要进行归档操作的表,该选项是必须指定的选项,使用DSN方式表示。 | |
--dest | 指定要归档到的目标端表,使用DSN方式表示。 如果该选项没有指定的话,则默认与选项'--source'指定源端表为相同表。 | |
--where | 指定通过WHERE条件语句指定需要归档的数据,该选项是必须指定的选项。不需要加上'WHERE'关键字,如果确实不需要WHERE条件进行限制,则指定'--where 1=1'。 | |
--file | 指定表数据需要归档到的文件。使用类似MySQL DATE_FORMAT()格式化命名方式。 文件内容与MySQL中SELECT INTO OUTFILE语句使用相同的格式,文件命名选项如下所示: ' %Y:年,4位数(Year, numeric, four digits) %m:月,2位数(Month, numeric (01..12)) %d:日,2位数(Day of the month, numeric (01..31)) %H:小时(Hour (00..23)) %i:分钟(Minutes, numeric (00..59)) %s:秒(Seconds (00..59)) %D:数据库名(Database name) %t:表名(Table name) 例如:--file '/var/log/archive/%Y-%m-%d-%D.%t' ' | |
--output-format | 指定选项'--file'文件内容输出的格式。 默认不指定该选项是以制表符进行字段的分隔符,如果指定该选项,则使用','(逗号)作为字段分隔符,使用'"'(双引号)将字段括起。用法示例:'--output-format=dump'。 | |
--limit | 1 | 指定每条语句获取表和归档表的行数。 |
--max-lag | 1s | 指定允许主从复制延迟时长的最大值,单位秒。如果在每次获取行数据之后主从延迟超过指定的值,则归档操作将暂停执行,暂停休眠时间为选项'--check-interval'指定的值。待休眠时间结束之后再次检查主从延迟时长,检查方法是通过从库查询的'Seconds_Behind_Master'值来确定。如果主从复制延迟一直大于该参数指定值或者从库停止复制,则操作将一直等待直到从库重新启动并且延迟小于该参数指定值. |
--no-delete | 指定不删除已被归档的表数据。 | |
--progress | 指定每多少行打印进度信息,打印当前时间,已用时间以及多少行进行归档。 | |
--purge | 指定执行的清除操作而不是归档操作。允许忽略选项'--dest'和'--file'进行操作,如果只是清除操作可以结合选项'--primary-key-only'会更高效。 | |
--replace | 指定写入选项'--dest'指定目标端表时改写INSERT语句为REPLACE语句。 | |
--retries | 1 | 指定归档操作遇到死锁或超时的重试次数。当重试次数超过该选项指定的值时,工具将报错退出。 |
--run-time | 指定工具归档操作在退出之前需要运行的时间。允许的时间后缀名为s=秒,m=分,h=小时,d=天,如果没指定,默认为s。 | |
--[no]safe-auto-increment | yes | 指定不使用自增列(AUTO_INCREMENT)最大值对应的行进行归档。 该选项在进行归档清除时会额外添加一条WHERE子句以防止工具删除单列升序字段具有的具有AUTO_INCREMENT属性最大值的数据行,为了在数据库重启之后还能使用到AUTO_INCREMENT对应的值,但这会引起无法归档或清除字段对应最大值的行。 |
--sleep | 指定工具在通过SELECT语句获取归档数据需要休眠的时间,默认值是不进行休眠。在休眠之前事务并不会提交,并且选项'--file'指定的文件不会被刷新。如果指定选项'--commit-each',则在休眠之前会进行事务提交和文件刷新。 | |
--statistics | 指定工具收集并打印操作的时间统计信息。 | |
--txn-size | 1 | 指定每个事务处理的行数。如果是0则禁用事务功能。 |
--why-quit | 指定工具打印当非因完成归档行数退出的原因。 在执行一个自动归档任务时该选项与选项'--run-time'一起使用非常方便,这样可以确定归档任务是否在指定的时间内完成。如果同时指定了选项'--statistics',则会打印所有退出的原因。 | |
--skip-foreign-key-checks | 指定使用语句SET FOREIGN_KEY_CHECKS = 0禁用外键检查。 |
三,安装部署mysql_archiver常见错误
1. 执行python db_archive_exec.py 127.0.0.1 db123 报错
Traceback (most recent call last):
File "/data/mysql_archiver/mysql_archiver-master/db_archive_exec.py", line 7, in <module>
import db_conn
File "/data/mysql_archiver/mysql_archiver-master/db_conn.py", line 4, in <module>
import MySQLdb
ImportError: No module named MySQLdb
解决方案:
Step 1 基础环境
rm -rf /etc/yum.repos.d/epel*
yum install postgresql-devel python3-devel postgresql-devel python-devel
Step 2 安装setuptools
(1) 下载 setuptools-39.2.0.zip
(2) 解压安装 python setup.py build
python setup.py install
step 3 安装pip
(1) 下载 pip-1.5.4.tar.gz
(2) 安装 python setup.py install
step 4 安装MySQL-python
yum install MySQL-python
2.报错缺少pt-archiver工具
sh: pt-archiver: command not found
解决方案:
下载percona-toolkit-3.2.1_x86_64.tar.gz,安装,并且设置个软连接。
例如:
ln -s /data/mysql_archiver/percona-toolkit-3.2.1/bin/pt-archiver /usr/local/bin/pt-archiver
3.缺少文档
<type 'exceptions.Exception'>
[Errno 2] No such file or directory: u'/software/python_script/db_archive_XXXXdb_XXXtablename.log'
解决方案:
创建文档: /software/python_script
4.字符集问题
Character set mismatch: --source DSN uses utf8, table uses utf8mb4. You can disable this check by specifying --no-check-charset.
解决方案:
修改db_archive_exec.py可执行文件,针对pt-archiver添加参数 --no-check-charset
5.参数设置报错
Usage: pt-archiver [OPTIONS] --source DSN --where WHERE Errors in command-line arguments:
* --txn-size and --commit-each are mutually exclusive. pt-archiver nibbles records from a MySQL table. The --source and --dest
arguments use DSN syntax; if COPY is yes, --dest defaults to the key's value
from --source. For more details, please use the --help option, or try 'perldoc
/usr/local/bin/pt-archiver' for complete documentation.
解决方案:
pt-archiver去掉参数 --commit-each
6.Cannot find encoding "utf8mb4"
报错信息:
Cannot find encoding "utf8mb4" at /usr/local/bin/pt-archiver line 6711.
解决方案:
pt-archiver去掉参数 --bulk-insert --bulk-delete
四.主要参考资料
1.MySQL数据归档实战-Python和pt-archiver的强强结合
https://blog.csdn.net/n88lpo/article/details/78905528?utm_medium=distribute.pc_relevant.none-task-blog-baidulandingword-14&spm=1001.2101.3001.4242
2.MySQL数据归档小工具
https://github.com/dbarun/mysql_archiver#readme
3.在linux下安装MySQLdb及基本操作
https://www.cnblogs.com/blogsme/archive/2012/12/12/2814588.html
4.pt工具之pt-archiver
https://www.cnblogs.com/yhq1314/p/10601801.html
5.linux下pip的安装步骤及使用详解
https://www.jb51.net/article/118035.htm
6.Percona-Toolkit 之 pt-archiver 总结
https://www.cnblogs.com/dbabd/p/10721857.html
MySQL数据归档小工具推荐--mysql_archiver的更多相关文章
- 实用小工具推荐 OpenWrite
[实用小工具推荐]给技术同学们推荐一款比较好用的工具,可以实现一稿多发,主流的技术渠道基本涵盖了:https://www.openwrite.cn/ 因为工作的关系,认识了很多做技术公众号的小伙伴,同 ...
- 用 C# 写一个 Redis 数据同步小工具
用 C# 写一个 Redis 数据同步小工具 Intro 为了实现 redis 的数据迁移而写的一个小工具,将一个实例中的 redis 数据同步到另外一个实例中.(原本打算找一个已有的工具去做,找了一 ...
- 用Python写一个向数据库填充数据的小工具
一. 背景 公司又要做一个新项目,是一个合作型项目,我们公司出web展示服务,合作伙伴线下提供展示数据. 而且本次项目是数据统计展示为主要功能,并没有研发对应的数据接入接口,所有展示数据源均来自数据库 ...
- opencv(4)实现数据增加小工具
数据增加(data augmentation),作为一种深度学习中的常用手段,数据增加对模型的泛化性和准确性都有帮助.数据增加的具体使用方式一般有两种,一种是实时增加,比如在Caffe中加入数据扰动层 ...
- MySQL 数据查询小练习
作业 # 创建班级表 create table class ( cls_id int auto_increment primary key, cls_name varchar(10) not null ...
- TcpView 查看端口的小工具(推荐)
介绍: TCPView是一个Windows程序,将显示你的详细清单的所有TCP和UDP端点在您的系统,包括拥有进程名称,远程地址和状态的TCP连接. 打开下面的链接就可以下载了. https://te ...
- JSWING小工具
项目中需要一个发送指令到指定服务端,取得设备ID及检测数据的小工具,就利用jswing开发了一个简单小组件,最终效果如下: 代码很简单,具体片段如下: Window.java import java. ...
- 推荐一个同步Mysql数据到Elasticsearch的工具
把Mysql的数据同步到Elasticsearch是个很常见的需求,但在Github里找到的同步工具用起来或多或少都有些别扭. 例如:某记录内容为"aaa|bbb|ccc",将其按 ...
- MySQL数据导入导出方法与工具mysqlimport
MySQL数据导入导出方法与工具mysqlimport<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office ...
随机推荐
- 用OCR文字识别工具来审阅和处理PDF内容
"工作的时候要同时打开好几个软件真的是太不方便了."很多公司白领都有这样的困扰.他们抱怨着进行文字识别过后又要打开文档编辑器来进行编辑.PDF是办公文档常用的格式, ABBYY F ...
- 开源认证和访问控制的利器keycloak使用简介
目录 简介 安装keycloak 创建admin用户 创建realm和普通用户 使用keycloak来保护你的应用程序 安装WildFly client adapter 注册WildFly应用程序 安 ...
- django绕过admin登录设置
在admin.py文件添加以下函数本文是转载:#绕过admin登录def allow_anonymous_user(): from django.contrib.auth.models import ...
- Grakn Forces 2020 ABCDE题解
看到老外评论区中说,这场的难度估计是\(div.1\)和\(div.1.5\)的合并 A. Circle Coloring #构造 题目链接 题意 给定三个长度为\(n\)数组\(a,b,c\),要你 ...
- 蓝桥杯——复数幂 (2018JavaAB组第3题)
18年Java蓝桥杯A组第3题和B组是一样的. 第三题往往比较难. 复数幂 (18JavaAB3) (A.B两卷第三题一样) 设i为虚数单位.对于任意正整数n,(2+3i)^n 的实部和虚部都是整数. ...
- Kafka入门之consumer
offset存放在_consumer_offsets这个topic下 并且从0-49划分了50个分区: consumer会在kafka集群的所有broker中选择一个broker作为consumer ...
- 【mq读书笔记】顺序消息
注意异常情况导致整个消费无限重试 阻塞消费 mq支持局部消息顺序消费,可以确保同一个消息消费队列中的消息被顺序消费.看下针对顺序消息在整个消费过程中做的调整: 队列负载: DefaultMQPushC ...
- LeetCode 046 Permutations
题目要求:Permutations(全排列) Given a collection of numbers, return all possible permutations. For example, ...
- Spring Boot系列:七、 实现Mybatis多数据源切换
一.引入相关maven配置 mybatis; mysql驱动:jdbc <dependency> <groupId>org.mybatis.spring.boot</g ...
- PyQt学习随笔:Qt中Model/View中的Model Index
Qt中Model/View中的Model Index是一个类,该类用于定位Model/View中数据模型中的数据. Model Index是从QAbstractItemModel派生的子类,用于在项视 ...