mysql主从一致性校验工具-pt
一、环境
1、系统环境
系统 | IP | 主机名 | 说明 | server_id |
---|---|---|---|---|
centos6.7 | MasterIP | master | 数据库:主 | 177 |
centos6.7 | SlaveIP | slave | 数据库:从 | 148 |
2、软件环境
软件 | 版本 | 安装方式 | 说明 |
---|---|---|---|
pt工具 | 3.0.4 | 编译安装 | 这是一个综合工具包,包含很多pt命令 |
mysql数据库 | 5.6.37 | yum安装 | 主从环境 |
3、需要用到库
库名 | 表名 | 用途 |
---|---|---|
percona | checksums |
存储pt命令监测的结果,第一次执行检测命令时会自己创建 修复工具修复的时候会读取该表 |
#本表格也可以自己创建,在使用pt工具的时候指定库表名字,详见下面的参数解释。
注意:自建库表测试尚未通过。
二、为什么要做主从一致性监测
1、主从复制是基于binlog的逻辑复制,难免出现复制数据不一致的风险
2、这个风险不但会引起用户数据访问前后不一致的风险
3、而且会导致后续复制出现1032、1062错误进而引起复制架构停滞的隐患
4、为了及时发现并解决这个问题
5、我们需要定期或不定期地开展主从复制数据一致性的校验和修复工作
三、主从一致性监测原理
四、pt工具监测
用到的命令:
1、pt-table-check #监测主从一致
2、pt-table-sync #修复主从一致
mysql主从一致性校验,基于pt工具进行。
#限制及问题
1、在检查阶段,超过1000行的数据,如果没有设定索引或者主键,则报错,该表会跳过检查。
2、在修复阶段,如果表没有设置主键或索引,则修复报错,可以手动进行修复。
3、监测是基于块进行的,如果mysql表的数据没有进行分块,那么当表过大时,会造成监测一段时间后发现没有问题会跳过改表。
4、当数据库两个数据不一致,但是checksum检测一致时,没有比对出不一致。
主库和从库账号一致,密码不一致发现了这种问题。
原因:对于修改密码的操作,chencksum的值并没有发生变化。
五、安装pt工具
最好所有主库从库都安装
1、安装依赖
yum install perl-IO-Socket-SSL perl-DBD-MySQL perl-Time-HiRes perl perl-DBI -y
yum install perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker -y
2、下载安装包
1、官网下载
3、安装
tar xzvf percona-toolkit-3.0.4_x86_64.tar.gz
cd percona-toolkit-3.0.4
perl Makefile.PL --安装到非默认路径PREFIX=${HOME}
make
make test
make install
六、pt工具常用命令
1、创建监测账号
grant all on *.* to 'zxfly_check'@'192.168.22.% ' identified by 'zxfly';
flush privileges;
2、监控用的表为:percona.checksum该表会自动创建。
监测:
#指定库名
pt-table-checksum --databases zxfly -u'zxfly' -p'zxfly' -hMasterIP -P3306 2>/logs/pt_error.log 1>/logs/pt_info.log
#不指定库,监测所有数据库(除information_schema、percona、performance_schema库)
pt-table-checksum --quiet -u'zxfly' -p'zxfly' -hMasterIP -P3306 2>/logs/pt_error.log 1>/logs/pt_info.log
pt-table-checksum --replicate-check-only -u'zxfly' -p'zxfly' -hMasterIP -P3306
打印修复sql:指定库表
pt-table-sync --databases=dataname --tables=table1,table2 h=MasterIP,u=zxfly,p=zxfly h=SlaveIP,u=zxfly,p=zxfly --charset=utf8 --print
修复:
pt-table-sync --databases=dataname --tables=table1,table2 h=MasterIP,u=zxfly,p=zxfly h=SlaveIP,u=zxfly,p=zxfly --charset=utf8 --exec
七、pt工具常用参数
1、pt-table-checksum
参数 | 参数说明 | 备注 |
---|---|---|
--[no]check-replication-filters | 不检查复制过滤器,建议启用。后面可以用--databases来指定需要检查的数据库。 | 当前环境不需要该参数,默认开启 |
--no-check-binlog-format | 不检查复制的binlog模式,要是binlog模式是ROW,则会报错。 | 默认是监测,使用默认值,如果添加该参数可能导致diff不出来 |
--replicate-check-only | 只显示不同步的信息。 |
开启这个,可以减少输出并且显示不一致的从库主机名 不过这个只是显示已经检测过的不一致信息,并不能显示当前的。 |
--replicate= | 把checksum的信息写入到指定表中,建议直接写到被检查的数据库当中。不需要指定 | 默认会创建percona库下checksum表 |
-h -u -p -P | masterIP 监测账号 密码 端口 | |
--databases= | 指定需要被检查的数据库,多个则用逗号隔开。 | |
--tables= | 指定需要被检查的表,多个用逗号隔开 | |
--recursion-method | 指定监测从库的模式,默认使用processlist,也可以指定dsn |
多个从库可以这样指定。--recursion-method=dsn=h=host,D=pt,t=dsns D 库名 t 表名 |
--quiet | 安静模式,最小化打印,纸打印错误行 | 与--replicate-check-only类似,但不显示从库信息 |
dsn库表结构及用法为:
- CREATE TABLE `dsns` ( `id` int(11) NOT NULL AUTO_INCREMENT, `parent_id` int(11) DEFAULT NULL, `dsn` varchar(255) NOT NULL, PRIMARY KEY (`id`) );
- -- 写入从库信息
- INSERT INTO dsns (parent_id,dsn) values(1, "h=replica_host,u=checksums,p=password,P=3306");
- -- 如果有多个从库,就插入多条记录.
- -- 也可以按如下简写
- INSERT INTO dsns (parent_id,dsn) values(1, "h=replica_host");
2、pt-table-sync
参数 | 参数说明 | 备注 |
---|---|---|
--replicate= | 指定通过pt-table-checksum得到的表 | 默认会创建percona库下checksum表时不需要指定 |
--databases= | 指定执行同步的数据库 | 在只修复指定的库时使用 |
--tables= | 指定需要被修复的表,多个用逗号隔开 | |
--sync-to-master | 指定一个DSN,即从的IP | 会通过show processlist或show slave status 去自动的找主。报错找不到主库时使用 |
h= u= p= | 服务器地址,账号,密码 | 命令里有2个ip,第一次出现的是Master的地址,第2次是Slave的地址。 |
打印修复的sql语句 | 只打印不执行。 | |
--exec 或 --execute | 执行修复 | |
--algorithms=c | 指定修复算法 |
default Chunk,Nibble,GroupBy,Stream 在报错算法问题的时候需要指定算法 |
--charset= | 指定默认字符集 | 如果数据中包含中文不指定次字符集的话修复不成功 |
3、输出信息解释
TS :完成检查的时间。
ERRORS :检查时候发生错误和警告的数量。
DIFFS :0表示一致,1表示不一致。当指定--no-replicate-check时,会一直为0,当指定--replicate-check-only会显示不同的信息。
ROWS :表的行数。
CHUNKS :被划分到表中的块的数目。
SKIPPED :由于错误或警告或过大,则跳过块的数目。
TIME :执行的时间。
TABLE :被检查的表名。
八、pt工具常见报错信息
1、监测报错(找不到从库,使用--recursion-method指定模式)
Diffs cannot be detected because no slaves were found. Please read the --recursion-method documentation for information.
2、binlog模式问题(由于指定为row行复制造成 使用--no-check-binlog-format跳过监测,不过这样有可能监测不出来主从不一致的信息,row行模式对于主从来说不需要进行主从监测)
Replica centos-1 has binlog_format ROW which could cause pt-table-checksum to break replication. Please read "Replicas using row-based replication" in the LIMITATIONS section of the tool's documentation. If you understand the risks, specify --no-check-binlog-format to disable this check.
3、没有索引或主键导致的,在数据较少的时候(低于1000行,没有测试出该信息,超过1000行会报错)
Cannot checksum table test.t: There is no good index and the table is oversized. at ./pt-table-checksum line 6370.
4、等待信息,已检测的百分比,这是因为设置了主键但是没有索引导致没有分块且表过大造成。
Checksumming database.table: 27% 01:17 remain
九、对多个库所有数据进行监测结果
pt-table-checksum监测数据库结果:
数据大小 | 监测花费时间 | 监测报错的表 | 原因 |
---|---|---|---|
93G | 30m28.523s |
4个 |
#字符集bug(工具自带,无法解决) 正式平台这些表都没有 |
1个 |
未监测到(中文表名监测不到) 正式平台无此表 |
||
1个 | 没有主键或者索引(数据条数:132835) |
十、pt修复工具pt-table-sync遇到的问题
在使用pt-table-checksum进行检测后,发现主从不一致的情况后可以使用pt-table-sync工具进行修复操作。
其原理为:基于pt-table-checksum监测的结果进行检查并生成修复语句去修复从库中的数据。
遇到的报错:
1、修复时候没有任何提示,但是修复报错。使用–print打印修复语句发现又乱码。
处理方法:查看表的字符集,通过--charset=命令指定默认字符集
2、报错:Failed to prepare TableSyncChunk plugin: Cannot chunk table `zxfly_zxfly1`.`mongo_task_data` using the character column guid, most likely because all values start with the same character. This table must be synced separately by specifying a list of --algorithms without the Chunk algorithm at /usr/local/bin/pt-table-sync line 4088. while doing table on 192.168.0.177
原因是在默认的算法中,要保证主键字段的数据前一位有不一样字符出现,而该表的主键数据第一个字符是一样的。
解决办法:
使用--algorithms=参数指定算法,当然这种应该最好分库分表进行恢复。
6、修复报错(原因:没有唯一索引或主键导致的,1000以内的,1000行以上没有索引或主键在监测时就会跳过。)
Can't make changes on the master because no unique index exists at /usr/local/bin/pt-table-sync line 10591.
mysql主从一致性校验工具-pt的更多相关文章
- Mysql 主从一致校验工具------Maatkit工具包
Maatkit工具包 http://www.maatkit.org/ 简介 maatkit是一个开源的工具包,为mysql日常管理提供了帮助.目前,已被Percona公司收购并维护.其中: mk-ta ...
- MySQL主从同步校验与重新同步
主从复制环境中,可能有种种原因导致主.从库数据不一致的情况,主从一致性也一直是DBA需要关注的问题,校验MySQL的主从一致性一般有多种工具,诸如MySQL自带的checksum.mysqldiff. ...
- mysql 主从一致性检查
我上一次遇到MySQL主从服务器数据一致性问题,想想是几年前的事情了,还依稀记得当时惊慌失措的情景,好在最后借助Maatkit解决了问题.几年后,当我再次面对同样的问题时,Maatkit已经不复存在, ...
- mysql 主从数据校验
使用工具pt-table-checksum: /usr/bin/pt-table-checksum --user=root --password='mysqlpass' --host=127.0.0. ...
- 主从校验工具pt-table-checksum和pt-table-sync工作原理
pt-table-checksum和pt-table-sync是常用来做MySQL主从数据一致性校验的工具,pt-table-checksum只校验数据,不能对数据进行同步:pt-table-sync ...
- MySQL主从配置详解
一.mysql主从原理 1. 基本介绍 MySQL 内建的复制功能是构建大型,高性能应用程序的基础.将 MySQL 的 数亿分布到到多个系统上去,这种分步的机制,是通过将 MySQL 的某一台主机的数 ...
- (5.10)mysql高可用系列——percona-toolkit工具下的pt-table-checksum 在线验证主从一致性【续写中】
关键词:percona-toolkit 工具包中包含 pt-table-checksum工具,在线验证主从一致性 [1]percona-toolkit 工具包 [1.1]percona-toolkit ...
- mysql 案例 ~ pt校验工具介绍
简介:今天咱们来聊聊PT校验工具pt-table-checksum 注意事项: 1. 根据测试,需要一个即能登录主库,也能登录从库的账号: 2. 只能指定一个host,必须为主库的IP: ...
- pt-table-checksum校验mysql主从数据一致性
主从数据的一致性校验是个头疼的问题,偶尔被业务投诉主从数据不一致,或者几个从库之间的数据不一致,这会令人沮丧.通常我们仅有一种办法,热备主库,然后替换掉所有的从库.这不仅代价非常大,而且类似治标不治本 ...
随机推荐
- 阿里巴巴Java开发手册(华山版)
插件下载地址: https://github.com/alibaba/p3c 2018年9月22日,在2018杭州云栖大会上,召开<码出高效:Java 开发手册>新书发布会,并宣布将图书所 ...
- 在idea中打开maven项目pom.xml未识别
在idea中打开maven项目pom.xml没有识别出来,导致idea不能自动下载依赖包, 解决办法是选中pom.xml文件,右键-" add as maven project"
- [Golang] http.Post导致goroutine泄漏
记录一个用http.Post的问题 if _, err := http.Post("http://127.0.0.1:8080", "", nil); nil ...
- SonarQube + Jenkins代码审查环境安装文档 v1.2
1. 安装SonarQube 1.1. 下载 下载地址:https://www.sonarqube.org/downloads/ 本次使用安装包为:sonarqube-7.4.zip 需要提前准备jd ...
- Spring Initializr生成的demo测试404错误
体验Spring Initializr生成的spring boot工程,启动成功, 目录结构如下: 添加了一个简单的controller后,启动成功但访问报404错误: 原因: springboot默 ...
- 安装cnpm出现问题
安装cnpm: 命令行中输入 npm install -g cnpm --registry=http://registry.npm.taobao.org 报:cnpm不是内部命令 解决方法:设置环 ...
- SQL IN 子查询返回多对值
我们常用的IN 操作是这样的: select * from tab twhere t.col1 in ('value1''value2');12但是如果是多个列的取值来自同一个子查询呢? 我们是不是要 ...
- 嵌入式02 STM32 实验05 蜂鸣器
蜂鸣器:是一种一体化结构的电子讯响器.主要分为分压式蜂鸣器和电磁式蜂鸣器两种类型. 一.有源/无源蜂鸣器(不是指是否带电源,而是有没有自带震荡电路) 1.有源蜂鸣器:有源蜂鸣器自带震荡电路,一通电就会 ...
- DFS BFS 学习总结
DFS 深度优先搜索 基本思路: if(true) 返回 典型例题: 1.马走日(非常典型) #include<iostream> #include<cstring> usin ...
- QT5的QChart使用记录
如果需要在QT中使用QChart类,需要在安装的时候勾选QChart选项,在工程的 .pro 文件里面添加 QT += charts 语句,包含 QChart 头文件就行了. 对于图表的显示,可以先拖 ...