pt-table-checksum 主从复制一致性检查
1. pt-table-checksum介绍
http://www.percona.com/doc/percona-toolkit/2.2/pt-table-checksum.html
pt-table-checksum是percona-toolkit工具集的工具之一。它通过在主库执行基于statement的sql语句来生成主库数据块的checksum,把相同的sql语句传递到从库,并在从库上计算相同数据块的checksum,最后,比较主从库上相同数据块的checksum值,由此判断主从数据是否一致。这种校验是分表进行的,在每个表内部又是分块进行的,而且pt工具本身提供了非常多的限流选项,因此对线上服务的冲击较小。
2. checksum计算原理
2.1 单行数据checksum值的计算
pt工具先检查表的结构,并获取每一列的数据类型,把所有数据类型都转化为字符串,然后用concat_ws()函数进行连接,由此计算出该行的checksum值。checksum默认采用crc32,你可以自己定义效率更高的udf。
2.2 数据块checksum值的计算
如果一行一行的计算checksum再去和从库比较,那么效率会非常低下。pt工具选择智能分析表上的索引,然后把表的数据split成一个个chunk,计算的时候也是以chunk为单位。因此引入了聚合函数BIT_XOR()。它的功能可以理解为把这个chunk内的所有行的数据拼接起来,再计算crc32的值,就得到这个chunk的checksum值。每一次对chunk进行checksum后,pt工具都会对耗时进行统计分析,并智能调整下一个chunk的大小,避免chunk太大对线上造成影响,同时也要避免chunk太小而效率低下。
2.3 一致性如何保证
当pt工具在计算主库上某chunk的checksum时,主库可能还在更新,同时从库可能延迟使得relay-log中还有与这个chunk数据相关的更新,那该怎么保证主库与从库计算的是”同一份”数据?答案是加for update当前读锁,这保证了主库的某个chunk内部数据的一致性。否则,1000个人chekcusm同样的1000行数据,可能得到1000个不同的结果,你无法避开mvcc的干扰!获得for update锁后,pt工具开始计算chunk的checksum值,并把计算结果保存到pt工具自建的结果表中(采用replace into select的方式),然后释放锁。该语句最终会传递到从库并执行相同的计算逻辑。
3. pt-table-checksum的使用
3.1 安装
安装依赖包
perl-DBI perl-DBD-MySQL
安装percona-toolkit
wget http://www.percona.com/downloads/percona-toolkit/LATEST/percona-toolkit-2.2.7.tar.gz tar xzvf percona-toolkit-2.2..tar.gz cd percona-toolkit-2.2. perl Makefile.PL make make install
3.2 数据库结构
主从结构,binlog_format=row
主库:rac3(10.250.7.50)
从库:rac4(10.250.7.60)
3.3 登陆主库,配置账号
需要一个既能登录主库,也能登录从库,而且还能同步数据库的账号
create user wentao@'%' identified by '123456';
grant all privileges on *.* to wentao@'%' identified by '123456';
3.4 在表t1中构造不一致的数据
3.5. 主从一致性检查
在主库上执行检测:
pt-table-checksum --nocheck-replication-filters --replicate=yuyue.checksums --databases=yuyue --no-check-binlog-format h=127.0.0.1,u=wentao,p=123456,P=3306
执行结果参数意义:
TS :完成检查的时间
ERRORS :检查时候发生错误和警告的数量
DIFFS :0表示一致,1表示不一致。当指定--no-replicate-check时,会一直为0,当指定--replicate-check-only会显示不同的信息
ROWS :表的行数
CHUNKS :被划分到表中的块的数目
SKIPPED :由于错误或警告或过大,则跳过块的数目
TIME :执行的时间
TABLE :被检查的表名
pt-table-checksum 参数说明:
--nocheck-replication-filters:不检查复制过滤器(即参数文件里设置的repliacte-do-waild-table等规则)
--replicate=yuyue.checksums:把checksums的信息写入指定库,建议直接写到被检查的库里
--no-check-binlog-format :不检查复制的binlog格式(这个参数在,binlog_format=row时,一定要加,不然报错)
--create-replicate-table:这个参数在第一次运行时添加,用于建立checksums表(但是我测试没加,表能正常建立)
--databases=yuyue:指定需要检查的数据库,多个用逗号隔开
--tables:指定需要被检查的表,多个用逗号隔开
h=127.0.0.1:Master的地址
u=wentao:用户名
p=123456:密码
P=3306:端口
通过DIFFS=1可以看出主从的表数据不一致。通过查看从库(rac4)上的yuyue.checksums表可以看到主从库的检验信息。
通过对比this_crc和master_crc,可以看出主备的表是否一致。
root@rac4 mysql > select * from checksums\G;
*************************** 1. row ***************************
db: yuyue
tbl: t1
chunk: 1
chunk_time: 0.000546
chunk_index: NULL
lower_boundary: NULL
upper_boundary: NULL
this_crc: 246be59 #从库的校验值
this_cnt: 4 #从库的行数(rac4)
master_crc: 40deaf21 #主库的校验值
master_cnt: 3 #主库的行数(rac3)
ts: 2014-05-11 09:55:14
*************************** 2. row ***************************
db: yuyue
tbl: t2
chunk: 1
chunk_time: 0.000397
chunk_index: NULL
lower_boundary: NULL
upper_boundary: NULL
this_crc: 40deaf21
this_cnt: 3
master_crc: 40deaf21
master_cnt: 3
ts: 2014-05-11 09:55:14
*************************** 3. row ***************************
db: yuyue
tbl: t3
chunk: 1
chunk_time: 0.00042
chunk_index: NULL
lower_boundary: NULL
upper_boundary: NULL
this_crc: 40deaf21
this_cnt: 3
master_crc: 40deaf21
master_cnt: 3
ts: 2014-05-11 09:55:14
3 rows in set (0.00 sec)
参考文章:
用pt-table-checksum校验数据一致性
pt-table-checksum 主从复制一致性检查的更多相关文章
- SQL Server 2008 安装过程中遇到“性能计数器注册表配置单元一致性”检查失败 问题的解决方法
操作步骤: 1. 在 Microsoft Windows 2003 或 Windows XP 桌面上,依次单击"开始"."运行",然后在"打开&quo ...
- 供应类型与计划分类一致性检查(PO)
应用 Oracle Purchasing 层 Level Function 函数名 Funcgtion Name CUXPOIMM 表单名 Form Name CUXPOIMM 说明 Descri ...
- 供应类型与计划分类一致性检查(INV)
应用 Oracle Inventory 层 Level Function 函数名 Funcgtion Name CUXINVIMM 表单名 Form Name CUXINVIMM 说明 Descrip ...
- NXP ARM Vector Table CheckSum
Signature Creator for NXP Cortex-M Devices Algorithm for creating the checksum The reserved Cortex-M ...
- FC 与 FB 与 OB 的区别,时间标记冲突与一致性检查 有详细的步骤
关键字1 组织块的程序是由用户自己编写. 关键字2 时间标记冲突与一致性检查 有详细的步骤. 关键字3 FC 与 FB 与 OB 的区别? (一)功能 功能块 区别 ? FB 和FC均为 用户编写 ...
- pt工具主从一致性检查并修复以及版本3.0.4的版本缺点
pt-table-checksum和pt-table-sync分别检验master-slave的数据不一致并修复. 1.本次测试环境 [root@172-16-3-190 we_ops_admin]# ...
- mysql 主从一致性检查
我上一次遇到MySQL主从服务器数据一致性问题,想想是几年前的事情了,还依稀记得当时惊慌失措的情景,好在最后借助Maatkit解决了问题.几年后,当我再次面对同样的问题时,Maatkit已经不复存在, ...
- TIKV副本一致性检查机制分析
背景 TIKV使用raft协议来实现副本同步,任何时刻写入一个KEY-VAL键值对,都会基于RAFT协议复制到不同机器的三个副本上,raft协议本身能保证副本同步的强一致性,但是任何系统都可能存在BU ...
- Hbase 元数据一致性检查(转)
最近在学习HBase先关的知识,顺便做一下笔记,以加深知识的了解和掌握. Hbase常用工具 文件检测修复工具 hbase hbck -help 常用选项: -details 显示所有region检查 ...
随机推荐
- Oracle数据库间的数据复制 - SQLPlus中的COPY命令
Copy命令可以实现不同Oracle数据库间的数据的复制,也是可以实现同一数据库的数据复制,其性能表现和导入/导出相同. 根据9i文档,说Copy命令未来会不支持,但实际上Oracle 11g仍然支持 ...
- IBM MQ
一,安装 1,先安装必备MQ\MQ60\Prereqs\IES\Setup.exe 2,再安装MQ\MQParms.exe 二,发送方 刚装好后,默认有一个管理器名,可以删除,自己重新建,以防有不可知 ...
- 【IOCP】 IOCP模型属于一种通讯模型- 较难
http://baike.baidu.com/link?url=e9vXkKd2aHp8VDr1XTURdwQB4K85r28IYjeMwRIyuaXtsrCsXHY1eohiFgsDXRYRlj6x ...
- div蒙版+可移动
<html> <head> <title></title> <script src="jquery-1.8.2.js&q ...
- poj 1094 Sorting It All Out (拓扑排序)
http://poj.org/problem?id=1094 Sorting It All Out Time Limit: 1000MS Memory Limit: 10000K Total Su ...
- 1046: [HAOI2007]上升序列 - BZOJ
Description 对于一个给定的S={a1,a2,a3,…,an},若有P={ax1,ax2,ax3,…,axm},满足(x1 < x2 < … < xm)且( ax1 < ...
- uc/os 任务删除
问题描述: uc/os 任务删除 问题解决: uc/os任务删除流程图 具体代码 注: 如上是关中断,以及取消优先级对应的就绪标志 关中断代码为: 取消就绪标志,实际上是将就绪表中指定 ...
- MySQL 主主同步配置和主从配置步骤
★预备知识 : 1.双机热备 对于双机热备这一概念,我搜索了很多资料,最后,还是按照大多数资料所讲分成广义与狭义两种意义来说. 从广义上讲,就是对于重要的服务,使用两台服务器,互相备份,共同执行同一服 ...
- [转载]vs2012中使用Spring.NET报错:Spring.Context.Support.ContextRegistry 的类型初始值设定项引发异常
学习使用Spring.NET中的时候,写了一个Demo,在运行时报了一个错误:Spring.Context.Support.ContextRegistry 的类型初始值设定项引发异常. 重新整理思绪, ...
- android 安全需要关注
1.通过签名校验保护,能有效避免应用被二次打包,杜绝盗版应用的产生2.对内存数据进行变换处理和动态跟踪,有效防止数据被获取和修改3.对代码进行加密压缩,可防止破解者还原真实代码逻辑,避免被复制4.多重 ...