相信很多人的线上都搭建了MySQL主从这样的框架,很多人只监控MySQL的从服务器Slave_IO和Slave_SQL这两个线程是否为YES,还有 Seconds_Behind_Master延迟大不大之类的一些信息。但他们是否定期的去检查MySQL主服务器的数据和从服务器的数据是否一致呢,数据一致性才是最重要的,有人很好奇的问,如果数据不一致,就肯定没有两个YES的出现啦,我想说,不一定的,因为当slave出现错误时,可以通过SET GLOBAL sql_slave_skip_counter = N来跳过错误,还有可以通过选项--slave-skip-errors=[error_code]来跳过错误代码,这样处理后Slave_IO和Slave_SQL状态依然为YES,但这个时候,数据可能就跟主库不一致了。下面和大家学习一个很不错的工具pt-table-checksum

pt-table-checksum:MySQL复制完整性校验(这个工具的重点是找到有效数据的差异。如果任何数据是不同的,你可以用pt-table-sync解决问题。)

软件包下载地址:http://www.percona.com/downloads/percona-toolkit/2.2.7/RPM/percona-toolkit-2.2.7-1.noarch.rpm

PT工具的安装,可以参考我的博客:http://www.cnblogs.com/xuanzhi201111/p/4128894.html(主库和从库都要安装)

实验环境:   master(192.168.1.128:3306)

slave(192.168.1.129:3306)

注意事项:

1、  根据测试,需要一个即能登录主库,也能登录从库的账号;

2、  只能指定一个host,必须为主库的IP;

3、  在检查时会向表加S锁;

4、  如果master和slave的binlog日志不是STATEMENT格式,要用--no-check-binlog-format选项

5、  运行之前需要从库的同步IO和SQL进程是YES状态。

6、  表要有主键索引或唯一键索引

在主库上(master:3306),如下:

mysql> select * from check_sum.test1;
+------+-------+
| id | couse |
+------+-------+
| | aa |
| | bb |
| | cc |
+------+-------+
rows in set (0.00 sec) mysql>

在从库(slave:3306),如下(跟master数据不一致了):

mysql> select * from check_sum.test1;
+------+-------+
| id | couse |
+------+-------+
| | aa |
| | bb |
+------+-------+
rows in set (0.00 sec) mysql>

pt-table-checksum参数解释:

--nocheck-replication-filters :不检查复制过滤器,建议启用。后面可以用--databases来指定需要检查的数据库。
--no-check-binlog-format : 不检查复制的binlog模式,要是binlog模式是ROW,则会报错。
--replicate-check-only :只显示不同步的信息。
--replicate= :把checksum的信息写入到指定表中,建议直接写到被检查的数据库当中。
--databases= :指定需要被检查的数据库,多个则用逗号隔开。
--tables= :指定需要被检查的表,多个用逗号隔开
h=192.168.1.128 :Master的地址
u=root :用户名
p= :密码
P= :端口

在主库上执行数据检查命令:

[root ~]$ pt-table-checksum  --nocheck-replication-filters --replicate=test.checksums --databases=check_sum  h=192.168.1.128,u=admin,p=,P=
Replica slave has binlog_format MIXED which could cause pt-table-checksum to break replication. Please read "Replicas using row-based replication" in the LIMITATIONS section of the tool's documentation. If you
understand the risks, specify --no-check-binlog-format to disable this check.

上面报错了,意思说如果binlog_format 为MIXED格式,会破坏同步,可以使用--no-check-binlog-format选项来关闭检查

添加上--no-check-binlog-format选项,再在master库上执行,报以下错(标红的为报错信息):

[root ~]$ pt-table-checksum  --nocheck-replication-filters --no-check-binlog-format  --replicate=test.checksums --databases=check_sum  h=192.168.1.128,u=admin,p=,P=
Cannot connect to P=3306,h=192.168.1.129,p=...,u=root
Diffs cannot be detected because no slaves were found. Please read the --recursion-method documentation for information.
TS ERRORS DIFFS ROWS CHUNKS SKIPPED TIME TABLE
-13T15:: 0.044 check_sum.test1

上面已经告诉你怎么做了, Please read the --recursion-method documentation for information,上面的提示信息很清楚,因为找不到slave库,所以执行失败。用参数--recursion-method 可以指定模式解决,关于--recursion-method参数的设置有:

METHOD       USES
=========== =============================================
processlist SHOW PROCESSLIST
hosts SHOW SLAVE HOSTS
cluster SHOW STATUS LIKE 'wsrep\_incoming\_addresses'
dsn=DSN DSNs from a table
none Do not find slaves

默认是通过show processlist 找到host的值或show slave hosts 找到host的值

*************************** . row ***************************
Id:
User: admin
Host: 192.168.1.129:
db: NULL
Command: Binlog Dump
Time:
State: Master has sent all binlog to slave; waiting for binlog to be updated
Info: NULL
*************************** . row ***************************
Id:
User: root
Host: localhost
db: check_sum
Command: Query
Time:
State: NULL
Info: show processlist
rows in set (0.00 sec)

还有一种方法是show slave hosts;前提从库配置文件里面已经配置自己的地址和端口,在slave库上操作(在[mysqld]下添加这两行):

[root mysql-5.5.]$ cat  my.cnf |grep "report"
report_host=192.168.1.129
report_port=

回到master库操作:

mysql> show slave hosts;
+-----------+---------------+------+-----------+
| Server_id | Host | Port | Master_id |
+-----------+---------------+------+-----------+
| | 192.168.1.129 | | |
+-----------+---------------+------+-----------+
row in set (0.00 sec) mysql>

最重要的一点是我们需要在从库上授权,能让主库访问,只能指定一个host,必须为主库的IP,在slave库上操作;

mysql>GRANT SELECT, PROCESS, SUPER, REPLICATION SLAVE ON *.* TO 'admin'@'192.168.1.128' IDENTIFIED BY '';
Query OK, 0 rows affected (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
mysql>

如果在master没有让admin用户登录的权利,要在master库给admin权限,很多人用root用户来检查,所以只要在从库权限即可(在master库上操作):

mysql>GRANT SELECT, PROCESS, SUPER, REPLICATION SLAVE ON *.* TO 'admin'@'192.168.1.128' IDENTIFIED BY '';
Query OK, 0 rows affected (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
mysql>

权限解释:

select     //查看所有库的表,原理可加 explain选项查看
process //show processlist
super //set binlog_format='statement'
replication slave //show slave hosts

现在我们再来检测数据一致性(master库上操作):

[root ~]$ pt-table-checksum  --nocheck-replication-filters --no-check-binlog-format --replicate=test.checksums --databases=check_sum  h=192.168.1.128,u=admin,p=,P=
TS ERRORS DIFFS ROWS CHUNKS SKIPPED TIME TABLE
-26T15:: 0.339 check_sum.test1

看到已经检查出主从数据有不一致了,DIFFS下的值为1,怎么不一致呢? 通过指定--replicate=test.checksums 参数,就说明把检查信息都写到了checksums表中

下面对例的含义进行解释:

TS            :完成检查的时间。
ERRORS :检查时候发生错误和警告的数量。
DIFFS :0表示一致,1表示不一致。当指定--no-replicate-check时,会一直为0,当指定--replicate-check-only会显示不同的信息。
ROWS :表的行数。
CHUNKS :被划分到表中的块的数目。
SKIPPED :由于错误或警告或过大,则跳过块的数目。
TIME :执行的时间。
TABLE :被检查的表名。

之前一直以为去master的test.checksums表查看主库与从库不一致的信息,纠结了N久,前面显示了DIFFS下的值为1,但master上看表里的信息如下:

mysql> select * from test.checksums\G
*************************** . row ***************************
db: check_sum
tbl: test1
chunk:
chunk_time: 0.023619
chunk_index: NULL
lower_boundary: NULL
upper_boundary: NULL
this_crc: d5b7731c #slave
this_cnt: #slave
master_crc: d5b7731c #master
master_cnt: #master
ts: -- ::
row in set (0.00 sec) mysql>

看到了吧,它们信息一样,正常来说,表里信息应该是master跟slave不一致才对的,现在是一致,如果test.checksum里的对比是一样的,是不能把slave库少了的数据从master库同步过去的,因为pt-table-sync同步数据时,要借助test.checksum表。别急:我们再去看一下slave库下的test.checksums:(slave库操作)

mysql> select * from test.checksums\G
*************************** . row ***************************
db: check_sum
tbl: test1
chunk:
chunk_time: 0.023619
chunk_index: NULL
lower_boundary: NULL
upper_boundary: NULL
this_crc: 64fdcfa3
this_cnt: #slave 2行数据
master_crc: d5b7731c
master_cnt: #master 3行数据
ts: -- ::
row in set (0.00 sec)

在master库可以可以用--print选项打印出master下的check_sum.test1和slave库的check_sum.test1的不一致的数据,如下:

[root ~]$  pt-table-sync --replicate=test.checksums h=192.168.1.128,u=admin,p=,P= h=192.168.1.129,u=admin,p=,P= --print
Can't make changes on the master because no unique index exists at /usr/bin/pt-table-sync line 10648. while doing check_sum.test1 on 192.168.1.129

以上报错了,报错信息也很明显,说表没有唯一索引,在master库上给表添加主键索引或者唯一索引:

mysql> alter table test1 add primary key (id);
Query OK, 3 rows affected (0.17 sec)
Records: 3 Duplicates: 0 Warnings: 0 mysql> show create table test1\G
*************************** 1. row ***************************
Table: test1
Create Table: CREATE TABLE `test1` (
`id` int(11) NOT NULL DEFAULT '',
`couse` char(10) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1
1 row in set (0.00 sec) mysql>

再在master执行一次pt-table-checksum,再执行pt-table-sync,如下:

[root ~]$ pt-table-checksum  --nocheck-replication-filters --no-check-binlog-format --replicate=test.checksums --databases=check_sum  h=192.168.1.128,u=admin,p=,P=
TS ERRORS DIFFS ROWS CHUNKS SKIPPED TIME TABLE
-26T17:: 0.151 check_sum.test1

[root ~]$ pt-table-sync --replicate=test.checksums h=192.168.1.128,u=admin,p=,P= h=192.168.1.129,u=admin,p=,P= --print
REPLACE INTO `check_sum`.`test1`(`id`, `couse`) VALUES ('', 'cc') /*percona-toolkit src_db:check_sum src_tbl:test1 src_dsn:P=3306,h=192.168.1.128,p=...,u=admin dst_db:check_sum dst_tbl:test1 dst_dsn:P=3306,
h=192.168.1.129,p=...,u=admin lock:1 transaction:1 changing_src:test.checksums replicate:test.checksums bidirectional:0 pid:41368 user:root host:localhost.localdomain*/;

大家都看到了有不一致的数据记录了吧

参数说明:

--replicate=    :指定通过pt-table-checksum得到的表.
--databases= : 指定执行同步的数据库,多个用逗号隔开。
--tables= :指定执行同步的表,多个用逗号隔开。
--sync-to-master :指定一个DSN,即从的IP,他会通过show processlist或show slave status 去自动的找主。
h=127.0.0.1 :服务器地址,命令里有2个ip,第一次出现的是Master的地址,第2次是Slave的地址。
u=root :帐号。
p= :密码。
--print :打印,但不执行命令。
--execute :执行命令。

接下的操作就是把slave上少的数据,从master同步过去(master操作):

通过(--execute),让它们数据保持一致性:

[root ~]$ pt-table-sync --replicate=test.checksums h=192.168.1.128,u=admin,p=,P= h=192.168.1.129,u=admin,p=,P= --execute
INSERT,DELETE command denied to user 'admin'@'192.168.1.128' for table 'test1' [for Statement "REPLACE INTO `check_sum`.`test1`(`id`, `couse`) VALUES ('3', 'cc')
/*percona-toolkit src_db:check_sum src_tbl:test1 src_dsn:P=3306,h=192.168.1.128,p=...,u=admin dst_db:check_sum dst_tbl:test1 dst_dsn:P=3306,h=192.168.1.129,p=...,u=admin lock:1 transaction:1
changing_src:test.checksums replicate:test.checksums bidirectional:0 pid:41650 user:root host:localhost.localdomain*/"] at line 10707 while doing check_sum.test1 on 192.168.1.129

看到报错了吧,提示admin用户没有INSERT、DELETE权限(如果是root用户,就没这些小问题),在master授权admin用户权限后再执行如下命令(master操作):

[root ~]$ pt-table-sync --replicate=test.checksums h=192.168.1.128,u=admin,p=,P= h=192.168.1.129,u=admin,p=,P= --execute

[root ~]$ pt-table-checksum  --nocheck-replication-filters --no-check-binlog-format --replicate=test.checksums --databases=check_sum  h=192.168.1.128,u=admin,p=,P=
TS ERRORS DIFFS ROWS CHUNKS SKIPPED TIME TABLE
-26T17:: 0.073 check_sum.test1

可以看到再次检查的时候,DIFFS已经是0了,去slave查看一下表的数据(slave操作):

mysql> select * from check_sum.test1;
+----+-------+
| id | couse |
+----+-------+
| 1 | aa |
| 2 | bb |
| 3 | cc |
+----+-------+
3 rows in set (0.00 sec)

已经跟master上的数据一致了。

第二种情况:(slave的端口不是3306,则要用另一种方式去检查)

环境:192.168.1.128:3306(master)

192.168.1.129:3307(slave)

执行数据检查命令pt-table-checksum:

[root ~]$  pt-table-checksum  --nocheck-replication-filters --no-check-binlog-format --replicate=test.checksums --databases=check_sum  h=192.168.1.128,u=admin,p=,P=
Cannot connect to P=3306,h=192.168.1.129,p=...,u=admin
Diffs cannot be detected because no slaves were found. Please read the --recursion-method documentation for information.
TS ERRORS DIFFS ROWS CHUNKS SKIPPED TIME TABLE
-26T19:: 0.065 check_sum.test1

以上报错了,因为pt-table-checksum默认是找slave库的3306,现在slave上的端口是3307了(在master操作):

mysql> show slave hosts;
+-----------+---------------+------+-----------+
| Server_id | Host | Port | Master_id |
+-----------+---------------+------+-----------+
| 11 | 192.168.1.129 | 3307 | 1 |
+-----------+---------------+------+-----------+
1 row in set (0.00 sec) mysql>

在master上test库上创建一个表:

mysql> use test
Database changed
mysql> CREATE TABLE `dsns` ( `id` int(11) NOT NULL AUTO_INCREMENT, `parent_id` int(11) DEFAULT NULL, `dsn` varchar(255) NOT NULL, PRIMARY KEY (`id`) );
Query OK, 0 rows affected (0.08 sec)
mysql>

写入从库信息,如果有多个从库,就插入多条记录:

mysql> INSERT INTO dsns (parent_id,dsn) values(1, "h=192.168.1.129,u=admin,p=123456,P=3307");
Query OK, 1 row affected (0.04 sec) mysql> select * from dsns;
+----+-----------+-----------------------------------------+
| id | parent_id | dsn |
+----+-----------+-----------------------------------------+
| 1 | 1 | h=192.168.1.129,u=admin,p=123456,P=3307 |
+----+-----------+-----------------------------------------+
1 row in set (0.00 sec)

然后在master上执行数据校验命令:

[root ~]$  pt-table-checksum  --nocheck-replication-filters --no-check-binlog-format --replicate=test.checksums --databases=check_sum  h=192.168.1.128,u=admin,p=,P=--recursion-method=dsn=h=192.168.1.128,
D=test,t=dsns
TS ERRORS DIFFS ROWS CHUNKS SKIPPED TIME TABLE
-26T20:: 0.100 check_sum.test1

在slave库执行删除数据操作:

mysql> select * from test1;
+----+-------+
| id | couse |
+----+-------+
| | aa |
| | bb |
| | cc |
+----+-------+
rows in set (0.00 sec) mysql> delete from test1 where id=;
Query OK, row affected (0.00 sec)

再在master库执行数据校验命令:

[root ~]$  pt-table-checksum  --nocheck-replication-filters --no-check-binlog-format --replicate=test.checksums --databases=check_sum  h=192.168.1.128,u=admin,p=,P= --recursion-method=dsn=h=192.168.1.128,
D=test,t=dsns
TS ERRORS DIFFS ROWS CHUNKS SKIPPED TIME TABLE
-26T20:: 0.020 check_sum.test1

已经检查出数据不一致了,至于怎么把数据同步到从库,还没研究出来,按第一种方法,再换一下端口,也不行,因为pt-table-sync默认找3306端口,如果你研究出来了,分享下哈,哈哈^.^

总结pt-table-checksum和pt-table-sync工具是非常好用的数据检查及修复的工具,在日常生活中会经常用到,可以写脚本去监控数据的一致性

参考资料:http://www.percona.com/doc/percona-toolkit/2.2/pt-table-checksum.html

              http://www.percona.com/doc/percona-toolkit/2.2/pt-table-sync.html

http://keithlan.github.io/2016/05/25/pt_table_checksum/

作者:陆炫志

出处:xuanzhi的博客 http://www.cnblogs.com/xuanzhi201111

您的支持是对博主最大的鼓励,感谢您的认真阅读。本文版权归作者所有,欢迎转载,但请保留该声明。

利用pt-table-checksum校验数据一致性的更多相关文章

  1. NXP ARM Vector Table CheckSum

    Signature Creator for NXP Cortex-M Devices Algorithm for creating the checksum The reserved Cortex-M ...

  2. 利用mk-table-checksum监测Mysql主从数据一致性操作记录

    前面已经提到了mysql主从环境下数据一致性检查:mysql主从同步(3)-percona-toolkit工具(数据一致性监测.延迟监控)使用梳理今天这里再介绍另一种Mysql数据一致性自动检测工具: ...

  3. IP,TCP,UDP Checksum校验

    IP数据报的校验: IP数据报只需要对数据头进行校验,步骤如下: 将接收到的数据的checksum字段设置为0 把需要校验的字段的所有位划分为16位(2字节)的字 把所有16位的字相加,如果遇到进位, ...

  4. Oracle利用external table 查看trace文件

    1. 用下面的语句找到trace文件的路径 select * from v$diag_info where name='Default Trace File'; 2. 创建一个directory用来加 ...

  5. SSM-SpringMVC-31:SpringMVC中利用hibernate-validator做后台校验

    ------------吾亦无他,唯手熟尔,谦卑若愚,好学若饥------------- 校验有三种:前台页面校验(例如js和h5),后台校验,数据库校验 但是一般能不用数据库校验就不用数据库校验,因 ...

  6. 利用BootStrap Table插件实现自己的弹出框分页。

    参考链接1:    官网:http://bootstrap-table.wenzhixin.net.cn/zh-cn/home/        开始使用:http://bootstrap-table. ...

  7. Spring笔记 #02# 利用切面和注解校验方法参数

    例子还是之前的例子.仍然是对mage进行法术攻击时的咒语进行校验,不过略微提高了扩展性. 应用示例 1.在.properties文件中定义参数格式(正则): sp1=^\\D*hello\\D*$ s ...

  8. 生产环境使用 pt-table-checksum 检查MySQL数据一致性

    公司数据中心从托管机房迁移到阿里云,需要对mysql迁移(Replication)后的数据一致性进行校验,但又不能对生产环境使用造成影响,pt-table-checksum 成为了绝佳也是唯一的检查工 ...

  9. 技术分享 | mysql 表数据校验

    1. checksum table. checksum table 会对表一行一行进行计算,直到计算出最终的 checksum 结果.比如对表 n4 进行校验(记录数 157W,大小为 4G) [yt ...

随机推荐

  1. 2013长春网赛1005 hdu 4763 Theme Section(kmp应用)

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=4763 题意:给出一个字符串,问能不能在该串的前中后部找到相同的子串,输出最长的字串的长度. 分析:km ...

  2. linux下&、nohup与screen的比较

    & 首先,linux进程是区分前台进程和后台进程的. 通常,在终端输入的命令执行的前台进程模式.如果一个命令要执行好久,就会阻塞住终端好久,不能进行其他工作,所以,我们可以把执行花费时间很长的 ...

  3. SpringMvc+JavaConfig+Idea 基于JavaConfig搭建项目

    1.介绍 之前搭建SpringMvc项目要配置一系列的配置文件,比如web.xml,applicationContext.xml,dispatcher.xml.Spring 3.X之后推出了基于Jav ...

  4. Spring MVC的路径匹配规则 Ant-style

    Spring默认的策略实现了 org.springframework.util.AntPathMatcher,即Apache Ant的样式路径,Apache Ant样式的路径有三种通配符匹配方法(在下 ...

  5. 一本通1649【例 2】2^k 进制数

    1649:[例 2]2^k 进制数 时间限制: 1000 ms         内存限制: 524288 KB [题目描述] 原题来自:NOIP 2006 提高组 设 r 是个 2k 进制数,并满足以 ...

  6. NOIP2018初赛提高组复习提纲(By HGOI LJC)

    Download:https://pan.baidu.com/s/16khhFf_0RsUjJLETreb20w (PDF) https://pan.baidu.com/s/1BVZqLs3q1clZ ...

  7. [Coderforces600E] Lomsat gelral

    大意是每个点有一个颜色,询问以每个点为根的子树中出现次数最多的颜色是谁,如果有多个输出编号和. 这个东西用数据结构是不太好做的,考虑优化暴力. 首先最裸的的暴力就是在dfs序上跑莫队,但因为是树的结构 ...

  8. bzoj3114 LCM Pair Sum

    题意:以质因数分解的方式给定n,求所有满足:lcm(a, b) = n的无序数对的价值和.其中(a, b)的价值为a + b 解: 定义首项为a,公比为q,项数为n的等比数列的和为getQ(a, q, ...

  9. 伤不起:File.toPath() & Paths.get()

    java.nio.file.Path这个类应该是从java7才开始有的. 通过File类有两个方法可以转换成Path. 1. Path p = Paths.get(file.toURI());  // ...

  10. 解决VMware虚拟机网络时长中断的问题

    1. 操作环境 VMware VMware® Workstation 14 Pro Windows Win7旗舰版 2. 操作过程   VMware虚拟机在使用一段时间后,经常会出现时常断网的情况,而 ...