1 PT介绍 Percona Toolkit简称pt工具—PT-Tools,是Percona公司开发用于管理MySQL的工具,功能包括检查主从复制的数据一致性.检查重复索引.定位IO占用高的表文件.在线DDL等,DBA熟悉掌握后将极大提高工作效率. 2 PT 安装 下载地址 :https://www.percona.com/downloads/percona-toolkit/ 下载完上传到linux 服务器 安装PT [root@master01 ~]# yum -y install perco…

Percona Toolkit简称pt工具-PT-Tools,是Percona公司开发用于管理MySQL的工具,功能包括检查主从复制的数据一致性.检查重复索引.定位IO占用高的表文件.在线DDL等 下载地址为: https://www.percona.com/downloads/percona-toolkit/LATEST/ 安装: percona-toolkit-3.0.13_x86_64.tar.gz 下载 tar -xf percona-toolkit-3.0.13_x86_64.tar.…

Percona Toolkit 包含多种用于 MySQL 数据库管理的工具. 下面介绍常用的 pt-online-schema-change  和  pt-archiver 搭配 RDS MySQL 的使用方法. 注: pt-online-schema-change 和 pt-archiver 工具均须指定 --no-version-check 选项方能搭配 RDS MySQL 实例使用. 本文样例使用 Percona Toolkit 2.2.17 版本测试. 本文样例仅做为样例使用,不承担任何…

部署mysql工具是一个非常重要的部分,所以工具的可靠性和很好的设计非常重要.percona toolkit是一个有30多个mysql工具的工具箱.兼容mysql,percona server,mariadb:它可以帮助DBA自动化的管理数据库和系统任务.因为他有很多工具,所以从哪里开始是一个难题,因为这个原因,所以我们下面介绍一些可能会常用到的percona toolkit工具集. 安装percona-toolkit 1)软件下载:https://www.percona.com/downloa…

1.下载 下载地址:   https://www.percona.com/downloads/percona-toolkit/LATEST/ [root@bogon ~]# wget https://www.percona.com/downloads/percona-toolkit/3.0.13/binary/redhat/7/x86_64/percona-toolkit-3.0.13-re85ce15-el7-x86_64-bundle.tar 2.安装 [root@bogon ~]# rpm…

vue用到echarts时,根据select多选下拉框进行echarts折线图渲染.发现折现只能增加不能减少,后来根据echarts API文档发现 调用方式: chart.setOption(option, notMerge, lazyUpdate);将notMerge设置为true就可以echarts画布删除历史数据重新渲染数据 notMerge是可选项,是否不跟之前设置的option进行合并,默认为false,即合并.…

原文地址:https://www.percona.com/blog/2013/08/12/want-to-archive-tables-use-pt-archiver/ Percona Toolkit’s pt-archiver is one of the best utilities to archive the records from large tables to another tables or files. One interesting thing is that pt-arch…

pt-archiver是Percona-Toolkit工具集中的一个组件,是一个主要用于对MySQL表数据进行归档和清除工具.它可以将数据归档到另一张表或者是一个文件中.pt-archiver在清除表数据的过程中并不会影响OLTP事务的查询性能.对于数据的归档,它可以归档到另一台服务器上的另一张表,也可归档到一个文件中,文件可以用LOAD DATA INFILE进行数据装载,这个功能其实就类似是表历史数据的增量删除. 对线上历史数据的归档,本人直接用mysqldump后还原,但是归档后删除历史数…

使用Percona Toolkit的工具连接MySQL 8.x数据库时,会遇到类似"failed: Plugin caching_sha2_password could not be loaded: lib64/mariadb/plugin/caching_sha2_password.so: cannot open shared object file: No such file or directory at /usr/bin/pt-show-grants line 1367"这样的…

由于各种原因,mysql主从架构经常会出现数据不一致的情况出现,大致归结为如下几类 1:备库写数据 2:执行non-deterministic query 3:回滚掺杂事务表和非事务表的事务 4:binlog或者relay log数据损坏 数据不同步给应用带来的危害是致命的,当出现主从数据不一致的情况,常见的应对方法是先把从库下线,然后找个半夜三更的时间把应用停掉,重新执行同步,如果数据库的体积十分庞大,那工作量可想而知,会让人崩溃.本文介绍使用percona-toolkit工具对mysql主从…

新建作业,用于定时清除数据库的历史数据 删除表gps_comm 之前120天即一个季度的数据,例如以下: ELETE FROM gps_comm WHERE (时间 < GETDATE() - 120) 假设想继续删除另外一个表中的前120天的数据,则继续补充就能够了,如: DELETE FROM PzTable WHERE (PZTIME <GETDATE() - 120)…

安装 percona-toolkit perl Makefile.PL make make test make install 默认安装到 /usr/local/bin 目录下 可能需要 DBI-1.632.tar.gz DBD-mysql-4.033.tar.gz ftp://ftp.funet.fi/pub/languages/perl/CPAN/modules/by-module/DBI/ 安装方式同上 查看都安装了哪些命令 man percona-toolkit 查找重复索引: pt-d…

New Features: 1221372: pt-online-schema-change now aborts with an error if the server is a slave, because this can break data consistency in case of row-based replication. If you are sure that the slave will not use row-based replication, you can dis…

pt-table-checksum用来检测主从数据库上的数据一致性,其原理是通过在主库上运行一系列的MySQL函数计算每个表的散列值,并利用主从关系将相同的操作在从服务器上重放(基于statement格式的binlog),从而获取到主从服务器上的散列值然后比较散列值判定主从数据是否一致. 对于表中的单行数据,先检查每一列的数据类型,然后将所有的数据类型转换为字符串,再使用concat_ws()函数进行连接,然后根据连接后得到的字符串计算出checksum的值,默认的checksum算法为crc3…

pt-heartbeat是用来监控主从延迟的一款percona工具,现在我们大部分的MySQL架构还是基于主从复制,例如MHA,MMM,keepalived等解决方案.而主从环境的话,我们很关心的就是主从延迟的问题,一般情况下我们在从库执行以下语句: mysql> show slave status\G *************************** . row *************************** Slave_IO_State: Waiting for master…

pt-variable-advisor是一款分析参数,并且给出参数设置建议的一款PT工具,基本语法 pt-variable-advisor [OPTIONS] [DSN] 如下我们可以获取本地参数的一些建议: [root@localhost bin]# ./pt-variable-advisor localhost -uroot -p123456 # WARN delay_key_write: MyISAM index blocks are never flushed until necessa…

percona-toolkit是一组高级命令行工具的集合,用来执行各种通过手工执行非常复杂和麻烦的mysql和系统任务,这些任务包括: l  检查master和slave数据的一致性 l  有效地对记录进行归档 l  查找重复的索引 l  对服务器信息进行汇总 l  分析来自日志和tcpdump的查询 l  当系统出问题的时候收集重要的系统信息 percona-toolkit源自Maatkit 和Aspersa工具,这两个工具是管理mysql的最有名的工具,现在Maatkit工具已经不维护了,请…

1:pt-slave-find ,主要是查找MySQL的层级,其实我感觉这个用处不是很大,因为层级比较多架构本身就很少,查看从库的话一般情况我们可以通过show slave hosts查看(不过不能显示层级): mysql> show slave hosts; +-----------+------+------+-----------+--------------------------------------+ | Server_id | Host | Port | Master_id |…

pt-query-digest可以通过logs, processlist, 和tcpdump来分析MySQL的查询相关信息,基本语法如下: pt-query-digest [OPTIONS] [FILES] [DSN] pt-query-digest是一种用于分析MySQL查询的简单易用的工具,没有之一.它可以分析MySQL慢日志,general LOG和二进制日志的查询. (二进制日志必须首先转换为文本,通过mysqlbinlog工具).它也可以使用SHOW PROCESSLIST和来自tcp…

declare maxrows number ; begin .. loop delete from TB_OPT_LOG ', 'yyyy-mm-dd') and rownum <= maxrows; commit; end loop; end; create or replace procedure test as cursor delete_cursor is select table_name from dba_tables where owner='SCOTT' and table_n…

//删除历史数据EXCLE 当天前一天的数据都删除 var folder = Path.GetDirectoryName(absFilePath); var files = Directory.GetFiles(folder); foreach (var file in files) { )) { File.Delete(file); } } //删除历史数据 删除文件夹,当天以前的文件夹都删除 var tempFolder = HttpContext.Current.Server.MapPat…

目录 1. 背景 2. 操作步骤 2.1. 确认数据归档条件,此次操作开发按照非主键列 server_time 按时间进行删除并保存,需要转化为主键列条件. 2.2. 由于历史表文件较大,按月归档.删除,便于操作及后期查询数据,在目标库中,每个月份创建一张 duplicate 表. 2.3. 参照 pt-archiver 工具参数及使用示例,预先编辑好归档命令(参照"5. 场景示例" 中的 "A."). 2.4. 执行归档命令按月归档历史数据. 2.5. 归档完毕后…

修改命令参数alter .不需要包含alter table关键字,可以包含多个修改操作,使用逗号分开,如"drop clolumn c1, add column c2 int" .不支持rename语句来对表进行重命名操作 .不支持对索引进行重命名操作 .如果删除外键,需要对外键名加下划线,如删除外键fk_uid, 修改语句为"DROP FOREIGN KEY _fk_uid" .重命名字段,不能使用drop add方式,会导致数据丢失,使用“change col1…

########## https://www.cnblogs.com/keithtt/p/8542987.html zabbix使用percona插件监控mysql   1.添加percona仓库. # yum install -y https://mirrors.tuna.tsinghua.edu.cn/percona/yum/percona-release-latest.noarch.rpm 2.安装插件. # yum -y install percona-zabbix-templates…

生产环境zabbix3.2上亿的表数据通过表分区的方式进行历史数据清理 zabbix服务器经常报警io过载,在报警的时候发现是数据库在删除历史数据时耗时较长 数据库积攒了大量的历史数据信息,主要集中在zabbix的history.history_uint.history_str.history_text.trends.trends_uint这几个表中 需要进行清理,两种清理方式: .直接清空表,最省事,速度最快,缺陷是会丢失所有的监控历史数据 具体清理语句如下: use zabbix; trun…

文章转载自: https://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ==&mid=2247484022&idx=1&sn=7a4de21570820b82df0170b3c769b169&chksm=eaa82a5edddfa348b3e300ac4bc611ab32a5e6024d20ef7a3cb297a42483fd60f0f459dd33ad&scene=21#wechat_redirect 01 题记 想到删除,基础…

最近有一张表(内含varchar(max)字段),占用空间达到240G,删除历史数据后几十万条后,空间并未得到释放. 然后用DBCC CLEANTABLE(0,tb_name,100)来释放删除记录后变长字段留下的空间,注意第三个参数为每个事务处理的行数, 强烈建议使用,默认是0,将整个操作作为一个事务处理!全程锁表!! 执行完DBCC CLEANTABLE后,发现表空间已经释放,占用空间几百兆,但此时还没完,我们数据库文件依然很大. 于是我们尝试用DBCC SHRINKFILE来收缩库文件,结…

命令列表 /usr/bin/pt-agent /usr/bin/pt-align /usr/bin/pt-archiver /usr/bin/pt-config-diff /usr/bin/pt-deadlock-logger /usr/bin/pt-diskstats /usr/bin/pt-duplicate-key-checker /usr/bin/pt-fifo-split /usr/bin/pt-find /usr/bin/pt-fingerprint /usr/bin/pt-fk-e…

pt-table-checksum和pt-table-sync分别检验master-slave的数据不一致并修复. 1.本次测试环境 [root@172-16-3-190 we_ops_admin]# cat /etc/redhat-release CentOS release 6.8 (Final) [root@172-16-3-190 we_ops_admin]# /opt/app/mysql_3309/bin/mysqladmin --version -68.0, for Linux on…

/// <summary> /// 输出指定信息到文本文件 /// </summary> /// <param name="msg">输出信息</param> public void WriteMessage(string msg, string userName) { try { string mainPath = "F:\\log\\";//日志文件路径&配置到Config文件中直接获取 string pa…