https://files-cdn.cnblogs.com/files/aquester/Linux后台开发工具箱.pdf 目录 目录 1 1. 前言 3 2. 脚本类工具 3 2.1. sed命令-字符串文本操作 3 2.2. sed和awk使用外部变量 4 2.3. awk给外部变量赋值 4 3. 设备类工具 4 3.1. 查看网卡型号 4 3.2. dmidecode查看所有硬件信息工具 5 3.3. lscpu查看cpu工具 5 3.4. lspci查看主板工具 5 3.5. lsscs…

一.安装 percona 包 1.安装仓库的包 https://www.percona.com/doc/percona-repo-config/yum-repo.html sudo yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm 如果成功将看下如下信息 [root@node1 ~]# sudo yum install http://…

Linux后台开发工具箱-葵花宝典 一见 2016/11/4 目录 目录 1 1. 前言 4 2. 脚本类工具 4 2.1. 双引号和单引号 4 2.2. 取脚本完整文件路径 5 2.3. 环境变量和变量 5 2.4. sed命令-字符串文本操作 5 2.5. sed和awk使用外部变量 6 2.6. awk给外部变量赋值 6 2.7. 浮点计算 6 2.8. 字符串操作 7 2.8.1. 删除前尾空格 7 2.8.2. 大小写转换 7 2.8.3. 不区分大小写比较 7 2.8.4. 取字符串…

前言: 随着互联网技术的不断发展, MySQL 相关生态也越来越完善,越来越多的工具涌现出来.一些公司或个人纷纷开源出一些不错的工具,本篇文章主要介绍几款 MySQL 相关实用工具.提醒下,这里并不介绍 Navicat 等这类图形化操作工具哦. 1. SQL 审核 web 工具 SQL 审核与执行,可能是各个公司或团队比较困扰的事情.若没有平台工具支持,只能通过人工的方式来处理,效率低且质量没办法保证.为了规范操作,提高效率,大多数团队可能会自己开发或引入开源工具.这里介绍两款开源免费的 web…

最近时间又有了新的想法,当我用新的眼光在整理一些很老的知识库时,发现很多东西都已经过时,或者是很基础很零碎的知识点.如果分享出去大家不看倒好,更担心的是会误人子弟,但为了保证此系列的完整,还是选择分享出去,毕竟也是自己的成长过程,各取所好吧! 在分享知识库节点时,我会写清楚此知识库节点的入手级别,请大家根据需要下载,免得不必要的吐嘈.但我确定总有子节点对你有用,并且相信接下来的分享会更精彩,不了解前文请请移步:[知识库分享系列] 一.开篇 此篇文章是个提醒,文章内容本身没有什么技术含量,发到园子…

SQL慢查询 基本操作 打开防火墙 firewall-cmd --zone=public --add-port=3306/tcp --permanent firewall-cmd --reload 安装MySQL ## 删除已安装mysql rpm -qa | grep mysql yum list installed | grep mysql ## 下载源 wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm…

yum install perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-Time-HiRes perl-IO-Socket-SSLwget http://pkgs.repoforge.org/perl-TermReadKey/perl-TermReadKey-2.30-1.el3.rf.x86_64.rpmwget https://www.percona.com/downloads/percona-toolkit/2.2.14/RPM/percona-t…

mysql的在线表结构修改,因为低效和阻塞读写.一直被诟病.至于ALTER TABLE 的原理,参看我上一篇文章.MySQL在线修改大表结构.看完后,发现的问题是还是会锁的,且对于在线更新的这块也是不能很好的处理,所以只能从理论上来理解,应用到在线库还是有问题的.不能保证数据的最新. 今天看到percona推出的工具包中的online-schema-change 和facebook推出的一样.大概原理是一致的.如何安装使用详看官网文档.http://www.percona.com/doc/per…

1.安装percona源 sudo yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm 2.安装percona工具包 sudo yum install percona-toolkit…

##=====================================================##pt-osc之工作流程:1.检查更改表是否有主键或唯一索引,是否有触发器2.检查修改表的表结构,创建一个临时表,在新表上执行ALTER TABLE语句3.在源表上创建三个触发器分别对于INSERT UPDATE DELETE操作4.从源表拷贝数据到临时表,在拷贝过程中,对源表的更新操作会写入到新建表中5.将临时表和源表rename(需要元数据修改锁,需要短时间锁表)6.删除源表和触发…

一.检查和安装与Perl相关的模块 PT工具是使用Perl语言编写和执行的,所以需要系统中有Perl环境. 依赖包检查命令为: rpm -qa perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-IO-Socket-SSL 如果有依赖包确实,可以使用下面的命令安装: yum install perl-DBI yum install perl-DBD-MySQL yum install perl-Time-HiRes yum install perl-IO-S…

[说明] percona-toolkit工具包同percona-xtrabackup一样都是用Perl写的工具包,percona-toolkit工具包是一组高级的管理mysql的工具包集,可以用来执行各种通过手工执行非常复杂和麻烦的mysql和系统任务,在生产环境中能极大的提高效率,安装也很简单,可以在percona的官网:https://www.percona.com上下载编译包或者是rpm包. [安装] 一.检查和安装Perl依赖包 percona工具是使用Perl语言编写和执行的,所以需要…

1.下载和安装percona toolkit的包 #yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm2.查看可以安装的包 #yum list | grep percona-toolkitpercona-toolkit.x86_64 3.0.9-1.el6 @percona-release-x86_64percona-toolkit.n…

一.检查和安装与Perl相关的模块 PT工具是使用Perl语言编写和执行的,所以需要系统中有Perl环境. 依赖包检查命令为: rpm -qa perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-IO-Socket-SSL 如果有依赖包确实,可以使用下面的命令安装: yum install perl-DBI yum install perl-DBD-MySQL yum install perl-Time-HiRes yum install perl-IO-S…

一.检查和安装与Perl相关的模块 PT工具是使用Perl语言编写和执行的,所以需要系统中有Perl环境. 依赖包检查命令为: rpm -qa perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-IO-Socket-SSL     如果有依赖包确实,可以使用下面的命令安装: yum install perl-DBI yum install perl-DBD-MySQL yum install perl-Time-HiRes yum install perl-…

一.环境 1.系统环境 系统 IP 主机名 说明 server_id centos6.7 MasterIP master 数据库:主 177  centos6.7 SlaveIP slave 数据库:从 148 2.软件环境 软件 版本 安装方式 说明 pt工具 3.0.4 编译安装 这是一个综合工具包,包含很多pt命令 mysql数据库 5.6.37 yum安装 主从环境 3.需要用到库 库名 表名 用途  percona checksums 存储pt命令监测的结果,第一次执行检测命令时会自己…

percona-toolkit工具包的安装和初步使用 原文地址:http://blog.csdn.net/yumushui/article/details/42919601 一.percona-toolkit工具简介 percona-toolkit简称“PT工具”,是一组高级命令行工具的集合,用来执行各种通过手工执行非常复杂和麻烦的mysql和系统任务,这些任务包括: 检查master和slave数据的一致性 有效地对记录进行归档 查找重复的索引 对服务器信息进行汇总 分析来自日志和tcpdum…

1.安装与Perl相关的模块 PT工具是使用Perl语言编写和执行的,所以需要系统中有Perl环境 # yum install -y perl perl-devel perl-Time-HiRes perl-DBI perl-DBD-MySQL perl-IO-Socket-SSL perl-TermReadKey perl-Digest-MD5 如果缺少相应的包会有相应的报错提示,例如: perl(Digest::MD5) is needed by percona-toolkit-2.2.19…

percona-toolkit工具包的使用教程之开发类工具 1.  pt-duplicate-key-checker l  功能介绍: 功能为从mysql表中找出重复的索引和外键,这个工具会将重复的索引和外键都列出来,并生成了删除重复索引的语句,非常方便 l  用法介绍: pt-duplicate-key-checker [OPTION...] [DSN] 包含比较多的选项,具体的可以通过命令pt-duplicate-key-checker  --help来查看具体支持那些选项,我这里就不一一列…

pt-table-checksum和pt-table-sync分别检验master-slave的数据不一致并修复. 1.本次测试环境 [root@172-16-3-190 we_ops_admin]# cat /etc/redhat-release CentOS release 6.8 (Final) [root@172-16-3-190 we_ops_admin]# /opt/app/mysql_3309/bin/mysqladmin --version -68.0, for Linux on…

1 PT介绍 Percona Toolkit简称pt工具—PT-Tools,是Percona公司开发用于管理MySQL的工具,功能包括检查主从复制的数据一致性.检查重复索引.定位IO占用高的表文件.在线DDL等,DBA熟悉掌握后将极大提高工作效率. 2 PT 安装 下载地址 :https://www.percona.com/downloads/percona-toolkit/ 下载完上传到linux 服务器 安装PT [root@master01 ~]# yum -y install perco…

Maatkit工具包 http://www.maatkit.org/ 简介 maatkit是一个开源的工具包,为mysql日常管理提供了帮助.目前,已被Percona公司收购并维护.其中: mk-table-checksum是用来检测master和slave上的表结构和数据是否一致. mk-table-sync是发生主从数据不一致时,来修复的.…

Percona Toolkit简称pt工具-PT-Tools,是Percona公司开发用于管理MySQL的工具,功能包括检查主从复制的数据一致性.检查重复索引.定位IO占用高的表文件.在线DDL等 下载地址为: https://www.percona.com/downloads/percona-toolkit/LATEST/ 安装: percona-toolkit-3.0.13_x86_64.tar.gz 下载 tar -xf percona-toolkit-3.0.13_x86_64.tar.…

0.前言 虽然很早就知道R被微软收购,也很早知道R在统计分析处理方面很强大,开始一直没有行动过...直到 直到12月初在微软技术大会,看到我软的工程师演示R的使用,我就震惊了,然后最近在网上到处了解和爬一些R的资料,看着看着就入迷了,这就是个大宝库了,以前怎么没发现,看来还是太狭隘了.直到前几天我看到这个Awesome R文档,我就静不下来了,对比了目前自己的工作和以后的方向,非常适合我.所以毫不犹豫的把这个文档汉化了,所以大家一起享受吧. 说明:本文已经提交到github,地址:https:/…

干货!详述Python NLTK下如何使用stanford NLP工具包 作者:白宁超 2016年11月6日19:28:43 摘要:NLTK是由宾夕法尼亚大学计算机和信息科学使用python语言实现的一种自然语言工具包,其收集的大量公开数据集.模型上提供了全面.易用的接口,涵盖了分词.词性标注(Part-Of-Speech tag, POS-tag).命名实体识别(Named Entity Recognition, NER).句法分析(Syntactic Parse)等各项 NLP 领域的功能.…

Percona TokuDB Percona TokuDB 1.     TokuDB说明 2.     TokuDB安装 3.     使用TokuDB 3.1 快速插入和富索引 3.2 聚集secondary索引 3.3 在线索引创建 3.4 在线添加,删除,扩展,重命名列 3.5            压缩细节 3.6 修改表的压缩 3.7 无io读复制 3.8 事务和ACID兼容恢复 3.9 管理Log大小 3.10 恢复 3.11 关闭写缓存 3.12 进度跟踪 3.13 迁移到Tok…

参考 https://www.percona.com/doc/percona-server/5.6/tokudb/tokudb_installation.html # wget https://www.percona.com/downloads/Percona-Server-5.6/Percona-Server-5.6.27-75.0/binary/tarball/Percona-Server-5.6.27-rel75.0-Linux.x86_64.ssl101.tar.gz 解压到 /usr/…

前面已经介绍了分布式监控系统Zabbix-3.0.3-完整安装记录(2)-添加mysql监控,但是没有提供可以直接使用的Key,太过简陋,监控效果不佳.要想更加仔细的监控Mysql,业内同学们都会选择采用Percona Monitoring Plugins监控MySQL.以下就是Zabbix中通过percona监控MySQL的操作记录:…

字体大小的设置单位,常用的有2种:px.pt.这两个有什么区别呢? 先搞清基本概念:px就是表示pixel,像素,是屏幕上显示数据的最基本的点: pt就是point,是印刷行业常用单位,等于1/72英寸. 这样很明白,px是一个点,它不是自然界的长度单位,谁能说出一个“点”有多长多大么?可以画的很小,也可以很大.如果点很小,那画面就清晰,我们称它为“分辨率高”,反之,就是“分辨率低”.所以,“点”的大小是会“变”的,也称为“相对长度”. pt全称为point,但中文不叫“点”,查金山词霸可以看到…

本文来自:http://mysql.taobao.org/monthly/2016/03/07/ 前言 Percona XtraBackup(简称PXB)是 Percona 公司开发的一个用于 MySQL 数据库物理热备的备份工具,支持 MySQL(Oracle).Percona Server 和 MariaDB,并且全部开源,真可谓是业界良心.我们 RDS MySQL 的物理备份就是基于这个工具做的. 项目的 blueprint 和 bug 讨论放在 Launchpad,代码之前也放在 Lau…