最近遇到非常多的导数据的需求(主要是CSV的需求),专门对mysqldump.pt-archive.mydumper做了一下对别,粗浅研究,以备将来使用.   msqldump pt-archive mydumper 本地导成SQL格式 O X O 本地导成CSV格式 O O X 远程导出SQL格式 O X O 远程导出CSV格式 X O X 自定义分隔符  O X X  SQL导出速度  快 快 快  CSV导出速度  快 很慢 较快  多表导出是否支持并发  X X  O  是否支持表对表导…

maxwell 简介 Maxwell是一个能实时读取MySQL二进制日志binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka,Kinesis.RabbitMQ.Redis.Google Cloud Pub/Sub.文件或其它平台的应用程序.它的常见应用场景有ETL.维护缓存.收集表级别的dml指标.增量到搜索引擎.数据分区迁移.切库binlog回滚方案等.官网(http://maxwells-daemon.io).GitHub(https://github.com/zende…

Mysql 和 Postgresql(PGSQL) 对比 转载自:http://www.oschina.net/question/96003_13994 PostgreSQL与MySQL比较 MySQL使用太广泛了,以至于我不得不将一些应用从mysql 迁移到postgresql, 很多开源软件都是以Mysql 作为数据库标准,并且以Mysql 作为抽象基础的,但是具体使用过程中,发现Mysql 有很多问题,所以都迁移到postgresql上了,转一个Mysql 和Postgresql 对比的文…

前提: 1.安装MySQL Utilities工具 2.复制my_print_defaults命令至/usr/bin下或写入环境变量. 卸载方式: python ./setup.py clean --all   即可全部卸载 1.mysqlrplsync工具. 用来检查主从复制的数据一致性的工具. 需要开启GTID模式 mysqlrplsync --master=check:pass@192.168.152.157:3310--slaves=check:pass@192.168.152.159:…

一.binlog2sql 1.1 安装binlog2sql git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple binlog2sql参数 # python binlog2sql/binlog2sql.py --help 选项 mysql连接配置 -h…

Mysql两个引擎对比 MyIsam      优点:      1.支持B-Tree检索和文本全文检索      2.性能消耗方面相对较低      3.支持全表(table)锁      缺点:      无事务管理      无数据缓存   InnoDB      优点:      1.支持事务管理(提交,回滚等操作)      2.支持行(row)锁,保证事务完整性      3.支持数据缓存(data caches)      4.支持外键(foreign key)关联      缺点…

导出要用到MySQL的mysqldump工具,基本用法是:    shell> mysqldump [OPTIONS] database [tables]    如果你不给定任何表,整个数据库将被导出.    通过执行mysqldump --help,你能得到你mysqldump的版本支持的选项表.    注意,如果你运行mysqldump没有--quick或--opt选项,mysqldump将在导出结果前装载整个结果集到内存中,如果你正在导出一个大的数据库,这将可能是一个问题.    mysq…

最近在看MySQL,安装好之后,每次在开始菜单去启动MySQL命令行工具的时候,都是直接用root用户连接我本地的数据库 输入密码开始工作,但是要连接服务器上的MySQL的话,就要去CMD下运行 : MySQL --h172.18.1.22 -uroot -p123456 每次的输入自然让人厌烦,批处理出马解决这个问题,先上代码: --------------- @echo offset /p var="链接本地MySQL请按1,链接172.18.1.22服务器请按2,退出请按0: "…

mysql包相关命令行工具 [root@manage ~]# rpm -qa|grep mysql mysql-server-5.1.73-5.el6_7.1.x86_64 mysql-5.1.73-5.el6_7.1.x86_64 mysql-connector-java-5.1.17-6.el6.noarch mysql-libs-5.1.73-5.el6_7.1.x86_64 [root@manage ~]# rpm -ql mysql /usr/bin/msql2mysql 没多大用 /…

Mysql自动备份工具1.0 下载地址 2013-11-15 1.解决日历控件在Windows7/8/8.1环境下遮挡按钮问题:2.解决按月备份当月没有该日期问题: 2013-11-13 1.MysqlBackup 1.0 是一款定时自动备份MySQL数据库的工具,也可以手工备份. 2.运行需要 Microsoft .NET Framework v2.0以上版本支持.…

MySQL在线DDL工具pt-online-schema-change pt-online-schema-change使用说明(未完待续) 官网…

[MySQL]命令行工具和基本操作 一 MySQL命令行工具  (查看帮助 ---help,或 -?) 1)MySQL MySQL是一个简单的SQL外壳(有GNU readline功能).它支持交互式和非交互式使用.当交互使用时,查询结果采用ASCII表格式.当采用非交互式(例如,用作过滤器)模式时,结果为tab分割符格式.可以使用命令行选项更改输出格式.如果由于结果较大而内存不足遇到问题,使用--quick选项.这样可以强制MySQL从服务器每次一行搜索结果,而不是检索整个结果集并在显示之前不…

1.Mysql命令行工具分为两类:服务端命令行工具和客户端命令行工具. 2.服务端工具 mysql_install_db:建库工具 mysqld_safe:Mysql服务的启动工具,mysqld_safe只是一个shell脚本,对mysqld包装了一下,执行mysqld程序. mysqld:Mysql服务的主进程. 3.客户端工具 mysql:客户端专业命令行工具,注意:windows下mysql服务,不是启动mysql,而是启动mysqld,在services.msc中找到mysql服务,查看…

Gulp vs Grunt 前端工程的构建工具对比 1. Grunt -> Gulp 早些年提到构建工具,难免会让人联想到历史比较悠久的Make,Ant,以及后来为了更方便的构建结构类似的Java项目而出现的Maven.Node催生了一批自动化工具,像Bower,Yeoman,Grunt等.而如今前端提到构建工具会自然想起Grunt.Java世界里的Maven提供了强大的包依赖管理和构建生命周期管理. 在JavaScript的世界里,Grunt.js是基于Node.js的自动化任务运行器.201…

https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/innotop/innotop-1.9.1-1.el6.noarch.rpm mysql监控管理工具--innotop INNOTOP是一个通过文本模式显示MySQL和InnoDB的监测工具.INNOTOP是用PERL语言写成的,这使它能更加灵活的使用在各种操作平台之上,它能详细的的监控出当前MYSQL和INNODB运行的状态,以DBA根…

生产上误删数据.误改数据的现象也是时常发生的现象,作为 DBA 这时候就需要出来补锅了,最开始的做法是恢复备份,然后从中找到需要的数据再进行修复,但是这个时间太长了,对于大表少数数据的修复来讲,动作太大,成本也大.当然还有其他的一些操作方法,这里暂不展开来讲,我们今天有主角. 最近有些朋友在用大众点评开源的一个 MySQL 闪回工具 -- binlog2sql,因此也测试了一把,一探究竟. 用途 数据回滚 主从切换后数据不一致的修复 从 binlog 生成标准 SQL,带来的衍生功能 官方文档:…

Git管理工具对比(GitBash.EGit.SourceTree) GitBash是采用命令行的方式对版本进行管理,功能最为灵活强大,但是由于需要手动输入希望修改的文件名,所以相对繁琐. EGit是Eclipse的Git插件,最为纠结的一个软件,因为开发时直操作很方便,尤其是有svn开发情节的人更热衷于这样,不过EGit中有很多bug和不人性化的东西,让人吐血,所以 一句话EGit并不能解决所有Git问题,开发时必须部分依赖于其他Git管理工具.一会一一列举. SourceTree是最近应用的…

[评测]低配环境下,PostgresQL和Mysql读写性能简单对比 原文链接:https://www.cnblogs.com/blog5277/p/10658426.html 原文作者:博客园--曲高终和寡 *******************如果你看到这一行,说明爬虫在本人还没有发布完成的时候就抓走了我的文章,导致内容不完整,请去上述的原文链接查看原文**************** 由于最近经过朋友启发,又有了一个写个人项目的小想法,在这次个人项目中准备学习并使用一些之前自己没有掌握的新…

orchestrator是一款MySQL高可用工具,其支持: 集群拓扑探测 集群拓扑重塑 故障恢复 提供3种使用方式: 命令行 HTTP API web页面 orchestator github地址…

本文来自:https://github.com/Qihoo360/mysql-sniffer 简介 MySQL Sniffer 是一个基于 MySQL 协议的抓包工具,实时抓取 MySQLServer 端的请求,并格式化输出.输出内容包访问括时间.访问用户.来源 IP.访问 Database.命令耗时.返回数据行数.执行语句等.有批量抓取多个端口,后台运行,日志分割等多种使用方式,操作便捷,输出友好.同时也适用抓取 Atlas 端的请求,Atlas 是奇虎开源的一款基于MySQL协议的数据中间层…

python操作mysql③python操作mysql的orm工具sqlaichemy安装配置和使用 手册地址: http://docs.sqlalchemy.org/en/rel_1_1/orm/index.html 安装 D:\software\source_tar>pip install SQLALchemy 检测是否安装成功 D:\software\source_tar>python Python 3.5.2 (v3.5.2:4def2a2901a5, Jun 25 2016, 22:…

第三方统计分析埋点工具对比,神策.Ptmind.GrowingIO.国双,还有谷歌分析,谁更好?https://www.colabug.com/2985393.html GA.Mixpanel 和神策分析三款数据分析产品有何不同?https://www.jianshu.com/p/d8ab02d99a85 https://www.growingio.com/GrowingIO 官网-硅谷新一代无埋点用户行为数据分析产品GrowingIO (官网) 来自硅谷的新一代数据分析产品,无需埋点即可采集全…

摘要:1.源文件下载地址:http://vegan.net/tony/supersmack/2.安装:注意在编译时,可以先把对应的libmysqlclient.so.*拷贝到/usr/lib3.测试:[aliyunzixun@xxx.com_Backupsmacks]#super-smack-dmysqlselect-key.smack1010000QueryBarrelReportforclientsmacker1connect:max=37msmin=0msavg=10msfr 1. 源文件…

这个工具同样来自percona-toolkit 该工具集合的其他工具 MySQL Slave异常关机的处理 (pt-slave-restart)  验证MySQL主从一致性(pt-table-checksum&pt-table-sync) http://www.linuxidc.com/Linux/2014-07/104034.htm 它可以剖析各种日志,从而分析性能问题 http://www.linuxidc.com/Linux/2014-07/104236.htm 包括 1.慢日志(默认) …

Git管理工具对比(GitBash.EGit.SourceTree) GitBash是采用命令行的方式对版本进行管理,功能最为灵活强大,但是由于需要手动输入希望修改的文件名,所以相对繁琐. EGit是Eclipse的Git插件,最为纠结的一个软件,因为开发时直操作很方便,尤其是有svn开发情节的人更热衷于这样,不过EGit中有很多bug和不人性化的东西,让人吐血,所以 一句话EGit并不能解决所有Git问题,开发时必须部分依赖于其他Git管理工具.一会一一列举. SourceTree是最近应用的…

(3.14)mysql基础深入——mysql 日志分析工具之pt-querty-digest 关键字:Mysql日志分析工具.mysqlsla 常用工具 [1]mysqldumpslow:官方提供的慢查询日志分析工具 [2]mysqlbinlog:二进制日志分析工具 [3]myprofi:对于只想看sql语句及执行次数的用户来说,比较推荐. [4]mysql-explain-slow-log:德国人写的一个Perl脚本,功能上有点瑕疵.不建议使用. [5]mysql-log-filter:生成简…

(3.13)mysql基础深入——mysql 日志分析工具之mysqlsla 关键字:Mysql日志分析工具.mysqlsla 常用工具 [1]mysqldumpslow:官方提供的慢查询日志分析工具 [2]mysqlbinlog:二进制日志分析工具 [3]myprofi:对于只想看sql语句及执行次数的用户来说,比较推荐. [4]mysql-explain-slow-log:德国人写的一个Perl脚本,功能上有点瑕疵.不建议使用. [5]mysql-log-filter:生成简介报表日志分析,…

MySQL多线程备份工具:mydumper http://www.orczhou.com/index.php/2011/12/how-to-split-mysqldump-file/ Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具.开发人员分别来自MySQL,Facebook,SkySQL公司.目前已经在有一些大型产品业务上测试并使用了Mydumper.分稳定版和开发版两种,目前最新稳定版是0.2.3和最新开发版是0.5.1.恢复时可使用myloader工具.…

简介: Mydumper.Myloader 是一个第三方的.开源的 MySQL 逻辑备份工具. 支持多线程,比起 mysqldump 要快很多,也能解决 innobackupex 备份工具对 MyISAM 引擎备份的不便. 多线程快速逻辑备份,恢复速度不咋地,支持快照功能. 呃,虽然这样好.那样好,但如果单库.又很大的时候,备份还是选择 innobackupex 物理备份吧,速度就是快. 下载地址:https://launchpad.net/mydumper/0.9/0.9.1/+downloa…

Git管理工具对比(GitBash.EGit.SourceTree) GitBash是采用命令行的方式对版本进行管理,功能最为灵活强大,但是由于需要手动输入希望修改的文件名,所以相对繁琐. EGit是Eclipse的Git插件,最为纠结的一个软件,因为开发时直操作很方便,尤其是有svn开发情节的人更热衷于这样,不过EGit中有很多bug和不人性化的东西,让人吐血,所以 一句话EGit并不能解决所有Git问题,开发时必须部分依赖于其他Git管理工具.一会一一列举. SourceTree是最近应用的…