最近读一份关于“数据库事务故障恢复"的技术资料,发现对mysql的binlog的认识不够清楚,查阅mysql reference manual有所收获,作为笔记,记录于此. 1. What's binlog         binlog即binary log,根据mysql文档的说明,binlog包含一系列描 述数据库状态变更的"events"(如table create或insert/update等操作),也包含可能对数据库造成潜在更新的"events"…

背景 在数据仓库建模中,未经任何加工处理的原始业务层数据,我们称之为ODS(Operational Data Store)数据.在互联网企业中,常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类.对于业务DB数据来说,从MySQL等关系型数据库的业务数据进行采集,然后导入到Hive中,是进行数据仓库生产的重要环节. 如何准确.高效地把MySQL数据同步到Hive中?一般常用的解决方案是批量取数并Load:直连MySQL去Select表中的数据,然后存到本地文件作为中间存储,最后把…

背景 在数据仓库建模中,未经任何加工处理的原始业务层数据,我们称之为ODS(Operational Data Store)数据.在互联网企业中,常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类.对于业务DB数据来说,从MySQL等关系型数据库的业务数据进行采集,然后导入到Hive中,是进行数据仓库生产的重要环节. 如何准确.高效地把MySQL数据同步到Hive中?一般常用的解决方案是批量取数并Load:直连MySQL去Select表中的数据,然后存到本地文件作为中间存储,最后把…

转载:http://www.it300.com/index.php/article-15266.html 关于MySQL-HA,目前有多种解决方案,比如heartbeat.drbd.mmm.共享存储,但是它们各有优缺点.heartbeat.drbd配置较为复杂,需要自己写脚本才能实现MySQL自动切换,对于不会脚本语言的人来说,这无疑是一种脑裂问题:对于mmm,生产环境中很少有人用,且mmm管理端需要单独运行一台服务器上,要是想实现高可用,就得对mmm管理端做HA,这样无疑又增加了硬件开支:对于…

关于lamp环境的安装脚本,直接复制即可使用 注:apache2.2.X 版本和apache2.4.X版本 本人推荐兼容性版本安装 apache2.4.25 + apr1.5.2 + apr-util 1.5.4 (并且支持ssl模块,https证书访问),安装前需要先根据自己需求修改版本号进行安装 #!/bin/bash#date:2018-01-01############################################################# function 配…

最近研发的项目对DB依赖比较重,梳理了这段时间使用MySQL遇到的8个比较具有代表性的问题,答案也比较偏自己的开发实践,没有DBA专业和深入,有出入的请使劲拍砖!- MySQL读写性能是多少,有哪些性能相关的配置参数? MySQL负载高时,如何找到是由哪些SQL引起的? 如何针对具体的SQL做优化? SQL层面已难以优化,请求量继续增大时的应对策略? MySQL如何做主从数据同步? 如何防止DB误操作和做好容灾? 该选择MySQL哪种存储引擎,Innodb具有什么特性? MySQL内部结构有哪些…

最近研发的项目对DB依赖比较重,梳理了这段时间使用MySQL遇到的8个比较具有代表性的问题,答案也比较偏自己的开发实践,没有DBA专业和深入,有出入的请使劲拍砖!- MySQL读写性能是多少,有哪些性能相关的配置参数? MySQL负载高时,如何找到是由哪些SQL引起的? 如何针对具体的SQL做优化? SQL层面已难以优化,请求量继续增大时的应对策略? MySQL如何做主从数据同步? 如何防止DB误操作和做好容灾? 该选择MySQL哪种存储引擎,Innodb具有什么特性? MySQL内部结构有哪些…

系统环境:centos6.X #!/bin/bash#date:2018-01-01## MySQL 安装8版本的话不太适合,有待于添加安装脚本进行测试#新版的MySQL安装需要高版本2.8以上cmake                       ===>     wget https://cmake.org/files/v3.10/cmake-3.10.2.tar.gz#新版的MySQL安装有可能需要安装 ncurses-6.0.tar.gz         ===>     wget f…

如何实现mysql读写分离 1.通过程序实现读写分类(性能 效率最佳) php和java都可以通过设置多个连接文件轻松实现对db的读写分离,即当select时,就去连读库的连接文件,当update,insert,delete时就去连写库的连接文件. 2.mysql-proxy, amoeba等代理软件也可以实现读写分离 3.开发dbproxy 主从同步原理 是异步的,逻辑的 主库 必须开启binlog io线程 从库 io线程 sql线程 master: ip port user/pass bi…

特别声明: 所有的过滤规则不建议在主库上设置.     server_id 是一个整数,范围:1 至 power(2,32)-1 之间. 推荐使用端口号+ip最后一位的方式. 唯一区别ID,同一个集群不可重复,从5.6开始可动态修改.   server_uuid 唯一区别ID,同一个集群不可重复,从5.6开始可动态修改. 从5.6开始,系统根据函数自动生成唯一的一个值,默认存放在$datadir/auto.cnf  ,MySQL启动时,会判断auto.cnf文件是否存在,如果不存在auto.cn…

log-bin 二进制日志 server-id 早起版本必须添加  1-pow(2,32)-1 推荐使用 端口号+ip最后一位  5.6后可以动态修改 server-uuid (5.6以后) 默认存在 $datadir/auto.cnf 下         5.6后可以动态修改 log-bin-index  包含二进制日志文件名 binlog-format  statement row mixed 三种  可动态修改 binlog_cache_size=1M - 2M max_binlog_si…

文章转载自公众号  美团技术团队 , 作者 萌萌 背景 在数据仓库建模中,未经任何加工处理的原始业务层数据,我们称之为ODS(Operational Data Store)数据.在互联网企业中,常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类.对于业务DB数据来说,从MySQL等关系型数据库的业务数据进行采集,然后导入到Hive中,是进行数据仓库生产的重要环节. 如何准确.高效地把MySQL数据同步到Hive中?一般常用的解决方案是批量取数并Load:直连MySQL去Selec…

本文主要是对目前工作中使用到的DB相关知识点的总结,应用开发了解到以下深度基本足以应对日常需求,再深入下去更偏向于DB本身的理论.调优和运维实践. 不在本文重点关注讨论的内容(可能会提到一些): 具体的DQL.DML.DDL.DCL等语法 基础性的概念,如主键.索引.存储过程(注:阿里巴巴规范中禁止使用存储过程)等 联合查询,我个人不太喜欢在应用中写过于复杂的SQL,性能和后续维护容易出现问题 可能会用到的具体DB特性,如oracle的DATA GUARD 有一些属于基础知识或语法但是常用的信息…

参考: https://blog.csdn.net/SnailMann/article/details/94724197 https://blog.csdn.net/DILIGENT203/article/details/100751755 https://blog.csdn.net/whoamiyang/article/details/51901888 https://techlog.cn/article/list/10183403 正确的理解MySQL的MVCC及实现原理 !首先声明,MyS…

什么是 ShardingSphere? 1.一套开源的分布式数据库中间件解决方案 2.有三个产品:Sharding-JDBC 和 Sharding-Proxy 3.定位为关系型数据库中间件,合理在分布式环境下使用关系型数据库操作   什么是分库分表   1.数据库数据量不可控的,随着时间和业务发展,造成表里面数据越来越多,如果再去对数据库表 curd 操作时候,造成性能问题. 2.方案 1:从硬件上 3.方案 2:分库分表 * 为了解决由于数据量过大而造成数据库性能降低问题. 分库分表的方式 …

s mysql修改binlog保存的天数 https://blog.csdn.net/Hu_wen/article/details/80582013 查看binlog过期时间,设置的时间为90天,这个值默认是0天,也就是说不自动清理,可以根据生产情况修改,本例修改为7天 mysql> show variables like 'expire_logs_days'; +------------------+-------+ | Variable_name | Value | +-----------…

[问题] 假设有这种场景,误操作DROP DB或TABLE,常规的恢复操作是还原全备份,并用mysqlbinlog追加到drop操作前的位置. 如果需要恢复的binlog的日志量比较大而我们只希望恢复某个DB或某张表,常规操作会花费较长的时间. 在网上看到了借助SQL Thread来应用binlog的方法,做测试验证是可行的. [原理] 1.Binlog是MySQL Server产⽣的,记录数据库的逻辑变化 2.Relay-log 是Master/Slave结构中Slave的IO_thread从…

如果10台以内的db的话,自己手动ssh进去,clean就足以,但是上百台呢,就要写脚本了.大概思路:在 一台db跳转机上面, 写一个脚本,访问slave,远程获取正在复制的master上面的binlog位置, 然后再远程去purge master上面的binlog. 1,  建立slave dbserver列表 slavelist; 一个slave一行. 2,远程获取slave db上面的binlog位置以及slave的master主机名(也许是ip地址) 3,拿到binlog位置以及mast…

如果10台以内的db的话,自己手动ssh进去,clean就足以,但是上百台呢,就要写脚本了.大概思路:在 一台db跳转机上面, 写一个脚本,访问slave,远程获取正在复制的master上面的binlog位置, 然后再远程去purge master上面的binlog. 1,  建立slave dbserver列表 slavelist; 一个slave一行. 2,远程获取slave db上面的binlog位置以及slave的master主机名(也许是ip地址) 3,拿到binlog位置以及mast…

int BinlogQueue::del_range(uint64_t start, uint64_t end){ while(start <= end){ leveldb::WriteBatch batch; for(int count = 0; start <= end && count < 1000; start++, count++){ batch.Delete(encode_seq_key(start)); } //这里会实际删除数据库的数据,但是del_ran…

首先举例说明 api的基本使用方式 首先进行配置 , 可以看到源数据库和目的数据库 TungstenProperties tp=new TungstenProperties(); tp.setString(ReplicatorConf.SERVICE_NAME,"test"); tp.setString(ReplicatorConf.ROLE,ReplicatorConf.ROLE_MASTER); tp.setString(ReplicatorConf.PIPELINES,"…

binlog作为mysql中最重要的日志之一,能实现异常恢复以及主从复制. 我们主要讨论的是主从复制中的binlog,这里将以mysql5.7.13的源码为主要依据来分析binlog. 在主从复制中,binlog一般使用row模式,在主服务器上是binlog,在副服务器上是relaylog,在sql\binlog.h中is_relay_log这个变量来区分该情况. 在整个mysql中只有一个MYSQL_BIN_LOG实例,那就是在mysqld.h中定义的mysql_bin_log 1.binlo…

Mysql监控属于DB监控的模块之一,包括采集.展示.监控告警.本文主要介绍Mysql监控的主要指标和采集方法. Mysql监控和Redis监控的逻辑类似,可参考文章<Redis监控>. DBA前台添加Mysql监控时系统会调用自动调度平台接口将Mysql监控的加密账户密码和ip端口等信息发送至目标,同时发送采集Agent. 一.采集指标和命令 1.Mysql服务运行状态 约定所有Mysql服务都必须以ip1(内网ip)来绑定,每个机器只有一个ip1,可以有多个端口,即多个Mysql Serv…

binlog二进制日志对于mysql数据库的重要性有多大,在此就不多说了.下面根据本人的日常操作经历,并结合网上参考资料,对binlog日志使用做一梳理: 一.binlog日志介绍1)什么是binlogbinlog日志用于记录所有更新了数据或者已经潜在更新了数据(例如,没有匹配任何行的一个DELETE)的所有语句.语句以"事件"的形式保存,它描述数据更改. 2)binlog作用因为有了数据更新的binlog,所以可以用于实时备份,与master/slave主从复制结合. 3)和binl…

在Oracle收购了SUN公司之后, MySQL很不幸的落在了Oracle的手中,MySQL与Oracle DB存在竞争关系,很可能导致Oracle公司影响MySQL的开发与开放.MySQL之父Widenius在意识到Oracle会对MySQL做动作之前对MySQL另开了一个Branch:MariaDB.作为一个能够完全兼容MySQL的开源开放产品(向下兼容),受到了很多公司的青睐,Red Hat Fedora ,openSUSE ,维基百科,谷歌,淘宝等公司都先后把MySQLDB迁移到Mari…

原文:http://guweigang.com/blog/2013/11/18/mysql-binlog-in-realtime/ 众所周知,MySQL是最受欢迎的互联网数据库(没有之一)———————为开源而生.发展初期,很多公司都受益于其易用性和经济性.随着这些公司的成长,越来越多的公司投入到MySQL的开发中,因此MySQL的特性也越来越丰富,如:不同特性的存储引擎.Binlog主从复制方案等. 今天我们要探讨的就是如何实时解析MySQL Binlog,以及其所带来的巨大的业务价值.我可以…

通常情况下DB都是有非常完整的监控的,那么如果监控不完善,那么在某段时间内又发生了性能问题,那么我们也可以分析binlog来尝试找到问题.下面就贴出命令,其实就是常用的命令组合. mysqlbinlog --no-defaults --base64-output=decode-rows -vv mysql-bin. | 效果如下: mysqlbinlog --no-defaults --base64-output=decode-rows -vv mysql-bin. | DELETE sq_co…

Linux基于row模式的binlog,生成DML(insert/update/delete)的rollback语句通过mysqlbinlog -v 解析binlog生成可读的sql文件提取需要处理的有效sql  "### "开头的行.如果输入的start-position位于某个event group中间,则会导致"无法识别event"错误 将INSERT/UPDATE/DELETE 的sql反转,并且1个完整sql只能占1行  INSERT: INSERT IN…

DB:5.6.16CentOS:CentOS release 6.3 (Final) 当insert语句通过空格跨行输入的时候,如何提取完整的insert语句! 创建一个空表:mysql> create table yoon as select * from sakila.actor where 1=0;Query OK, 0 rows affected (0.06 sec)Records: 0  Duplicates: 0  Warnings: 0 查看表名:mysql> show tabl…

在MySQL中使用init-connect与binlog来实现用户操作追踪记录 分类: MySQL 前言: 测试环境莫名其妙有几条重要数据被删除了,由于在binlog里面只看到是公用账号删除的,无法查询是那个谁在那个时间段登录的,就考虑怎么记录每一个MYSQL账号的登录信息,在MYSQL中,每个连接都会先执行init-connect,进行连接的初始化,我们可以在这里获取用户的登录名称和thread的ID值.然后配合binlog,就可以追踪到每个操作语句的操作时间,操作人以及客户端的连接进程信息等…