30.Mysql主从复制、读写分离

Mysql主从复制、读写分离

目录

• Mysql主从复制、读写分离
  • 读写分离
    • 读写分离概述
    • 为什么要读写分离
    • 什么时候要读写分离
    • 主从复制与读写分离
    • mysql支持的复制类型
    • 主从复制的工作过程
      • 初始环境
      • Mysql主从服务器时间同步
        • 主服务器设置
        • 从服务器设置
        • 主服务器mysql配置
        • 修改从服务器配置
        • 从服务器mysql配置
        • 测试主从复制
          • 在主表创建库
          • 在库内创建表并添加数据记录
        • MySQL主从复制延迟
    • MySQL主从复制的几个同步模式
      • 异步复制（Asynchronous replication）
      • 全同步复制（Fully synchronous replication）
      • 半同步复制（Semisynchronous replication）
        • 半同步复制
          • 查看半同步是否在运行
    • MySQL读写分离原理
    • 目前较为常见的MySQL读写分离分为以下两种：
      • 基于程序代码内部实现
      • 基于中间代理层实现
      • 搭建Mysql读写分离
        • Amoeba服务器配置
        • 客户机配置
          • 读写分离测试
          • 轮询测试

读写分离

读写分离概述

• 读写分离，基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

为什么要读写分离

• 因为数据库的丶写”（写10000条数据可能要3分钟）操作是比较耗时的。
• 但是数据库的读"（读10000条数据可能只要5秒钟）。
• 所以读写分离，解决的是，数据库的写入，影响了查询的效率。

什么时候要读写分离

• 数据库不一定要读写分离，如果程序使用数据库较多时，而更新少，查询多的情况下会考虑使用。利用数据库主从同步，再通过读写分离可以分担数据库压力，提高性能。

主从复制与读写分离

• 在实际的生产环境中，对数据库的读和写都在同一个数据库服务器中，是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此，通过主从复制的方式来同步数据，再通过读写分离来提升数据库的并发负载能力。有点类似于rsync，但是不同的是rsync是对磁盘文件做备份，而mysq1主从复制是对数据库中的数据、语句做备份。

mysql支持的复制类型

• STATEMENT：基于语句的复制。在服务器上执行sq1语句，在从服务器上执行同样的语句，mysq1默认采用基于语句的复制，执行效率高。
• ROW：基于行的复制。把改变的内容复制过去，而不是把命令在从服务器上执行一遍。
• MIXED：混合类型的复制。默认采用基于语句的复制，一旦发现基于语句无法精确复制时，就会采用基于行的复制。

主从复制的工作过程

• 首先主节点开启二进制日志，从节点开启中继日志。
• 当客户端对mysql数据库进行增删改查时，则将其改变写入二进制日志中
• 从节点会在一定时间间隔内对主节点的二进制日志进行探测其是否发生改变，如果发生改变，则开始一个I/o线程请求主节点的二进制事件。
• 同时主节点为每个I/o线程启动一个dump线程，用于向其发送二进制事件，从节点会将其保存至s从节点本地的中继日志（Relaylog）中
• 最后从节点将启动sQL线程从中继日志中读取二进制日志，在本地重放，即解析成sql语句逐一执行，使得其数据和主节点的数据同步，最后I/o线程和sQL线程将进入睡眠状态，等待下一次被唤醒。

注：

• 半同步复制主节点会多一个线程ack收集线程用于接受从节点写完中继日志后反馈的信息
• 中继日志通常会位于oS缓存中，所以中继日志的开销很小。
• 复制过程有一个很重要的限制，即复制在slave上是串行化的，也就是说Master上的并行更新操作不能在Slave上并行操作。

搭建Mysql主从复制

一主两从结构图

master 服务器：192.168.239.20    Mysql5.7
slave1 服务器： 192.168.239.30   Mysql5.7
slave2 服务器： 192.168.239.60   Mysql5.7

初始环境

#关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

Mysql主从服务器时间同步

主服务器设置

master 服务器：192.168.239.20
yum install ntp -y              #安装ntp服务用来完成时间同步
vim /etc/ntp.conf               #修改配置文件
#末行添加以下两行
server 127.127.239.0            #设置本地为时钟源，注意修改网段
fudge 127.127.239.0 stratum 8   #设置时间层级为8
service ntpd start              #重启服务

从服务器设置

slave1 服务器： 192.168.239.30
slave2 服务器： 192.168.239.60
yum install ntp ntpdate -y                    #安装ntpdate同步
service ntpd start                            #开启服务
/usr/sbin/ntpdate 192.168.239.20              #使用 ntpdate同步本地时钟源
crontab -e                                    #编辑计划性任务
*/30 * * * * /usr/sbin/ntpdate 192.168.239.20 #没三十分组同步一次时间
crontab -l                                    #查看计划性任务
systemctl status crond.service                #查看服务是否开启

主服务器mysql配置

master 服务器：192.168.239.20
vim /etc/my.cnf
log-bin = mysql-bin          #添加，主服务器开启二进制日志
binlog_format = MIXED
log-slave-updates = true     #添加，允许slave从master复制数据时可以写入到自己的二进制日志
expire_logs_days = 7       #设置二进制日志文件过期时间，默认值为0，表示logs不过期
max_binlog_Size = 500M     #设置二进制日志限制大小，如果超出给定值，日志就会发生滚动，默认值是1GB
systemct1 restart mysqld   #重启mysql服务

mysql -uroot -p123456
grant replication slave on *.* to 'gb'@'192.168.239.%' identified by '1999612';           #同步权限所有用户所有表指定登录地址网段设置密码为1999612
flush privileges;     #刷新权限
show master status;   #查看二进制文件

修改从服务器配置

slave1 服务器： 192.168.239.30
slave2 服务器： 192.168.239.60
vim /etc/my.cnf

server-id = 2                                #另外一台从服务器id值则不能为1、2
relay-log = relay-log_bin                    #添加、从服务器开启中继日志文件
relay-log-index = slave-relay-bin.index      #添加定义中继日志文件位置与名称一般与二进制文件在同一目录
relay_log_recovery = 1                       #选配项建议开启是优化的一部份

systemctl restart mysqld.service

从服务器mysql配置

slave1 服务器： 192.168.239.30
slave2 服务器： 192.168.239.60
mysql -u root -p1999612

change master to
    -> master_host='192.168.239.20',
    -> master_user='gb',
    -> master_password='1999612',
    -> master_log_file='mysql-bin.000002',
    -> master_log_pos=843;
#配置同步，注意master_log_file和master_log_pos的值要与master查询值一致
start slave;                      #启动同步，如果有报错执行reset alsve；
show slave status\G;              #查看slave状态确保io和sql线程都是yes，代表同步正常
 Slave_IO_Running: Yes            #负责与主机 io通信
 Slave_SQL_Running: Yes           #负责自己的slave mysql进程

一般Slave_IO_Running:No的可能性

• 网络不通
• my.cnf配置有问题
• 密码、file文件名、pos偏移量不对
• 防火墙没有关闭

测试主从复制

在主表创建库

在库内创建表并添加数据记录

从表验证

MySQL主从复制延迟

• master服务器高并发，形成大量事务
• 网络延迟
• 主从硬件设备导致cpu主频、内存io、硬盘io
• 是同步复制、而不是异步复制
  
  从库优化Mysq1参数。比如增大innodb buffer pool size，让更多操作在Mysq1内存中完成，减少磁盘操作。
• 从库使用高性能主机。包括cpu强悍、内存加天。避免使用虚拟云主机，使用物理主机，这样提升了i/o万面性。
• 从库使用SSD磁盘
• 对络优化，避免跨机房实现同步

MySQL主从复制的几个同步模式

异步复制（Asynchronous replication）

MysQr默认的复制即是异步的，主库在执行完客户端提交的事务后会立即将结果返给客户端，并不关心从库是否已经接收并处理，这样就会有一个问题，主如果crash掉了，此时主上已经提交的事务可能并没有传到从上，如果此时，强行将从提升为主，可能导致新主上的数据不完整。

全同步复制（Fully synchronous replication）

指当主库执行完一个事务，所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回，所以全同步复制的性能必然会收到严重的影响。

半同步复制（Semisynchronous replication）

介于异步复制和全同步复制之间，主库在执行完客户端提交的事务后不是立刻返回给客户端，而是等待至少一个从库接收到并写到relay

1og中才返回给客户端。相对于异步复制，半同步复制提高了数据的安全性，同时它也造成了一定程度的延迟，这个延迟最少是一个TCP/IP往返的时间。所以，半同步复制最好在低延时的网络中使用。

半同步复制

主数据库配置

master 服务器：192.168.239.20
vim /etc/my.cnf
plugin-load=rpl_semi_sync_master=semisync_master.so   #加载mysql半同步复制的插件
rpl_semi_sync_master_enabled=on                       #或者设置为“1”，即开启半同步复制功能
rpl-semi-sync-master-timeout=1000                     #超时时间为1000ms，即1s
systemctl restart mysqld.service

从数据库配置

slave1 服务器： 192.168.239.30
vim /etc/my.cnf
plugin-load=rpl_semi_sync_slave=semisync_slave.so
rpl_semi_sync_slave_enabled=on
systemctl restart mysqld.service

查看半同步是否在运行

主数据库执行

show status like 'rpl_semi_sync_master_status';      #查看半同步复制是否开启
show variables like 'rpl_semi_sync_master_timeout';   #查看超时时间

从数据库执行（此时可能还是OFF状态，需要在下一步重启io线程后，从库半同步状态才会为oN）

show status like 'rpl_semi_sync_slave_status';

重启从数据库上的ro线程

STOP SLAVE IO_THREAD；
TSTART SLAVE IO_THREAD；

在主库查询半同步状态

show status like '%rpl_semi%';

参数说明

Rpl_semi_sync_master_clients              #半同步复制客户端的个数
Rpl_semi_sync_master_net_avg_wait_time    #平均等待时间（默认毫秒）
Rpl_semi_sync_master_net_wait_time        #总共等待时间
Rpl_semi_sync_master_net_waits            #等待次数
Rpl_semi_sync_master_no_times             #关闭半同步复制的次数
Rpl_semi_sync_master_no_tx                #表示没有成功接收slave提交的次数
Rpl_semi_sync_master_status               #表示当前是异步模式还是半同步模式，on为半同步
Rpl_semi_sync_master_timefunc_failures    #调用时间函数失败的次数
Rpl_semi_sync_master_tx_avg_wait_time     #事物的平均传输时间#事物的总共传输时间
Rpl_semi_sync_master_tx_wait_time         #事物的总共传输
Rpl_semi_sync_master_tx_waits             #事物等待次数
Rpl_semi_sync_master_wait_pos_backtraverse#可以理解为“后来的先到了，而先来的还没有到的次数”
Rpl_semi_sync_master_wait_sessions        #当前有多少个session因为slave的回复而造成等待
Rpl_semi_sync_master_yes_tx               #成功接受到slave事物回复的次数

• 当半同步复制发生超时（由rp1_semi_sync_master_timeout参数控制，默认为10000ms，即10s），会暂时关闭半同步复制，转而使用异步复制，也就是会自动降为异步工作。
• 当master dump 线程发送完一个事务的所有事件之后，如果在rp1_semi_sync_master_timeout内，收到了从库的响应，则主从又重新恢复为半同步复制。

注：

在一主多从的架构中，如果要开启半同步复制，并不要求所有的从都是半同步复制。

MySOL 5.7极大的提升了半同步复制的性能。

• 5.6版本的半同步复制，dump thread 承担了两份不同且又十分频繁的任务：传送binlog给slave，还需要等待 slave反馈信息，而且这两个任务是串行的，dump thread 必须等待slave 返回之后才会传送下一个events事务。dump thread已然成为整个半同步提高性能的瓶颈。在高并发业务场景下，这样的机制会影响数据库整体的系统吞叶量（TPS）。
• 5.7版本的半同步复制中，独立出一个ack collector thread，专门用于接收slave 的反馈信息。这样master上有两个线程独立工作，可以同时发送binlog到slave，和接收slave的反馈。

MySQL读写分离原理

• 读写分离就是只在主服务器上写，只在从服务器上读。基本的原理是让主数据库处理事务性操作，而从数据库处理select查询。数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库。

目前较为常见的MySQL读写分离分为以下两种：

基于程序代码内部实现

• 在代码中根据 select、insert 进行路由分类，这类方法也是目前生产环境应用最广泛的。
• 优点是性能较好，因为在程序代码中实现，不需要增加额外的设备为硬件开支；缺点是需要开发人员来实现，运维人员无从下手。
• 但是并不是所有的应用都适合在程序代码中实现读写分离，像一些大型复杂的Java应用，如果在程序代码中实现读写分离对代码改动就较大。

基于中间代理层实现

代理一般位于客户端和服务器之间，代理服务器接到客户端请求后通过判断后转发到后端数据库，有以下代表性程序。

• MySQL-Proxy。MysQL-Proxy 为MysQL 开源项目，通过其自带的1ua 脚本进行sQL判断。
• Atlas。是由奇虎360的Web平台部基础架构团队开发维护的一个基于MysQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用atlas运行的mysql业务，每天承载的读写请求数达几十亿条。支持事物以及存储过程。
• Amoeba。由陈思儒开发，作者曾就职于阿里巴巴。该程序由Java语言进行开发，阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。
• Mycat。是一款流行的基于Java语言编写的数据库中间件，是一个实现了MySq1协议的服务器，其核心功能是分库分表。配合数据库的主从模式还可以实现读写分离。

由于使用MysQL Proxy需要写大量的Lua脚本，这些Lua并不是现成的，而是需要自己去写。这对于并不熟悉MySQLProxy内置变量和MysQL Protocol 的人来说是非常困难的。

PrOt Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。

搭建Mysql读写分离

在之前的主从复制上进行配置读写分离

读写分离

master 服务器：192.168.239.20    Mysql5.7
slave1 服务器： 192.168.239.30   Mysql5.7
slave2 服务器： 192.168.239.60   Mysql5.7
amoeba 服务器：192.168.239.50   jdk1.6、amoeba
客户端  服务器：192.168.239.10   mysql

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

Amoeba服务器配置

amoeba 服务器：192.168.239.50

安装Java环境

因为Amoeba基于是jdk1.5开发的，所以官方推荐使用jdk1.5或1.6|版本，高版本不建议使用。

cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/
cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin   #给权限
./jdk-6u14-linux-×64.bin    #运行（安装）
输入yes，最后按enter
vim /etc/profile
#设置环境变量
export JAVA_HOME=/usr/local/jdk1.6.0_14
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH
export AMOEBA HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin
source /etc/profile
java -version  #查看版本号

安装Amoeba软件

mkdir /usr/local/amoeba
tar zxvf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba       #如显示amoeba startlstop说明安装成功

配置Amoeba读写分离，两个slave 读负载均衡

#先在Master、Slave1、slave2的mysql上开放权限给geng用户访问
grant all on *.* to 'geng'@'192.168.239.%' identified by '1999612';
#再回到amoeba服务器配置amoeba服务：
cd/usr/local/amoeba/conf/

 vim amoeba.xml
--30行--
<property name="user">geng</property>                      #设置登录用户名
-32行--
<property name="password">1999612</property>               #设置登录密码
-115行-
<property name="defaultPool">master</property>             #设置默认池为master
--117-去掉注释-
<property name="writePool">master</property>               #设置写池
<property name="readPool">slaves</property>                #设置读池

cp dbServers.xml dbServers.xml.bak
vim dbServers.xml
--23行-注释
<!-- <property name="schema">test</property> -->
--26行--
<property name="user">geng</property>                     #添加登录用户
--28行-注释
<!--  mysql password  -->
--30行-
 <property name="password">1999612</property>             #添加登录密码
--46行-
 <dbServer name="master"  parent="abstractServer">        #指定写池名
--49行-
<property name="ipAddress">192.168.239.20</property>      #指定写池ip地址
--53行-
 <dbServer name="slave1"  parent="abstractServer">        #指定读池1名
--56行-
 <property name="ipAddress">192.168.239.30</property>     #指定读池1ip地址
复制53行到58行粘贴到58行下
--59行-
<dbServer name="slave2"  parent="abstractServer">         #指定读池2名
--62行-
<property name="ipAddress">192.168.239.60</property>      #指定读池2ip地址
--66行-
<dbServer name="slaves" virtual="true">                   #指定读池名
--69行-
<property name="loadbalance">1</property>                 #指定负载均衡调度算法为轮询
--72行-
<property name="poolNames">slave1,slave2</property>       #写上从节点名

cd /usr/local/amoeba/bin/
./amoeba start &                                          #后台启动
netstat -natp | grep java

客户机配置

客户端  服务器：192.168.239.10
yum install -y mariadb mariadb-server   #安装mariadb
systemctl restart mariadb.service       #开启服务
测试
mysql -u bo -p1999612 -h 192.168.239.50 -P 8066      #登入并查看数据库
show databases;
use yjx;
show tables;
select * from ky18 ;
测试同步
insert into ky18 values (4,'geng',18);  插入数据记录
insert into ky18 values (5,'bo',18);
select * from ky18;
从服务器查看
select * from ky18;

读写分离测试

停掉从服务器同步两台都停
stop slave;
此时在客户机插入数据只有主可以看到数据
insert into ky18 values (6,'gb',18);
select * from ky18;

轮询测试

分别在两台从服务器创建不同的数据记录
从1添加
insert into ky18 values (6,'wang',25)；
从2添加
insert into ky18 values (7,'xie',26)；
客户机查看实现轮询
select * from ky18 ;
此时开启从同步则可以同步gb那条数据记当客户机访问时从服务器添加的数据记录任然还是轮询
start slave;
客户机查看表数据记录
select * from ky18 ;

此时客户机查询实现轮询