09.redis 哨兵主备切换时数据丢失的解决方案

一、两种数据丢失的情况

---

1. 异步复制导致的数据丢失

  因为master->slave的复制是异步的，所以可能有部分数据还没复制到slave，master就宕机了，此时这些部分数据就丢失了

2. 脑裂导致的数据丢失

脑裂是什么

  某个master所在机器突然脱离了正常的网络，跟其他slave机器不能连接，但是实际上master还运行着。此时哨兵可能就会认为master宕机了，然后开启选举将其他slave切换成了master。集群里就会有两个master，也就是所谓的脑裂

引发的问题：

  此时虽然某个slave被切换成了master，但是可能client还没来得及切换到新的master，还继续写向旧master的数据可能也丢失了。因此旧master再次恢复的时候，会被作为一个slave挂到新的master上去，自己的数据会清空，重新从新的master复制数据

 

 

二、解决方案

---

1. redis层面：通过配置控制同步时间

redis.conf配置如下：

min-slaves-to-write 1
min-slaves-max-lag 10

含义：

要求至少有1个slave，数据复制和同步延迟不能超过10秒

如果说一旦所有的slave，数据复制和同步的延迟都超过了10秒钟，那么master就会拒绝接收任何请求

作用

• 减少异步复制的数据丢失

配置min-slaves-max-lag为10s后，根据目前master->slave的复制速度，如果数据同步完成所需要时间超过10s，就会认为master未来宕机后损失的数据会很多，master就拒绝写入新请求。

这样就能将master和slave数据差控制在10s内，即使master宕机也只是这未复制的10s数据。

• 减少脑裂的数据丢失

如果不能继续给指定数量的slave发送数据，而且slave超过10秒没有给自己ack消息，那么就直接拒绝写入新请求。这样脑裂后的旧master就不会接受client的新数据，也就避免了数据丢失。

因此在脑裂场景下，最多就丢失10秒的数据

 

2. 生产者层面：做降级限流

降级：

  先讲消息写到本地磁盘中或者放到临时消息队列中，每隔10分钟去本地磁盘或者队列里取来尝试重新发给master

限流：

  在网关减慢请求涌入的速度。