Redis 主从复制原理及雪崩 穿透问题
定义:
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。从2010年3月15日起,Redis的开发工作由VMware主持。从2013年5月开始,Redis的开发由Pivotal赞助。
redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。
Redis 是一个高性能的key-value数据库。 redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部 分场合可以对关系数据库起到很好的补充作用。
Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步,从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。存盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制,使得从数据库在任何地方同步树时,可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。————摘自百度百科,下面街帅开始步入正题。
概述:
现在很多小作坊 游戏小公司基本上使用的是redis单机服务,这样在实际中单一的服务节点是容易出问题 面临风险的。比如容量瓶颈 机器故障 服务器线被耗子啃了,这样不就是凉凉了哦。
举例:
- 容量瓶颈:后期有需要要扩容Redis内存时,升级到64G 单机肯定满足不了,当然有钱的话当然你可以重新买个128G的新服务器。
- 机器故障:只部署到一台 Redis 服务器,当发生机器故障时,需要迁移数据到另外一台服务器并且要保证数据是同步的。而数据是最重要的,如果单机挂了那就洗白了。
- 并发:一般情况下 对处理大并发量应采用读写分离,读与写服务器数据同步等方式来做。此时如果是单结点Redis服务器那么想必效率不友好,背离了我们用redis的目的。
解决方案:
要实现分布式数据库的更大的存储容量和承受高并发访问量,我们会将原来集中式数据库的数据分别存储到其他多个网络节点上。Redis 为了解决这个单一节点的问题,也会把数据复制多个副本部署到其他节点上进行复制,实现 Redis的高可用,实现对数据的冗余备份,从而保证数据和服务的高可用性,提高产出效率。
(示意图1)
主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(master),后者称为从节点(slave),数据的复制是单向的,只能由主节点到从节点。默认情况下,每台Redis服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。
主从复制作用:
- 故障恢复:当主节点出现问题时,可以由从节点提供服务,以至于程序不会挂掉,实现快速的故障恢复;实际上是一种服务的冗余。
- 负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量。
- 读写分离:可以用于实现读写分离,主库写、从库读,读写分离不仅可以提高服务器的负载能力,同时可根据需求的变化,改变从库子Redis服务器的数量。
- 数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式,也是对内存中重要数据备份的可行。
- 高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础。
主从复制启用:
从节点开启主从复制,有3种方式:
- 配置文件:在从服务器的配置文件中加入 ,.conf后缀的配置文件,具体什么忘了。
- 启动命令:redis-server启动命令后加入 。
- 客户端命令:Redis服务器启动后,直接通过客户端执行命令 ,则该Redis实例成为从节点。
主从复制原理:
主从复制过程大体可以分为3个阶段:连接建立阶段(即准备阶段)、数据同步阶段、命令传播阶段。
在从节点执行 命令后,复制过程便开始运作,下面图示可以看出复制过程大致分为6个过程。
(示意图2)
主从配置之后的日志记录也可以看出这个流程。
1.保存主节点(master)信息
执行 后 Redis 会打印如下日志:
2.从节点与主节点建立网络连接
从节点(slave)内部通过每秒运行的定时任务维护复制相关逻辑,当定时任务发现存在新的主节点后,会尝试与该节点建立网络连接。
从节点与主节点建立网络连接。
从节点会建立一个 套接字,从节点建立了一个端口为51234的套接字,专门用于接受主节点发送的复制命令。从节点连接成功后打印如下日志:
如果从节点无法建立连接,定时任务会无限重试直到连接成功或者执行 取消复制。
关于连接失败,可以在从节点执行 查看 指标,它会记录与主节点连接失败的系统时间。从节点连接主节点失败时也会每秒打印如下日志,方便发现问题:
3.发送 ping 命令
连接建立成功后从节点发送 请求进行首次通信, 请求主要目的如下:
检测主从之间网络套接字是否可用。
检测主节点当前是否可接受处理命令。
如果发送 命令后,从节点没有收到主节点的 回复或者超时,比如网络超时或者主节点正在阻塞无法响应命令,从节点会断开复制连接,下次定时任务会发起重连。
(示意图3)
从节点发送的 命令成功返回,Redis 打印如下日志,并继续后续复制流程:
4.权限验证
如果主节点设置了 参数,则需要密码验证,从节点必须配置 参数保证与主节点相同的密码才能通过验证。如果验证失败复制将终止,从节点重新发起复制流程。
5.同步数据集
主从复制连接正常通信后,对于首次建立复制的场景,主节点会把持有的数据全部发送给从节点,这部分操作是耗时最长的步骤。
6.命令持续复制
当主节点把当前的数据同步给从节点后,便完成了复制的建立流程。接下来主节点会持续地把写命令发送给从节点,保证主从数据一致性。
雪崩、穿透、无底洞问题:
防雪崩的有效方法:
- 不设置过期时间(或者给缓存的过期时间加上随机值,避免集体失效),只要数据实时更新到redis,那么给用户的数据就是实时的,不影响后端数据库;
- 热数据和冷数据的区分,每天定时刷新热数据到redis中(定时任务 不建议);
- 设置redis集群和DB集群的高可用,如果redis出现宕机情况,可以立即由别的机器顶替上来。这样可以防止一部分的风险。【参考上面的主从复制】
防穿透的有效方法【缓存value为空;并发量很大去访问DB】:
- 由于在redis中找不到数据,所以会去数据库中读取,但是数据库也没有,就不会写回Redis里,导致并发访问时每次都去数据库读取,导致数据库压力过大;
- 可以给这类数据写一个null或false到redis,设置一个过期时间,比如2分钟;
- 要注意的是,这种key不能存储太长时间,key的量多起来,内存占用也会多的。
- 设置布隆过滤器,将所有可能存在的数据哈希到一个足够大的bitmap中,一个一定不存在的数据会被这个bitmap拦截掉,从避免了对底层存储系统的查询压力。【未具体研究】
无底洞问题的有效方法:
- key如果不过期,那么会一直保存在内存,内存会越来越不够用;
- key如果过期,那么过期后,怎么处理,高并发访问数据,数据库会不会挂掉?如果是分布式环境,可以用redis的setnx命令加锁方式来解决,获取到锁的就去db查询然后写回redis,而其他的请求没有获取到锁,则等待一段时间(比如10毫秒)然后再去redis读取,取到就返回,取不到数据的话可以根据业务看要不要直接返回空结果,还是再去获取锁,直到读取到数据或者尝试的次数到达指定次数。(说白了就是利用互斥锁。缓存失效的时候,得到了锁,再请求数据库。没得到锁,休眠一段时间再重试。)
感悟总结:
- Redis定位是非关系型数据库,不建议处理sql这样的关系型业务。
- Redis使用不当会造成内存的浪费,会造成阻塞等问题,虽然性能很好但还是谨慎一点。
- 应在适合的项目上用Redis,不能因为秀自己的技术而去用,适合业务即可。
- 勿在浮砂筑高塔。。。
~~~才转战博客园,几年没写了写的有点乱,请大佬们谅解,文章内容来自本街帅亲身体验加网络知识加本人体会 感悟。欢迎点赞评论~~~
附上几年前写的CSDN地址(有点low):https://blog.csdn.net/sz1103
Redis 主从复制原理及雪崩 穿透问题的更多相关文章
- 深入Redis 主从复制原理
原文:深入Redis 主从复制原理 1.复制过程 2.数据间的同步 3.全量复制 4.部分复制 5.心跳 6.异步复制 1.复制过程 从节点执行 slaveof 命令. 从节点只是保存了 slaveo ...
- (转)面试前必知Redis面试题—缓存雪崩+穿透+缓存与数据库双写一致问题
背景:redis问题在面试过程中经常被问到,对于常见问题一定不能放过. 面试前必知Redis面试题—缓存雪崩+穿透+缓存与数据库双写一致问题 一.缓存雪崩 1.1什么是缓存雪崩? 如果缓存数据设置的过 ...
- Redis主从复制原理总结
和Mysql主从复制的原因一样,Redis虽然读取写入的速度都特别快,但是也会产生读压力特别大的情况.为了分担读压力,Redis支持主从复制,Redis的主从结构可以采用一主多从或者级联结构,Redi ...
- Redis面试篇 -- Redis主从复制原理
Redis一般是用来支撑读高并发的,为了分担读压力,Redis支持主从复制.架构是主从架构,一主多从, 主负责写,并且将数据复制到其它的 slave 节点,从节点负责读. 所有的读请求全部走从 ...
- 彻底搞懂Redis主从复制原理及实战
欢迎关注公众号:「码农富哥」,致力于分享后端技术 (高并发架构,分布式集群系统,消息队列中间件,网络,微服务,Linux, TCP/IP, HTTP, MySQL, Redis), Python 等 ...
- 都在讲Redis主从复制原理,我来讲实践总结
摘要:本文将演示主从复制如何配置.实现以及实现原理,Redis主从复制三大策略,全量复制.部分复制和立即复制. 本文分享自华为云社区<Redis主从复制实践总结>,原文作者:A梦多啦A . ...
- 太全了!Redis主从复制原理以及常见问题总结
相信很多小伙伴都已经配置过主从复制,但是对于redis主从复制的工作流程和常见问题很多都没有深入的了解.这次给大家整理一份redis主从复制的全部知识点. 下方可视频观看,效果更佳 Redis实战精讲 ...
- 详解Redis主从复制原理
文章首发于公众号 "蘑菇睡不着" 前言 Redis 的主从复制和 MySQL 差不多,主要起着 数据备份,读写分离等作用.所以说主从复制对 Redis 来说非常重要,而无论是面试还 ...
- Redis主从复制原理
前言: 和MySQL主从复制的原因一样,Redis虽然读取写入的速度都特别快,但是也会产生读压力特别大的情况.为了分担读压力,Redis支持主从复制,Redis的主从结构可以采用一主多从或者级联结构, ...
随机推荐
- 设计模式之外观模式——Java语言描述
外观模式隐藏系统的复杂性,并向客户端提供了一个客户端可以访问系统的接口.它想现有的系统添加了一个接口,以隐藏系统的复杂性 介绍 意图 为子系统中的一组接口提供了一个一致的界面,外观模式定义了一个高层接 ...
- 教你如何一键反编译获取任何微信小程序源代码(图形化界面,傻瓜式操作)
一键获取微信小程序源代码 Tips: 一键获取微信小程序源码, 使用了C#加nodejs制作 直接解压在D盘根目录下后就可以使用 将小程序文件放到 wxapkg目录下3 这个目录下有一些demo 可以 ...
- git 版本库基础知识学习
什么是版本库?什么是版本库呢?版本库又名仓库,英文名repository,你可以简单理解成一个目录,这个目录里面的所有文件都可以被Git管理起来,每个文件的修改.删除,Git都能跟踪,以便任何时刻都可 ...
- cmd命令重定向到剪切板
Windows下 使用系统自带的 clip 命令. # 位于 C:\Windows\system32\clip.exe. 示例: # 将字符串 Hello 放入 Windows 剪贴板 echo He ...
- render与vue组件和注册
<template> <div class="about"> <h1>This is an about page</h1> < ...
- 转://IO的基础概念
磁盘IO.网络IO 对磁盘的每个IO就是在磁盘与一些RAM单元之间相互传送一些相邻的扇区的内容. 磁盘IO延时(IO Latency): 也称为IO响应时间,是指内核对磁盘发出一个 ...
- Java 钩子函数编程技巧
Java提供注册钩子线程,在JVM进程关闭之前,会自动执行这个钩子线程. 运用这个技巧,可以再JVM关闭之前,释放一些系统资源. 这个功能利用的是Runtime类来实现. public class H ...
- Android Studio导出JavaDoc时中文乱码问题解决
导出过程中,如果出现JavaDoc中文乱码的问题,可以在Other command line arguments栏目添加命令参数:-encoding UTF-8 -charset UTF-8(如果是G ...
- nginx部署静态网站
实验环境 服务器:centos7.5 1核1G Nginx版本:nginx-1.14.2 主题 部署静态文件 根据不同url请求路径,定向到不同的系统文件夹 部署静态文件 假设nginx安装在“/us ...
- 后端MVC和前端MVVC关系详解
MVC 是后端的分层开发概念: MVVM是前端视图层的概念,主要关注于 视图层分离,也就是说:MVVM把前端的视图层,分为了 三部分 Model, View , VM ViewModel