深入理解Redis系列之持久化
redis持久化配置
redis.conf
// RDB配置
save 900 1
save 300 10
save 60 10000
// AOF配置
appendonly yes
//AOF三种同步方式
# appendfsync always
appendfsync everysec
# appendfsync no
RDB配置对应saveparams参数:
dirty:距离上一次成功执行SAVE或BGSAVE命令之后,服务器对数据库状态进行了多少次修改
RDB和AOF对比
因为AOF更新频率通常比RDB文件高,所以:
- 如果服务器开启了AOF,那么服务器优先使用AOF文件来还原数据库状态
- 只有在AOF关闭状态,服务器才使用RDB文件还原数据库状态
RDB
RDB手动触发和自动触发
- 手动触发分别对应save和bgsave命令
- SAVE:阻塞redis进程,直到RDB文件创建完毕为止
- BGSAVE:不阻塞,派生出一个子进程,然后由子进程负责创建RDB文件
- BGSAVE命令执行时,客户端发送SAVE或BGSAVE命令会被拒绝,避免父进程和子进程同时执行两个rdbSave调用,防止产生竞争条件
- BGSAVE命令执行时,客户端发送BGSAVE命令会被拒绝,避免两个父进程同时执行两个rdbSave调用,防止产生竞争条件
- BGSAVE命令执行时,客户端发送BGREWRITEAOF命令会被延迟到BGSAVE命令执行完毕之后执行;若是BGREWRITEAOF命令正在执行,客户端发送BGSAVE命令会被拒绝
bgsave执行流程(注意第二步,fork操作创建子进程时,父进程会阻塞)
- redis内部自动触发
- 使用save相关配置,如save m n,表示m秒内存在n次修改,自动触发bgsave
- 如果从节点执行全量复制操作,主节点自动执行bgsave生成RDB文件并发送给从节点
- 执行debug reload命令重新加载redis时,也会触发save操作
- 默认情况下执行shutdown命令时,如果没有开启AOF持久化功能,则自动执行bgsave
RDB文件载入:在服务器启动时,检测到RDB文件存在,自动载入
RDB文件结构
RDB结构:
- REDIS: 5字节,保存"REDIS"5个字符
- db_version:4字节,记录RDB文件的版本号
database部分:
database 0 代表0数据库所有键值对数据;database 3 代表3数据库所有键值对数据;
- SELECTDB:1字节,代表接下来要读一个数据库分区号
AOF
AOF主要作用:解决数据持久化的实时性
AOF工作流程
- 所有写入命令会追加到aof_buf(缓冲区)中
- AOF缓冲区根据对应的同步策略向硬盘做同步操作
- 随着AOF文件越来越大,需要定期对AOF文件进行重写,达到压缩的目的
- 当Redis服务器重启时,可以加载AOF文件进行数据恢复
AOF一些问题
- AOF为何直接采用文本协议?
- 文本协议具有很好的兼容性
- 开启AOF后,所有写入命令都包含追加操作,直接采用文本协议格式,避免二次处理开销
- 文本协议具有可读性,方便直接修改和处理
- AOF为何把命令追加到aof_buf中?
- Redis使用单线程响应命令,如果每次写AOF命令都直接写入磁盘,那么性能完全取决当前硬盘负载。另写入缓冲区,可以提供多种缓冲区同步硬盘的策略,在性能和安全性方面做出平衡
文件同步
重写机制
AOF重写作用:
- 降低文件占用空间
- 更小的AOF文件可以更快的被redis加载
重写机制命令或配置:
- 手动触发:bgrewriteaof命令
- 自动触发配置:
- auto-aof-rewrite-min-size:AOF重写时,文件最小体积,默认64MB
- auto-aof-rewrite-percentage:当前AOF空间(aof_current_size)与上一次重写后AOF文件空间(aof_base_size)的比值
- 自动触发时机:aof_current_size > auto-aof-rewrite-min-size && (aof_current_size - aof_base_size) / aof_base_size >= auto-aof-rewrite-percentage
重写流程:
- 执行AOF重写请求
- 父进程执行fork创建子进程
- 1)父进程fork操作完成后,继续响应其他命令;所有修改命令依然写入AOF缓冲区,并根据appendfsync策略同步到硬盘,保证原有AOF机制正确 2)由于fork操作运用写时复制技术,子进程只能共享fork操作时的内存数据。由于父进程依然响应命令,Redis使用AOF重写缓冲区保存这部分数据,防止AOF文件生成期间丢失这部分数据
- 子进程根据内存快照,按照命令合并规则写入到新的AOF文件。每次批量写入硬盘数据量由配置aof-rewrite-incremental-fsync控制,默认32MB,防止单次刷盘过多造成硬盘阻塞
- 新的AOF文件写入完成后,子进程发送信号给父进程,父进程更新统计信息,具体见info persistence下aof_*相关统计
- 父进程把AOF重写缓冲区的数据写入新的AOF文件
- 使用新的AOF文件替换老文件,完成AOF重写
重写AOF文件为什么可以变小:
- 进程内已经超时的数据不再写入文件
- 旧的AOF文件含有无效命令,如del key1、hdel key2、srem keys、set a111、set a222等;重写使用进程内数据直接生成,这样新的AOF文件只保留最终数据写入命令
- 多条写命令可以合并为一个;为防止单条命令过大,造成客户端缓冲区溢出,对于list、set、hash、zset等类型操作,以64个元素为界拆分为多条。
AOF追加阻塞
流程:
- 主线程负责写入AOF缓冲区
- AOF线程负责每秒执行一次同步磁盘操作,并记录最近一次同步时间
- 主线程负责对比上次AOF同步时间:
- 如果距离上次同步时间小于2s,直接返回
- 如果距离上次同步时间大于2s,主线程将会阻塞,直到同步操作完成
可以发现两个问题:
- everysec配置最多丢失2s数据,不是1s
- 如果系统fsync缓慢,将会导致redis主线程阻塞,影响效率
每当AOF追加阻塞事件发生时,在info persistence统计中,aof_delayed_fsync指标会累加
一些命令
save //等待RDB文件创建完毕
bgsave //fork生成子进程
config set dir {newDir} //RDB文件保存在dir目录下
config set dbfilename {newFileName} //RDB文件名
config set rdbcompression {yew|no}//默认采用LZF算法进行压缩,默认开启,此命令动态进行修改是否进行压缩
bgrewriteaof //aof文件重写
redis-cli config set appendonly yes //开启aof
redis-cli config set save “” //关闭rdb
info stats
redis-check-aof –fix
参考:
《Redis开发与运维》
《Redis设计与实现》
http://www.redis.cn/documentation.html
https://mp.weixin.qq.com/s/GwjQalQ9ZkBbTBtEKpbkMw
http://www.redis.cn/topics/persistence.html
深入理解Redis系列之持久化的更多相关文章
- Redis系列(四)--持久化
持久化就是将数据的更新异步的保存到磁盘中 持久化方式: 1.快照:某个时间点数据的备份 MySQL dump.Redis RDB 2.写日志:MySQL BinLog.HBASE Hlog.Redis ...
- 二、redis系列之持久化
1. 绪言 redis是一种内存数据库,它把数据存储在服务器的内存当中,这样极大地保证了redis数据库的性能,但也为数据安全带来了隐患——redis所在服务器重启或者发生宕机后,redis数据库里的 ...
- 深入理解Redis系列
Redis基础教程详情参考:http://www.yiibai.com/redis/redis_quick_guide.html 基础知识: 0.Redis特点:Redis是Remote Dictio ...
- redis 系列17 持久化 AOF
一.概述 除了上篇介绍的RDB持久化功能之外,Redis还提供了AOF(Append Only File)持久化功能.与RDB保存数据库中的键值对来记录数据库状态不同,AOF是通过保存redis服务器 ...
- redis 系列16 持久化 RDB
一.概述 Redis是内存数据库,一旦服务器进程退出,服务器中的数据库内存数据状态也会消失.为了解决这个问题,Redis提供了RDB 持久化功能,这个功能可以将redis在内存中的数据库状态保存到磁盘 ...
- 深入理解Redis系列之SpringBoot集成Redis
SpringBoot环境 快速搭建一个SpringBoot工程 进入 https://start.spring.io 网站, 使用该网站初始化一个SpringBoot工程 添加相关依赖 因为使用spr ...
- 【目录】redis 系列篇
随笔分类 - redis 系列篇 redis 系列27 Cluster高可用 (2) 摘要: 一. ASK错误 集群上篇最后讲到,对于重新分片由redis-trib负责执行,关于该工具以后再介绍.在进 ...
- 分布式缓存技术redis系列(三)——redis高级应用(主从、事务与锁、持久化)
上文<详细讲解redis数据结构(内存模型)以及常用命令>介绍了redis的数据类型以及常用命令,本文我们来学习下redis的一些高级特性. 安全性设置 设置客户端操作秘密 redis安装 ...
- redis系列--redis4.0深入持久化
前言 在之前的博文中已经详细的介绍了redis4.0基础部分,并且在memcache和redis对比中提及redis提供可靠的数据持久化方案,而memcache没有数据持久化方案,本篇博文将详细介绍r ...
随机推荐
- Idea 查找加替换 功能
本页查找 快捷键:ctr+F 鼠标框选 所需内容 再加快捷键 查找更加方便 替换功能
- 20190626_二次开发BarTender打印机_C#代码_一边读取TID_一边打印_打印机POSTEK
demo代码如下: private void btnPrint_Click(object sender, EventArgs e) { if (this.btnPrint.Text == " ...
- argis android sdk配置备忘一下
ArcGIS RuntimeAndroid SDK100.1.0 1.在线配置(只有两处) 在project工程中的gradle添加 maven { url 'https://esri.bintray ...
- PyQt(Python+Qt)学习随笔:QTableWidget中表格各列平均分配宽度的两种方法
老猿Python博文目录 专栏:使用PyQt开发图形界面Python应用 老猿Python博客地址 在QTableWidget表格部件中,如果需要实现表格中各列要占满部件中的可用空间,同时实现各列平分 ...
- 本地web项目部署到服务器里连接不上数据库的解决办法
今天突然想到把自己之前的项目挂到服务器上,但是用到了数据库,于是给服务器装上了MySQL,想着能赶紧把项目挂上去看看效果,然后并不是一帆风顺,在奋斗了四小时后终于解决了问题的所在. (1)首先我找到了 ...
- [MRCTF2020]Ezpop
题目: Welcome to index.php <?php //flag is in flag.php //WTF IS THIS? //Learn From https://ctf.ieki ...
- edusrc上海交通大学证书
- IntelliJ IDEA2019.3.2破解/永久激活/安装教程
我想大家用过史上最好的开发工具就是idea了,没有之一!看到大家都在找idea的激活教程,今天我也在这里跟大家分享一下. 本教程针对现在官网针对的版本是idea2019.3.2,为防止以后会更新破解失 ...
- REHの收藏列表
搬运自本人的AcWing,所以那里的文章会挺多. 友链(同类文章) :bztMinamoto 世外明月 mlystdcall 新人手册:AcWing入门使用指南 前言 有看到好文欢迎推荐(毛遂自荐也可 ...
- NetCDF格式.nc
netcdf sfc_pres_temp { dimensions: latitude = 6 ; //纬度轴 longitude = 12 ; //经度轴 variables: float lati ...