深入理解Redis系列之持久化
redis持久化配置
redis.conf
// RDB配置
save 900 1
save 300 10
save 60 10000
// AOF配置
appendonly yes
//AOF三种同步方式
# appendfsync always
appendfsync everysec
# appendfsync no
RDB配置对应saveparams参数:
dirty:距离上一次成功执行SAVE或BGSAVE命令之后,服务器对数据库状态进行了多少次修改
RDB和AOF对比
因为AOF更新频率通常比RDB文件高,所以:
- 如果服务器开启了AOF,那么服务器优先使用AOF文件来还原数据库状态
- 只有在AOF关闭状态,服务器才使用RDB文件还原数据库状态
RDB
RDB手动触发和自动触发
- 手动触发分别对应save和bgsave命令
- SAVE:阻塞redis进程,直到RDB文件创建完毕为止
- BGSAVE:不阻塞,派生出一个子进程,然后由子进程负责创建RDB文件
- BGSAVE命令执行时,客户端发送SAVE或BGSAVE命令会被拒绝,避免父进程和子进程同时执行两个rdbSave调用,防止产生竞争条件
- BGSAVE命令执行时,客户端发送BGSAVE命令会被拒绝,避免两个父进程同时执行两个rdbSave调用,防止产生竞争条件
- BGSAVE命令执行时,客户端发送BGREWRITEAOF命令会被延迟到BGSAVE命令执行完毕之后执行;若是BGREWRITEAOF命令正在执行,客户端发送BGSAVE命令会被拒绝
bgsave执行流程(注意第二步,fork操作创建子进程时,父进程会阻塞)
- redis内部自动触发
- 使用save相关配置,如save m n,表示m秒内存在n次修改,自动触发bgsave
- 如果从节点执行全量复制操作,主节点自动执行bgsave生成RDB文件并发送给从节点
- 执行debug reload命令重新加载redis时,也会触发save操作
- 默认情况下执行shutdown命令时,如果没有开启AOF持久化功能,则自动执行bgsave
RDB文件载入:在服务器启动时,检测到RDB文件存在,自动载入
RDB文件结构
RDB结构:
- REDIS: 5字节,保存"REDIS"5个字符
- db_version:4字节,记录RDB文件的版本号
database部分:
database 0 代表0数据库所有键值对数据;database 3 代表3数据库所有键值对数据;
- SELECTDB:1字节,代表接下来要读一个数据库分区号
AOF
AOF主要作用:解决数据持久化的实时性
AOF工作流程
- 所有写入命令会追加到aof_buf(缓冲区)中
- AOF缓冲区根据对应的同步策略向硬盘做同步操作
- 随着AOF文件越来越大,需要定期对AOF文件进行重写,达到压缩的目的
- 当Redis服务器重启时,可以加载AOF文件进行数据恢复
AOF一些问题
- AOF为何直接采用文本协议?
- 文本协议具有很好的兼容性
- 开启AOF后,所有写入命令都包含追加操作,直接采用文本协议格式,避免二次处理开销
- 文本协议具有可读性,方便直接修改和处理
- AOF为何把命令追加到aof_buf中?
- Redis使用单线程响应命令,如果每次写AOF命令都直接写入磁盘,那么性能完全取决当前硬盘负载。另写入缓冲区,可以提供多种缓冲区同步硬盘的策略,在性能和安全性方面做出平衡
文件同步
重写机制
AOF重写作用:
- 降低文件占用空间
- 更小的AOF文件可以更快的被redis加载
重写机制命令或配置:
- 手动触发:bgrewriteaof命令
- 自动触发配置:
- auto-aof-rewrite-min-size:AOF重写时,文件最小体积,默认64MB
- auto-aof-rewrite-percentage:当前AOF空间(aof_current_size)与上一次重写后AOF文件空间(aof_base_size)的比值
- 自动触发时机:aof_current_size > auto-aof-rewrite-min-size && (aof_current_size - aof_base_size) / aof_base_size >= auto-aof-rewrite-percentage
重写流程:
- 执行AOF重写请求
- 父进程执行fork创建子进程
- 1)父进程fork操作完成后,继续响应其他命令;所有修改命令依然写入AOF缓冲区,并根据appendfsync策略同步到硬盘,保证原有AOF机制正确 2)由于fork操作运用写时复制技术,子进程只能共享fork操作时的内存数据。由于父进程依然响应命令,Redis使用AOF重写缓冲区保存这部分数据,防止AOF文件生成期间丢失这部分数据
- 子进程根据内存快照,按照命令合并规则写入到新的AOF文件。每次批量写入硬盘数据量由配置aof-rewrite-incremental-fsync控制,默认32MB,防止单次刷盘过多造成硬盘阻塞
- 新的AOF文件写入完成后,子进程发送信号给父进程,父进程更新统计信息,具体见info persistence下aof_*相关统计
- 父进程把AOF重写缓冲区的数据写入新的AOF文件
- 使用新的AOF文件替换老文件,完成AOF重写
重写AOF文件为什么可以变小:
- 进程内已经超时的数据不再写入文件
- 旧的AOF文件含有无效命令,如del key1、hdel key2、srem keys、set a111、set a222等;重写使用进程内数据直接生成,这样新的AOF文件只保留最终数据写入命令
- 多条写命令可以合并为一个;为防止单条命令过大,造成客户端缓冲区溢出,对于list、set、hash、zset等类型操作,以64个元素为界拆分为多条。
AOF追加阻塞
流程:
- 主线程负责写入AOF缓冲区
- AOF线程负责每秒执行一次同步磁盘操作,并记录最近一次同步时间
- 主线程负责对比上次AOF同步时间:
- 如果距离上次同步时间小于2s,直接返回
- 如果距离上次同步时间大于2s,主线程将会阻塞,直到同步操作完成
可以发现两个问题:
- everysec配置最多丢失2s数据,不是1s
- 如果系统fsync缓慢,将会导致redis主线程阻塞,影响效率
每当AOF追加阻塞事件发生时,在info persistence统计中,aof_delayed_fsync指标会累加
一些命令
save //等待RDB文件创建完毕
bgsave //fork生成子进程
config set dir {newDir} //RDB文件保存在dir目录下
config set dbfilename {newFileName} //RDB文件名
config set rdbcompression {yew|no}//默认采用LZF算法进行压缩,默认开启,此命令动态进行修改是否进行压缩
bgrewriteaof //aof文件重写
redis-cli config set appendonly yes //开启aof
redis-cli config set save “” //关闭rdb
info stats
redis-check-aof –fix
参考:
《Redis开发与运维》
《Redis设计与实现》
http://www.redis.cn/documentation.html
https://mp.weixin.qq.com/s/GwjQalQ9ZkBbTBtEKpbkMw
http://www.redis.cn/topics/persistence.html
深入理解Redis系列之持久化的更多相关文章
- Redis系列(四)--持久化
持久化就是将数据的更新异步的保存到磁盘中 持久化方式: 1.快照:某个时间点数据的备份 MySQL dump.Redis RDB 2.写日志:MySQL BinLog.HBASE Hlog.Redis ...
- 二、redis系列之持久化
1. 绪言 redis是一种内存数据库,它把数据存储在服务器的内存当中,这样极大地保证了redis数据库的性能,但也为数据安全带来了隐患——redis所在服务器重启或者发生宕机后,redis数据库里的 ...
- 深入理解Redis系列
Redis基础教程详情参考:http://www.yiibai.com/redis/redis_quick_guide.html 基础知识: 0.Redis特点:Redis是Remote Dictio ...
- redis 系列17 持久化 AOF
一.概述 除了上篇介绍的RDB持久化功能之外,Redis还提供了AOF(Append Only File)持久化功能.与RDB保存数据库中的键值对来记录数据库状态不同,AOF是通过保存redis服务器 ...
- redis 系列16 持久化 RDB
一.概述 Redis是内存数据库,一旦服务器进程退出,服务器中的数据库内存数据状态也会消失.为了解决这个问题,Redis提供了RDB 持久化功能,这个功能可以将redis在内存中的数据库状态保存到磁盘 ...
- 深入理解Redis系列之SpringBoot集成Redis
SpringBoot环境 快速搭建一个SpringBoot工程 进入 https://start.spring.io 网站, 使用该网站初始化一个SpringBoot工程 添加相关依赖 因为使用spr ...
- 【目录】redis 系列篇
随笔分类 - redis 系列篇 redis 系列27 Cluster高可用 (2) 摘要: 一. ASK错误 集群上篇最后讲到,对于重新分片由redis-trib负责执行,关于该工具以后再介绍.在进 ...
- 分布式缓存技术redis系列(三)——redis高级应用(主从、事务与锁、持久化)
上文<详细讲解redis数据结构(内存模型)以及常用命令>介绍了redis的数据类型以及常用命令,本文我们来学习下redis的一些高级特性. 安全性设置 设置客户端操作秘密 redis安装 ...
- redis系列--redis4.0深入持久化
前言 在之前的博文中已经详细的介绍了redis4.0基础部分,并且在memcache和redis对比中提及redis提供可靠的数据持久化方案,而memcache没有数据持久化方案,本篇博文将详细介绍r ...
随机推荐
- UUID介绍与生成的方法
什么是UUID? UUID是Universally Unique Identifier的缩写,它是在一定的范围内(从特定的名字空间到全球)唯一的机器生成的标识符.UUID具有以下涵义: 经由一定的算法 ...
- AndroidStudio中获得的VersionCode一直为1和VersionName一直为1.0
因为AndroidStudio把versionCode和versionName的维护放到了build.gradle中.
- Jmeter测试Websocket接口
前言 websocket是什么? WebSocket 协议在2008年诞生,2011年成为国际标准.所有浏览器都已经支持了. 它的最大特点就是,服务器可以主动向客户端推送信息,客户端也可以主动向服务器 ...
- 【GDKOI2014】JZOJ2020年8月13日提高组T2 石油储备计划
[GDKOI2014]JZOJ2020年8月13日提高组T2 石油储备计划 题目 Description Input Output 对于每组数据,输出一个整数,表示达到"平衡"状态 ...
- requests请求高德地图api
高德地图通过GET方式发送url请求数据.url里需要包含开发者key以及一些请求的具体参数.(详情可见高德官网)高德返回的数据默认为JSON格式,方便处理. 顺带来回忆一下requests模块的一些 ...
- 一千行MySQL命令
基本操作 /* Windows服务 */ -- 启动MySQL net start mysql -- 创建Windows服务 sc create mysql binPath= mysqld_bin_p ...
- Docker环境复现利用Redis未授权访问漏洞 >> 批量扫描检测利用
关于Redis Redis(Remote Dictionary Server ),即远程字典服务,是一个开源的使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日志型.Key-Value数据库 ...
- PHP代码审计分段讲解(8)
20 十六进制与数字比较 源代码为: <?php error_reporting(0); function noother_says_correct($temp) { $flag = 'flag ...
- Python追加文件内容
测试中需要造几百个账号,写了个脚本可以自动生成账号,但想把生成的账号写入一个文件, 开始用的如下的write()方法,发下会先把原文件的内容清空再写入新的东西,文件里面每次都是最新生成的一个账号 mo ...
- STL——容器(Map & multimap)的查找
map.find(key); //查找键key是否存在,若存在,返回该键的元素的迭代器:若不存在,返回map.end(); map.count(key); //返回容器中键值为key的对组个数 ...