redis 系列16 持久化 RDB
一.概述
Redis是内存数据库,一旦服务器进程退出,服务器中的数据库内存数据状态也会消失。为了解决这个问题,Redis提供了RDB 持久化功能,这个功能可以将redis在内存中的数据库状态保存到磁盘中,避免数据意外丢失。
RDB持久化可以手动执行,也可以根据服务器配置选项定期执行,是在指定的时间间隔,对你的数据进行快照存储。该RDB文件快照是一个经过压缩的二进制文件。文件名为dump.rdb,该文件保存在redis目录下,当redis服务器停机后,只要RDB文件存在,下次重启Redis服务时就会自动还原数据库数据状态。
1.1 RDB文件的创建
通过Redis两个命令来生成RDB文件,一是SAVE,另一个是BGSAVE。SAVE命令是会阻塞Redis服务器进程,直到RDB文件创建完毕为止,在阻塞期间,服务器不能处理任何命令请求。
127.0.0.1:> save -- 等待RDB文件创建完毕
OK
与SAVE不同,BGSAVE命令会派生出一个子进程,然后由子进程负责创建RDB文件,服务器进程(父进程)继续处理命令请求。当BGSAVE命令在执行期间,客户端再发送BGSAVE命令会被服务器拒绝,因为同时执行两个GBSAVE命令也会产生竞争条件。最后BGREWRITEAOF和GBSAVE两个命令也不能同时执行。
127.0.0.1:> bgsave --派生子进程,并由子进程创建RDB文件
Background saving started
1.2 RDB文件载入
和创建文件不同,RDB文件的载入是在服务器启动时自动执行的,并没有用于载入RDB文件的命令,只要Redis服务器在启动时检测到RDB文件的存在,它就会自动载入RDB文件。能过启动时日志记录可以查看。需要注意的是,如果打开了AOF持久化,那么服务器会优先使用AOF文件来还原数据库状态。
1.3 自动间隔性保存
文件的创建除了SAVE和GBSAVE保存RDB 文件,还可以通过配置SAVE选项,让服务器每隔一段时间自动执行一次BGSAVE命令。可以配置SAVE选项设置多个保存条件,只要任意一个条件被满足,服务器就会执行BGSAVE命令。
--默认配置的SAVE选项,保存方式有三种条件,满足任意一种就可以,如下:
127.0.0.1:> config get save
) "save"
) "900 1 300 10 60 10000"
(1) 服务器在900秒之内,对数据库进行了至少1次修改。
(2) 服务器在300秒之内,对数据库进行了至少10次修改。
(3) 服务器在60秒之内,对数据库进行了至少10000次修改。
1.4 检查保存条件是否满足
Redis的服务器周期性操作默认每隔100毫秒就会检查执行一次,用于对正在运行的服务器进行维护,其中一项工作是检查save 选项所设置的保存条件是否已经满足,如果满足就调用BGSAVE命令。
1.5 RDB工作方式
当Redis需要保存dump.rdb文件时,服务器执行以下操作:
(1)Redis调用forks. 同时拥有父进程和子进程。
(2)子进程将数据集写入到一个临时 RDB 文件中。
(3)当子进程完成对新 RDB 文件的写入时,Redis用新 RDB 文件替换原来的 RDB 文件,并删除旧的 RDB 文件。
1.6 RDB 文件结构
下面简单了解一下RDB文件结构,这里不再深入了解。下面脚本显示了本机dump.rdb文件的位置。该rdb文件结构中各部分 如下图表格所示:
[root@xuegod64 redis]# pwd
/usr/local/redis
[root@xuegod64 redis]# ls -l
-rwxrwxrwx root root 11月 : dump.rdb
文件结构各部份 |
描述 |
redis |
RDB文件最开头是REDIS部分,保存五个字符,程序在载入文件时,快速检查所载入的文件是否是RDB文件 |
Db_version |
一个字符串表示的整数,4个字节,记录了RDB文件的版本号 |
databases |
该部份包含着0个或任意多个数据库,以及各数据库中的键值对数据 |
Eof |
占1个字节,标志着RDB文件正文内容的结束,当程序遇到这个值的时候,就知道所有数据库的所有键值对都已经载入完毕了 |
Check_sum |
占8字节的无符号整数,保存一个校验和,通过前四部分内容进行计算得出。用来检查RDB文件是否出错或者损坏 |
下面通过linux的od命令来查看redis服务器产生的RDB 文件,并指定-c参数可以以ASCII编码方式打印信息。信息中能直接看到的信息是:第一部分是redis, Db_version部分是0008, Eof部分是372 。
1.7 RDB优势
(1) RDB是一个非常紧凑的文件,它保存了某个时间点得数据集,非常适用于数据集的备份,比如你可以在每个小时报保存一下过去24小时内的数据,同时每天保存过去30天的数据,这样即使出了问题你也可以根据需求恢复到不同版本的数据集。
(2)RDB是一个紧凑的单一文件,很方便传送到另一个远端数据中心,非常适用于灾难恢复。
(3)RDB在保存RDB文件时父进程唯一需要做的就是fork出一个子进程,接下来的工作全部由子进程来做,父进程不需要再做其他IO操作,所以RDB持久化方式可以最大化redis的性能。
(4)与AOF相比,在恢复大的数据集的时候,RDB方式会更快一些。
1.8 RDB缺点
(1)如果数据不允许任何丢失,那么RDB不适合(虽然可以配置不同的save时间点)。
(2)经常fork子进程来保存数据集到硬盘上,当数据集比较大的时候,fork的过程是非常耗时的,可能会导致Redis在一些毫秒级内不能响应客户端的请求。
二. RDB持久化测试
(1) 首先关闭redis服务。当关闭服务时报错,首先检查一下是否是权限的问题,因为在shutdown命令的时候,会进行save操作,而save需要操作dump.rdb文件,如果没有权限则会报这个错。
[root@xuegod64 redis]# redis-cli shutdown
(error) ERR Errors trying to SHUTDOWN. Check logs
-- 需要放开对dump.rdb文件的写入权限,服务关闭成功
[root@xuegod64 redis]# redis-cli shutdown
[root@xuegod64 redis]# redis-cli
(2) 服务启动,首先set 写入一条数据,然后关闭服务进程。
[hsr@xuegod64 redis]$ redis-serverredis.conf
127.0.0.1:> set name "test"
OK
127.0.0.1:> get name
"test"
127.0.0.1:> exit
[hsr@xuegod64 redis]$ redis-cli shutdown
(3)重次重启服务,查看持久化
查看刚才的键值对,发现键值对已存在,说明数据持久化保存到了磁盘中,原理是在关闭服务时,会先调用save操作,保存到dump.rdb文件中,在重启服务后,加载dump.rdb文件。
[hsr@xuegod64 redis]$ redis-serverredis.conf
[hsr@xuegod64 redis]$ redis-cli
127.0.0.1:> get name
"test"
总结:作为RDB快照持久化,如果是正常关闭redis服务,再重启后数据是不会丢失的,但如果系统崩溃或者强杀,用户将会丢失最近一次生成快照之后更改的所有数据。
redis 系列16 持久化 RDB的更多相关文章
- Redis之数据持久化RDB与AOF
Redis之数据持久化RDB与AOF https://www.cnblogs.com/zackku/p/10087701.html 大家都知道,Redis之所以性能好,读写快,是因为Redis是一个内 ...
- 进阶的Redis之数据持久化RDB与AOF
大家都知道,Redis之所以性能好,读写快,是因为Redis是一个内存数据库,它的操作都几乎基于内存.但是内存型数据库有一个很大的弊端,就是当数据库进程崩溃或系统重启的时候,如果内存数据不保存的话,里 ...
- Redis系列(四)--持久化
持久化就是将数据的更新异步的保存到磁盘中 持久化方式: 1.快照:某个时间点数据的备份 MySQL dump.Redis RDB 2.写日志:MySQL BinLog.HBASE Hlog.Redis ...
- 深入理解Redis系列之持久化
redis持久化配置 redis.conf // RDB配置 save 900 1 save 300 10 save 60 10000 // AOF配置 appendonly yes //AOF三种同 ...
- redis 系列17 持久化 AOF
一.概述 除了上篇介绍的RDB持久化功能之外,Redis还提供了AOF(Append Only File)持久化功能.与RDB保存数据库中的键值对来记录数据库状态不同,AOF是通过保存redis服务器 ...
- Redis的快照持久化-RDB与AOF
Redis持久化功能 Redis为了内部数据的安全考虑,会把本身的数据以文件形式保存到硬盘中一份,在服务器重启之后会自动把硬盘的数据恢复到内存(redis)的里边. 数据保存到硬盘的过程就称为“持久化 ...
- 二、redis系列之持久化
1. 绪言 redis是一种内存数据库,它把数据存储在服务器的内存当中,这样极大地保证了redis数据库的性能,但也为数据安全带来了隐患——redis所在服务器重启或者发生宕机后,redis数据库里的 ...
- redis学习之——持久化RDB 和AOF
RDB: 在指定的时间间隔内将内存中的数据集快照写入磁盘, 也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里.rdb 保存的是dump.rdb文件 RDB工作原理: Redis会 ...
- 【目录】redis 系列篇
随笔分类 - redis 系列篇 redis 系列27 Cluster高可用 (2) 摘要: 一. ASK错误 集群上篇最后讲到,对于重新分片由redis-trib负责执行,关于该工具以后再介绍.在进 ...
随机推荐
- eclipse快速配置spring相关xml文件头信息
通过spring tools 插件工具来快速配置xml头信息 ctrl +n 创建-----------> 输入spring 选中spring Beann Configuration File ...
- SQL 获取表结构
select [表名]=c.Name, [表说明]=isnull(f.[value],''), [列序号]=a.Column_id, [列名]=a.Name, [列说明]=isnull(e.[valu ...
- [R]R语言的module工程化
很遗憾,这还是一个挖坑的问题,解决方案并不是很确定. 需求是,大多数的语言都提供import包或module的功能,避免全部代码写到一个文件中,方便管理与维护. 如常用的database模块,每次写R ...
- 平时作业五 Java
使用I/O流和文件对象实现目录备份功能.用户指定源目录.目标目录以及备份文件类型(如果是任意文件使用通配符*号),通过此程序可将源目录及其所有子目录下的指定类型文件保存到目标目录. package c ...
- IntelliJ IDEA之UML类图
IntelliJ IDEA之UML类图 生成方法 Show Diagrams 选中需要的类,右键单击Diagrams,之后点击Show Diagrams,或者快捷键Ctrl+Alt+Shift+U 生 ...
- 更换MariaDB数据库
https://downloads.mariadb.org/mariadb/repositories/#mirror=neusoft&distro=Ubuntu&distro_rele ...
- A fatal error occurred: Failed to connect to ESP32: Timed out waiting for packet header
使用arduino烧写esp32模块遇到的无法烧录问题,时钟无法烧录遇到如下提示 后来搜索在如下连接找到解决方法: https://github.com/espressif/esptool/issue ...
- ios日期显示NaN
ios中js通过getMonth()获取到的日期显示NaN,而在其他地方如pc.安卓都是ok的,这是为什么呢,原来这里有个ios的兼容问题,需要将日期中的“-”替换为“/” var time = ne ...
- 在vue中使用sass的配置的方法
1.安装sass的依赖包 npm install --save-dev sass-loader //sass-loader依赖于node-sass npm install --save-dev nod ...
- 用Group by分组后,取每组的前3条记录,怎么取?
使用子查询进行查询 SELECT * FROM home_content a WHERE ( SELECT count(id) FROM home_content WHERE class_link = ...