redis持久化配置

redis.conf

// RDB配置
save 900 1
save 300 10
save 60 10000 // AOF配置
appendonly yes //AOF三种同步方式
# appendfsync always
appendfsync everysec
# appendfsync no

RDB配置对应saveparams参数:

dirty:距离上一次成功执行SAVE或BGSAVE命令之后,服务器对数据库状态进行了多少次修改

RDB和AOF对比

因为AOF更新频率通常比RDB文件高,所以:

  • 如果服务器开启了AOF,那么服务器优先使用AOF文件来还原数据库状态
  • 只有在AOF关闭状态,服务器才使用RDB文件还原数据库状态

RDB

RDB手动触发和自动触发
  1. 手动触发分别对应save和bgsave命令
  • SAVE:阻塞redis进程,直到RDB文件创建完毕为止
  • BGSAVE:不阻塞,派生出一个子进程,然后由子进程负责创建RDB文件
  • BGSAVE命令执行时,客户端发送SAVE或BGSAVE命令会被拒绝,避免父进程和子进程同时执行两个rdbSave调用,防止产生竞争条件
  • BGSAVE命令执行时,客户端发送BGSAVE命令会被拒绝,避免两个父进程同时执行两个rdbSave调用,防止产生竞争条件
  • BGSAVE命令执行时,客户端发送BGREWRITEAOF命令会被延迟到BGSAVE命令执行完毕之后执行;若是BGREWRITEAOF命令正在执行,客户端发送BGSAVE命令会被拒绝

bgsave执行流程(注意第二步,fork操作创建子进程时,父进程会阻塞)

  1. redis内部自动触发
  • 使用save相关配置,如save m n,表示m秒内存在n次修改,自动触发bgsave
  • 如果从节点执行全量复制操作,主节点自动执行bgsave生成RDB文件并发送给从节点
  • 执行debug reload命令重新加载redis时,也会触发save操作
  • 默认情况下执行shutdown命令时,如果没有开启AOF持久化功能,则自动执行bgsave

RDB文件载入:在服务器启动时,检测到RDB文件存在,自动载入

RDB文件结构

RDB结构:

  • REDIS: 5字节,保存"REDIS"5个字符
  • db_version:4字节,记录RDB文件的版本号

database部分:

database 0 代表0数据库所有键值对数据;database 3 代表3数据库所有键值对数据;

  • SELECTDB:1字节,代表接下来要读一个数据库分区号

AOF

AOF主要作用:解决数据持久化的实时性

AOF工作流程
  1. 所有写入命令会追加到aof_buf(缓冲区)中
  2. AOF缓冲区根据对应的同步策略向硬盘做同步操作
  3. 随着AOF文件越来越大,需要定期对AOF文件进行重写,达到压缩的目的
  4. 当Redis服务器重启时,可以加载AOF文件进行数据恢复

AOF一些问题
  1. AOF为何直接采用文本协议?
  • 文本协议具有很好的兼容性
  • 开启AOF后,所有写入命令都包含追加操作,直接采用文本协议格式,避免二次处理开销
  • 文本协议具有可读性,方便直接修改和处理
  1. AOF为何把命令追加到aof_buf中?
  • Redis使用单线程响应命令,如果每次写AOF命令都直接写入磁盘,那么性能完全取决当前硬盘负载。另写入缓冲区,可以提供多种缓冲区同步硬盘的策略,在性能和安全性方面做出平衡
文件同步

重写机制

AOF重写作用:

  • 降低文件占用空间
  • 更小的AOF文件可以更快的被redis加载

重写机制命令或配置:

  1. 手动触发:bgrewriteaof命令
  2. 自动触发配置:
  • auto-aof-rewrite-min-size:AOF重写时,文件最小体积,默认64MB
  • auto-aof-rewrite-percentage:当前AOF空间(aof_current_size)与上一次重写后AOF文件空间(aof_base_size)的比值
  • 自动触发时机:aof_current_size > auto-aof-rewrite-min-size && (aof_current_size - aof_base_size) / aof_base_size >= auto-aof-rewrite-percentage

重写流程:

    1. 执行AOF重写请求
    1. 父进程执行fork创建子进程
    1. 1)父进程fork操作完成后,继续响应其他命令;所有修改命令依然写入AOF缓冲区,并根据appendfsync策略同步到硬盘,保证原有AOF机制正确 2)由于fork操作运用写时复制技术,子进程只能共享fork操作时的内存数据。由于父进程依然响应命令,Redis使用AOF重写缓冲区保存这部分数据,防止AOF文件生成期间丢失这部分数据
  • 子进程根据内存快照,按照命令合并规则写入到新的AOF文件。每次批量写入硬盘数据量由配置aof-rewrite-incremental-fsync控制,默认32MB,防止单次刷盘过多造成硬盘阻塞
  • 新的AOF文件写入完成后,子进程发送信号给父进程,父进程更新统计信息,具体见info persistence下aof_*相关统计
  • 父进程把AOF重写缓冲区的数据写入新的AOF文件
  • 使用新的AOF文件替换老文件,完成AOF重写

重写AOF文件为什么可以变小:

  • 进程内已经超时的数据不再写入文件
  • 旧的AOF文件含有无效命令,如del key1、hdel key2、srem keys、set a111、set a222等;重写使用进程内数据直接生成,这样新的AOF文件只保留最终数据写入命令
  • 多条写命令可以合并为一个;为防止单条命令过大,造成客户端缓冲区溢出,对于list、set、hash、zset等类型操作,以64个元素为界拆分为多条。
AOF追加阻塞

流程:

  1. 主线程负责写入AOF缓冲区
  2. AOF线程负责每秒执行一次同步磁盘操作,并记录最近一次同步时间
  3. 主线程负责对比上次AOF同步时间:
  • 如果距离上次同步时间小于2s,直接返回
  • 如果距离上次同步时间大于2s,主线程将会阻塞,直到同步操作完成

可以发现两个问题:

  • everysec配置最多丢失2s数据,不是1s
  • 如果系统fsync缓慢,将会导致redis主线程阻塞,影响效率

每当AOF追加阻塞事件发生时,在info persistence统计中,aof_delayed_fsync指标会累加

一些命令

save //等待RDB文件创建完毕

bgsave //fork生成子进程

config set dir {newDir} //RDB文件保存在dir目录下

config set dbfilename {newFileName} //RDB文件名

config set rdbcompression {yew|no}//默认采用LZF算法进行压缩,默认开启,此命令动态进行修改是否进行压缩

bgrewriteaof //aof文件重写

redis-cli config set appendonly yes //开启aof

redis-cli config set save “” //关闭rdb

info stats

redis-check-aof –fix

参考:

《Redis开发与运维》

《Redis设计与实现》

http://www.redis.cn/documentation.html

https://mp.weixin.qq.com/s/GwjQalQ9ZkBbTBtEKpbkMw

http://www.redis.cn/topics/persistence.html

深入理解Redis系列之持久化的更多相关文章

  1. Redis系列(四)--持久化

    持久化就是将数据的更新异步的保存到磁盘中 持久化方式: 1.快照:某个时间点数据的备份 MySQL dump.Redis RDB 2.写日志:MySQL BinLog.HBASE Hlog.Redis ...

  2. 二、redis系列之持久化

    1. 绪言 redis是一种内存数据库,它把数据存储在服务器的内存当中,这样极大地保证了redis数据库的性能,但也为数据安全带来了隐患——redis所在服务器重启或者发生宕机后,redis数据库里的 ...

  3. 深入理解Redis系列

    Redis基础教程详情参考:http://www.yiibai.com/redis/redis_quick_guide.html 基础知识: 0.Redis特点:Redis是Remote Dictio ...

  4. redis 系列17 持久化 AOF

    一.概述 除了上篇介绍的RDB持久化功能之外,Redis还提供了AOF(Append Only File)持久化功能.与RDB保存数据库中的键值对来记录数据库状态不同,AOF是通过保存redis服务器 ...

  5. redis 系列16 持久化 RDB

    一.概述 Redis是内存数据库,一旦服务器进程退出,服务器中的数据库内存数据状态也会消失.为了解决这个问题,Redis提供了RDB 持久化功能,这个功能可以将redis在内存中的数据库状态保存到磁盘 ...

  6. 深入理解Redis系列之SpringBoot集成Redis

    SpringBoot环境 快速搭建一个SpringBoot工程 进入 https://start.spring.io 网站, 使用该网站初始化一个SpringBoot工程 添加相关依赖 因为使用spr ...

  7. 【目录】redis 系列篇

    随笔分类 - redis 系列篇 redis 系列27 Cluster高可用 (2) 摘要: 一. ASK错误 集群上篇最后讲到,对于重新分片由redis-trib负责执行,关于该工具以后再介绍.在进 ...

  8. 分布式缓存技术redis系列(三)——redis高级应用(主从、事务与锁、持久化)

    上文<详细讲解redis数据结构(内存模型)以及常用命令>介绍了redis的数据类型以及常用命令,本文我们来学习下redis的一些高级特性. 安全性设置 设置客户端操作秘密 redis安装 ...

  9. redis系列--redis4.0深入持久化

    前言 在之前的博文中已经详细的介绍了redis4.0基础部分,并且在memcache和redis对比中提及redis提供可靠的数据持久化方案,而memcache没有数据持久化方案,本篇博文将详细介绍r ...

随机推荐

  1. Idea 查找加替换 功能

    本页查找 快捷键:ctr+F 鼠标框选 所需内容 再加快捷键 查找更加方便 替换功能

  2. 20190626_二次开发BarTender打印机_C#代码_一边读取TID_一边打印_打印机POSTEK

    demo代码如下: private void btnPrint_Click(object sender, EventArgs e) { if (this.btnPrint.Text == " ...

  3. argis android sdk配置备忘一下

    ArcGIS RuntimeAndroid SDK100.1.0 1.在线配置(只有两处) 在project工程中的gradle添加 maven { url 'https://esri.bintray ...

  4. PyQt(Python+Qt)学习随笔:QTableWidget中表格各列平均分配宽度的两种方法

    老猿Python博文目录 专栏:使用PyQt开发图形界面Python应用 老猿Python博客地址 在QTableWidget表格部件中,如果需要实现表格中各列要占满部件中的可用空间,同时实现各列平分 ...

  5. 本地web项目部署到服务器里连接不上数据库的解决办法

    今天突然想到把自己之前的项目挂到服务器上,但是用到了数据库,于是给服务器装上了MySQL,想着能赶紧把项目挂上去看看效果,然后并不是一帆风顺,在奋斗了四小时后终于解决了问题的所在. (1)首先我找到了 ...

  6. [MRCTF2020]Ezpop

    题目: Welcome to index.php <?php //flag is in flag.php //WTF IS THIS? //Learn From https://ctf.ieki ...

  7. edusrc上海交通大学证书

  8. IntelliJ IDEA2019.3.2破解/永久激活/安装教程

    我想大家用过史上最好的开发工具就是idea了,没有之一!看到大家都在找idea的激活教程,今天我也在这里跟大家分享一下. 本教程针对现在官网针对的版本是idea2019.3.2,为防止以后会更新破解失 ...

  9. REHの收藏列表

    搬运自本人的AcWing,所以那里的文章会挺多. 友链(同类文章) :bztMinamoto 世外明月 mlystdcall 新人手册:AcWing入门使用指南 前言 有看到好文欢迎推荐(毛遂自荐也可 ...

  10. NetCDF格式.nc

    netcdf sfc_pres_temp { dimensions: latitude = 6 ; //纬度轴 longitude = 12 ; //经度轴 variables: float lati ...