一、过期时间设置:

  1. 127.0.0.1:6379> expire key seconds //设置键的过期时间为多少秒
  2. 127.0.0.1:6379> setex key seconds value  

注意一下哟

  • 除了字符串自己独有设置过期时间的方法外,其他方法都需要依靠 expire 方法来设置时间
  • 如果没有设置时间,那键是永不过期的,一直留在内存中
  • 如果设置了过期时间,之后又想让缓存永不过期,使用  persist key

二、Redis 所有的数据结构都可以设置过期时间,时间一到,就会自动删除。你可以想象 Redis 内部有一个死神,时刻盯着所有设置了过期时间的 key,寿命一到就会立即收割。Redis的过期键的过期时间都是保存在过期字典中,过期键的删除策略有三种,分别是定时删除、惰性删除和定期删除。redis 会将每个设置了过期时间的 key 放入到一个独立的字典中,以后会定时遍历这个字典来删除到期的 key。除了定时遍历之外,它还会使用惰性策略来删除过期的 key,所谓惰性策略就是在客户端访问这个 key 的时候,redis 对 key 的过期时间进行检查,如果过期了就立即删除。定时删除是集中处理,惰性删除是零散处理。

定时删除

定时删除策略,是指在设置键的过期时间的同时,创建一个定时器,让定时器在键的过期时间到的时候,立即执行对键的删除操作。

定时删除策略的优点:

  对内存友好,通过定时器可以保证过期键能尽可能快地被删除,并释放过期键占用的空间。

定时删除策略的缺点

  1.对CPU不友好。在过期键较多的情况下,删除过期键可能会占用相当一部分的CPU执行时间。在内存不紧张而CPU紧张的情况下,将CPU资源用在删除和当前任务无关的过期键上,无疑也会对服务器的响应时间和吞吐量造成影响。

  2.创建定时器需要Redis服务器中的时间事件,而现在时间事件的实现方式是无序链表,查找一个事件的事件复杂度为O(N),并不能高效地处理大量时间事件。

惰性删除

惰性删除策略,是指放任键过期不管,每次从键空间获取键的时候才去检查取得的键是否过期,如果过期的话,就删除该键,如果不过期,就返回该键。

惰性删除策略的优点

  对CPU友好,程序只在取出键时才对键进行过期检查,删除的目标进行预当前处理的键。

惰性删除策略的缺点

  惰性删除策略对内存不友好,当数据库中有大量的过期键,而这些键又没有被访问到,那么它们可能因为永远都不会被进行过期检查而被删除。

定期删除

定期删除策略,是指每隔一段时间,程序就会对数据库进行一次检查,删除里面的过期键。至于删除多少过期键,以及检查多少数据库,都由算法来决定。

定期删除策略的难点

  1.如果删除操作太频繁,或者执行时间过长,定期删除策略就会退化成定时删除策略。

  2.如果删除操作执行得太少,或者执行时间太短,定期删除策略又会和惰性删除策略一样,出现内存浪费的现象。

 

Redis 过期策略实际使用的是惰性删除+定期删除两种策略的一个配合使用。

三、AOF 和 RDB对过期键的处理

1、RDB对过期key的处理

过期key对RDB没有任何影响

  • 从内存数据库持久化数据到RDB文件

    • 持久化key之前,会检查是否过期,过期的key不进入RDB文件
  • 从RDB文件恢复数据到内存数据库
    • 数据载入数据库之前,会对key先进行过期检查,如果过期,不导入数据库(主库情况)

2、AOF对过期key的处理

过期key对AOF没有任何影响

  • 从内存数据库持久化数据到AOF文件:

    • 当key过期后,还没有被删除,此时进行执行持久化操作(该key是不会进入aof文件的,因为没有发生修改命令)
    • 当key过期后,在发生删除操作时,程序会向aof文件追加一条del命令(在将来的以aof文件恢复数据的时候该过期的键就会被删掉)
  • AOF重写
    • 重写时,会先判断key是否过期,已过期的key不会重写到aof文件

三、Redis中的内存淘汰机制:

内存淘汰机制 redis.conf 中配置:

  1. # maxmemory-policy noeviction 
参数 描述
volatile-lru                  从已设置过期时间的数据集中挑选最近最少使用的数据淘汰
 volatile-lfu  从已设置过期时间的数据集中挑选最不经常使用的数据淘汰
 volatile-ttl  从已设置过期时间的数据集中挑选将要过期的数据淘汰
 volatile-random  从已设置过期时间的数据集中挑选任意数据淘汰
 allkeys-lru  当内存不足写入新数据时淘汰最近最少使用的Key
 allkeys-random  当内存不足写入新数据时随机选择key淘汰
 allkeys-lfu  当内存不足写入新数据时移除最不经常使用的Key
 no-eviction  当内存不足写入新数据时,写入操作会报错,同时不删除数据
  • volatile 为前缀的策略都是从已过期的数据集中进行淘汰。
  • allkeys 为前缀的策略都是面向所有key进行淘汰。
  • LRU (least recently used)最近最少用到的。
  • LFU (Least Frequently Used)最不常用的。
  • 它们的触发条件都是 Redis 使用的内存达到阈值时。

1、手写LRU缓存

  1. public class LRUCache {
  2.  
  3. private Map<Integer, Integer> map;
  4. private final int capacity;
  5.  
  6. public LRUCache(int capacity) {
  7. this.capacity = capacity;
  8. //定义了迭代顺序(true)
  9. map = new LinkedHashMap<Integer, Integer>(capacity,0.75f,true){
  10. @Override
  11. protected boolean removeEldestEntry(Map.Entry<Integer, Integer> eldest) {
  12. //当map中的数据量大于指定的缓存个数的时候,就自动删除最老的数据
  13. return size() > capacity;
  14. }
  15. };
  16. }
  17.  
  18. public int get(int key) {
  19. return map.getOrDefault(key, -1);
  20. }
  21.  
  22. public void put(int key, int value) {
  23. map.put(key, value);
  24. }
  25.  
  26. } 

对于 LinkedHashMap 而言:

  1. public class LinkedHashMap<K,V> extends HashMap<K,V> implements Map<K,V>

底层使用哈希表与双向链表来保存所有元素。

LinkedHashMap 中的 Entry 集成与 HashMap 的 Entry,但是其增加了 before 和 after 的引用,指的是上一个元素和下一个元素的引用

  1. static class Entry<K,V> extends HashMap.Node<K,V> {
  2. Entry<K,V> before, after;
  3. Entry(int hash, K key, V value, Node<K,V> next) {
  4. super(hash, key, value, next);
  5. }
  6. } 

初始化:

在 LinkedHashMap 的构造方法中,实际调用了父类 HashMap 的相关构造方法来构造一个底层存放的 table 数组,但额外可以增加 accessOrder 这个参数,如果不设置,默认为 false,代表按照插入顺序进行迭代;当然可以显式设置为 true,代表以访问顺序进行迭代。

  1. public LinkedHashMap(int initialCapacity, float loadFactor, boolean accessOrder) {
  2. super(initialCapacity, loadFactor);
  3. this.accessOrder = accessOrder;
  4. }

2.手写 LFU 算法

  1. public class LFUCache<K,V> {
  2.  
  3. private Map<K, LinkNode> cache ;
  4. private Map<Integer, DoubleLinkList<K,V>> freq ;
  5. private int maxSize;
  6. private int size;
  7.  
  8. public LFUCache(int maxSize) {
  9. this.maxSize = maxSize;
  10. this.cache = new HashMap<>(maxSize*4/3);
  11. this.freq = new HashMap<>();
  12. }
  13.  
  14. public V get(K key){
  15. LinkNode node = cache.get(key);
  16. if(node==null){
  17. return null;
  18. }
  19. changeNodeFreq(node);
  20. return (V) node.value;
  21. }
  22.  
  23. private void changeNodeFreq(LinkNode node) {
  24. freq.get(node.freq).remove(node);
  25. node.freq = node.freq + 1;
  26. if (!freq.containsKey(node.freq)) {
  27. freq.put(node.freq, new DoubleLinkList<>());
  28. }
  29. freq.get(node.freq).addNodeToTail(node);
  30. }
  31.  
  32. public void put(K key,V value){
  33.  
  34. LinkNode node = cache.get(key);
  35.  
  36. if(node!=null){
  37. node.value = value;
  38. changeNodeFreq(node);
  39. return;
  40. }
  41.  
  42. if(node==null){
  43. node = new LinkNode(key,value);
  44. cache.put(key,node);
  45. if(!freq.containsKey(node.freq)){
  46. freq.put(node.freq,new DoubleLinkList<>());
  47. }
  48. freq.get(node.freq).addNodeToTail(node);
  49. size++;
  50. if(size>maxSize){
  51. int minFreq = getMinFreq();
  52. LinkNode remove = freq.get(minFreq).removeFromHead();
  53. cache.remove(remove.key);
  54. size--;
  55. }
  56. return;
  57. }
  58.  
  59. }
  60.  
  61. public int getMinFreq(){
  62. int min = Integer.MAX_VALUE;
  63. for (Map.Entry<Integer, DoubleLinkList<K, V>> entry : freq.entrySet()) {
  64. Integer freq = entry.getKey();
  65. min = freq<min ? freq : min;
  66. if(min==1){
  67. break;
  68. }
  69. }
  70. return min;
  71. }
  72.  
  73. public static void main(String[] args) {
  74. LFUCache<String,String> lfuCache = new LFUCache<>(4);
  75.  
  76. lfuCache.put("1","1");
  77. lfuCache.put("2","2");
  78. lfuCache.put("3","3");
  79. lfuCache.put("4","4");
  80.  
  81. lfuCache.get("1");
  82. lfuCache.get("2");
  83.  
  84. lfuCache.put("5","5");
  85.  
  86. System.out.println(lfuCache.get("3"));
  87. }
  88. }

redis过期键的策略的更多相关文章

  1. 一文了解:Redis过期键删除策略

    Redis过期键删除策略 Redis中所有的键都可以设置过期策略,就像是所有的键都可以上"生死簿",上了生死簿的键到时间后阎王就会叉掉这个键.同一时间大量的键过期,阎王就会忙不过来 ...

  2. Redis 过期键删除策略

    Redis 中数据库键的过期时间都保存在过期字典中,当一个键过期了,Redis 存在三种不同的删除策略:定时删除.惰性删除和定期删除 定时删除 定义 在设置键的过期时间的同时创建一个计时器,让定时器在 ...

  3. redis过期键删除策略以及大key删除方法

    今天遇到了一个前同事挖的坑,刷新缓存中商品信息时先让key过期,然后从数据库里取最新数据然后再放到缓存中,他是这样写的 redisTemplate.expire(CacheConst.GOOGS_PR ...

  4. redis中key的过期键删除策略

    Redis过期键删除策略 Redis key过期的方式有三种: 被动删除:当读/写一个已经过期的key时,会触发惰性删除策略,直接删除掉这个过期key 主动删除:由于惰性删除策略无法保证冷数据被及时删 ...

  5. redis学习笔记——Redis过期键的删除策略

    Redis过期键的删除策略 对于过期键一般有三种删除策略 定时删除:在设置键的过期时间的同时,创建一个定时器(timer),让定时器在键的过期时间来临时,立即执行对键的删除操作: 惰性删除:放任键过期 ...

  6. Redis系列(五):Redis的过期键删除策略

    本篇博客是Redis系列的第5篇,主要讲解下Redis的过期键删除策略. 本系列的前4篇可以点击以下链接查看: Redis系列(一):Redis简介及环境安装 Redis系列(二):Redis的5种数 ...

  7. Redis的过期键删除策略

    文章首发于公众号:蘑菇睡不着,欢迎来看看 前言 Redis 中都是键值对的存储形式,键都是字符串类型的,而值有很多种类型,如 string.list.hash.set.sorted set等类型.当设 ...

  8. 【Redis】过期键删除策略和内存淘汰策略

    Redis 过期键策略和内存淘汰策略 目录 Redis 过期键策略和内存淘汰策略 设置Redis键过期时间 Redis过期时间的判定 过期键删除策略 定时删除 惰性删除 定期删除 Redis过期删除策 ...

  9. Redis 过期键的设置、获取和删除过期时间

    Redis 过期键的设置.获取和删除过期时间 转自http://blog.51cto.com/littledevil/1813956 设置过期 默认情况下键是没有生存时间的,也就是永不过期,除非清空内 ...

随机推荐

  1. 6.Linux常用命令(重点)

    (1)ls 查看当前目录下的目录和文件 查看当前目录下所有目录和文件 ls -l会将目录和文件竖着排,并且可以提供文件数据 上图最左边以“d”开头的是目录,以“-”开头的是文件.后面是文件和目录的权限 ...

  2. SD.Team字符表情集大全(持续更新中..)

    一.超级可爱的字符表情集 01. <( ̄︶ ̄)> 02. <( ̄︶ ̄)/ 03. b( ̄▽ ̄)d 04. 汗( ̄口 ̄)!! 05. ╮( ̄▽ ̄)╭ 06. ╰( ̄▽ ̄)╭ 07. ╮ ...

  3. 中文分词工具——jieba

    汉字是智慧和想象力的宝库. --索尼公司创始人井深大 简介 在英语中,单词就是"词"的表达,一个句子是由空格来分隔的,而在汉语中,词以字为基本单位,但是一篇文章的表达是以词来划分的 ...

  4. 解决pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='files.pythonhosted.org', port=443): Read timed out.问题

    国内的其他镜像源清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技 ...

  5. 01 . Squid原理配置和使用

    Squid简介 Squid是一个支持HTTP,HTTPS,FTP等服务的Web缓存代理软件,它可以通过缓存页面来提高服务器的相应速度并降低带宽占用.并且,Squid还具有强大的访问控制功能.Squid ...

  6. Spring boot Sample 0010之spring-boot-web-freemarker

    一.环境 1.1.Idea 2020.1 1.2.JDK 1.8 二.目的 spring boot 整合freemarker模板开发web项目 三.步骤 3.1.点击File -> New Pr ...

  7. Rocket - config - View

    https://mp.weixin.qq.com/s/b5o3s2DgqOz3-iK8FqPeLQ   介绍配置相关的基础类及其继承关系.   参考链接: https://github.com/fre ...

  8. Java实现判断单联通(强连通缩点+拓扑排序)Going from u to v or from v to u

    Description In order to make their sons brave, Jiajia and Wind take them to a big cave. The cave has ...

  9. 一个Jmeter模拟上传文件接口的实例

    资料参考:https://blog.csdn.net/u010390063/article/details/78329373 项目中,避免不了要用到很多上传文件.图片的接口,那么碰到这类接口该如何进行 ...

  10. Elasticsearch系列---生产集群部署(下)

    概要 本篇继续讲解Elasticsearch集群部署的细节问题 集群重启问题 如果我们的Elasticsearch集群做了一些离线的维护操作时,如扩容磁盘,升级版本等,需要对集群进行启动,节点数较多时 ...