前言

java从零手写实现redis(一)如何实现固定大小的缓存?

java从零手写实现redis(三)redis expire 过期原理

java从零手写实现redis(三)内存数据如何重启不丢失?

java从零手写实现redis(四)添加监听器

java从零手写实现redis(五)过期策略的另一种实现思路

java从零手写实现redis(六)AOF 持久化原理详解及实现

我们前面简单实现了 redis 的几个特性,java从零手写实现redis(一)如何实现固定大小的缓存? 中实现了先进先出的驱除策略。

但是实际工作实践中,一般推荐使用 LRU/LFU 的驱除策略。

LRU 基础知识

拓展学习

Apache Commons LRUMAP 源码详解

Redis 当做 LRU MAP 使用

LRU 是什么

LRU 是由 Least Recently Used 的首字母组成,表示最近最少使用的含义,一般使用在对象淘汰算法上。

也是比较常见的一种淘汰算法。

其核心思想是如果数据最近被访问过,那么将来被访问的几率也更高

连续性

在计算机科学中,有一个指导准则:连续性准则。

时间连续性:对于信息的访问,最近被访问过,被再次访问的可能性会很高。缓存就是基于这个理念进行数据淘汰的。

空间连续性:对于磁盘信息的访问,将很有可能访问连续的空间信息。所以会有 page 预取来提升性能。

实现步骤

  1. 新数据插入到链表头部;

  2. 每当缓存命中(即缓存数据被访问),则将数据移到链表头部;

  3. 当链表满的时候,将链表尾部的数据丢弃。

其实比较简单,比起 FIFO 的队列,我们引入一个链表实现即可。

一点思考

我们针对上面的 3 句话,逐句考虑一下,看看有没有值得优化点或者一些坑。

如何判断是新数据?

(1) 新数据插入到链表头部;

我们使用的是链表。

判断新数据最简单的方法就是遍历是否存在,对于链表,这是一个 O(n) 的时间复杂度。

其实性能还是比较差的。

当然也可以考虑空间换时间,比如引入一个 set 之类的,不过这样对空间的压力会加倍。

什么是缓存命中

(2)每当缓存命中(即缓存数据被访问),则将数据移到链表头部;

put(key,value) 的情况,就是新元素。如果已有这个元素,可以先删除,再加入,参考上面的处理。

get(key) 的情况,对于元素访问,删除已有的元素,将新元素放在头部。

remove(key) 移除一个元素,直接删除已有元素。

keySet() valueSet() entrySet() 这些属于无差别访问,我们不对队列做调整。

移除

(3)当链表满的时候,将链表尾部的数据丢弃。

链表满只有一种场景,那就是添加元素的时候,也就是执行 put(key, value) 的时候。

直接删除对应的 key 即可。

java 代码实现

接口定义

和 FIFO 的接口保持一致,调用地方也不变。

为了后续 LRU/LFU 实现,新增 remove/update 两个方法。

public interface ICacheEvict<K, V> {

    /**
* 驱除策略
*
* @param context 上下文
* @since 0.0.2
* @return 是否执行驱除
*/
boolean evict(final ICacheEvictContext<K, V> context); /**
* 更新 key 信息
* @param key key
* @since 0.0.11
*/
void update(final K key); /**
* 删除 key 信息
* @param key key
* @since 0.0.11
*/
void remove(final K key); }

LRU 实现

直接基于 LinkedList 实现:

/**
* 丢弃策略-LRU 最近最少使用
* @author binbin.hou
* @since 0.0.11
*/
public class CacheEvictLRU<K,V> implements ICacheEvict<K,V> { private static final Log log = LogFactory.getLog(CacheEvictLRU.class); /**
* list 信息
* @since 0.0.11
*/
private final List<K> list = new LinkedList<>(); @Override
public boolean evict(ICacheEvictContext<K, V> context) {
boolean result = false;
final ICache<K,V> cache = context.cache();
// 超过限制,移除队尾的元素
if(cache.size() >= context.size()) {
K evictKey = list.get(list.size()-1);
// 移除对应的元素
cache.remove(evictKey);
result = true;
}
return result;
} /**
* 放入元素
* (1)删除已经存在的
* (2)新元素放到元素头部
*
* @param key 元素
* @since 0.0.11
*/
@Override
public void update(final K key) {
this.list.remove(key);
this.list.add(0, key);
} /**
* 移除元素
* @param key 元素
* @since 0.0.11
*/
@Override
public void remove(final K key) {
this.list.remove(key);
} }

实现比较简单,相对 FIFO 多了三个方法:

update():我们做一点简化,认为只要是访问,就是删除,然后插入到队首。

remove():删除就是直接删除。

这三个方法是用来更新最近使用情况的。

那什么时候调用呢?

注解属性

为了保证核心流程,我们基于注解实现。

添加属性:

/**
* 是否执行驱除更新
*
* 主要用于 LRU/LFU 等驱除策略
* @return 是否
* @since 0.0.11
*/
boolean evict() default false;

注解使用

有哪些方法需要使用?

@Override
@CacheInterceptor(refresh = true, evict = true)
public boolean containsKey(Object key) {
return map.containsKey(key);
} @Override
@CacheInterceptor(evict = true)
@SuppressWarnings("unchecked")
public V get(Object key) {
//1. 刷新所有过期信息
K genericKey = (K) key;
this.expire.refreshExpire(Collections.singletonList(genericKey));
return map.get(key);
} @Override
@CacheInterceptor(aof = true, evict = true)
public V put(K key, V value) {
//...
} @Override
@CacheInterceptor(aof = true, evict = true)
public V remove(Object key) {
return map.remove(key);
}

注解驱除拦截器实现

执行顺序:放在方法之后更新,不然每次当前操作的 key 都会被放在最前面。

/**
* 驱除策略拦截器
*
* @author binbin.hou
* @since 0.0.11
*/
public class CacheInterceptorEvict<K,V> implements ICacheInterceptor<K, V> { private static final Log log = LogFactory.getLog(CacheInterceptorEvict.class); @Override
public void before(ICacheInterceptorContext<K,V> context) {
} @Override
@SuppressWarnings("all")
public void after(ICacheInterceptorContext<K,V> context) {
ICacheEvict<K,V> evict = context.cache().evict(); Method method = context.method();
final K key = (K) context.params()[0];
if("remove".equals(method.getName())) {
evict.remove(key);
} else {
evict.update(key);
}
} }

我们只对 remove 方法做下特判,其他方法都使用 update 更新信息。

参数直接取第一个参数。

测试

ICache<String, String> cache = CacheBs.<String,String>newInstance()
.size(3)
.evict(CacheEvicts.<String, String>lru())
.build();
cache.put("A", "hello");
cache.put("B", "world");
cache.put("C", "FIFO"); // 访问一次A
cache.get("A");
cache.put("D", "LRU");
Assert.assertEquals(3, cache.size()); System.out.println(cache.keySet());
  • 日志信息
[D, A, C]

通过 removeListener 日志也可以看到 B 被移除了:

[DEBUG] [2020-10-02 21:33:44.578] [main] [c.g.h.c.c.s.l.r.CacheRemoveListener.listen] - Remove key: B, value: world, type: evict

小结

redis LRU 淘汰策略,实际上并不是真正的 LRU。

LRU 有一个比较大的问题,就是每次 O(n) 去查找,这个在 keys 数量特别多的时候,还是很慢的。

如果 redis 这么设计肯定慢的要死了。

个人的理解是可以用空间换取时间,比如添加一个 Map<String, Integer> 存储在 list 中的 keys 和下标,O(1) 的速度去查找,但是空间复杂度翻倍了。

不过这个牺牲还是值得的。这种后续统一做下优化,将各种优化点统一考虑,这样可以统筹全局,也便于后期统一调整。

下一节我们将一起来实现以下改进版的 LRU。

Redis 做的事情,就是将看起来的简单的事情,做到一种极致,这一点值得每一个开源软件学习。

文中主要讲述了思路,实现部分因为篇幅限制,没有全部贴出来。

开源地址:https://github.com/houbb/cache

觉得本文对你有帮助的话,欢迎点赞评论收藏关注一波~

你的鼓励,是我最大的动力~

java 从零开始手写 redis(七)LRU 缓存淘汰策略详解的更多相关文章

  1. Redis数据过期和淘汰策略详解(转)

    原文地址:https://yq.aliyun.com/articles/257459# 背景 Redis作为一个高性能的内存NoSQL数据库,其容量受到最大内存限制的限制. 用户在使用Redis时,除 ...

  2. Redis(二十):Redis数据过期和淘汰策略详解(转)

    原文地址:https://yq.aliyun.com/articles/257459# 背景 Redis作为一个高性能的内存NoSQL数据库,其容量受到最大内存限制的限制. 用户在使用Redis时,除 ...

  3. java 从零开始手写 RPC (03) 如何实现客户端调用服务端?

    说明 java 从零开始手写 RPC (01) 基于 socket 实现 java 从零开始手写 RPC (02)-netty4 实现客户端和服务端 写完了客户端和服务端,那么如何实现客户端和服务端的 ...

  4. java 从零开始手写 RPC (04) -序列化

    序列化 java 从零开始手写 RPC (01) 基于 socket 实现 java 从零开始手写 RPC (02)-netty4 实现客户端和服务端 java 从零开始手写 RPC (03) 如何实 ...

  5. java 从零开始手写 RPC (05) reflect 反射实现通用调用之服务端

    通用调用 java 从零开始手写 RPC (01) 基于 socket 实现 java 从零开始手写 RPC (02)-netty4 实现客户端和服务端 java 从零开始手写 RPC (03) 如何 ...

  6. java 从零开始手写 RPC (07)-timeout 超时处理

    <过时不候> 最漫长的莫过于等待 我们不可能永远等一个人 就像请求 永远等待响应 超时处理 java 从零开始手写 RPC (01) 基于 socket 实现 java 从零开始手写 RP ...

  7. 动手实现 LRU 算法,以及 Caffeine 和 Redis 中的缓存淘汰策略

    我是风筝,公众号「古时的风筝」. 文章会收录在 JavaNewBee 中,更有 Java 后端知识图谱,从小白到大牛要走的路都在里面. 那天我在 LeetCode 上刷到一道 LRU 缓存机制的问题, ...

  8. Redis的内存回收原理,及内存过期淘汰策略详解

    Redis 内存回收机制Redis 的内存回收主要围绕以下两个方面: 1.Redis 过期策略:删除过期时间的 key 值 2.Redis 淘汰策略:内存使用到达 maxmemory 上限时触发内存淘 ...

  9. java 从零开始手写 RPC (01) 基于 websocket 实现

    RPC 解决的问题 RPC 主要是为了解决的两个问题: 解决分布式系统中,服务之间的调用问题. 远程调用时,要能够像本地调用一样方便,让调用者感知不到远程调用的逻辑. 这一节我们来学习下如何基于 we ...

  10. 04 | 链表(上):如何实现LRU缓存淘汰算法?

    今天我们来聊聊“链表(Linked list)”这个数据结构.学习链表有什么用呢?为了回答这个问题,我们先来讨论一个经典的链表应用场景,那就是+LRU+缓存淘汰算法. 缓存是一种提高数据读取性能的技术 ...

随机推荐

  1. 无法访问Github仓库的极简治标法

    技术背景 由于IP原因,国内的IP访问Github仓库的时候会经常遇到一些困难,甚至存在无法Ping通的情况.尝试过FastGithub等方案,但还是会遇到各种各样的问题,导致情况越来越复杂. 但是转 ...

  2. 初次安装Linux 1Panel面板体验

    初次安装Linux 1Panel面板体验 1Panel是Linux下的一款服务器管理工具.和宝塔相比更加轻量化.相比之下各有优点,本文让我们一起来安装1Panel面板. 面板优势 快速建站 :深度集成 ...

  3. Docker-01基本命令

    1.Docker安装 系统镜像为Centos7.x yum包更新到最新 sudo yum update 安装需要的软件包,yum-util提供yum-config-manager功能.另外两个是dev ...

  4. [转帖]linux audit审计(7-1)--读懂audit日志

    https://www.cnblogs.com/xingmuxin/p/8807774.html  auid=0 auid记录Audit user ID,that is the loginuid.当我 ...

  5. [转帖]TiDB修改配置参数

    https://www.jianshu.com/p/2ecdb4642579 在TiDB 中,"修改配置参数"似乎是个不精准的说法,它实际包含了以下内容: 修改 TiDB 的系统变 ...

  6. [转帖]分享6个SQL小技巧

    https://www.jianshu.com/p/2fcf0a4e83b7   简介 经常有小哥发出疑问,SQL还能这么写?我经常笑着回应,SQL确实可以这么写.其实SQL学起来简单,用起来也简单, ...

  7. awk的简单样例

    shell awk求和 当第一列相同时,对应的第二列相加 awk'{sum[$1]+=$2}END{for(c in sum){print c,sum[c]}}'输入文件名 在Shell中,我们可以用 ...

  8. 关于SSL证书的学习与总结

    关于证书 证书是用来实现https通信加密的基础, 有证书才能够进行相关的TLS层的加密处理. 本文简要讲解一下证书的申请,创建以及使用等. 第一部分: PKI 公共密钥基础 其实有很多家企业在做PK ...

  9. 初识VUE响应式原理

    作者:京东零售 吴静 自从Vue发布以来,就受到了广大开发人员的青睐,提到Vue,我们首先想到的就是Vue的响应式系统,那响应式系统到底是怎么回事呢?接下来我就给大家简单介绍一下Vue中的响应式原理. ...

  10. 玩一玩 VictoriaLogs

    作者:张富春(ahfuzhang),转载时请注明作者和引用链接,谢谢! cnblogs博客 zhihu Github 公众号:一本正经的瞎扯 下载 see: https://github.com/Vi ...