一、什么是Cache

1 概念

Cache,即高速缓存,是介于CPU和内存之间的高速小容量存储器。在金字塔式存储体系中它位于自顶向下的第二层,仅次于CPU寄存器。其容量远小于内存,但速度却可以接近CPU的频率。

当CPU发出内存访问请求时,会先查看 Cache 内是否有请求数据。

  • 如果存在(命中),则直接返回该数据;
  • 如果不存在(失效),再去访问内存 —— 先把内存中的相应数据载入缓存,再将其返回处理器。

提供“高速缓存”的目的是让数据访问的速度适应CPU的处理速度,通过减少访问内存的次数来提高数据存取的速度。

2 原理

Cache 技术所依赖的原理是”程序执行与数据访问的局部性原理“,这种局部性表现在两个方面:

  1. 时间局部性:如果程序中的某条指令一旦执行,不久以后该指令可能再次执行,如果某数据被访问过,不久以后该数据可能再次被访问。
  2. 空间局部性:一旦程序访问了某个存储单元,在不久之后,其附近的存储单元也将被访问,即程序在一段时间内所访问的地址,可能集中在一定的范围之内,这是因为指令或数据通常是顺序存放的。

时间局部性是通过将近来使用的指令和数据保存到Cache中实现。空间局部性通常是使用较大的高速缓存,并将 预取机制 集成到高速缓存控制逻辑中来实现。

3 替换策略

Cache的容量是有限的,当Cache的空间都被占满后,如果再次发生缓存失效,就必须选择一个缓存块来替换掉。常用的替换策略有以下几种:

  1. 随机算法(Rand):随机法是随机地确定替换的存储块。设置一个随机数产生器,依据所产生的随机数,确定替换块。这种方法简单、易于实现,但命中率比较低。

  2. 先进先出算法(FIFO, First In First Out):先进先出法是选择那个最先调入的那个块进行替换。当最先调入并被多次命中的块,很可能被优先替换,因而不符合局部性规律。这种方法的命中率比随机法好些,但还不满足要求。

  3. 最久未使用算法(LRU, Least Recently Used):LRU法是依据各块使用的情况, 总是选择那个最长时间未被使用的块替换。这种方法比较好地反映了程序局部性规律。

  4. 最不经常使用算法(LFU, Least Frequently Used):将最近一段时期内,访问次数最少的块替换出Cache。

4 概念的扩充

如今高速缓存的概念已被扩充,不仅在CPU和主内存之间有Cache,而且在内存和硬盘之间也有Cache(磁盘缓存),乃至在硬盘与网络之间也有某种意义上的Cache──称为Internet临时文件夹或网络内容缓存等。凡是位于速度相差较大的两种硬件之间,用于协调两者数据传输速度差异的结构,均可称之为Cache。

二、LRU Cache的实现

Google的一道面试题:

Design an LRU cache with all the operations to be done in O(1) .

1 思路分析

对一个Cache的操作无非三种:插入(insert)、替换(replace)、查找(lookup)。

为了能够快速删除最久没有访问的数据项和插入最新的数据项,我们使用 双向链表 连接Cache中的数据项,并且保证链表维持数据项从最近访问到最旧访问的顺序。

  • 插入:当Cache未满时,新的数据项只需插到双链表头部即可。时间复杂度为O(1).

  • 替换:当Cache已满时,将新的数据项插到双链表头部,并删除双链表的尾结点即可。时间复杂度为O(1).

  • 查找:每次数据项被查询到时,都将此数据项移动到链表头部。

经过分析,我们知道使用双向链表可以保证插入和替换的时间复杂度是O(1),但查询的时间复杂度是O(n),因为需要对双链表进行遍历。为了让查找效率也达到O(1),很自然的会想到使用 hash table

2 代码实现

从上述分析可知,我们需要使用两种数据结构:

  1. 双向链表(Doubly Linked List)
  2. 哈希表(Hash Table)

下面是LRU Cache的 C++ 实现:

#include <iostream>
#include <unordered_map>
using namespace std; // 双向链表的节点结构
struct LRUCacheNode {
int key;
int value;
LRUCacheNode* prev;
LRUCacheNode* next;
LRUCacheNode():key(0),value(0),prev(NULL),next(NULL){}
}; class LRUCache
{
private:
unordered_map<int, LRUCacheNode*> m; // 代替hash_map
LRUCacheNode* head; // 指向双链表的头结点
LRUCacheNode* tail; // 指向双链表的尾结点
int capacity; // Cache的容量
int count; // 计数
public:
LRUCache(int capacity); // 构造函数
~LRUCache(); // 析构函数
int get(int key); // 查询数据项
void set(int key, int value); // 未满时插入,已满时替换
private:
void removeLRUNode(); // 删除尾结点(最久未使用)
void detachNode(LRUCacheNode* node); // 分离当前结点
void insertToFront(LRUCacheNode* node); // 节点插入到头部
}; LRUCache::LRUCache(int capacity)
{
this->capacity = capacity;
this->count = 0;
head = new LRUCacheNode;
tail = new LRUCacheNode;
head->prev = NULL;
head->next = tail;
tail->prev = head;
tail->next = NULL;
} LRUCache::~LRUCache()
{
delete head;
delete tail;
} int LRUCache::get(int key)
{
if(m.find(key) == m.end()) // 没找到
return -1;
else
{
LRUCacheNode* node = m[key];
detachNode(node); // 命中,移至头部
insertToFront(node);
return node->value;
}
} void LRUCache::set(int key, int value)
{
if(m.find(key) == m.end()) // 没找到
{
LRUCacheNode* node = new LRUCacheNode;
if(count == capacity) // Cache已满
removeLRUNode(); node->key = key;
node->value = value;
m[key] = node; // 插入哈希表
insertToFront(node); // 插入链表头部
++count;
}
else
{
LRUCacheNode* node = m[key];
detachNode(node);
node->value = value;
insertToFront(node);
}
} void LRUCache::removeLRUNode()
{
LRUCacheNode* node = tail->prev;
detachNode(node);
m.erase(node->key);
--count;
} void LRUCache::detachNode(LRUCacheNode* node)
{
node->prev->next = node->next;
node->next->prev = node->prev;
} void LRUCache::insertToFront(LRUCacheNode* node)
{
node->next = head->next;
node->prev = head;
head->next = node;
node->next->prev = node;
}

个人站点:http://songlee24.github.com

设计并实现一个LRU Cache的更多相关文章

  1. 如何设计一个LRU Cache

    如何设计一个LRU Cache? Google和百度的面试题都出现了设计一个Cache的题目,什么是Cache,如何设计简单的Cache,通过搜集资料,本文给出个总结. 通常的问题描述可以是这样: Q ...

  2. [转]如何用C++实现一个LRU Cache

    [转自http://hawstein.com/posts/lru-cache-impl.html] LRU是Least Recently Used的缩写,意思是最近最少使用,它是一种Cache替换算法 ...

  3. 用 Go 实现一个 LRU cache

    前言 早在几年前写过关于 LRU cache 的文章: https://crossoverjie.top/2018/04/07/algorithm/LRU-cache/ 当时是用 Java 实现的,最 ...

  4. 动手实现一个 LRU cache

    前言 LRU 是 Least Recently Used 的简写,字面意思则是最近最少使用. 通常用于缓存的淘汰策略实现,由于缓存的内存非常宝贵,所以需要根据某种规则来剔除数据保证内存不被撑满. 如常 ...

  5. 简单的LRU Cache设计与实现

    要求: 设计并实现一个LRU缓存的数据结构,支持get和set操作 get(key):若缓存中存在key,返回对应的value,否则返回-1 set(key,value):若缓存中存在key,替换其v ...

  6. LRU Cache

    LRU Cache 题目链接:https://oj.leetcode.com/problems/lru-cache/ Design and implement a data structure for ...

  7. [Swift]LeetCode146. LRU缓存机制 | LRU Cache

    Design and implement a data structure for Least Recently Used (LRU) cache. It should support the fol ...

  8. 146 LRU Cache 最近最少使用页面置换算法

    设计和实现一个  LRU(最近最少使用)缓存 数据结构,使它应该支持以下操作: get 和 put .get(key) - 如果密钥存在于缓存中,则获取密钥的值(总是正数),否则返回 -1.put(k ...

  9. 【Leetcode146】LRU Cache

    问题描述: 设计一个LRU Cache . LRU cache 有两个操作函数. 1.get(key). 返回cache 中的key对应的 val 值: 2.set(key, value). 用伪代码 ...

随机推荐

  1. <jsp:include page="${pageContext.request.contextPath/index.jsp" ></jsp:include> 引发的错误

    路径引发的错误 如下使用项目路径对jsp页面进行获取,会报javax.servlet.ServletException: File "/web/dbwx/web/public/page_to ...

  2. CREATE TABLE - 定义一个新表

    SYNOPSIS CREATE [ [ GLOBAL | LOCAL ] { TEMPORARY | TEMP } ] TABLE table_name ( { column_name data_ty ...

  3. ALTER TRIGGER - 修改一个触发器的定义

    SYNOPSIS ALTER TRIGGER name ON table RENAME TO newname DESCRIPTION 描述 ALTER TRIGGER 改变一个现有触发器的属性. RE ...

  4. Flutter走过的坑(持续更新)

    1 Target of URI doesn't exist 'package:flutter/material.dart' 官方下载的flutter中有一个example文件夹,里面有很多flutte ...

  5. HTTP的工作原理

    客户机与服务器建立连接后,发送一个请求给服务器,请求格式为:统一资源标识符.协议版本号.服务器收到请求的信息(包括请求行,请求头,请求体).服务器接收到请求后,给予相应的响应信息,格式为一个状态行(包 ...

  6. 【计算机网络】3.2 无连接运输:UDP

    第三章第二节 无连接运输:UDP UDP(用户数据报协议,User Datagram Protocol),它只是做了运输层协议能够做的最少工作,除了多路复用和多路分解及一些差错检测外,它几乎没有做任何 ...

  7. IIS部署SSL证书后提示不可信的解决方案

    IIS部署SSL证书后提示不可信的解决方案   本帖最后由 wosign-support3 于 2015-7-17 17:18 编辑 第一步:打开mmc——点击文件——添加删除管理单元——证书——计算 ...

  8. 检查sql对象是否存在

    SQL Server判断对象是否存在   1 判断数据库是否存在 Sql代码  if exists (select * from sys.databases where name = '数据库名')  ...

  9. Linux 内核框架图

  10. LNMP环境搭建网站

    系统:Centos7.4 一台服务器安装nginx.php.mysql 原理不是很懂,但实测如下两种环境下都能成功,这里做下记录: 1.一个干净的系统,从0开始完成所有步骤,完成LNMP搭建 2.已经 ...