.net下的缓存技术

1.为什么要缓存？缓存能解决的问题

1.1稳定性

同一个应用中，对同一数据、逻辑功能和用户界面的多次请求时经常发生的。当用户基数很大时，如果每次请求都进行处理，消耗的资源是很大的浪费，也同时造成系统的不稳定。

例如，web应用中，对一些静态页面的呈现内容进行缓存能有效的节省资源，提高稳定性。而缓存数据也能降低对数据库的访问次数，降低数据库的负担和提高数据库的服务能力；

1.2.可用性

提供数据信息服务可能意外终止，使用缓存技术，可以再一定时间内正常为用户提供支持。

1.3 为什么要缓存

·（1）减少交互的通讯量——缓存数据能有效减少在进程和机器间的传输量；

·（2）降低系统中的处理量——减少处理次数；

·（3）降低需要做的磁盘访问次数——比如缓存在内存中的数据。

2.缓存状态

缓存可以说是状态管理的框架。理解状态的含义和它的一些特性——比如生存期和生存范围——对决定是否缓存和选择合适的缓存技术有很大帮助。

状态是指一些数据，在应用系统某个时间点上，数据的状态和条件。

2.1 状态的生存期

生存期是指数据保持有效性的时间区间，也就是从创建到移除的时间间隔。

·永久状态Permanent State——应用程序使用的永久数据；

·进程状态Process State——只在进程周期内有效；

·会话状态Session State——和特定的用户会话有关；

·消息状态Message State——处理某个消息的时间内有效；

2.2状态的范围

状态的范围指对该状态有访问权限的物理或逻辑范围。

·物理范围指可以被访问到的状态数据存放的物理位置，通常包括：

1、组织Organization——在一个组织内的所有应用程序可以访问状态数据；

2、场Farm——在应用场范围内的任何机器上都可以访问；

3、机器Machine——单个机器范围内可以访问；

4、进程Process——进程内的访问许可；

5、应用域AppDomain——应用程序域内的访问许

逻辑范围指可访问状态数据的逻辑范围，常见的有：

1、应用程序Application；

2、业务流程Business Process；

3、角色Role；

4、用户User；

2.3 状态数据的转换过程

状态的另一个属性是在不同阶段的表现形式。在数据库中存储的是原始格式的数据，业务流程中的是处理过的数据，给最终用户呈现的则是另外的形式。

表现形式	描述	举例
原始数据	数据的原始形式	如数据库中的数据
处理过的数据	业务流程中对原始数据加工后的数据	业务过程中的数据形式
呈现形式	可呈现给最终用户的形式	HTML或可理解的文字说明

决定缓存数据时，应该考虑缓存哪个阶段（哪种形式）的状态数据。以下方针有助于你做决定：

·（1）当业务逻辑可以容忍缓存数据的陈旧时就缓存原始数据；原始数据可以缓存在数据库访问组件和服务代理中；

·（2）缓存处理过的数据以减少处理时间和资源，处理过的数据可以缓存在业务逻辑组件和服务接口中。

·（3）当需要呈现的数据量很大并且控件的呈现时间很长时，缓存呈现数据（比如包含大数据量的Treeview控件）。这种数据应该被缓存在UI控件中。

3. 数据缓存类型和存储位置

缓存数据只是一份主数据的拷贝，它可能在内存中或以不同的表现形式保存在硬盘上，也就是说，离使用者越近越好。

1、存储类型Storage Type——数据可用的物理存储位置；

2、层间的架构元素（Layered architecture elements）——数据可用的逻辑存储位置。

3.1存储类型

主要分两类：基于内存的缓存和基于磁盘的缓存

1、内存驻留缓存——包含在内存中临时存储数据的所有实现方法，通常在以下情况下使用：

a) 应用程序频繁使用同样的数据；

b) 应用程序需要经常获取数据；

通过将数据保留在内存中，你可以有效降低昂贵的磁盘访问操作，也可以通过将数据保留在使用者进程中来最大程度的减少跨进程的数据传输。

2、磁盘驻留缓存——这种技术包含所有使用磁盘作为存储介质的缓存技术，如文件和数据库。在以下情况下基于磁盘的缓存是很有效的：

a) 处理大数据量时；

b) 应用服务提供的数据可能并不是总能使用（比如离线的情况）；

c) 缓存的数据必须能在进程回收和机器重启的情况下保持有效；

通过缓存处理过的数据，你可以有效降低数据处理的负担，同时可减少数据交互的代价。

3.2 架构间元素

考虑哪些数据可以被缓存起来，还有以哪种方式进行缓存会对程序的整体性能和可用性有帮助，以上的这些元素都可以缓存相应的数据。

4. 实施缓存的考虑

4.1 格式和访问模式

1、线程安全——当缓存的内容可以被多个线程访问时，使用某种锁定机制来保证数据不会被两个线程同时操作；

2、序列化——将一个对象缓存时，需要将它序列化以便保存，所以包缓存的对象必须支持序列化；

3、规格化缓存数据——缓存数据时，相对于要使用的数据格式而言，要保证数据的格式是优化过的。

4.2 内容加载

·提前加载Proactive Load——使用这种方式时，你提前将所有的状态数据加载到缓存中，可能在应用程序或线程启动时进行，然后在应用程序或线程的生存期内一直缓存；

·动态加载Reactive Load——或称反应式加载，当使用这种方法时，在应用程序请求数据时取到数据，并且将它缓存起来以备后续使用。

4.3 过期加载

是如何保持缓存数据和主数据（文件或数据库或其他的应用程序资源）的一致性，你可以定义过期策略来决定缓存中的内容，如已经缓存的时间或者收到其他资源的通知。

4.4 安全性

缓存中的数据可能会被别的进程访问或修改，而此进程对主数据是没有权限的。原因是当数据存储在原始位置时，有相应的安全机制来保护它，当数据被带出传统的安全边界时，需要有同等的安全机制。

4.5 管理

当你缓存数据时，应用系统需要的维护工作加大了。在发布应用程序时，需要配置相应的属性，比如缓存的大小限制和清除策略。同时要使用某种机制来监控缓存的效率（比如事件日志和性能计数器）

5.缓存技术

使用Asp.Net缓存；

使用Remoting Singleton缓存；

使用内存映射文件；

使用SQL Server缓存；

使用静态变量缓存；

使用Asp.net 会话状态(Session State)；

使用Asp.net客户端缓存和状态；

使用Internet Explorer缓存。

5.1 ASP.NET缓存技术

将常用的数据保存在内存中对asp的开发人员来说并不陌生，Session对象和Application对象提供键值对来缓存数据，Session对象保存和单个用户有关的数据，Application对象可保留和应用程序有关的数据，每个用户都可以访问。

在Asp.net中，提供了专门用于缓存数据的Cache对象，它的应用范围是应用程序域。

生存期是和应用程序紧密相关的，每当应用程序启动的时候就重新创建Cache对象。它域Application对象的主要区别就是提供了专门用于缓存管理的特性，比如依赖和过期策略。

5.1.1 编程缓存programmatic caching

Cache对象定义在System.Web.Caching命名空间，可以使用HttpContext类的Cache属性或Page对象的Cache属性来得到Cache的引用，Cache对象除了存储键值对以外，还可以存储.net框架的对象。

5.1.1.1 依赖和过期策略

当向缓存中加数据时，可以指定它的依赖关系来实现在某些情况下强制移除它。可用的方案包括以下几种：

·文件依赖（File Dependency）——当硬盘上的某个（某些）文件更改时，强制移除缓存数据；如：

CacheDependency cDependency = new

CacheDependency(Server.MapPath("authors.xml"));

Cache.Insert("CachedItem", item, cDependency);

·键值依赖（Key Dependency）——指定缓存中的某个数据项更改时移除。如：

// Create a cache entry.

Cache["key1"] = "Value 1";

// Make key2 dependent on key1.

String[] dependencyKey = new String[1];

dependencyKey[0] = "key1";

CacheDependency dependency = new CacheDependency(null, dependencyKey);

Cache.Insert("key2", "Value 2", dependency);

·基于时间的过期策略——按照预先定义的时间策略来使数据失效，可以是绝对时间（如某个日期的18:00）也可以是相对现在的相对时间。如：

/// Absolute expiration

Cache.Insert("CachedItem", item, null, DateTime.Now.AddSeconds(5),Cache.NoSlidingExpiration);

/// Sliding expiration

Cache.Insert("CachedItem", item, null, Cache.NoAbsoluteExpiration,

TimeSpan.FromSeconds(5));

使用太短和太长的过期时间都不行，不是造成用不上的缓存数据，就是缓存了陈旧的数据并加重了缓存负担，所以可以使用高并发的测试来决定过期时间的最佳值。

·另外有个问题就是如何实现对数据库的依赖，这就要求实现自己的通知机制，当数据库数据改变时能够通知你的缓存数据改变。可参考http://www.gotdotnet.com/team/rhoward的示例。

由于数据会过期，所以当使用缓存中的数据时，必须检查数据的有效性。如以下代码：

string data = (string)Cache["MyItem"];

if (data == null)

{

data = GetData();

Cache.Insert("MyItem", data);

}

DoSomeThingWithData(data);

依赖和过期策略指定了缓存中数据的移除方式，有时候你可能需要在移除发生时做一些工作，这能靠写代码来实现这一点，这就是我们要讲到的。

5.1.1.2 使用缓存回调（Cache Callback）

你可以定义回调，这样当移除自动发生时，你可以不移除它或者使用新的数据来替换它。如：

CacheItemRemovedCallback onRemove = new CacheItemRemovedCallback(this.RemovedCallback);

Cache.Insert("CachedItem",

item,

null,

Cache.NoAbsoluteExpiration,

Cache.NoSlidingExpiration,

CacheItemPriority.Default,

onRemove);

// Implement the function to handle the expiration of the cache.

public void RemovedCallback(string key, object value, CacheItemRemovedReason r)

{

// Test whether the item is expired, and reinsert it into the cache.

if (r == CacheItemRemovedReason.Expired)

{

// Reinsert it into the cache again.

CacheItemRemovedCallback onRemove = null;

onRemove = new CacheItemRemovedCallback(this.RemovedCallback);

Cache.Insert(key,

value,

null,

Cache.NoAbsoluteExpiration,

Cache.NoSlidingExpiration,

CacheItemPriority.Default,

onRemove);

}

5.1.1.3 对缓存项使用优先级

当运行应用程序的服务器内存不足时，会自动清除缓存中的数据，称为“清除scavenging”。此时，Cache对象根据缓存项的优先级来决定先移除哪些缓存数据，你可以在代码中指定缓存项的优先级。参看MSDN中“CacheItemPriority 枚举”，如：

Cache.Insert("DSN", connectionString, null, d, t, CacheItemPriority.High, onRemove);

5.1.1.4 刷新数据（清除缓存）

没有直接的方法来刷新Asp.net的输出缓存，但是有替代方法（设置所有数据失效），比如：

Response.Cache.SetExpires(DateTime.Now)

这可以清除缓存，但页面上并不立刻体现出来，直到最初的缓存期结束，比如：

<%@ OutputCache Duration="10" VaryByParam="none" %>指令指定的缓存只会在10秒后才清除。通常并不需要清除所有缓存项，你只要重新加载数据更新缓存就够了。

5.2 输出缓存(output cache)

你可以使用两种方式的输出缓存来缓存需要传输和显示到客户端浏览器上的数据——页面输出缓存（Page Output Cache）和页面片断缓存（Page Fragment Cache）。当整个页面相对变化较少时，可以缓存整个页面；如果只是页面的一部分经常变化，可以使用片断缓存。

5.2.1 页面输出缓存

Page Output Caching将对页面请求的响应放入缓存中，后续对此页面的请求将直接从缓存中得到信息而不是重建此页面。可以通过添加Page指令（高级别，声明实现）来实现，也可以使用HTTPCachePolicy类来实现（低级别，程序实现）。本指南不打算介绍技术细节，只给出如何更好使用的指南和最佳实践。有四方面的内容：

1、 决定缓存的内容

页面输出缓存可缓存各种信息，缓存这些信息意味着你不需要经常处理同样的数据和结果，包括：

·经常被请求但不不改变的静态页面；

·更新频率和时间已知的页面（如显示股票价格的页面）；

·根据HTTP参数，有几个可能输出的页面（如根据城市的代号显示该城市天气情况的页面）；

·从Web Service返回的结果；如：

[WebMethod(CacheDuration=60)]

public string HelloWorld()

{

return "Hello World";

}

2、 缓存动态页面

基于输入参数、语言和浏览器类型改变的动态网页经常用到。你可以使用OutputCache的以下属性来实现对动态页面的缓存：

VaryByParam——基于输入参数不同缓存同一页面的多个版本；

VaryByHeader——基于Page Header的内容不同缓存页面的多个版本；

VaryByCustom——通过声明属性和重载GetVaryByCustomString方法来定制缓存处理页面的多个版本；

VaryByControl——基于控件中asp对象属性的不同来缓存控件。

对多个版本页面的缓存会降低可用内存，所以要仔细衡量缓存策略。s

3、 控制缓存的位置

你可以使用@OutputCache指令的OutputCacheLocation属性的枚举值来指定缓存的位置，如：

<%@ outputcache duration="10" varybyparam="none" Location="Server" %>

4、 配置页面输出缓存

有两种方式控制，你可以使用Page指令，也可以使用Cache API编程实现。参考以下两段代码：

//代码1，使用指令

<%@ OutputCache Duration="20" Location="Server" VaryByParam="state" VaryByCustom="minorversion" VaryByHeader="Accept-Language"%>

//代码2，编程实现

private void Page_Load(object sender, System.EventArgs e)

{

// Enable page output caching.

Response.Cache.SetCacheability(HttpCacheability.Server);

// Set the Duration parameter to 20 seconds.

Response.Cache.SetExpires(System.DateTime.Now.AddSeconds(20));

// Set the Header parameter.

Response.Cache.VaryByHeaders["Accept-Language"] = true;

// Set the cached parameter to 'state'.

Response.Cache.VaryByParams["state"] = true;

// Set the custom parameter to 'minorversion'.

Response.Cache.SetVaryByCustom("minorversion");

…

}

5.2.2 页面片断缓存

有时候缓存整个页面并不灵活，同时内存的发但也比较大，这时候应考虑片断缓存。页面片断缓存适合以下类型的数据：

·创建开销很大的页面片断（控件）；

·包含静态数据的页面片断；

·可被多个用户使用的页面片断；

·多个页面共享的页面片断（如公用菜单条）

以下是缓存部分页面的例子：

// Partial caching for 120 seconds

[System.Web.UI.PartialCaching(120)]

public class WebUserControl : System.Web.UI.UserControl

{

// Your Web control code

}

5.2.3 在非Web项目中使用Asp.net缓存

Asp.net Cache位于System.Web命名空间，但由于它是一个通用的方案，所以仍然可以在引用此命名空间的任何非Web项目中使用它。

System.Web.Caching.Cache 类是对象的缓存，它可以通过System.Web.HttpRuntime.Cache 的静态属性或System.Web.UI.Page 和System.Web.HttpContext.Cache来访问。

因此在请求上下文之外也可以存在，在每个应用程序域中只有一个实例，所以HttpRuntime.Cache对象可以在Aspnet_wp.exe之外的每个应用程序域中存在。以下代码演示了在普通应用里访问Cache对象：

HttpRuntime httpRT = new HttpRuntime();

Cache cache = HttpRuntime.Cache;

5.3 使用remoting Singleton 缓存

.Net Remoting提供了跨应用程序域、跨进程、跨计算机的程序运行框架。服务器激活的对象有两种激活模式，其中Singleton 类型任何时候都不会同时具有多个实例。如果存在实例，所有客户端请求都由该实例提供服务。如果不存在实例，服务器将创建一个实例，而所有后继的客户端请求都将由该实例来提供服务。由于 Singleton 类型具有关联的默认生存期，即使任何时候都不会有一个以上的可用实例，客户端也不会总接收到对可远程处理的类的同一实例的引用。所以将数据缓存起来可以在多个客户端之间共享状态信息。

为了使用.Net Remoting实现缓存方案，要保证远程对象的租约不过期，并且远程对象没有被垃圾回收器销毁（对象租约是指在系统删除该对象前它在内存中的生存期）。当实现缓存时，重载MarshalByRefObject的InitializeLifetimeService方法并且返回null，这样就能保证租约永远不过期并且相关的对象生存期是无限的。以下代码是一个示例：

public class DatasetStore : MarshalByRefObject

{

// A hash table-based data store

private Hashtable htStore = new Hashtable();

//Returns a null lifetime manager so that GC won't collect the object

public override object InitializeLifetimeService() { return null; }

// Your custom cache interface

}

注意：由于这种方案的成本较高、性能上的限制并且可能造成系统不稳定，通常采用基于Sql Server的方案来替代。

5.4 使用内存映射文件（Memory-Mapped File）

内存映射文件提供独一无二的特性，允许应用程序通过指针来访问磁盘上的文件——与访问动态内去存的方式一样。所以你可以将应用程序进程中的某个地址段的数据映射到文件中，供多个跨应用程序域或跨进程访问。

在windows中，代码和数据是以以种方式处理的，表现形式都是内存页，而在内存页背后都是磁盘上的文件。唯一的不同磁盘上的文件类型不同。代码后面是可执行的镜像，而数据后面则是系统的页面文件。当多个应用程序共享内存时，系统的性能会有明显提升。

你可以使用内存映射文件的这种特性来实现同一台机器上的跨进程和跨应用程序域的缓存解决方案。基于内存映射文件的缓存方案包含以下组件：

·windows NT服务——启动时创建内存映射文件，停止时删除它。功能是向使用缓存的进程提供句柄。当然，也可以使用命名的内存映射文件来提供操作接口；

·缓存托管组件（Cache Management Dll）——实现特定的缓存功能，比如：

a. 插入和删除数据项到缓存中；

b. 使用算法清除缓存，比如最后使用算法（Least Recently Used）；

c. 保证数据不被篡改；

基于内存映射文件的缓存方案可以用在应用程序的每个层中，但由于使用win32 API调用，所以并不容易实现。.Net 框架不支持内存映射文件，所以只能以非托管代码的方式运行，当然也不能利用.Net框架的有力特性，比如垃圾回收等。同时缓存数据项的管理功能需要定制开发，还要开发性能计数器来监控缓存的效果。

5.5 使用SQL server缓存

如果需要在进程回收（重启）、机器重启或电源故障的过程中保持缓存数据的有效，基于内存的方案并不能满足要求。你可以使用基于永久数据存储的方案，如SQL server数据库或NTFS文件系统。

SQL Server在使用sql语句或存储过程得到数据时，对varchar和varBinary类型的数据有8k的大小限制，你必须使用.Net 框架提供的Ado.Net SQLDataAdapter对象来访问datatable或dataset。

使用SQL Server缓存数据的优点：

·易于实现——使用.Net 框架和Ado.Net访问数据库相当方便；

·完善的安全模型和很高的健壮性；

·数据非常方便的共享；

·数据的持久保留。

·支持很大的数据量。

·方便的管理工具

当然，也有缺点：

·需要安装SQL Server，对小型应用来说不合适；

·重新构造数据的性能和读取数据库的性能比较；

·网络负担。

5.6 使用静态变量缓存

静态变量常用来记录类的状态，你可以用它来创建定制的缓存对象。在定制的缓存类中将你的数据存储器声明为静态变量，并且提供维护接口（插入、删除和访问等）。如果没有特殊的缓存需求（比如依赖、失效策略等），使用静态变量缓存数据是很方便的。由于是在内存中，这种方案可提供对缓存数据的直接、高速的访问，当没有替代方案解决键值对的存储且对速度要求很高时，可以使用静态变量。当然，在asp.net中，应该使用Cache对象。

你可以使用这种方案保存大数据的对象，前提是它不经常更改。由于没有清除机制，大数据的内存消耗会影响性能。