缓存设计（cache-design）

分布式缓存设计

目前常见的缓存方案都是分层缓存，通常可以分为以下几层：

1.1NG本地缓存，命中的话直接返回

1.2 NG没有命中时则需要查询分布式缓存，如redis

1.3 如果分布式缓存没有命中则需要回源到Tomcat在本地堆进行查询，命中之后异步写回redis

1.4以上都没有命中那就只有从DB或者是数据源进行查询,并写回到redis

缓存更新原子性

在写回到redis的时候如果是Tomcat集群， 多个进程同时写那很有可能出现脏数据，这时就会出现更新原子性的问题，

可以有以下解决方案：

1、可以将多个Tomcat中的数据写入到MQ队列中，由消费者进行单线程更新缓存

2、利用分布式锁，只有获得到锁进程才能写数据

如何写缓存

写缓存时也要注意，通常来说分为以下几步：
1、开启事务

2、写入db

3、提交事务

4、写入缓存

这里可能会存在数据库写入成功但是缓存写入失败的情况，但是不建议将写缓存加入到事务中，因为写缓存的时候可能会因为网络原因耗时较长，这样会阻塞数据库事务。如果对一致性要求不高并且数据量也不大的情况下，可以单独起一个服务来做DB和缓存之间的数据同步操作。

更新缓存也建议做增量更新。

负载策略

缓存负载策略一般有以下两种：

1、轮训机制

2、一致哈希算法

轮训的优点是负载到各个服务器的请求是均匀的，但是如果进行扩容则缓存命中率会下降

一致哈希的优点是相同的请求会负载到同一台服务器上，命中率不会随着扩容而降低，但是当大流量过来时有可能把服务器拖垮。

所以建议两种方案都采用：首先采用一致哈希算法，当流量达到一定阈值的时候则切换为轮询，这样既能保证缓存命中率，也能提高系统的可用性。