[Java 缓存] Java Cache之 DCache的简单应用.

前言

上次总结了下本地缓存Guava Cache的简单应用, 这次来继续说下项目中使用的DCache的简单使用.
这里分为几部分进行总结, 1)DCache介绍; 2)DCache配置及使用; 3)使用实例.

1, Dcache 介绍

Dcache是Distribute Cache System的缩写，既分布式缓存系统。具有高性能，大容量，弹性扩容，服务隔离等特点。
Dcache是一个高速缓存系统，单机测试qps可达到10000以上。可无限扩容，目前配置最高可达8T容量。不同服务间数据隔离保证安全性。
Dcache目前支持的底层的实现包括memcache/redis。
Dcache尽量保证数据的稳定存储。但在底层的cache出现问题重启，或是Dcache全部内存写满等情况会导致数据丢失。
Dcache适用场景为key量较大，可以均匀分片，单个value大小不大的情况。如：用户的jupiter特征；社区话题的内容；用户最近一小时看到的广告等。不适用于key很少，单value很大的情况。

Dcache 模块介绍

Dcache Client是一个java sdk，需要要调用的系统依赖Dcache Client并进行缓存数据的get, set, incr操作
Raw Cache Client是Dcache Client的底层实现，可以是memcache client，可以是redis template，可以是其它no sql client。
Dcache Server管理众多的Raw Cache Client。
对于一个实际的get/set请求，会先根据key进行分片，决定使用具体的Raw Cache Client，再调用其进行实际的get/set操作。
Dcache Server是一个web服务，地址为xxxx。提供两个功能，一是提供Dcache Client需要的配置信息，包括Raw Cache Client的地址，端口等信息，支持读写的属性信息，写数据token等。二是提供Dcache Client的访问统计打点接口，记录Dcache Client的成功或失败的读写数目及大小。

Dcache 性能测试

底层使用4台1G的Memcache，单台4核32G公用测试机测试Dcache性能如下。（最终瓶颈为测试机的cpu）考虑到单台Memcache的内存越大，单台支持qps成倍数增长，所以远没有达到Dcache的性能上限，仅供参考。
| 方法 | 并发线程数 | value字节数 | qps |
| ------| ---------- |-------------|-----|
| GET | 10 | 32 | 6400 |
| GET | 50 | 32 | 11000 |
| GET | 50 | 1k | 10000 |
| GET | 50 | 10k | 7600 |
| SET | 10 | 1k | 6000 |
| SET | 10 | 10k | 4700 |
| SET | 50 | 1k | 11000 |
| SET | 50 | 10k | 6200 |

2, DCache配置及使用

这里因为我们公司内部给配置好了DCache服务器, 所以我们需要直接接入使用.
使用方式很简单, 申请一个前缀和属性名

DcacheClientKey
|参数 |类型| 备注|
|-------|----|-------|
|prefix| String| 属性前缀，如'a'|
|property| String |属性名称|
|key |String |具体的key，不建议太长，可以是md5或是appuser，贴子id等.

这里给出配置后台页面的截图:

这里都是自己申请前缀和属性名, 然后设置最大缓存时间和单个Key的最大value大小.

DCache中的使用配置

dcache.env=TEST
dcache.group=0
dcache.write.token=test_token

参数解读:
|参数 |取值| 备注|
|-------|----|-------|
|env| PRODUCTION, TEST, STAGING, DEV| 不要在测试时指向线上的配置|
|group| 集群组别, 后台管理系统配置的, 一般有Redis和Memcache两种 |
|token |写数据要求的token |token正确才能对属性进行写，否则只能读。token和项目绑定，需申请

dcache-client使用方式:

<!-- spring注入方式，在application.xml里配置，通过FactoryBean方式生成DcacheClient。-->
<bean id="dcacheFactoryBean" class="cn.mucang.dcache.client.factory.DcacheClientFactory" >
    <property name="env">
        <value>${dcache.env}</value>
    </property>
    <property name="group">
        <value>${dcache.group}</value>
    </property>
    <property name="token">
        <value>${dcache.write.token}</value>
    </property>
</bean>
//代码中使用自动注入即可:
//注意不要在测试时指向线上的配置，会造成数据污染！！！
@Autowired
private DcacheClient dcacheClient;
//代码直接生成DcacheClient的方式，注意不要build多个dcacheClient对象
DcacheClient dcacheClient = new DcacheClientBuilder().setEnv(env)
            .setGroup(group)
            .setToken(token).build();

DCache方法详解

/**
    * 设置缓存里的值
    *
    * @param key
    * @param value       键值
    * @param cacheSecond 缓存时间，要求正数
    * @return 如果set成功返回true，否则返回false
    */
   boolean set(DcacheClientKey key, String value, int cacheSecond);
   /**
    * 设置缓存里的值
    *
    * @param key
    * @param value 键值
    * @return 如果set成功返回true，否则返回false, 缓存时间为server设置的最大缓存时间
    */
   boolean set(DcacheClientKey key, String value);
   /**
    * 设置缓存里的值,失败则抛出exception
    *
    * @param key
    * @param value 键值
    * @return 如果set成功返回true，否则返回false, 缓存时间为server设置的最大缓存时间
    */
   boolean setOrException(DcacheClientKey key, String value) throws DcacheException;
   /**
    * 设置缓存里的值,失败则抛出exception
    * @param key
    * @param value
    * @param cacheSecond
    * @return
    * @throws DcacheException
    */
   boolean setOrException(DcacheClientKey key, String value, int cacheSecond) throws DcacheException;
   /**
    * 增加缓存里的值，如果在cache里没有此key，会设为num并返回num
    *
    * @param key
    * @param num         要增加的值
    * @param cacheSecond 缓存时间，要求正数
    * @return 增加后的值，失败返回-1
    */
   long incr(DcacheClientKey key, long num, int cacheSecond);
   /**
    * 增加缓存里的值，如果在cache里没有此key，会设为num并返回num
    *
    * @param key
    * @param num 要增加的值
    * @return 增加后的值，失败返回-1，缓存时间是server设置的最大缓存时间
    */
   long incr(DcacheClientKey key, long num);
   /**
    * 增加缓存里的值，如果在cache里没有此key，会设为num并返回num。如果有异常抛出exception
    *
    * @param key
    * @param num 要增加的值
    * @return 增加后的值，失败返回-1，缓存时间是server设置的最大缓存时间
    */
   long incrOrException(DcacheClientKey key, long num) throws DcacheException;
   /**
    * 增加缓存里的值，如果在cache里没有此key，会设为num并返回num。如果有异常抛出exception
    * @param key
    * @param num
    * @param cacheSecond
    * @return
    * @throws DcacheException
    */
   long incrOrException(DcacheClientKey key, long num, int cacheSecond) throws DcacheException;
   /**
    * 得到缓存里的值
    *
    * @param key
    * @return 缓存的值，如有异常或值不存在返回null
    */
   String get(DcacheClientKey key);
   /**
    * 得到缓存里的值，如果请求异常则抛出exception
    */
   String getOrException(DcacheClientKey key) throws DcacheException;
   /**
    * 得到一组缓存里的值
    *
    * @param keyList
    * @return map, key是请求，value是缓存里的值。如果请求不合法或是在缓存里不存在的值不会出现在map里
    */
   Map<DcacheClientKey, String> batchGet(List<DcacheClientKey> keyList);
   /**
    * 得到一组缓存里的值
    *
    * @param keyList
    * @param timeoutMills 每个key请求的超时时间(ms)
    * @return map, key是请求，value是缓存里的值。如果请求不合法或是在缓存里不存在的值不会出现在map里
    */
   Map<DcacheClientKey, String> batchGet(List<DcacheClientKey> keyList, long timeoutMills);
   /**
    * 删除一个key及对应的value
    *
    * @param key
    * @return
    */
   boolean remove(DcacheClientKey key);
   /**
    * 删除一个key及对应的value，如果失败返回异常
    * @param key
    * @return
    * @throws DcacheException
    */
   boolean removeOrException(DcacheClientKey key) throws DcacheException;
   /**
    * 得到一个属性下的全部的keys.
    * MEMCACHE类型的DcacheClient不支持本方法
    *
    * @param property
    * @return
    */
   List<DcacheClientKey> keys(DcacheClientPrefixProperty property);
   /**
    * 得到一个属性的key的cursor，支持对key的遍历
    * MEMCACHE类型的DcacheClient不支持本方法
    *
    * @param property
    * @return
    */
   DcacheCursor scan(DcacheClientPrefixProperty property); //使用方法和iterator一致，如下
   while(cursor.hasNext()) {
          DcacheClientKey key = cursor.next();
   }

看到上面所有方法, 大家可以看出DCache对于Multiple Get支持的不是很好..

3, 使用实例

现在我自己所维护的一个小系统中主要使用了两种缓存, 第一个是GuavaCache, 第二个是DCache.
这里有只使用GuavaCache, 有只使用DCache, 也有GuavaCache和DCache组成二级缓存使用的. 这里会用实例说明后两种的使用.

首先申请项目前缀和属性名称, 以及配置缓存大小和缓存时间.
配置文件:

在本地环境配置:(说明: 这个0和2都是对应后台管理系统中配置的Redis, 其中0是使用本地Redis, 2是部署在aliyun上的.)
```
dcache.env=TEST
dcache.group=0
dcache.write.token=test_token
```
线上环境配置:
```
dcache.env=PRODUCTION
dcache.group=2
dcache.write.token=xxxxx
```

Spring配置文件中引入DCacheClient

<description>DCache配置文件</description>
<bean id="dcacheFactoryBean" class="cn.mucang.dcache.client.factory.DcacheClientFactory" >
<property name="env">
    <value>${dcache.env}</value>
</property>
<property name="group">
    <value>${dcache.group}</value>
</property>
<property name="token">
    <value>${dcache.write.token}</value>
</property>
</bean>

自己写一个DCacheClient包装类(这里只是封装了DCacheClient中的方法)

@Service
public class DCacheManagerService {
protected final Logger logger = LoggerFactory.getLogger(this.getClass());
/**
 * 默认的前缀
 */
protected String prefix = "c";
/**
 * 默认的属性
 */
protected String property = "cartype-extend";
@Autowired
protected DcacheClient dcacheClient;
public <T> T get(String rawKey, Type type) {
    DcacheClientKey dcacheClientKey = new DcacheClientKey(prefix, property, rawKey);
    String result = dcacheClient.get(dcacheClientKey);
    return JSON.parseObject(result, type);
}
public <T> T get(String rawKey, Class<T> clazz) {
    DcacheClientKey dcacheClientKey = new DcacheClientKey(prefix, property, rawKey);
    String result = dcacheClient.get(dcacheClientKey);
    return JSON.parseObject(result, clazz);
}
public <T> T get(String rawKey, Callable<T> callable) {
    return get(rawKey, callable, -1);
}
public <T> T get(String rawKey, Callable<T> callable, int cacheSecond) {
    DcacheClientKey dcacheClientKey = new DcacheClientKey(prefix, property, rawKey);
    return get(dcacheClientKey, callable, cacheSecond);
}
public <T> T get(DcacheClientKey clientKey, Callable<T> callable) {
    return get(clientKey, callable, -1);
}
public <T> T get(DcacheClientKey clientKey, Callable<T> callable, int cacheSecond) {
    Preconditions.checkNotNull(callable, "callable is null");
    String result = dcacheClient.get(clientKey);
    if (result == null) {
        try {
            T data = callable.call();
            if (cacheSecond == -1) {
                dcacheClient.set(clientKey, JSON.toJSONString(data));
            } else {
                dcacheClient.set(clientKey, JSON.toJSONString(data), cacheSecond);
            }
            return data;
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    final Type type = ((ParameterizedType) callable.getClass().getGenericInterfaces()[0]).getActualTypeArguments()[0];
    try {
        return JSON.parseObject(result, type);
    } catch (Exception e) {
        logger.info("Json转换异常: {}, {}", result, e);
        throw e;
    }
}
public <K, V> Map<K, V> batchGet(List<DcacheClientKey> clientKeys, List<K> mapKey, Type mapType) {
    Map<DcacheClientKey, String> maps = dcacheClient.batchGet(clientKeys);
    Map<K, V> result = Maps.newLinkedHashMap();
    for (int i = 0; i < clientKeys.size(); i++) {
        V value = JSON.parseObject(maps.get(clientKeys.get(i)), mapType);
        result.put(mapKey.get(i), value);
    }
    return result;
}
public <K, V> Map<K, V> batchGet(String prefixKey, List rowKeys, List<K> mapKey, Type mapType) {
    List<DcacheClientKey> clientKeys = Lists.newArrayList();
    for (Object rowKey : rowKeys) {
        DcacheClientKey dcacheClientKey = new DcacheClientKey(prefix, property, prefixKey + rowKey);
        clientKeys.add(dcacheClientKey);
    }
    return batchGet(clientKeys, mapKey, mapType);
}
public boolean set(String rawKey, String value) {
    DcacheClientKey dcacheClientKey = new DcacheClientKey(prefix, property, rawKey);
    return set(dcacheClientKey, value);
}
public boolean set(String rawKey, String value, int cacheSecond) {
    DcacheClientKey dcacheClientKey = new DcacheClientKey(prefix, property, rawKey);
    return set(dcacheClientKey, value, cacheSecond);
}
public boolean set(DcacheClientKey clientKey, String value) {
    return set(clientKey, value, -1);
}
public boolean set(DcacheClientKey clientKey, String value, int cacheSecond) {
    if (cacheSecond != -1) {
        return dcacheClient.set(clientKey, value, cacheSecond);
    } else {
        return dcacheClient.set(clientKey, value);
    }
}
public boolean remove(String rawKey) {
    DcacheClientKey dcacheClientKey = new DcacheClientKey(prefix, property, rawKey);
    return dcacheClient.remove(dcacheClientKey);
}
public List<DcacheClientKey> keys(DcacheClientPrefixProperty property) {
    return dcacheClient.keys(property);
}
/**
 * 构建cache key
 */
protected String buildCacheRawKey(String prefix, Object... keys) {
    StringBuilder rawKeyBuilder = new StringBuilder(prefix);
    for (Object key : keys) {
        rawKeyBuilder.append(".").append(key);
    }
    return rawKeyBuilder.toString();
}
}

好了, 这些准备工作做完之后就可以正式使用DCache了.

@Autowired
private DCacheManagerService managerService;
@Transactional
public List<ArticleComingCarDto> getComingCars() {
    final String key = "getComingCars";
    return managerService.get(key, new Callable<List<ArticleComingCarDto>>() {
        @Override
        public List<ArticleComingCarDto> call() {
            //Do your logic here.
        }
    });
}

剩下还有很多可以延伸, 比如说可以写一个action, 支持手动刷新DCache缓存, 这里get 方法有好几种实现, 按照自己的需求可以使用不同的get方法.

再说就是GuavaCache和DCache的组合使用二级缓存的情况.
当项目刚启动刷入GuavaCache(一级缓存), 如果访问量过大, 那么系统压力就会很大, 这时我们可以用DCache当做二级缓存来缓解压力, 然后将DCache中取出的值放入到GuavaCache中. 而GuavaCache的多重取值又比较与DCache有很大的优势. 所以当我们的一组缓存key值较多时且经常需要多重取值时, 那么这两种缓存的组合形式将是不二之选了.

关于DCache的东西就说这么多了, 更多的是展示出的代码.