Spring整合redis，通过sentinel进行主从切换

实现功能描述：

redis服务器进行Master-slaver-slaver-....主从配置，通过2台sentinel进行failOver故障转移，自动切换，采用该代码完全可以直接用于实际生产环境。

题外话：

　　研究Redis也有一段时间了，在前面的Redis系列文章中，介绍了Redis的安装，集群配置，及节点的增加和删除，但是并未实际的使用到项目中，趁这周末时间，

　　参照项目中实际的使用场景，做了一个Redis集群Spring整合的案例，在介绍案例之前，先简单介绍下Redis集群的方式有哪些 
　　1、单机版 不解释 
　　2、Sentinel 哨兵模式
　　3、Redis Cluster Redis官方集群方案（服务端集群）
　　4、Redis Sharding集群（客户端集群）

　　

　　redis集群分为服务端集群和客户端分片，redis3.0以上版本实现了集群机制，即服务端集群，3.0以下使用客户端分片（Sharding），即Redis Sharding集群。

　　redis3.0服务端集群，Redis Cluster，它解决了多Redis实例协同服务问题。Redis Cluster可以说是服务端Sharding分片技术的体现，

　　即将键值按照一定算法合理分配到各个实例分片上，同时各个实例节点协调沟通，共同对外承担一致服务。即使用哈希槽，计算key的CRC16结果再模16834。

　　3.0以下版本采用Key的一致性hash算法来区分key存储在哪个Redis实例上。正确的说，哨兵模式是一主多从的结构，并不属于真正的集群，

　　真正的集群应该是多主多从的结构，需要有多台不同物理地址的主机，无赖家里只有一台PC，只能使用Sentinel模式来做集群。

　　先来看下Sentinel模式的集群架构图

　　首先需要有一台监控服务器，也就是Sentinel，一台主服务器Master，多台从服务器Slave，具体的配置可以参考另一篇博文《Redis序列之Sentinel》，

　　假设Sentinel，Master，Slave都已经配置好了，对应地址分别为： 
　　Sentinel 127.0.0.1:26379,127.0.0.1:26479 
　　Master 127.0.0.1:10003 
　　Slave 127.0.0.1:10001,127.0.0.1:10002

一般来说这样的部署足以支持数以百万级的用户，但如果数量实在是太高，此时redis的Master-Slaver主从不一定能够满足，因此进行redis的分片。

本文不讲解redis的分片，但如果你使用了，需要注意的按照另一篇文章的介绍：Sentinel&Jedis看上去是个完美的解决方案，这句话只说对了一半，

在无分片的情况是这样，但我们的应用使用了数据分片-sharing，数据被平均分布到4个不同的实例上，每个实例以主从结构部署，Jedis没有提供

基于Sentinel的ShardedJedisPool，也就是说在4个分片中，如果其中一个分片发生主从切换，应用所使用的ShardedJedisPool无法获得通知，所有

对那个分片的操作将会失败。文章中提出了解决方案,请参考《基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案》

该代码模拟多线程向redis中set/get。

1、maven依赖配置

1. <dependency>
2. <groupId>org.springframework.data</groupId>
3. <artifactId>spring-data-redis</artifactId>
4. <version>1.4.1.RELEASE</version>
5. </dependency>
6. <dependency>
7. <groupId>redis.clients</groupId>
8. <artifactId>jedis</artifactId>
9. <version>2.6.2</version>
10. </dependency>
11. <dependency>
12. <groupId>org.apache.commons</groupId>
13. <artifactId>commons-lang3</artifactId>
14. <version>3.3.2</version>
15. </dependency>

2、redis.properties

1. # Redis settings
2. #sentinel1的IP和端口
3. im.hs.server.redis.sentinel1.host=192.168.62.154
4. im.hs.server.redis.sentinel1.port=26379
5. #sentinel2的IP和端口
6. im.hs.server.redis.sentinel2.host=192.168.62.153
7. im.hs.server.redis.sentinel2.port=26379
8. #sentinel的鉴权密码
9. im.hs.server.redis.sentinel.masterName=155Master
10. im.hs.server.redis.sentinel.password=hezhixiong
11. #最大闲置连接数
12. im.hs.server.redis.maxIdle=500
13. #最大连接数，超过此连接时操作redis会报错
14. im.hs.server.redis.maxTotal=5000
15. im.hs.server.redis.maxWaitTime=1000
16. im.hs.server.redis.testOnBorrow=true
17. #最小闲置连接数，spring启动的时候自动建立该数目的连接供应用程序使用，不够的时候会申请。
18. im.hs.server.redis.minIdle=300

3、spring-redis.xml

1. <?xml version="1.0" encoding="UTF-8"?>
2. <beans xmlns="http://www.springframework.org/schema/beans"
3. xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p"
4. xmlns:context="http://www.springframework.org/schema/context"
5. xmlns:jee="http://www.springframework.org/schema/jee" xmlns:tx="http://www.springframework.org/schema/tx"
6. xmlns:aop="http://www.springframework.org/schema/aop"
7. xsi:schemaLocation="
8. http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
9. http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">
10. <!-- Spring自动将该包目录下标记为@Service的所有类作为spring的Bean -->
11. <context:component-scan base-package="com.gaojiasoft.test.redis" />
12. <!-- redis属性文件 -->
13. <context:property-placeholder location="classpath:conf/redis/redis.properties" />
14. <!-- 启动缓存注解功能，否则注解不会生效 -->
15. 　　<cache:annotation-driven cache-manager="cacheManager"/>
16. 　　<!-- redis属性配置 -->
17. <bean id="poolConfig" class="redis.clients.jedis.JedisPoolConfig">
18. <property name="maxTotal" value="${im.hs.server.redis.maxTotal}" />
19. <property name="minIdle" value="${im.hs.server.redis.minIdle}" />
20. <property name="maxWaitMillis" value="${im.hs.server.redis.maxWaitTime}" />
21. <property name="maxIdle" value="${im.hs.server.redis.maxIdle}" />
22. <property name="testOnBorrow" value="${im.hs.server.redis.testOnBorrow}" />
23. <property name="testOnReturn" value="true" />
24. <property name="testWhileIdle" value="true" />
25. </bean>
26. <!-- redis集群配置 哨兵模式 -->
27. <bean id="sentinelConfiguration"
28. class="org.springframework.data.redis.connection.RedisSentinelConfiguration">
29. <property name="master">
30. <bean class="org.springframework.data.redis.connection.RedisNode">
31. <!--这个值要和Sentinel中指定的master的值一致，不然启动时找不到Sentinel会报错的-->
32. <property name="name" value="${im.hs.server.redis.sentinel.masterName}"></property>
33. </bean>
34. </property>
35. <!--记住了,这里是指定Sentinel的IP和端口，不是Master和Slave的-->
36. <property name="sentinels">
37. <set>
38. <bean class="org.springframework.data.redis.connection.RedisNode">
39. <constructor-arg name="host"
40. value="${im.hs.server.redis.sentinel1.host}"></constructor-arg>
41. <constructor-arg name="port"
42. value="${im.hs.server.redis.sentinel1.port}"></constructor-arg>
43. </bean>
44. <bean class="org.springframework.data.redis.connection.RedisNode">
45. <constructor-arg name="host"
46. value="${im.hs.server.redis.sentinel2.host}"></constructor-arg>
47. <constructor-arg name="port"
48. value="${im.hs.server.redis.sentinel2.port}"></constructor-arg>
49. </bean>
50. </set>
51. </property>
52. </bean>
53. <bean id="connectionFactory"
54. class="org.springframework.data.redis.connection.jedis.JedisConnectionFactory" p:password="${im.hs.server.redis.sentinel.password}">
55. <constructor-arg name="sentinelConfig" ref="sentinelConfiguration"></constructor-arg>
56. <constructor-arg name="poolConfig" ref="poolConfig"></constructor-arg>
57. </bean>
58. <bean id="redisTemplate" class="org.springframework.data.redis.core.StringRedisTemplate">
59. <property name="connectionFactory" ref="connectionFactory" />
60. </bean>
61. <!-- 缓存管理器 -->
62. <bean id="cacheManager" class="org.springframework.data.redis.cache.RedisCacheManager">
63. <constructor-arg ref="redisTemplate" />
64. </bean>
65. </beans>

4、RedisServiceImpl.java

1. package com.gaojiasoft.test.redis;
2. import java.util.concurrent.LinkedBlockingQueue;
3. import java.util.concurrent.ThreadPoolExecutor;
4. import java.util.concurrent.TimeUnit;
5. import org.apache.commons.lang3.concurrent.BasicThreadFactory;
6. import org.slf4j.Logger;
7. import org.slf4j.LoggerFactory;
8. import org.springframework.beans.factory.annotation.Autowired;
9. import org.springframework.dao.DataAccessException;
10. import org.springframework.data.redis.connection.RedisConnection;
11. import org.springframework.data.redis.core.RedisCallback;
12. import org.springframework.data.redis.core.RedisTemplate;
13. import org.springframework.stereotype.Service;
14. @Service("redisService")
15. public class RedisServiceImpl {
16. private Logger logger = LoggerFactory.getLogger("RedisServiceImpl");
17. @Autowired
18. RedisTemplate<?, ?> redisTemplate;
19. // 线程池
20. private static final ThreadPoolExecutor executor = new ThreadPoolExecutor(
21. 256, 256, 30L, TimeUnit.SECONDS,
22. new LinkedBlockingQueue<Runnable>(),
23. new BasicThreadFactory.Builder().daemon(true)
24. .namingPattern("redis-oper-%d").build(),
25. new ThreadPoolExecutor.CallerRunsPolicy());
26. public void set(final String key, final String value) {
27. redisTemplate.execute(new RedisCallback<Object>() {
28. @Override
29. public Object doInRedis(RedisConnection connection)
30. throws DataAccessException {
31. connection.set(
32. redisTemplate.getStringSerializer().serialize(key),
33. redisTemplate.getStringSerializer().serialize(value));
34. logger.debug("save key:" + key + ",value:" + value);
35. return null;
36. }
37. });
38. }
39. @Cacheable(value="user")
40. public String get(final String key) {
41. return redisTemplate.execute(new RedisCallback<String>() {
42. @Override
43. public String doInRedis(RedisConnection connection)
44. throws DataAccessException {
45. byte[] byteKye = redisTemplate.getStringSerializer().serialize(
46. key);
47. if (connection.exists(byteKye)) {
48. byte[] byteValue = connection.get(byteKye);
49. String value = redisTemplate.getStringSerializer()
50. .deserialize(byteValue);
51. logger.debug("get key:" + key + ",value:" + value);
52. return value;
53. }
54. logger.error("valus does not exist!,key:"+key);
55. return null;
56. }
57. });
58. }
59. public void delete(final String key) {
60. redisTemplate.execute(new RedisCallback<Object>() {
61. public Object doInRedis(RedisConnection connection) {
62. connection.del(redisTemplate.getStringSerializer().serialize(
63. key));
64. return null;
65. }
66. });
67. }
68. /**
69. * 线程池并发操作redis
70. *
71. * @param keyvalue
72. */
73. public void mulitThreadSaveAndFind(final String keyvalue) {
74. executor.execute(new Runnable() {
75. @Override
76. public void run() {
77. try {
78. set(keyvalue, keyvalue);
79. get(keyvalue);
80. } catch (Throwable th) {
81. // 防御性容错，避免高并发下的一些问题
82. logger.error("", th);
83. }
84. }
85. });
86. }
87. }

自定义Key生成器
默认生成器是SimpleKeyGenerator，生成的Key是经过HashCode转换过的，不能通过Key清除指定接口的缓存，因此需要我们自己实现Key生成器，增加Key生成器实现类CacheKeyGenerator，并实现KeyGenerator接口，代码如下：

public class CacheKeyGenerator implements KeyGenerator {
    @Override
    public Object generate(Object target, Method method, Object... params) {
        StringBuilder key = new StringBuilder();
        key.append(target.getClass().getName());
        key.append(".");
        key.append(method.getName());
        return key.toString();
    }
}

这里Key的生成规则是类的限定名+方法名，可以确保在同一项目中，key不会重名，如果还需要把查询条件也作为Key的一部分，可以把params加进来

Key生成器需要配置在applicationContext.xml文件中，如下

<!-- 启动缓存注解功能，否则缓解不会生效,并自定义Key生成策略  -->
<cache:annotation-driven cache-manager="cacheManager" key-generator="cacheKeyGenerator"/>
<bean id="cacheKeyGenerator" class="com.bug.common.CacheKeyGenerator"></bean>

5、RedisTest.java   (Junit测试用例)

1. package com.gaojiasoft.test.redis;
2. import org.junit.Test;
3. import org.springframework.context.ConfigurableApplicationContext;
4. import org.springframework.context.support.ClassPathXmlApplicationContext;
5. public class RedisTest {
6. private static ConfigurableApplicationContext context;
7. RedisServiceImpl service;
8. @Test
9. public void testSave() throws InterruptedException {
10. context = new ClassPathXmlApplicationContext(
11. "classpath:conf/redis/spring-redis.xml");
12. service = (RedisServiceImpl) context.getBean("redisService");
13. int i = 1;
14. while (true) {
15. Thread.sleep(1);
16. try {
17. service.mulitThreadSaveAndFind("" + i);
18. } catch (Exception e) {
19. e.printStackTrace();
20. }
21. i++;
22. }
23. }
24. }

注意

1） 在配置Redis的sentinel.conf文件时注意使用外部可以访问的ip地址，因为当redis-sentinel服务和redis-server在同一台机器的时候，

　　主服务发生变化时配置文件中将主服务ip变为127.0.0.1，这样外部就无法访问了。

2）发生master迁移后，如果遇到运维需要，想重启所有redis，必须最先重启“新的”master节点，否则sentinel会一直找不到master。

3）Sentinel的集群模型，在Java端配置时，只需要指定有哪些Sentinel就可以了，不需要指定Master和Slave，之前不清楚，导致启动一直报找不到可用的Sentinel 
4）在Spring配置文件中一定要增加<cache:annotation-driven cache-manager="cacheManager"/>注解声明，否则缓存不会生效，之前缓存一直不生效的原因

　　就是这个

5）spring版本要升到4.X

6）<cache:annotation-driven/>的cache-manager属性默认值是cacheManager,默认情况下可以不指定，如果我们的定义的CacheManager名称不是cacheManager,

　　就需要显示指定； <cache:annotation-driven/>的另一个属性是model,可选值是proxy和aspectj，默认是proxy，当model=proxy时，

　　只有当缓存方法在声名的类外部被调用时，spring cache才会生效，换句话说就是如果在同一个类中一个方法调用当前类的缓存方法，缓存不生效，

　　而model=aspectj时就不会有这个问题；另外model=proxy时，@Cacheable等注解加在public方法上，缓存才会生效，加在private上是不会生效的，

　　而model=aspectj时也不会有这个问题,<cache:annotation-driven/>还可以指定一个proxy-target-class属性，表示是否要代理class，默认为false。

　　@Cacheable、@cacheEvict等也可以标注在接口上，这对于基于接口的代理来说是没有什么问题的，但要注意的是当设置proxy-target-class为true或者mode

　　为aspectj时，是直接基于class进行操作的，定义在接口上的@Cacheable等Cache注解不会被识别到，对应的Spring Cache也不会起作用

　　本文转自：http://blog.csdn.net/kity9420/article/details/53571718    http://blog.csdn.net/tzszhzx/article/details/44590871