161230、利用代理中间件实现大规模Redis集群

前面在《大规模互联网应用Redis架构要点》和《Redis官方集群方案 Redis Cluster》两篇文章中分别介绍了多Redis服务器集群的两种方式，它们是基于客户端sharding的Redis Sharding和基于服务端sharding的Redis Cluster。

客户端sharding技术其优势在于服务端的Redis实例彼此独立，相互无关联，每个Redis实例像单服务器一样运行，非常容易线性扩展，系统的灵活性很强。其不足之处在于：

1. 由于sharding处理放到客户端，规模进步扩大时给运维带来挑战。

2. 服务端Redis实例群拓扑结构有变化时，每个客户端都需要更新调整。

3. 连接不能共享，当应用规模增大时，资源浪费制约优化。

服务端sharding的Redis Cluster其优势在于服务端Redis集群拓扑结构变化时，客户端不需要感知，客户端像使用单Redis服务器一样使用Redis集群，运维管理也比较方便。

不过Redis Cluster正式版推出时间不长，系统稳定性、性能等都需要时间检验，尤其在大规模使用场合。

能不能结合二者优势？即能使服务端各实例彼此独立，支持线性可伸缩，同时sharding又能集中处理，方便统一管理？本篇介绍的Redis代理中间件twemproxy就是这样一种利用中间件做sharding的技术。

twemproxy处于客户端和服务器的中间，将客户端发来的请求，进行一定的处理后(如sharding)，再转发给后端真正的Redis服务器。也就是说，客户端不直接访问Redis服务器，而是通过twemproxy代理中间件间接访问。

参照《大规模互联网应用Redis架构要点》中Redis Sharding架构，增加代理中间件的Redis集群架构如下：

twemproxy中间件的内部处理是无状态的，它本身可以很轻松地集群，这样可避免单点压力或故障。

twemproxy又叫nutcracker，起源于twitter系统中redis/memcached集群开发实践，运行效果良好，后代码奉献给开源社区。其轻量高效，采用C语言开发，工程网址是：https://github.com/twitter/twemproxy

twemproxy后端不仅支持redis，同时也支持memcached，这是twitter系统具体环境造成的。

由于使用了中间件，twemproxy可以通过共享与后端系统的连接，降低客户端直接连接后端服务器的连接数量。同时，它也提供sharding功能，支持后端服务器集群水平扩展。统一运维管理也带来了方便。

当然，也是由于使用了中间件代理，相比客户端直连服务器方式，性能上会有所损耗，实测结果大约降低了20%左右。

下面我们就在CentOS6上实际安装并体验下twemproxy：

1. 下载最新源码版本

wget https://github.com/twitter/twemproxy/archive/v0.4.1.tar.gz

2. tar xvfz v0.4.1.tar.gz 解压

3.安装autoreconf工具

wget http://ftp.gnu.org/gnu/autoconf/autoconf-latest.tar.gz

tar xvfz autoconf-latest.tar.gz

./configure --prefix=/usr/local

make

make install

4. 安装automake工具

wget http://ftp.gnu.org/gnu/automake/automake-1.15.tar.gz

./configure --prefix=/usr/local

make && make install

5. 安装libtool工具

wget http://mirrors.kernel.org/gnu/libtool/libtool-2.4.tar.gz

./configure --prefix=/usr/local

如果进行调试测试，添加如下参数，打开调试信息日志

./configure --prefix=/usr/local --enable-debug=full

 

make && make install

 

6. 编译安装twemproxy

进入twemproxy-0.4.1主目录

 

autoreconf -fvi

./configure --prefix=/usr/local

make && make install

nutcracker --h 显示如下信息，安装成功。

7.建立配置文件

twemproxy提供了配置文件模板, 拷贝conf/nutcracker.yml到 /etc 目录下。编辑/etc/nutcracker.yml 内容如下：

test_for_redis: # redis服务器池名称，可以定义多个服务器池

listen: 192.168.1.115:22121

client_connections: 2000 # 客户端最大连接数

hash: murmur # hash函数，常用的都支持，提供了十多种

distribution: ketama #分配模式，提供三种，ketama 一致性hash，modula 求模取余 random 随机

redis: true # redis还是memcached 协议

server_connections: 10 # 连接后端每个redis服务器的最大连接数

auto_eject_hosts: true #根据server_retry_timeout判断连接超时失败达到server_failure_limit规定次数，即将该host从集群中去除

server_retry_timeout: 10000

server_failure_limit: 2

servers:

- 192.168.1.115:6379:1 redis_1 # IP:端口号:权重 名称

- 192.168.1.115:6579:1 redis_2

这里auto_eject_hosts语句要重点说明下，当其设置为true时，和后面server_retry_timeout、server_failure_limit一起可以自动识别后端redis节点故障并自动从集群中清除，故障节点排除，将自动加入到集群中，尽量保持Redis的可用性，这很适合将redis作为缓存的场景。

8. 启动nutcracker

nutcracker -d -c /etc/nutcracker.yml -o /var/log/nutcracker.log -s 22222 -a 192.168.1.115 -i 60000

-d 后台运行

-c 指定配置文件

-o 指定输出日志文件

-s 指定统计监控端口号

-a 指定统计监控IP

-i 统计更新间隔，单位毫秒

9. 程序客户端测试

Jedis驱动，编写测试用例，配置文件如下：

<bean id="poolConfig" class="redis.clients.jedis.JedisPoolConfig">

<property name="maxTotal" value="4096"/>

<property name="maxIdle" value="200"/>

<property name="maxWaitMillis" value="3000"/>

<property name="testOnBorrow" value="true" />

<property name="testOnReturn" value="true" />

</bean>

<bean id="jedisPool" class="redis.clients.jedis.JedisPool">

<constructor-arg index="0" ref="poolConfig"/>

<constructor-arg index="1" value="192.168.1.115" type="String"/>

<constructor-arg index="2" value="22121" type="int"/>

<constructor-arg index="3" value="2000" type="int"/>

</bean>

Java测试用例代码如下：

@Test

public void basicOpTestForTwemproxy(){

long begin = System.currentTimeMillis();

Jedis jedis = jedisPool.getResource();

for(int i=0;i<10000; i++){

jedis.set("person." + i + ".name", "frank");

jedis.set("person." + i + ".city", "beijing");

String name = jedis.get("person." + i + ".name");

String city = jedis.get("person." + i + ".city");

assertEquals("frank",name);

assertEquals("beijing",city);

jedis.del("person." + i + ".name");

Boolean result = jedis.exists("person." + i + ".name");

assertEquals(false,result);

result = jedis.exists("person." + i + ".city");

assertEquals(true,result);

}

jedis.close();

long end = System.currentTimeMillis();

System.out.println("total time: " + (end-begin)/1000);

}

10. 监控统计数据

twemproxy提供了基本的统计数据接口，数据采用json格式，可以使用telnet命令查看：

利用这些基本数据，可以开发更友好的图形化监控工具。