基于Twemproxy的Redis集群方案
概述
由于单台redis服务器的内存管理能力有限,使用过大内存redis服务器的性能急剧下降,且服务器发生故障将直接影响大面积业务。为了获取更好的缓存性能及扩展型,我们将需要搭建redis集群来满足需求。因redis 3.0 beta支持的集群功能不适合生产环境的使用,所以我们采用twitter正在使用的twemproxy来搭建redis缓存服务器集群,目前用户包括Pinterest、Tumblr、Twitter、Vine、Kiip、Wuaki.tv、Wanelo、Kontera、Wikimedia、Bright、56.com、Snapchat、Digg、Gawkermedia、3scale.net等。
Twemproxy是memcached和redis协议的代理服务器,并能有效减少大量连接对redis服务器的性能影响,它提供的主要特性如下:
集群架构
安装Redis
有三台服务器,一台COS1安装twemproxy,另外两台COS2,COS3安装redis。
- 下载最新安装包:redis-2.8.9.tar.gz , tcl-8.5.7-6.el6.x86_64.rpm ,nutcracker-0.3.0.tar.gz
- 安装必要组件rpm:
[root@COS2 redis-2.8.9]# yum install gcc
[root@COS2 src]# rpm -ivh tcl-8.5.7-6.el6.x86_64.rpm - 安装Redis:
[root@COS2 src]# tar xvf redis-2.8.9.tar.gz
[root@COS2 src]# cd redis-2.8.9
[root@COS2 redis-2.8.9]# make
…
Hint: To run 'make test' is a good idea ;)
make[1]: Leaving directory `/usr/local/src/redis-2.8.9/src' [root@COS2 redis-2.8.9]# make test
All tests passed without errors! Cleanup: may take some time... OK
make[1]: Leaving directory `/usr/local/src/redis-2.8.9/src'
[root@COS2 redis-2.8.9]# make install
[root@COS2 redis-2.8.9]# cd /usr/local/bin/
[root@COS2 bin]# ll
total 13908
-rwxr-xr-x. 1 root root 4170264 Apr 26 11:51 redis-benchmark
-rwxr-xr-x. 1 root root 22185 Apr 26 11:51 redis-check-aof
-rwxr-xr-x. 1 root root 45419 Apr 26 11:51 redis-check-dump
-rwxr-xr-x. 1 root root 4263471 Apr 26 11:51 redis-cli
-rwxr-xr-x. 1 root root 5726791 Apr 26 11:51 redis-server - 编辑redis配置文件:
[root@COS2 redis-2.8.9]# cp redis.conf /etc/
[root@COS2 redis-2.8.9]# vim /etc/red
redhat-release redis.conf
[root@COS2 redis-2.8.9]# vim /etc/redis.conf 把里面的
daemonize no 修改成 daemonize yes - 启动redis服务:
[root@COS2 redis-2.8.9]# redis-server /etc/redis.conf
- 测试redis服务:
[root@COS2 redis-2.8.9]# redis-cli
127.0.0.1:6379> set kin kin
OK
127.0.0.1:6379> get kin - 同样的步骤安装其他redis服务器。
安装twemproxy
- 安装twemproxy:
[root@COS1 src]# tar xvf nutcracker-0.3.0.tar.gz
[root@COS1 nutcracker-0.3.0]# cd nutcracker-0.3.0
[root@COS1 src]#./configure
[root@COS1 nutcracker-0.3.0]# make && make install - 编辑配置文件:
[root@COS1 conf]# cd /usr/local/src/nutcracker-0.3.0/conf
[root@COS1 conf]# cp nutcracker.yml /etc/
[root@COS1 conf]# vim /etc/nutcracker.yml
alpha:
listen: 0.0.0.0:22121
hash: fnv1a_64
distribution: ketama
auto_eject_hosts: true
redis: true
server_retry_timeout: 2000
server_failure_limit: 1
servers: --两台redis服务器的地址和端口
- 10.23.22.240:6379:1
- 10.23.22.241:6379:1 - 测试配置文件:
[root@COS1 nutcracker-0.3.0]# nutcracker -t /etc/nutcracker.yml
nutcracker: configuration file 'conf/nutcracker.yml' syntax is ok - 启动twemproxy:
[root@COS1 nutcracker-0.3.0]# nutcracker --help
This is nutcracker-0.3.0 Usage: nutcracker [-?hVdDt] [-v verbosity level] [-o output file]
[-c conf file] [-s stats port] [-a stats addr]
[-i stats interval] [-p pid file] [-m mbuf size] Options:
-h, --help : this help
-V, --version : show version and exit
-t, --test-conf : test configuration for syntax errors and exit
-d, --daemonize : run as a daemon
-D, --describe-stats : print stats description and exit
-v, --verbosity=N : set logging level (default: 5, min: 0, max: 11)
-o, --output=S : set logging file (default: stderr)
-c, --conf-file=S : set configuration file (default: conf/nutcracker.yml) #配置
-s, --stats-port=N : set stats monitoring port (default: 22222)
-a, --stats-addr=S : set stats monitoring ip (default: 0.0.0.0)
-i, --stats-interval=N : set stats aggregation interval in msec (default: 30000 msec)
-p, --pid-file=S : set pid file (default: off)
-m, --mbuf-size=N : set size of mbuf chunk in bytes (default: 16384 bytes)
[root@COS1 nutcracker-0.3.0]# nutcracker -d -c /etc/nutcracker.yml
[root@COS1 nutcracker-0.3.0]# ps -ef|grep nutcracker
root 15358 1 0 02:40 ? 00:00:00 nutcracker -d -c /etc/nutcracker.yml - 测试twemproxy:
[root@COS1 ~]# redis-cli -p 22121
127.0.0.1:22121> get kin
"kin"
127.0.0.1:22121> set kin king
OK
127.0.0.1:22121> get kin
"king"
性能测试
这里使用redis自带的redis-benchmark进行简单的性能测试,测试结果如下:
- Set测试:
- 通过twemproxy测试:
[root@COS1 src]# redis-benchmark -h 10.23.22.240 -p 22121 -c 100 -t set -d 100 -l –q
SET: 38167.94 requests per second
- 直接对后端redis测试:
[root@COS2 ~]# redis-benchmark -h 10.23.22.241 -p 6379 -c 100 -t set -d 100 -l –q
SET: 53191.49 requests per second
- 通过twemproxy测试:
- Get测试:
- 通过twemproxy测试:
[root@COS1 src]# redis-benchmark -h 10.23.22.240 -p 22121 -c 100 -t get -d 100 -l -q
GET: 37453.18 requests per second - 直接对后端redis测试:
[root@COS2 ~]# redis-benchmark -h 10.23.22.241 -p 6379 -c 100 -t get -d 100 -l -q
GET: 62111.80 requests per second
- 通过twemproxy测试:
- 查看键值分布:
[root@COS2 ~]# redis-cli info|grep db0
db0:keys=51483,expires=0,avg_ttl=0 [root@COS3 ~]# redis-cli info|grep db0
db0:keys=48525,expires=0,avg_ttl=0
测试结果:以基本的set get命令通过twemproxy性能有所下降;通过twemproxy分布基本平均。测试数据以业务测试为准。
基于Twemproxy的Redis集群方案的更多相关文章
- 基于Twemproxy的Redis集群方案(转载)
原文地址:基于Twemproxy的Redis集群方案 概述 由于单台redis服务器的内存管理能力有限,使用过大内存redis服务器的性能急剧下降,且服务器发生故障将直接影响大面积业务.为了获取更好的 ...
- 基于Twemproxy的Redis集群搭建以及想法
基于Twemproxy的Redis集群方案(转) redis3.0 已经发布了几个月了,但是我这等菜鸟到网上还是没有找到很好的关于搭建redis3.0集群的文章,而且好像很多公司的redis版本还保持 ...
- 基于 twemproxy 搭建 redis 集群
概述 由于单台redis服务器的内存管理能力有限,使用过大内存redis服务器的性能急剧下降,且服务器发生故障将直接影响大面积业务.为了获取更好的缓存性能及扩展型,我们将需要搭建redis集群来满足需 ...
- 基于twemproxy的redis集群部署
一.系统及软件版本 操作系统:CentOS Linux release 7.3.1611 (Core) 内核版本:3.10.0-514.el7.x86_64 redis版本:3.2.8 twempro ...
- Redis集群方案(来自网络)
参考: https://www.zhihu.com/question/21419897 http://www.cnblogs.com/haoxinyue/p/redis.html 为什么集群? 通常, ...
- Redis集群方案介绍
由于Redis出众的性能,其在众多的移动互联网企业中得到广泛的应用.Redis在3.0版本前只支持单实例模式,虽然现在的服务器内存可以到100GB.200GB的规模,但是单实例模式限制了Redis没法 ...
- 大厂们的 redis 集群方案
redis 集群方案主要有两类,一是使用类 codis 的架构,按组划分,实例之间互相独立: 另一套是基于官方的 redis cluster 的方案:下面分别聊聊这两种方案: 类 codis 架构 这 ...
- Redis 集群方案介绍
由于Redis出众的性能,其在众多的移动互联网企业中得到广泛的应用.Redis在3.0版本前只支持单实例模式,虽然现在的服务器内存可以到100GB.200GB的规模,但是单实例模式限制了Redis没法 ...
- Redis集群方案收集
说明: 如果不考虑客户端分片去实现集群,那么市面上基本可以说就三种方案最成熟,它们分别如下所示: 系统 贡献者 是否官方Redis实现 编程语言 Twemproxy Twitter 是 C Redis ...
随机推荐
- 分享一段Java搞笑的代码注释
今天在群里看到有人分享了一段搞笑的注释代码,觉得挺好玩的,在这里收藏一下 // _ooOoo_ // o8888888o // 88" . "88 // (| -_- |) // ...
- PHP高效率写法(详解原因)
1.尽量静态化: 如果一个方法能被静态,那就声明它为静态的,速度可提高1/4,甚至我测试的时候,这个提高了近三倍.当然了,这个测试方法需要在十万级以上次执行,效果才明显.其实静态方法和非静态方法的效率 ...
- 批处理:echo的用法
批处理:echo的用法 若要用 echo 命令显示一条命令,可用下述语法: echo [message] 参数 ON|OFF 指定是否允许命令的回显.若要显示当前的 ECHO 的设置,可使用不带 ...
- 使用存取方法来设置Property value
对比如下代码,第一种使用了存取方法来设置,第二种直接对实例变量操作.显然我们应该采用第一种, 使用第二种情况,简单的情况还好,如果情况一旦复杂,就非常容易出错.并且直接对实例变量操作,不会引发KVO通 ...
- php 单态设计模式
单态设计模式通常包含以下三点: · 一个私有的 构造方法:(确保用户无法通过创建对象对其进行实例化) · 一个公有的 静态的 方法:(负责对其本身进行实例化) · 一个私有的 静态的 属性:(用于保存 ...
- apache-ab并发负载压力测试(转)
ab命令原理 Apache的ab命令模拟多线程并发请求,测试服务器负载压力,也可以测试nginx.lighthttp.IIS等其它Web服务器的压力. ab命令对发出负载的计算机要求很低,既不会占用很 ...
- Log4j使用教程 log4:WARN No appenders could be found for logger (org.springframework.web.context.ContextLoader).
1.Logger类 通过Logger类的静态方法Logger.getRootLogger得到RootLogger.所有其他的loggers是通过静态方法Logger.getLogger来实例化并获取的 ...
- javaScript模块化规范ADM与CMD
模块化:模块化是指在解决某一个复杂问题时,依照一种分类的思维把问题进行系统性的分解处理,可以想象一个巨大的系统代码,被整合优化分割成逻辑性很强的模块时,对于软件是一种何等意义的存在. 模块化系统所必须 ...
- 马化腾:办公用QQ休闲用微信[Dream Catchers论坛]
近日,香港大学举办以创新创业为主题的Dream Catchers论坛.其中腾讯董事局主席马化腾在下午两点四十五分在李兆基会议中心做了专题演讲,分享了自己的创业经历并回答了媒体人张力奋有关产品.整整对手 ...
- 域名在微信朋友圈内分享需要ICP备案 杜绝不良信息传播
就在刚刚,腾讯微信团队发布公告表示域名在朋友圈内分享需要ICP备案,杜绝打击不良互联网信息的传播.公告称根据互联网管理相关规定,即日起在微信朋友圈内分享的域名,请在2014年12月31日前完成ICP备 ...