Redis+Keepalived高可用方案详细分析
背景
目前，Redis集群的官方方案还处在开发测试中，未集成到稳定版中。且目前官方开发中的Redis Cluster提供的功能尚不完善（可参考官方网站或http://www.redisdoc.com/en/latest/topic/cluster-spec.html），在生产环境中不推荐使用。通过调研发现市面上要实现采用单一的IP来访问，大多采用keepalived实现redis的双机热备作为过渡方案。
环境部署
环境介绍：
Master: 192.168.1.218 redis，keepalived
Slave: 192.168.1.219 redis，keepalived
Virtural IP Address (VIP): 192.168.1.220
设计思路：
两个redis server主从备份。提供redis 服务高可用；两个keepalived 服务主从备份，提供VIP 服务的高可用。
1)每台redis server分别有主，从两个配置文件(redis_master.conf, redis_slave.conf)，通过启动脚本启动服务，启动脚本会检测这个redis集群中的其他服务器的角色，如果有master 服务存在，则以slave角色启动，否则将自己以master服务器启动；
2) keepalived 监控脚本，定时（频率：每秒一次）检测当前服务器是否获取集群VIP，如果获取集群VIP，则将本服务器上的redis服务器设置为master。同时将远端的其他redis服务器设置为slave；保证获取集群VIP的redis 服务器角色为master，其他的设置为slave。
3) keepalived 监控脚本，还会自动检测当前redis服务器是否正常，如果连续两次检测异常，则停掉本本机的keepalived服务，释放集群VIP，让去漂移到其他可以提供redis 服务的服务器上；
4)当 Master 与 Slave 均运作正常时, Master负责服务，Slave负责同步数据；当 Master 挂掉，Slave 正常时, Slave接管服务，同时关闭主从复制功能；当 Master 恢复正常，则从Slave同步数据，同步数据之后关闭主从复制功能，恢复Master身份，于此同时Slave等待Master同步数据完成之后，恢复Slave身份。然后依次循环。
实施步骤：
----创建专用用户
useradd -g develop redisadmin
echo Hisun@1125|passwd --stdin redisadmin
说明：以下部署过程都是在root(或具备sudo权限的账号)账户下进行。
----安装配置redis
1.下载redis源码
cd
wget http://download.redis.io/releases/redis-2.8.3.tar.gz
2.安装redis
tar -zxvf redis-2.8.3.tar.gz
cd redis-2.8.3
#reds的安装可以不用执行configure
make
#测试
make test
####在速度较慢的机器上执行make test可能出现下列错误，无影响
#*** [err]: Test replication partial resync: no backlog in tests/integration/replication-psync.tcl
3.配置redis
#创建redis主目录
mkdir -p /usr/local/redis-2.8.3/{bin,conf,logs}
cp -a -R -p src/redis-server /usr/local/redis-2.8.3/bin/
cp -a -R -p src/redis-cli /usr/local/redis-2.8.3/bin/
cp -a -R -p src/redis-benchmark /usr/local/redis-2.8.3/bin/
cp -a -R -p src/redis-sentinel /usr/local/redis-2.8.3/bin/
cp -a -R -p src/redis-check-dump /usr/local/redis-2.8.3/bin/
cp -a -R -p src/redis-check-aof /usr/local/redis-2.8.3/bin/
#创建redis启动脚本
vi /usr/local/redis-2.8.3/redis-start.sh
####以下为master上的配置，slave上的配置只需要修改对应的LOCALIP和REMOTEIP即可。
#!/bin/bash
REDISPATH=/usr/local/redis-2.8.3
REDISCLI=$REDISPATH/bin/redis-cli
LOGFILE=$REDISPATH/logs/redis-state.log
LOCALIP=192.168.1.218
REMOTEIP=192.168.1.219 REMOTEREDISROLE=`$REDISCLI -h $REMOTEIP info | grep "role"`
if grep "role:master" <<< $REMOTEREDISROLE ; then
#start as slave
$REDISPATH/bin/redis-server $REDISPATH/conf/redis_slave.confif [ "$?" == "0" ];then
echo "[INFO]`date +%F/%H:%M:%S` :$LOCALIP start as slave successful." >> $LOGFILEelseecho "[ERROR]`date +%F/%H:%M:%S` :$LOCALIP start as slave error." >> $LOGFILE
fi
else#start as master
$REDISPATH/bin/redis-server $REDISPATH/conf/redis_master.confif [ "$?" == "0" ];then
echo "[INFO]`date +%F/%H:%M:%S` :$LOCALIP start as master successful." >> $LOGFILEelseecho "[ERROR]`date +%F/%H:%M:%S` :$LOCALIP start as master error." >> $LOGFILE
fi
fi
#!/bin/bash
REDISPATH=/usr/local/redis-2.8.3
LOGFILE=$REDISPATH/logs/redis-state.log
kill -9 `ps -ef|grep '/bin/redis-server'|grep -v grep|awk '{print $2}'`
if [ "$?" == "0" ];then
echo "[INFO]`date +%F/%H:%M:%S` :redis shutdown completed!" >> $LOGFILE
elseecho "[ERROR]`date +%F/%H:%M:%S` :redis is not started." >> $LOGFILE
fi
#创建redis配置文件
####192.168.1.218主服务器redis_master.conf对应配置项######
#daemonize no
daemonize yes
#bind 127.0.0.1
bind 192.168.1.218
logfile "/usr/local/redis-2.8.3/logs/redis.log"
#其他配置依据实际生产环境修改
########################################################
####192.168.1.219从服务器redis_master.conf对应配置项######
#daemonize no
daemonize yes
#bind 127.0.0.1
bind 192.168.1.219
logfile "/usr/local/redis-2.8.3/logs/redis.log"
#其他配置依据实际生产环境修改
########################################################
#修改redis_slave.conf对应配置项：
####192.168.1.218主服务器redis_slave.conf对应配置项#######
#daemonize no
daemonize yes
#bind 127.0.0.1
bind 192.168.1.218
logfile "/usr/local/redis-2.8.3/logs/redis.log"
# slaveof <masterip> <masterport>
slaveof 192.168.1.219 6379
#其他配置依据实际生产环境修改
########################################################
####192.168.1.219从服务器redis_slave.conf对应配置项#######
#daemonize no
daemonize yes
#bind 127.0.0.1
bind 192.168.1.219
logfile "/usr/local/redis-2.8.3/logs/redis.log"
# slaveof <masterip> <masterport>
slaveof 192.168.1.218 6379
#其他配置依据实际生产环境修改
########################################################
#修改redis的属主和权限
chown –R redisadmin:develop /usr/local/redis-2.8.3/
----安装配置keepalived
1.下载keepalived源码Release 1.2.9
注意：最新版为1.2.10测试过程中出错.
wget http://www.keepalived.org/software/keepalived-1.2.9.tar.gz
2.安装keepalived
需要安装以下依赖包： make gcc libpopt-dev libnl-dev libcurl4-openssl-dev popt openssl
cd
tar –zxvf keepalived-1.2.9.tar.gz
cd keepalived-1.2.9
./configure --prefix=/usr/local/keepalived
make && make install
3.配置keepalived
#在Master和Slave上创建如下配置文件（可根据实际情况调整）：
mv /usr/local/keepalived/etc/keepalived/keepalived.conf /usr/local/keepalived/etc/keepalived/keepalived.conf-bak
vim /usr/local/keepalived/etc/keepalived/keepalived.conf
vrrp_script chk_redis {
script "/usr/local/keepalived/etc/keepalived/scripts/chk_redis.sh" ###监控脚本
interval 2 ###监控时间
}
vrrp_instance VI_1 {
state MASTER ###设置为MASTER
interface eth3 ###监控网卡,依据实际情况来定
virtual_router_id 51
priority 101 ###权重值
advert_int 1
authentication {
auth_type PASS ###加密
auth_pass redis ###密码
}
track_script {
chk_redis ###执行上面定义的chk_redis
}
virtual_ipaddress {
192.168.1.220 ###VIP
}
}
在Master和Slave上创建监控Redis的脚本
mkdir /usr/local/keepalived/etc/keepalived/scripts
vi /usr/local/keepalived/etc/keepalived/scripts/chk_redis.sh
####以下为master上的配置，slave上的配置只需要修改对应的LOCALIP和REMOTEIP即可。
#!/bin/bash
REDISPATH=/usr/local/redis-2.8.3
REDISCLI=$REDISPATH/bin/redis-cli
LOGFILE=$REDISPATH/logs/redis-state.log
LOCALIP=192.168.1.218
REMOTEIP=192.168.1.219
VIP=192.168.1.220 VIPALIVE=`ip a | grep "$VIP"`
if [ "$VIPALIVE" == "" ]; then
echo "[info]:"`date`" keepalived server is pengding or stop" >> $LOGFILE
else
echo "bbb" >> $LOGFILE
#check local service is running
if [ "`$REDISCLI –h $LOCALIP –p 6379 PING`" == "PONG" ]; then
# check local redis server role.
REDISROLE=`$REDISCLI info | grep "role"`
if grep "role:slave" <<< $REDISROLE ; then
#change local redis server as master
echo "[info1]:"`date`" Run SLAVEOF NO ONE cmd ..." >> $LOGFILE
$REDISCLI SLAVEOF NO ONE >> $LOGFILE 2>&1 #change remoting redis server as slave
REMOTEREDISROLE=`$REDISCLI -h $REMOTEIP info | grep "role"`
if grep "role:master" <<< $REMOTEREDISROLE ; then
echo "[info2]:"`date`" Run remote server SLAVEOF cmd ..." >> $LOGFILE
$REDISCLI -h $REMOTEIP SLAVEOF $LOCALIP 6379 >> $LOGFILE 2>&1
fi
else
REMOTEREDISROLE=`$REDISCLI -h $REMOTEIP info | grep "role"`
if grep "role:master" <<< $REMOTEREDISROLE ; then
echo "[info3]:"`date`" Run remote server SLAVEOF cmd ..." >> $LOGFILE
$REDISCLI -h $REMOTEIP SLAVEOF $LOCALIP 6379 >> $LOGFILE 2>&1
fi
fi
else
echo "[warn]:"`date`" redis server($LOCALIP) is not health..." >> $LOGFILE
sleep 1
if [ "`$REDISCLI –h $LOCALIP –p 6379 PING`" != "PONG" ]; then
echo "[error]:"`date`" redis server($LOCALIP) will be stop..." >> $LOGFILE
service keepalived stop
fi
fi
fi
#首先在2台服务器上设置keepalived的启动文件：
cp -a -R -p /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/keepalived
chmod 750 /etc/rc.d/init.d/keepalived
chown root /etc/rc.d/init.d/keepalived
#然后在2台服务器上创建配置文件的链接：
mkdir /etc/keepalived/
ln -s /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf
ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/keepalived
系统测试
注意:一定要先启动redis，再启动keealived，否则redis_check.sh会将keepalived自动关闭。
脚本创建完成以后，我们开始按照如下流程进行测试：
1.启动Master上的Redis
/usr/local/redis-2.8.3/redis-start.sh
#关闭时，直接杀死进程或执行以下脚本
/usr/local/redis-2.8.3/redis-stop.sh
2.启动Slave上的Redis
/usr/local/redis-2.8.3/redis-start.sh
#关闭时，直接杀死进程或执行以下脚本
#/usr/local/redis-2.8.3/redis-stop.sh
3.启动Master上的Keepalived
/etc/rc.d/init.d/keepalived start
#关闭方法
#/etc/rc.d/init.d/keepalived stop
4.启动Slave上的Keepalived
/etc/rc.d/init.d/keepalived start
#关闭方法
#/etc/rc.d/init.d/keepalived stop
-----------------------------------------------------------------------------
Centos开机自启动redis
- 修改redis.conf，打开后台运行选项：
# By default Redis does not run as a daemon. Use 'yes' if you need it.
# Note that Redis will write a pid file in /var/run/redis.pid when daemonized.
daemonize yes- 编写脚本，vim /etc/init.d/redis:
# chkconfig: 2345 10 90
# description: Start and Stop redis
PATH=/usr/local/bin:/sbin:/usr/bin:/bin
REDISPORT=6379 #实际环境而定
EXEC=/usr/local/redis/src/redis-server #实际环境而定
REDIS_CLI=/usr/local/redis/src/redis-cli #实际环境而定
PIDFILE=/var/run/redis.pid
CONF="/usr/local/redis/redis.conf" #实际环境而定
case "$1" in
start)
if [ -f $PIDFILE ]
then
echo "$PIDFILE exists, process is already running or crashed."
else
echo "Starting Redis server..."
$EXEC $CONF
fi
if [ "$?"="0" ]
then
echo "Redis is running..."
fi
;;
stop)
if [ ! -f $PIDFILE ]
then
echo "$PIDFILE exists, process is not running."
else
PID=$(cat $PIDFILE)
echo "Stopping..."
$REDIS_CLI -p $REDISPORT SHUTDOWN
while [ -x $PIDFILE ]
do
echo "Waiting for Redis to shutdown..."
sleep 1
done
echo "Redis stopped"
fi
;;
restart|force-reload)
${0} stop
${0} start
;;
*)
echo "Usage: /etc/init.d/redis {start|stop|restart|force-reload}" >&2
exit 1
esac- 执行权限：
chmod +x /etc/init.d/redis- 开机自启动：
# 尝试启动或停止redis
service redis start
service redis stop
# 开启服务自启动
chkconfig redis on
参考资料：
http://luyx30.blog.51cto.com/1029851/1350832
http://www.cnblogs.com/davidwang456/p/3525090.html
http://patrick-tang.blogspot.com/2012/06/redis-keepalived-failover-system.html
http://deidara.blog.51cto.com/400447/302402
http://my.oschina.net/guol/blog/182491
http://shiguanghui.iteye.com/blog/2001499
http://my.oschina.net/indestiny/blog/197272
Redis+Keepalived高可用方案详细分析的更多相关文章
- Redis之高可用方案
Redis之高可用方案 Redis以其高效的访问速度著称.但由于官方还未发布redis-cluster,而redis的replica又有诸多不便:比如一组master-slave的机器,如果之间有 ...
- Redis Sentinel 高可用方案
redis 主从复制的问题 Redis主从复制可将主节点数据同步给从节点,从节点此时有两个作用: 1,一旦主节点宕机,从节点作为主节点的备份可以随时顶上来. 2,扩展主节点的读能力,分担主节点读压 ...
- nginx+keepalived 高可用方案
nginx+keepalived 高可用方案 准备工作 192.168.157.11 192.168.157.12 安装nginx 跟新yum源文件 rpm -ivh http://nginx.org ...
- Redis + keepalived 高可用群集搭建
本次实验环境介绍: 操作系统: Centos 7.3 IP : 192.168.10.10 Centos 7.3 IP : 192.168.10.20 VIP 地址 : 192.168.1 ...
- nginx keepalived 高可用方案（转）
转自: https://www.cnblogs.com/leeSmall/p/9356535.html 一.Nginx Rewrite 规则 1. Nginx rewrite规则 Rewrite规则含 ...
- Redis+Keepalived高可用环境部署记录
Keepalived 实现VRRP(虚拟路由冗余)协议,从路由级别实现VIP切换,可以完全避免类似heartbeat脑裂问题,可以很好的实现主从.主备.互备方案,尤其是无状态业务,有状态业务就需要额外 ...
- redis HA高可用方案Sentinel和shard
1.搭建redis-master.redis-slave以及seninel哨兵监控 在最小配置:master.slave各一个节点的情况下,不管是master还是slave down掉一个,“完整的” ...
- 深入了解Redis(8)-高可用方案
生产环境中的redis基本都是多节点部署,本文只讨论redis高可用的三种方案,不涉及实际操作. 一.主从复制(一主一从,一主多从,级联结构) (图来源于网络) 一个Master,两个Slave,Sl ...
- Redis + keepalived 高可用行配置检测脚本
Redis 在生产配置中:除redis集群.哨兵模式之外:主从模式还是比较普遍的. 配置 redis 多主从:由 keepalived 做 VIP 地址漂移.可以实现redis的高可用性. keepa ...
随机推荐
- L2-001 紧急救援（dijkstra算法)
题目: 作为一个城市的应急救援队伍的负责人,你有一张特殊的全国地图.在地图上显示有多个分散的城市和一些连接城市的快速道路.每个城市的救援队数量和每一条连接两个城市的快速道路长度都标在地图上.当其他城市 ...
- Django在windows系统下安装详情
1. Django 下载地址:https://www.djangoproject.com/download/ 2. 解压到跟python安装目录平级目录: 如下图: 3.通过cmd控制台安装djang ...
- centos7中nginx的搭建
./nginx 启动服务./nginx -s stop 关闭服务./nginx -s reload 重新加载配置文件 首先我们应当安装一个依赖的软件包: yum install gcc-c++yum ...
- 原生JS实现移动端的轮播效果
首先 我们想实现的效果是在手指按下拖动的时候图片能够跟随移动(无动画效果)然后松开手指后判断图片移动的位置 和某一个值进行比较 在这里我们默认定为盒子的1/3宽度 当x轴的移动位置大于1/3的时候图片 ...
- Flask之Flask实例有哪些参数
常用的参数应用实例 from flask import Flask, render_template, url_for, session, request, redirect app = Flask( ...
- hive 学习系列六 hive 去重办法的思考
方法1,建立临时表,利用hive的collect_set 进行去重. create table if not exists tubutest ( name1 string, name2 string ...
- 20190118-利用Python实现Pig Latin游戏
1.利用Python实现Pig Latin字母游戏 “Pig Latin”是一个英语儿童文字改写游戏,整个游戏遵从下述规则:a. 元音字母是‘a’.‘e’.‘i’.‘o’.‘u’.字母‘y’在不是第一 ...
- Python学习 ：装饰器
装饰器(函数) 装饰器作为一个函数,可以为其他函数在不修改原函数代码的前提下添加新的功能 装饰器的返回值是一个函数对象.它经常用于有切面需求的场景,比如:插入日志.性能测试.事务处理.缓存.权限校验等 ...
- Python学习笔记八：文件操作（续），文件编码与解码，函数，递归，函数式编程介绍，高阶函数
文件操作(续) 获得文件句柄位置,f.tell(),从0开始,按字符数计数 f.read(5),读取5个字符 返回文件句柄到某位置,f.seek(0) 文件在编辑过程中改变编码,f.detech() ...
- Qt——事件
1.常见事件 [1]鼠标事件 (1)坐标 x(),y(), 相对windows globalX() globalY() (2)获得点击 button() [2]键盘事件 [3]定时器事件 timerI ...