Redis集群

1.1 存在的问题

  • 容量不够Redis如何扩容

  • 并发写操作,Redis如何分摊

  • 当主机或者从机宕机,薪火相传、反客为主等主从模式都会导致ip发生变化,应用程序中的配置需要对应修改主机地址以及端口号等信息。

主机代理方式

主机代理方式指的是不需要客户端去寻找需要的服务,而是只暴露一个代理服务器,由代理服务器转发服务请求,并且代理服务器也可以向其他服务的主机一样,添加一个从机防止主机宕机。

类似nginx以及前端的跨域代理,这样做的缺点是总共需要八台服务器,后期维护也很不方便

无中心化集群方式

无中心化的集群方式,则是任意的服务都可以作为集群的入口,并且各个服务之间能够相互连通调用,同样的功能无中心化集群配置只需要六台服务器即可实现了。

1.2 简介

Redis集群实现了对Redis的水平扩容,即总共启动N个Redis节点,将整个数据库分布存储在这N个节点中,每个节点存储的数据占总的数据的1/N。

Redis集群通过分区(partition)来提供一定程度的可用性(aviability),即使集群中有一部分节点失效无法进行通讯,redis集群也能够继续处理请求命令。

1.3 Redis集群的搭建

删除原有的RDB文件以及其他的配置文件
[root@hadoop100 myredis]# rm -rf redis6381.conf redis6382.conf
配置集群节点
6380
include /myredis/redis.conf
pidfile "/var/run/redis_6380.pid"
port 6380
dbfilename "dump6380.rdb"
cluster-enabled yes
cluster-config-file nodes-6379.conf
cluster-node-timeout 15000
制作6个实例:6381 6382 6383 6384 6385

81为80的从机,83为82的,85为84的

[root@hadoop100 myredis]# cp redis6380.conf redis6381.conf
[root@hadoop100 myredis]# cp redis6380.conf redis6382.conf
[root@hadoop100 myredis]# cp redis6380.conf redis6383.conf
[root@hadoop100 myredis]# cp redis6380.conf redis6384.conf
[root@hadoop100 myredis]# cp redis6380.conf redis6385.conf
[root@hadoop100 myredis]# ls
redis6380.conf redis6381.conf redis6382.conf redis6383.conf redis6384.conf redis6385.conf redis.conf sentinel.conf

然后修改里面的端口号、RDB文件名称以及集群节点名,这里就不赘述了

启动redis
[root@hadoop100 myredis]# ls /var/lib/redis/
dump6380.rdb dump6381.rdb dump6382.rdb dump.rdb nodes-6379.conf nodes-6381.conf nodes-6382.conf nodes-6383.conf nodes-6384.conf nodes-6385.conf
[root@hadoop100 myredis]# ps -ef | grep redis
root 2476 1 0 11月08 ? 00:01:37 redis-server 127.0.0.1:6378
polkitd 16606 16545 0 13:04 ? 00:00:42 redis-server *:6379
root 121480 1 0 23:03 ? 00:00:00 redis-server 127.0.0.1:6380 [cluster]
root 121628 1 0 23:03 ? 00:00:00 redis-server 127.0.0.1:6381 [cluster]
root 121743 1 0 23:03 ? 00:00:00 redis-server 127.0.0.1:6382 [cluster]
root 121814 1 0 23:03 ? 00:00:00 redis-server 127.0.0.1:6383 [cluster]
root 121885 1 0 23:03 ? 00:00:00 redis-server 127.0:6384 [cluster]
root 121957 1 0 23:03 ? 00:00:00 redis-server 127.0.0.1:6385 [cluster]
root 126306 21149 0 23:06 pts/4 00:00:00 grep --color=auto redis

然后可以在生成rdb文件的目录下发现生成的集群节点配置文件

[root@hadoop100 myredis]# ls /var/lib/redis/
dump6380.rdb dump6381.rdb dump6382.rdb dump.rdb nodes-6379.conf nodes-6381.conf nodes-6382.conf nodes-6383.conf nodes-6384.conf nodes-6385.conf
将六个节点合成集群
切换到安装目录下的src
执行合成集群命令
redis-cli --cluster create --cluster-replacas 1 X X X X X X

这里不能使用127.0.0.1,需要使用真实的IP地址

主从的分配原则尽量保证两个服务器运行在不同的IP地址

--cluster-replacas 1表示使用一台主机一个从机的模式

使用集群方式连接 redis-cli -c -p

使用任何一个端口号都可以连接到集群

cluster nodes查看集群信息

1.4 Redis集群slots插槽

在上面合成集群的命令执行后,会有一行All 16384 slots covered,slots即是redis插槽,集群使用CRCkey(16)%16384来计算键key属于哪一个插槽,集群的每一个节点只负责一部分插槽,如上面的几个主机分别负责0-5460,5461-10922,10923-16383插槽

在集群中录入值

在redis每次录入、查询键值,redis都会计算出该key对应的插槽,如果不是当前客户端对应的插槽则会报错并告知应前往对应的插槽的redis实例地址和端口。

redis-cli客户端提供了 -c参数 实现了自动重定向

redis-cli -c -p 6379

不在同一个插槽的键值,不能够使用mget、mset等操作

在集群中以组的形式录入多个值 mset k1{g1} v1 k2{g2} v2

如上面所说,插入多个值的时候由于多个值对应的插槽不同,因此不能进行同时插入,redis提供了一种分组的形式来录入多个值,即将多个值声明为一个组,在计算插槽的时候按照组的名称计算,这样就实现了插入多个值

mset name{user} lucy age{user} 20
cluster keyslot 查询值对应的插槽
cluster countkeysinslot 查询key值对应插槽中的值的个数

注意只能查看当前客户端的插槽

cluster getkeysinslot 4847 10 返回10个指定key插槽中的值

1.5 集群的故障修复

和哨兵模式相同,主机宕机后,经过设置的延时时间15000,从机就变为了主机,这时候主机再连接会变为原来从机的从机。

主从服务器全部宕机的情况

如果某一段插槽的主从全部挂掉了,而cluster-require-full-coverage为yes,那么整个集群都会挂掉。如果cluster-require-full-coverage为no,则仅仅是该主机对应的插槽不能使用。

1.6 集群的Jedis开发

即使连接的不是主机,redis也会自动进行主从切换,实现读写分离

无中心化,能够实现无论是哪个主机上写的数据,其他从机上都能读到

集群类也可以通过一个HostAndPort的集合创建,这样做也可以防止连接的ip宕机导致无法连接集群。

1.7 Redis集合的不足

多键操作不支持,多键的Redis事务是不被支持的,lua脚本(主要用于redis的悲观锁效果)也不支持。

Redis(六)集群的更多相关文章

  1. Redis Cluster集群搭建与配置

    Redis Cluster是一种服务器sharding分片技术,关于Redis的集群方案应该怎么做,请参考我的另一篇博客http://www.cnblogs.com/xckk/p/6134655.ht ...

  2. Redis Cluster集群搭建与应用

    1.redis-cluster设计 Redis集群搭建的方式有多种,例如使用zookeeper,但从redis 3.0之后版本支持redis-cluster集群,redis-cluster采用无中心结 ...

  3. Redis Cluster集群主从方案

    本文介绍一种通过Jedis和Cluster实现Redis集群(主从)的高可用方案,该方案需要使用Jedis2.8.0(推荐),Redis3.0及以上版本(强制). 附:Redis Cluster集群主 ...

  4. Redis Cluster集群架构实现(四)--技术流ken

    Redis集群简介 通过前面三篇博客的介绍<Redis基础认识及常用命令使用(一)--技术流ken>,<Redis基础知识补充及持久化.备份介绍(二)--技术流ken>,< ...

  5. 【精】搭建redis cluster集群,JedisCluster带密码访问【解决当中各种坑】!

    转: [精]搭建redis cluster集群,JedisCluster带密码访问[解决当中各种坑]! 2017年05月09日 00:13:18 冉椿林博客 阅读数:18208  版权声明:本文为博主 ...

  6. Redis之集群环境搭建

    前面文章介绍了Redis的主从复制,虽然该模式能够在一定程度上提高系统的稳定性,但是在数据访问量比较大的情况下,单个master应付起来还是比较吃力的,这时我们可以考虑将redis集群部署,本文就来重 ...

  7. redis介绍 (8) window 下redis的集群(cluster命令)

    前言: 前段时间我在centos上搭建过一次redis集群,那是借助ruby搭建,这次我介绍一种纯redis集群命令的方式去搭建[最后我会简单介绍ruby搭建]. redis集群搭建(三主三备): 准 ...

  8. Redis cluster集群:原理及搭建

    Redis cluster集群:原理及搭建 2018年03月19日 16:00:55 阅读数:6120 1.为什么使用redis? redis是一种典型的no-sql 即非关系数据库 像python的 ...

  9. Redis Cluster集群搭建<原>

    一.环境配置 一台window 7上安装虚拟机,虚拟机中安装的是centos系统. 二.目标     Redis集群搭建的方式有多种,根据集群逻辑的位置,大致可以分为三大类:基于客户端分片的Redis ...

  10. redis集群与分片(2)-Redis Cluster集群的搭建与实践

    Redis Cluster集群 一.redis-cluster设计 Redis集群搭建的方式有多种,例如使用zookeeper等,但从redis 3.0之后版本支持redis-cluster集群,Re ...

随机推荐

  1. Python笔记(5)——if 语句一:条件测试(Python编程:从入门到实践)

    每条if语句的核心都是一个值为True或False的表达式.Python根据条件测试的值为True还是False来决定是否执行if语句中的代码.如果条件测试的值为True,Python就执行紧跟在if ...

  2. Windows server 防火墙开放oracle监听端口

    Windows server 防火墙开放oracle监听端口 Windows server 2008 开放1521端口 Windows server 2003 开放监听程序例外先开防火墙,再开监听例外 ...

  3. RKO队——冲刺随笔(4)

    这个作业属于哪个课程 至诚软工实践F班 这个作业要求在哪里 第五次团队作业:项目冲刺 这个作业的目标 记录冲刺计划.要求包括当天会议照片.会议内容以及项目燃尽图(项目进度) 1.昨日进展 对小程序的的 ...

  4. LNMP架构的演变

    LNMP 演变 工作原理 linux + nginx + mariadb + php 工作原理: 首先,浏览器发送http request请求到服务器(Nginx),服务器响应并处理web请求, 将一 ...

  5. 加热算法,加热温度控制加热功率,加热功率控制加热速度(PWM)

    uint8_t user_heating_algorithmPID(void) { uint32_t temp_1; uint16_t Adcn; nrfx_err_t err_code; HEATI ...

  6. 手把手带你玩转Linux

    今天这篇文章带你走进Linux世界的同时,带你手把手玩转Linux,加深对Linux系统的认识. 一.搞好Linux工作必须得不断折腾,说白了,只是动手力量必须强.我在初学Linux的那片,家中三台计 ...

  7. MySQL学习(十一)为什么不推荐使用uuid和雪花id

    参考博客:https://www.cnblogs.com/wyq178/p/12548864.html 自增的主键的值是顺序的,所以Innodb把每一条记录都存储在一条记录的后面.当达到页面的最大填充 ...

  8. sdut——4541:小志志和小峰峰的日常(取石子博弈模板题 4合1)

    小志志和小峰峰的日常 Time Limit: 1000 ms Memory Limit: 65536 KiB Problem Description 小志志和小峰峰特别喜欢一起讨论一些很好玩的问题.  ...

  9. git 从本地仓库提交至远程仓库 报错:error: failed to push some refs to "xxx"

    **原因**:远程库里面有个文件,但是本地没有这个文件,比如: README.md,完全提交上去会覆盖之前的文件,所以git会提示报错警告! **解决方案**:如果只有 README.md文件,可以使 ...

  10. XAML 设计器已意外退出。(退出代码: e0434352)

    一.前言 开门见山,这个问题我遇到过两次,第一次因为项目刚开始不长时间,我查了很长时间都没解决,然后就直接重写了,几乎一样的写法,但问题没复现了,但程序员思维告诉我,一定还是有比较关键的地方出现了问题 ...