Redis集群架构
Redis集群概述
集群的核心意义只有一个:保证一个节点出现了问题之后,其他的节点可以继续提供服务使用。
Redis基础部分讲解过主从配置:对于主从配置可以有两类:一主二从,层级关系。开发者一主二从是常用的手段。
Redis的主从配置是所有Redis集群的一个基础。但是只是依靠主从依然无法实现高可用的配置。
Redis集群有以下两种方案
1)keepalived+twemproxy+HAProxy+sentinel
对redis集群而言,首先在主从的基础上发展出了一个叫哨兵的处理机制,所谓的哨兵的处理机制指的是,当我三台主机的master节点出现了问题之后,会自动的在两个slave节点下重新退选举出一个新的master节点,这样就可以保证原master出现问题之后,redis数据依然存在有主从的配置。
但是哨兵机制也只是针对于一种单主机的配置形式。因为不可能只使用一台主机来实现我们redis的配置。而推特网站发布了一个代理机制。可以有效的实现数据的分片存储。即:根据不同算法 实现不同主机的分片存储。
以保证负载均衡,同时可以结合keepalivedh和HAProxy组件实现twemproxy的高可用。
2)Redis Cluster
Redis在后来的版本发展之中也退出了一个自己的redis Cluster集群配置,利用这样的配置可以不用自己来通过配置文件实现主从关系的实现,而直接通过命令完成。
keepalived+twemproxy+HAProxy+sentinel
哨兵机制简介
只要是进行高可用的架构部署,那么就必须保证多节点,在Redis里面使用了主从模式可以多节点配置,但是传统的主从模式设计 一旦master主机出现问题之后,两台Slave主机无法提供正常的工作支持,列如:Slave主机为只读主机,而且如果要想继续提供支持,那么至少应该通过剩余的几台Slave里面去推选出一个新的Master,并且最为重要的是:这个新的Master能够被用户的程序找到。
如果要想进行哨兵机制的实现,一定需要具备有如下的几个特点:
sentinel的功能
1)监控Monitoring
sentinel时刻监控着redis master-slave是否正常运行;
2)通知Notification
sentinel可以通过api来通知管理员,被监控的redis master-slave出现了问题。
3)自动故障转移Automatic failover
当redis master出现故障不可用状态,sentinel会开始一次故障转移,将其中一个salve提升为一个新的master,将其他salve重新配置使用新的master同步,并使用Redis的服务器应用程序连接时收到使用新的地址连接。
4)配置提供者Configuration provider
sentinel作为在集群中的权威来源,客户端连接到sentinel来获取某个服务的当前Redis主服务器的地址和其他信息。当故障发生转移时,Sentinel会报告新地址(更改哨兵文件对应的配置内容)。
通常一台主机运行三个哨兵,并且该哨兵运行的端口不同,但是这三个哨兵都要去监控同一个master的地址。(找到了master就等于找到了所有的slave)
twemproxy分片处理
不管你电脑性能多好,只要你运行了Redis,那么就有可能造成一种非常可怕的局面:你电脑的内存将立刻被占满,而且一台Redis数据库的性能终归是有限制的。
TwemProxy是一个专门为了这种nosql数据库设计的一款代理工具软件,这个工具软件最大的特征是可以实现数据的分片处理。所为的分片指的是根据一定的算法将要保存的数据保存到不同的节点之中。
twemProxy整合sentinel
Twemproxy如果要与Redis集成使用的是Redis的Master节点,因为只有Master节点才具有写功能。
一旦某一个Master被干掉了,则一定要重新选举出一个新的Master节点,但是这个时候会出现有一个问题:twemproxy所使用的配置文件时单独存在的。哨兵选举完成后,需要更新配置文件
如果要想保证所有的Redis集群高可用设计,需要单独准备一个shell脚本与所有的哨兵机制一起使用。 两步操作:1.、更改redis_master.conf文件(twemproxy的配置文件) 2、重新启动twemproxy进程
HAProxy与twemproxy集成
Twemproxy主要功能在于数据的分片处理,而且会发现在整个Redis集群里面必须通过twemProxy,于是这个时候就有可能造成一种问题你后面Redis集群一定会速度爆快,因为一堆的redis数据库。但是所有的性能都卡在了代理上
解决办法:用HAProxy做twemproxy的代理。
HAProxy是一个开源的,高性能的,基于TCP第四层和http第七应用层的千万级高并发负载均衡软件;
为了保证HAProxy的高可用设计,所以应该设计有两套的HAProxy的代理主机,但是现在就出现了一个问题,如果现在提供了两套的HAProxy主机,用户应该怎么访问?需要记住两个地址吗。
用户访问Keepalived虚拟IP,Keepalived访问主(备)HAProxy
Keepalived是一个基于VRRP协议来实现的服务高可用方案,可用利用其来避免IP单点故障,类似的工具还有heartbeat,pacemaker。但是它一般不会单独出现,而是与其他负载均衡技术(如lvs,nginx,haproxy)一起工作来达到集群高可用。
VRRP协议全称Virtual Router Redundancy Protocol,即虚拟路由冗余协议。
以下是keepalived+twemproxy+HAProxy+sentinel的整个架构图(小人是指哨兵)
Redis Cluster
以上Redis集群作为项目的部署环境,需要追加twemproxy代理做分片,而后使用HAProxy做twemproxy的负载均衡,而后使用Keepalived作为HAProxy的vip技术,但是这样的设计成本太高。
redis-cluster,直接使用redis就可以实现所谓的分片,高可用。
redis-cluster设计的时候考虑到了去中心化,中间件,因为中心点的存在导致了性能的瓶颈,解决一个问题 会解决第二个 第三个问题。。。
redis-cluster中每一个redis的服务它都可以具备分片,都可以具备集群的功能。
也就是说集群中的每个节点都是平等的关系,每个节点都保存各自的数据和整个集群的状态。每个节点都和其它所有节点连接,而且这些连接保持活跃。
这样就保证了我们只需要连接集群中的任意一个节点,就可以获取到其他节点的数据。
redis-cluster选举(容错)
选举过程是集群中所有master参与,如果半数以上master节点与master节点通信超过设置时间(cluster-node-timeout),认为当前master节点挂掉。
当我发现某一台主机的master挂掉了,我们从新选举一个salve当做master(整个过程中把哨兵避免了,不需要修改哨兵的配置文件了)
这样可以去掉所有的代理层组件,由Redis自己来完成,这就是redis-cluster的设计方案。
Redis集群架构的更多相关文章
- 【原创】那些年用过的Redis集群架构(含面试解析)
引言 今天是2019年2月12号,也就是大年初八,我接到了高中同学刘有码面试失利的消息. 他面试的时候,身份是某知名公司的小码农一枚,却因为不懂自己生产上Redis是如何部署的,导致面试失败! 人间惨 ...
- 那些年用过的Redis集群架构
今天我们来谈谈Redis集群这个话题,需要说明的是本文 适合人群:不知道自己生产redis集群架构,以及对Redis集群不了解的人 不适合群: 对自己生产Redis集群架构非常了解的人 本文预计分两个 ...
- redis集群架构(含面试题解析)
老规矩,我还是以循序渐进的方式来讲,我一共经历过三套集群架构的演进! Replication+Sentinel 这套架构使用的是社区版本推出的原生高可用解决方案,其架构图如下! 这里Sentinel的 ...
- 【转】那些年用过的Redis集群架构(含面试解析)
引言 今天是2019年2月12号,也就是大年初八,我接到了高中同学刘有码面试失利的消息. 他面试的时候,身份是某知名公司的小码农一枚,却因为不懂自己生产上Redis是如何部署的,导致面试失败! 人间惨 ...
- Redis集群架构【转载】
Redis 集群的 TCP 端口(Redis Cluster TCP ports) 每个 Redis 集群节点需要两个 TCP 连接打开.正常的 TCP 端口用来服务客户端,例如 6379,加 100 ...
- 161230、利用代理中间件实现大规模Redis集群
前面在<大规模互联网应用Redis架构要点>和<Redis官方集群方案 Redis Cluster>两篇文章中分别介绍了多Redis服务器集群的两种方式,它们是基于客户端sha ...
- 基于vip和twemproxy代理实现redis集群的无感知弹性扩容
目标是实现redis集群的无感知弹性扩容 关键点 1是无感知,即对redis集群的用户来说服务ip和port保持不变 2.弹性扩容,指的是在需要时刻可以按照业务扩大redis存储容量. 最原始的twe ...
- redis 集群搭建: redis-cluster
前言 redis数据存储在内存中, 就会受到内存的限制, 大家都知道, 一台电脑, 硬盘可以有1T, 但是内存, 没有听说有1T的内存吧. 那如果数据非常多, 超过一台电脑的内存空间, 怎么办呢? 正 ...
- Redis集群方案<转>
为什么集群? 通常,为了提高网站响应速度,总是把热点数据保存在内存中而不是直接从后端数据库中读取.Redis是一个很好的Cache工具.大型网站应用,热点数据量往往巨大,几十G上百G是很正常的事儿,在 ...
随机推荐
- CentOS 安装Python3.x常见问题
CentOS 6.x自带的Python版本是2.6,CentOS 7.x上自带的是2.7,我们要自己安装Python3.X,配置环境,不过一般安装过程不会一帆风顺,往往有些报错,在CentOS以及其他 ...
- Ribbon负载均衡策略配置
在这里吐槽一句:网上很多文章真是神坑,你不看还好,看了只会问题越来越多,就连之前的问题都没有解决!!! 不多说了,Ribbon作为后端负载均衡器,比Nginx更注重的是请求分发而不是承担并发,可以直接 ...
- Spring support optimize
https://github.com/alibaba/fastjson/pull/1337
- elementui+vuejs如何添加表格操作按钮
<el-table :data="tableData" stripe border style="width:100%" highlight-curren ...
- LeetCode Javascript实现 283. Move Zeroes 349. Intersection of Two Arrays 237. Delete Node in a Linked List
283. Move Zeroes var moveZeroes = function(nums) { var num1=0,num2=1; while(num1!=num2){ nums.forEac ...
- jdbc 链接数据库步骤 7步
JDBC连接数据库 •创建一个以JDBC连接数据库的程序,包含7个步骤: 1.加载JDBC驱动程序: 在连接数据库之前,首先要加载想要连接的数据库的驱动到JVM(Java虚拟机), ...
- Java Servlet 2.5 设置 cookie httponly
Servlet 3.0 有 cookie.setHttpOnly(true); 多么人性化, Servlet 2.5 是没有这个方法的要这个曲线救国:cookie.setPath("; Ht ...
- Windbg分析高内存占用问题
1. 问题简介 最近产品发布大版本补丁更新,一商超客户升级后,反馈系统经常奔溃,导致超市的收银系统无法正常收银,现场排队付款的顾客更是抱怨声声.为了缓解现场的情况, 客户都是手动回收IIS应用程序池才 ...
- 再谈腾讯云centos服务器不能登录的解决过程
上篇文章谈到腾讯云centos服务器不能登录,通过查看监控信息,cpu使用过高,再腾讯云页面使用VNC方式直接登录,然后根据提示信息,关闭导致内存溢出的进程,从而解决问题. 1 问题再现 昨天刚解决了 ...
- 我不是bug神(JVM问题排查)
Story background 回望2018年12月,这也许是程序员们日夜不得安宁的日子,皆因各种前线的系统使用者都需要冲业绩等原因,往往在这个时候会向系统同时写入海量的数据,当我们的应用或者数据库 ...