快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群
RabbitMQ的集群是依赖erlang集群的,而erlang集群是通过.erlang.cookie文件进行通信认证的,所以我们使用RabbitMQ集群时只需要配置一下.erlang.cookie文件即可。下边简单演示一下RabbitMQ高可用集群的搭建,附带一个简单使用C#驱动RabbtiMQ集群的小栗子。
1 搭建RabbitMQ高可用集群
首先准备三台设备,这里采用的三台Centos7的虚拟机,测试一下各个虚拟机能不能相互ping通,如果可以相互ping通的话,在每台虚拟机上分别安装RabbitMQ,可以参考第一篇的安装方法。
第1步 修改主机配置
为了方便机器间的相互访问,三台centos都执行 vim /etc/hosts ,添加下边的配置(注意修改成自己设备的IP):
192.168.70.129 rabbitmq1
192.168.70.131 rabbitmq2
192.168.70.133 rabbitmq3
一般情况,hosts文件中内容如下:
第2步:修改.erlang.cookie文件
修改三台设备的.erlang.cookie中的key一致。如果使用的是前边的安装方法,.erlang.cookie的位置为 /var/lib/rabbitmq/.erlang.cookie (采用其他安装方式找不到文件的话,可以使用命令 find / -name '.erlang.cookie' 找到文件位置)。这里三台虚拟机的key都采用192.168.70.129的key(值为CRRQPKHDXEEIUJUOGYKN),在另外两台设备上 执行命令: vim /var/lib/rabbitmq/.erlang.cookie ,修改文件内容为CRRQPKHDXEEIUJUOGYKN。在修改时如果遇到权限问题,可执行命令 chmod 600 /var/lib/rabbitmq/.erlang.cookie 修改文件的权限为可写,修改内容完成后,执行命令 chmod 400 /var/lib/rabbitmq/.erlang.cookie 把文件再次改成只读的。
完成上边的两步后,erlang集群就搭建好了,重启所有的设备即可。在rabbitmq1节点的虚拟机上执行命令 rabbitmqctl cluster_status 查看集群状态:
第3步:添加/删除节点
添加节点
把rabbitmq2节点添加到集群中去,在rabbitmq2节点执行以下命令:
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster rabbit@rabbit1
rabbitmqctl start_app
执行完成后,查看集群状态,看到rabbitmq2已经在集群中了,如下:
重复上边的步骤,把rabbitmq3也添加到集群中,在rabbitmq3节点执行下边命令:
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster rabbit@rabbit2
rabbitmqctl start_app
查看集群状态,rabbitmq3也在集群中了,如下:
这时我们打开任意一个节点的Web管理界面,显示如下,看到集群已经配置完成了:
删除节点
把某一节点从集群中删除很简单,reset一下节点即可。如删除rabbitmq3节点,在rabbitmq3上执行以下命令:
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app
执行完成后,查看集群状态如下:
现在搭建的集群是默认的普通集群,普通集群中节点可以共享集群中的exchange,routingKey和queue,但是queue中的消息只保存在首次声明queue的节点中。任意节点的消费者都可以消费其他节点的消息,比如消费者连接rabbitmq1节点的消费者(代码中建立Connection时,使用的rabbitmq1的IP)可以消费节点rabbitmq2的队列myqueue2中的消息,消息传输过程是:rabbitmq2把myqueue2中的消息传输给rabbtimq1,然后rabbitmq1节点把消息发送给consumer。因为queue中的消息只保存在首次声明queue的节点中,这样就有一个问题:如果某一个node节点挂掉了,那么只能等待该节点重新连接才能继续处理该节点内的消息(如果没有设置持久化的话,节点挂掉后消息会直接丢失)。如下图,rabbitmq1节点挂掉后,myqueue队列就down掉了,不能被访问。
针对上边的问题,我们可能会想到:如果可以让rabbitmq中的节点像redis集群的节点一样,每一个节点都保存所有的消息,比如让rabbitmq1不仅仅保存自己队列myqueue的消息,还保存其他节点的队列myqueue2和myqueue3中的消息,rabbitmq2和rabbitmq3节点也一样,这样就不用担心宕机的问题了。rabbitmq也提供了这样的功能:镜像队列。镜像队列由一个master和多个slave组成,使用镜像队列消息会自动在镜像节点间同步,而不是在consumer取数据时临时拉取。
第4步:配置镜像队列
rabbitmq配置镜像队列十分简单,我们在任意一个node节点下执行下边的命令就可以完成镜像队列的配置(当然也可以在Web管理界面上添加policy):
rabbitmqctl set_policy ha-all "^my" '{"ha-mode":"all","ha-sync-mode":"automatic"}'
# ha-all:为策略名称;
# ^my:为匹配符,只有一个^代表匹配所有,^abc为匹配名称以abc开头的queue或exchange;
# ha-mode:为同步模式,一共3种模式:
# ①all-所有(所有的节点都同步消息),
# ②exctly-指定节点的数目(需配置ha-params参数,此参数为int类型比如2,在集群中随机抽取2个节点同步消息)
# ③nodes-指定具体节点(需配置ha-params参数,此参数为数组类型比如["rabbit@rabbitmq1","rabbit@rabbitmq2"],明确指定在这两个节点上同步消息)。
打开Web管理界面,如果效果如下表示镜像队列已经配置完成了。当前myqueue的master节点为rabbitmq1:
如果首次声明queue的节点(master)挂了,其他节点会自动变成master,如上图myqueue的master为rabbitmq1,停掉rabbtmq1后,结果如下:rabbitmq2成为了master。
我们发现rabbitmq1节点挂了后,rabbitmq2自动成为了myqueue的master,myqueue不会down掉,可以正常的添加/删除/获取消息,这就解决了普通集群宕机的问题。使用镜像队列,因为各个节点要同步消息,所以比较耗费资源,一般在可靠性比较高的场景使用镜像队列。
还可以配置其他策略的镜像队列,也是一行命令即可完成配置,一些其它同步模式的栗子:
#策略名为ha-twe,匹配以“my”开头的queue或exchange,在集群中随机挑选镜像节点,同步的节点为2个
rabbitmqctl set_policy ha-two "^my" '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'
#策略名为ha-nodes,匹配以“my”开头的queue或exchange,指定rabbit@rabbitmq2和rabbit@rabbitmq3为同步节点
rabbitmqctl set_policy ha-nodes "^my" \ '{"ha-mode":"nodes","ha-params":["rabbit@rabbitmq2", "rabbit@rabbitmq3"]}'
第5步:C#驱动RabbitMQ集群
C#驱动RabbitMQ集群与C#驱动单机RabbtiMQ的方式基本一样,区别在于使用集群时,创建Connection指定的是一个host集合。看一个简单的栗子:
生产者代码:
static void Main(string[] args)
{
var factory = new ConnectionFactory()
{
UserName = "wyy",//用户名
Password = "",//密码
AutomaticRecoveryEnabled = true,//Connection断了,自动重新连接
};
//集群中的三个rabbitmq节点
List<string> hosts = new List<string>() { "192.168.70.129", "192.168.70.131", "192.168.70.1233" };
//随机连接一个rabbitmq节点
using (var connection = factory.CreateConnection(hosts))
{
//创建通道channel
using (var channel = connection.CreateModel())
{
Console.WriteLine("生产者准备就绪....");
#region 发布100条消息
for (int i = ; i < ; i++)
{
channel.BasicPublish(exchange: "myexchange",
routingKey: "mykey",
basicProperties: null,
body: Encoding.UTF8.GetBytes($"第{i}条消息"));
}
#endregion
}
}
Console.ReadKey();
}
消费者代码:
static void Main(string[] args)
{
var factory = new ConnectionFactory()
{
UserName = "wyy",//用户名
Password = "",//密码
};
//集群中的三个rabbitmq节点
List<string> hosts = new List<string>() { "192.168.70.129", "192.168.70.131", "192.168.70.1233" };
//随机连接一个rabbitmq节点
using (var connection = factory.CreateConnection(hosts))
{
using (var channel = connection.CreateModel())
{
//使用Qos,每次接收1条消息
channel.BasicQos(prefetchSize: , prefetchCount: , global: false);
Console.WriteLine("消费者准备就绪....");
#region EventingBasicConsumer //定义消费者
var consumer = new EventingBasicConsumer(channel);
consumer.Received += (sender, ea) =>
{
//处理一条消息需要10s时间
Thread.Sleep();
//显示确认消息
channel.BasicAck(deliveryTag: ea.DeliveryTag, multiple: false);
Console.WriteLine($"处理消息【{Encoding.UTF8.GetString(ea.Body)}】完成!");
};
//处理消息
channel.BasicConsume(queue: "myqueue",
autoAck: false,
consumer: consumer);
Console.ReadKey();
#endregion
}
}
}
执行这两个应用程序,结果如下:
到这里RabbtMQ的集群搭建就告一段落了,有一个小问题:RabbitMQ的集群默认不支持负载均衡的。我们可以根据设备的性能,使用Qos给各个消费者指定合适的最大发送条数,这样可以在一定程度上实现负载均衡。也有园友通过Haproxy实现RabbitMQ集群的负载均衡,有兴趣的小伙伴可以研究一下,为什么使用Haprpxy而不用Ngnix呢?这是因为Haproxy支持四层(tcp,udp等)和七层(http,https,email等)的负载均衡,而Nginx只支持七层的负载均衡,而Rabbitmq是通过tcp传输的。本节也是RabbitMQ系列的最后一篇,如果文中有错误的话,希望大家可以指出,我会及时修改,谢谢。
快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群的更多相关文章
- keepalived工作原理和配置说明 腾讯云VPC内通过keepalived搭建高可用主备集群
keepalived工作原理和配置说明 腾讯云VPC内通过keepalived搭建高可用主备集群 内网路由都用mac地址 一个mac地址绑定多个ip一个网卡只能一个mac地址,而且mac地址无法改,但 ...
- K8S 使用Kubeadm搭建高可用Kubernetes(K8S)集群 - 证书有效期100年
1.概述 Kubenetes集群的控制平面节点(即Master节点)由数据库服务(Etcd)+其他组件服务(Apiserver.Controller-manager.Scheduler...)组成. ...
- 搭建高可用的MongoDB集群
http://www.csdn.net/article/2014-04-09/2819221-build-high-avialable-mongodb-cluster-part-1/1 在大数据的时代 ...
- 手动搭建高可用的kubernetes 集群
之前按照和我一步步部署 kubernetes 集群的步骤一步一步的成功的使用二进制的方式安装了kubernetes集群,在该文档的基础上重新部署了最新的v1.8.2版本,实现了kube-apiserv ...
- Redis Cluster搭建高可用Redis服务器集群
一.Redis Cluster集群简介 Redis Cluster是Redis官方提供的分布式解决方案,在3.0版本后推出的,有效地解决了Redis分布式的需求,当一个节点挂了可以快速的切换到另一个节 ...
- Redis总结(八)如何搭建高可用的Redis集群
以前总结Redis 的一些基本的安装和使用,大家可以这这里查看Redis 系列文章:https://www.cnblogs.com/zhangweizhong/category/771056.html ...
- Hadoop搭建高可用的HA集群
一.工具准备 1.7台虚拟机(至少需要3台),本次搭建以7台为例,配好ip,关闭防火墙,修改主机名和IP的映射关系(/etc/hosts),关闭防火墙 2.安装JDK,配置环境变量 二.集群规划: 集 ...
- 搭建高可用的redis集群,避免standalone模式带给你的苦难
现在项目上用redis的话,很少说不用集群的情况,毕竟如果生产上只有一台redis会有极大的风险,比如机器挂掉,或者内存爆掉,就比如我们生产环境 曾今也遭遇到这种情况,导致redis内存不够挂掉的情况 ...
- MyCAT+MySQL 搭建高可用企业级数据库集群——第2章 MyCat入门
2-1 章节综述 2-2 什么是MyCat 2-3 什么是数据库中间层 2-4 MyCat的主要作用 2-5 MyCat基本元素 2-6 MyCat的安装 2-1 章节综述 1.掌握Mycat的基础概 ...
随机推荐
- 如何用纯 CSS 创作一个文本淡入淡出的 loader 动画
效果预览 在线演示 按下右侧的"点击预览"按钮可以在当前页面预览,点击链接可以全屏预览. https://codepen.io/comehope/pen/ERwpeG 可交互视频 ...
- PHP做ERP, CRM, CMS系统需要注意哪些地方
php作为二次开发弱类型语言, 可读性, 可视度都是比较高的. 在很多人眼里, 也许php只能做一些web应用开发, 比如某个公司的网站, 某个公司的网站后台, 其实,我可以告诉大家, php不比任何 ...
- python-类与继承
类的继承 什么是继承? 继承是一种新建类的方式,新建的类称为子类,被继承的类称为父类.python中,父类.子类(派生类)只有在继承的时候才会产生. 继承的特性:子类会继承父类所有的属性. 为什么要用 ...
- Python头脑风暴3
驾校是个暴利行业 如果有高学历靠谱的IT人员做驾校教练等等等等.... Python虽然难做企业级应用,但Python是全球个人自定义应用的首选!!!没有之一,所有语言最快的开发速度,最个性化的私人定 ...
- LeetCode(123) Best Time to Buy and Sell Stock III
题目 Say you have an array for which the ith element is the price of a given stock on day i. Design an ...
- MySQL-状态Waiting on empty queue引申
MySQL 事件调度器示例演示 我们大家都知道MySQL 事件调度器是在 MySQL 5.1 中新生的一个较为特殊的功能,其可以作为定时任务调度器,来取代部分原先只能用操作系统任务调度器才能完成的定时 ...
- python中用exit退出程序
在python中运行一段代码,如果在某处已经完成整次任务,可以用exit退出整个运行.并且还可以在exit()的括号里加入自己退出程序打印说明.不过注意在py3中要加单引号或双引号哦!
- 九度oj 题目1355:扑克牌顺子
题目描述: LL今天心情特别好,因为他去买了一副扑克牌,发现里面居然有2个大王,2个小王(一副牌原本是54张^_^)...他随机从中抽出了5张牌,想测测自己的手气,看看能不能抽到顺子,如果抽到的话,他 ...
- hibernate缓存详解
hibernate中提供了两级缓存,一级缓存是Session级别的缓存,它属于事务范围的缓存,该级缓存由hibernate管理,应用程序无需干预:二级缓存是SessionFactory级别的缓存,该级 ...
- 【Luogu】P1419寻找段落(单调队列)
题目链接 不知为何状态突然奇差无比,按说这题本来应该是水题的,但不仅不会做,还比着题解爆零五次 二分平均值(想到了),单调队列维护最大区间和(想到了但是不会,???为什么我不会???) #includ ...