OpenStack--Rabbitmq组件消息队列
概念
队列
MQ 全称为Message Queue,消息队列( MQ )
是一种应用程序的通信方法。应用程序通过读写入列队的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们。
消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。
排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。
AMQP 即 Advanced Message Queuing Protocol
高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然。
AMQP 的主要特征是面向消息、队列、路由(包括点对点和发布 / 订阅)、可靠性、安全。
Rabbitmq
·属于一个流行的开源消息队列系统。属于AMQP( 高级消息队列协议 ) 标准的一个实现。是应用层协议的一个开放标准,为面向消息的中间件设计。用于在分布式系统中存储转发 消息,在易用性、扩展性、高可用性等方面表现不俗。
·消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然。
·AMQP的主要特征是面向消息、队列、路由(包括点对点和发布 / 订阅)、可靠性、安全RabbitMQ特点。
·使用Erlang编写
·支持持久化
·支持HA
·提供C#,erlang,java,perl,python,ruby等的client开发端
Rabbitmq中概念名词
Broker:简单来说就是队列服务器实体。
Exchange:消息交换机,它指定消息按什么规则,路由到哪个队列。
Queue:消息队列载体,每个消息都会被投入到一个或多个队列。
Binding:绑定,它的作用就是把exchange和queue按照路由规则绑定起来。
Routing Key:路由关键字, exchange根据这个关键字进行消息投递。
vhost:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离。
producer:消息生产者,就是投递消息的程序。
consumer:消息消费者,就是接受消息的程序。
channel:消息通道,在客户端的每个连接里,可建立多个channel,每个channel代表一个会话任务。
Rabbitmq 的 metadata
元数据可以持久化在 RAM 或 Disc. 从这个角度可以把 RabbitMQ 集群中的节点分成两种 :RAM Node和 Disk Node. RAM Node 只会将元数据存放在RAM Disk node 会将元数据久化到磁盘。
单节点系统就没有什么选择了 , 只允许 disk node, 否则由于没有数据冗余一旦重启就会丢掉所有的配置信息 . 但在集群环境中可以选择哪些节点是 RAM node. 在集群中声明 (declare) 创建exchange queue binding, 这类操作要等到所有的节点都完成创建才会返回 :
如果是内存节点就要修改内存数据,
如果是 disc node 就要等待写磁盘,节点过多这里的速度就会被大大的拖慢。
有些场景 exchang queue 相当固定 , 变动很少 ,那即使全都是 disc node, 也没有什么影响 . 如果使用 Rabbitmq 做 RPC( RPC :Remote Procedure Call—远程过程调用), RPC 或者类似 RPC 的场景这个问题就严重了 , 频繁创建销毁临时队列 , 磁盘读写能力就很快成为性能瓶颈了。所以 , 大多数情况下 , 我们尽量把 Node 创建为RAM Node. 这里就有一个问题了 , 要想集群重启后元数据可以恢复就需要把集群元数据持久化到磁盘 , 那需要规划 RabbitMQ 集群中的 RAM Node 和 Disc Node 。
只要有一个节点是 Disc Node 就能提供条件把集群元数据写到磁盘 ,RabbitMQ 的确也是这样要求的 : 集群中只要有一个 disk node 就可以 , 其它的都可以是 RAMnode. 节点加入或退出集群一定至少要通知集群中的一个 disk node 。
如果集群中 disk node 都宕掉 , 就不要变动集群的元数据 . 声明 exchange queue修改用户权限 , 添加用户等等这些变动在节点重启之后无法恢复 。
有一种情况要求所有的 disk node 都要在线情况在才能操作 , 那就是增加或者移除节点 .RAM node 动的时候会连接到预设的 disk node 下载最新的集群元数据 . 如果你有两个 disk node(d1 d2), 一RAM node 加入的时候你只告诉 d1, 而恰好这个RAM node 重启的时候 d1 并没有启动 , 重启就会败 . 所以加入 RAM 节点的时候 ,把所有的disk node 信息都告诉它 ,RAM node 会把 disk node 的信持久化到磁盘以便后续启动可以按图索骥 。
下载rabbitmq
环境:
controller01: 192.168.245.167
controller02: 192.168.245.168
controller03: 192.168.245.169
配置dns全局解释器:
vim /etc/resolv.conf
nameserver 192.168.245.167 #连接learn.yunwei.edu的内网
nameserver 223.5.5.5
wget http://download2.yunwei.edu/shell/yum-repo.sh
sh yum-repo.sh
安装rabbitmq和erlang软件包
yum -y install erlang rabbitmq-server.noarch
systemctl start rabbitmq-server.service
systemctl enable rabbitmq-server.service
查看监听端口
netstat -lantp | grep 5672
以上步骤3台都需要进行
配置文件
vim /etc/rabbitmq/rabbitmq-env.conf
controller01:修改guest密码(默认用户为: guest,密码为 guest)
rabbitmqctl change_password guest admin
controller01:编辑 rabbitmq 变量文件
vim /etc/rabbitmq/rabbitmq-env.conf
编辑好之后发送至其他两个节点
scp /etc/rabbitmq/rabbitmq-env.conf controller02:/etc/rabbitmq/
scp /etc/rabbitmq/rabbitmq-env.conf controller03:/etc/rebbitmq/
controller02
vim /etc/rabbitmq/rabbitmq-env.conf
controller03
vim /etc/rabbitmq/rabbitmq-env.conf
所有节点开启rabbitmq的web管理页面
rabbitmq-plugins enable rabbitmq_management
账号:guest
密码:admin
controller01发送selang.cookie到其它节点配置集群 #这一步相当于指定谁是主,谁是从
scp /var/lib/rabbitmq/.erlang.cookie controller02:/var/lib/rabbitmq/
scp /var/lib/rabbitmq/.erlang.cookie controller03:/var/lib/rabbitmq/
controller02和controller03停止应用,并以ram的方式加入chen1节点,之后重启应用
这里的应有指的是rabbitmq服务给我们提供消息队列这个应用,而不是rabbitmq服务
systemctl restart rabbitmq-server.service #因为发送新的配置文件,得重启服务
查看状态是否启用
systemctl restart rabbitmq-server.service
systemctl status rabbitmq-server.service
停止应用
rabbitmqctl stop_app
controller02、controller03加入集群
rabbitmqctl join_cluster --ram rabbit@controller01 #加入集群,以ram形式的节点加入
重启应用
rabbitmqctl start_app
controller01检查集群状态
rabbitmqctl cluster_status
登陆网站验证
http://192.168.245.167:15672/#/
由于其他节点已经加入进去,则密码就与controller'01一致,为admin
其他命令:
1)添加管理员:
rabbitmqctl add_user mqadmin mqadmin
rabbitmqctl set_user_tags mqadmin administrator
rabbitmqctl set_permissions -p / mqadmin “." ".” “.*”
2)更改节点类型(内存型或磁盘型)
rabbitmqctl stop_app
rabbitmqctl change_cluster_node_type disc 或 rabbitmqctl change_cluster_node_type ram
rabbitmqctl start_app
3)从集群移除节点(或者重置节点)
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app
rabbitmqctl cluster_status
4)从某个节点移除集群中其他节点
rabbitmqctl forget_cluster_node rabbit@node3
rabbitmqctl reset
rabbitmqctl start_app
rabbitmqctl cluster_status
注意
- 保证集群中至少有一个磁盘类型的节点以防数据丢失,在更改节点类型时尤其要注意。
- 若整个集群被停掉了,应保证最后一个 down 掉的节点被最先启动,若不能则要使用 forget_cluster_node 命令将其移出集群。
- 若集群中节点几乎同时以不可控的方式 down 了此时在其中一个节点使用 force_boot 命令重启节点。
OpenStack--Rabbitmq组件消息队列的更多相关文章
- 云计算openstack共享组件——消息队列rabbitmq(3)
一.MQ 全称为 Message Queue, 消息队列( MQ ) 是一种应用程序对应用程序的通信方法.应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们. 消息传 ...
- RabbitMQ分布式消息队列服务器(一、Windows下安装和部署)
RabbitMQ消息队列服务器在Windows下的安装和部署-> 一.Erlang语言环境的搭建 RabbitMQ开源消息队列服务是使用Erlang语言开发的,因此我们要使用他就必须先进行Erl ...
- rabbitmq学习(二):rabbitmq(消息队列)的作用以及rabbitmq之直连交换机
前言 上篇介绍了AMQP的基本概念,组成及其与rabbitmq的关系.了解了这些东西后,下面我们开始学习rabbitmq(消息队列)的作用以及用java代码和rabbitmq通讯进行消息发布和接收.因 ...
- C#调用RabbitMQ实现消息队列
前言 我在刚接触使用中间件的时候,发现,中间件的使用并不是最难的,反而是中间件的下载,安装,配置才是最难的. 所以,这篇文章我们从头开始学习RabbitMq,真正的从头开始. 关于消息队列 其实消息队 ...
- openstack介绍及共享组件——消息队列rabbitmq
一.云计算的前世今生 所有的新事物都不是突然冒出来的,都有前世和今生.云计算也是IT技术不断发展的产物. 要理解云计算,需要对IT系统架构的发展过程有所认识. 请看下 IT系统架构的发展到目前为止大致 ...
- 云计算共享组件--消息队列rabbitmq(3)
一.MQ 全称为 Message Queue, 消息队列( MQ ) 是一种应用程序对应用程序的通信方法.应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们. 消息传 ...
- 云计算OpenStack共享组件---信息队列rabbitmq(2)
一.MQ 全称为 Message Queue, 消息队列( MQ ) 是一种应用程序对应用程序的通信方法.应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们. 消息传 ...
- Redis与RabbitMQ作为消息队列的比较
简要介绍 RabbitMQ RabbitMQ是实现AMQP(高级消息队列协议)的消息中间件的一种,最初起源于金融系统,用于在分布式系统中存储转发消息,在易用性.扩展性.高可用性等方面表现不俗.消息中间 ...
- SpringBoot学习笔记(11)-----SpringBoot中使用rabbitmq,activemq消息队列和rest服务的调用
1. activemq 首先引入依赖 pom.xml文件 <dependency> <groupId>org.springframework.boot</groupId& ...
随机推荐
- bugku 逆向 love
可以看到将输入先经过 sub_4110BE 这个函数进行加密 然后每一位加上下标本身 再和str2比较 正确就是right 点开加密函数: 关键语句就在这里 我们可以看到是算输入的字符按三个一组能分为 ...
- Nginx Http 过滤模块
L69 执行顺序在content阶段后 log阶段前调用的 也就是处理完用户业务后 准备记录处理日志之前 我们可以到nginx http_model.c里查看 数组 执行顺序从下至上顺序执行 copy ...
- vue打包静态资源路径不正确的解决办法【转】
vue项目完成打包上线的时候很多人都会碰到静态资源找不到的问题,常见的有两个 1.js,css路径不对 解决办法:打开config/index.js,将其中的assetsPublicPath值改为’. ...
- Spring MVC 使用介绍(十三)数据验证 (一)基本介绍
一.消息处理功能 Spring提供MessageSource接口用于提供消息处理功能: public interface MessageSource { String getMessage(Strin ...
- Codeforces Round #523 (Div. 2) D. TV Shows 模拟(多重集 先把所有区间加入多重集合)+贪心+二分
题意:给出n个电视节目的起始和结束时间 并且租一台电视需要x +y*(b-a) [a,b]为时段 问完整看完电视节目的最小花费是多少 思路:贪心的思想 情况1 如果新租一台电视的花费<=在空 ...
- DRF 商城项目 - 用户操作(收藏, 留言, 收货地址)
个人收藏 整体逻辑类似于 个人中心 ( 个人中心的相关逻辑梳理详情 点击这里 ) 也是两个序列化组价的分流 查看收藏 ( list ) 详情指向 收藏详情 的组价 创建收藏 ( create ) ...
- app Inventor
什么是App Inventor ? MIT 官方网站 http://ai2.appinventor.mit.edu/Ya_tos_form.html 广州中文镜像网站 http://app.gzjk ...
- echarts Map(地图) 不同颜色区块显示
以河南地图为例: 代码如下: <h3>天翼日必达完成率</h3> <div id="map" style="height:340px; te ...
- C# webapi 上传下载图片
客户端上传文件 string url = url + "webUploadFile"; Uri server = new Uri(url); HttpClient httpClie ...
- atool-build 打包项目报JavaScript heap out of memory 错误
出现这个问题的原因,是因为NodeJS给JavaScript设置了默认内存使用限制(32位系统下0.7GB,64位系统下1.4GB),就算我们的电脑内存是64GB的,在使用atool-build打包时 ...