RabbitQM(消息duilie)
前言
简介:RabbitMQ 是实现了高级消息队列协议(AMQP)的开源消息代理软件(亦称面向消息的中间件)。RabbitMQ服务器是用Erlang语言编写的,最初起源于金融系统,用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。
AMQP,即 Advanced Message Queuing Protocol,高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然。AMQP 的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。
使用场景:
1. 解耦:基于消息的模型,关心的是“通知”,而非“处理”。例如短信、邮件通知、缓存刷新等操作使用消息队列进行通知。
2. 异步提升效率:将不是必须的业务逻辑,异步处理。例如在用户注册系统,我们主要的业务逻辑就是把用户注册的信息进行持久化存储,而对于非主要业务进行异步处理(如消息通知),以提升用户注册响应。
3. 流量削峰:比数据库(mysql)写入速率快,并利用消息确认机制控制流量(并发)。
目录
一:消息中间件模型
二:模型图中的对象和属性
三:RabbitMQ常用命令
四:Spring Boot 之RabbitMQ示例
五:RabbitMQ 消息确认(ack)机制
六:RabbitMQ集群简介
一:消息中间件模型
1.1 一般模型图
1.2 RabbitMQ模型图
二:模型图中的对象和属性
2.1 生产者
顾名思义就是生产消息对象的人
2.2 消费者
就是消费消息的人
2.3 消息队列
存储消息的容器
属性 :
属性1:Name 名字
属性2: Durability #定义该队列在重启后的是否存在
属性3: Auto delete #当为yes时,当连接该队列的所有消费者断开连接时,该队列自动删除。
属性4: Arguments #定义该队列的其它属性,例如该队列可以容纳的最大消息数量,一个消息在该队列的最大存活时间等等。
备注:下面是一个通过客户端java声明的一个消息队列queue对象
Queue [name=xxtz, durable=true, autoDelete=false, exclusive=false, arguments={x-message-ttl=50000}, actualName=xxtz]
2.4 消息
就是消息对象
属性:
属性1:Delivery mode #该消息是否持久化
属性2:Headers #消息的头部
属性3:Properties #消息的其它属性content_type,content_encoding,priority 。。。。。
属性4: body #消息的正文
备注:通过Java声明的消息对象 :(Body:'那个谁: id = 130' MessageProperties [headers={}, contentType=text/plain, contentEncoding=UTF-8, contentLength=19, deliveryMode=PERSISTENT, priority=0, deliveryTag=0])
2.5 交换机
即接受生产者传递过来的消息对象,并根据消息对象的属性和绑定的的策略来把消息路由到不同消息队列中。
属性:
属性1:Name
属性2:Type 交换机的类型,共四种,借助web参看
属性3:Durability 持久化该交换机
属性4:Auto delete 当最后一个与该交换机绑定的queue,与之解绑后该交换机自动删除
属性5:Arguments
备注:通过客户端java声明的一个交换机queue对象
Exchange [name=xxtzExchange, type=direct, durable=true, autoDelete=false, internal=false, arguments={}]
备注:四种交换机绑定图
图一:fanout交换机 图二:direct交换机 图三:topic交换机
2.5.1 路由机制:
direct : 根据关键字精确路由到queue中。支持一个queue绑定多个关键字时
fanout: 忽略关键字,只要queue绑定了交换机,发送到该交换机的消息就会被转发到queue中
topic : 当声明绑定关系的时候可以使用匹配符*‘*’ (星号)‘#’(井号)
备注1:'*'(星号)精确匹配一个单词
备注2:'#'(井号)可以匹配多个单词
备注3: 单词之间需用'.'(英文点)分割
header : 交换机绑定queue时,指定多个key=value属性。发送到该交换机中消息,交换机会取消息的头,并匹配绑定时的属性,并路由到匹配中的queue中。
三:RabbitMQ常用命令
3.1 https://www.cnblogs.com/jinliang374003909/p/10773189.html
四:Spring Boot 之RabbitMQ示例
类似Spring与其它服务端的交互方式,如与mysql数据库服务器,Spring封装了一个jdbcTemplate。在于RabbitMQ服务器交互封装了一个AmqpTemplate对象,我们只需调用该对象的相关API即可。
4.1 发送消息步骤
步骤一:声明消息队列Queue
步骤二:声明交换机exchange
步骤三:声明绑定关系()
步骤四:通过调用AmqpTemplate对象api发送消息
4.2 消费消息示例
步骤一:通过@RabbitListener (用于类上)注册消费者(监听者)
步骤二:通过@RabbitHandler(用于方法上) 注册消息者api用于处理监听到的消息。
五:RabbitMQ 消息确认(ack)机制
5.1 Confirm 确认 :即生产者需要确认消息已正确发布到服务器
5.2 Return 消息机制 :即当rabbitMQ服务器无法路由指定消息到任何一个消息队列时(默认删除丢弃该消息),返回该消息给生产者
5.3 消费端 Ack 和 Nack 机制 : RabbitMQ推送消息到消费者,消费者需手动确认。服务端相应消费者的确认,并处理相应(删除该消息还是从新分配。。。。)
六:RabbitMQ集群简介
前提条件
* 唯一的节点名称,并配置在/etc/hosts目录下(可通过 ping wxapp203 测试各节点是否联通)
172.16.50.216 wxapp216
172.16.50.203 wxapp203
172.16.50.211 wxapp211
* 确保各节点下的.erlang.cookie(/var/lib/rabbitmq/.erlang.cookie)值相同,并且确保权限为600 (先修改权限chmod u+w .erlang.cookie)
备注:scp wxapp203:/var/lib/rabbitmq/.erlang.cookie ./ (scp 基于ssh登陆进行安全的远程文件拷贝命令,需要验证密码)
5.1 一般集群
* 关闭当前节点 rabbitmqctl stop_app
* 重置当前节点 rabbitmqctl reset
* 加入集群 rabbitmqctl join_cluster rabbit@wxapp203
备注1:默认是disk节点,我们可以指定参数--ram 创建ram节点 rabbitmqctl join_cluster --ram rabbit@wxapp203:
备注2:建议集群中disk节点的数量为(n/2)+1 个
* 启动当前节点 rabbitmqctl start_app (加入集群)
备注1:查看集群状态 rabbitmqctl cluster_status
备注2:一般模式集群特征,集群通信依赖节点之间的通信,例如有两个节点A,B.
5.2 镜像集群
通过设置集群策略来定制高可用集群
命令:rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'
命令解释:
rabbitmqctl rabbitmq的集群管理工具(插件)
set_policy 指定类型,设置策略
ha-all 命名策略名称
"^" 匹配模式,所用匹配(对正则表达式完全支持),
{"ha-mode":"all"} 策略类型all(供三种exactly,all,nodes),即集群中的所用节点都会复制一份queue。
ha-mode 策略对象的必选属性(关键词),
ha-params 可选属性
备注1:如果如果结合java项目定义的策略不生效,可删除所用queue和exchange后重启项目(即重新定义queue和exchange)
备注2:常用策略类型,
exactly {"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}
nodes {"ha-mode":"nodes","ha-params":["rabbit@nodeA", "rabbit@nodeB"]}
all {"ha-mode":"all"},即实例
备注3:查看镜像集群
方法一:查看UI页面
方法二:rabbitmqctl list_queues name policy pid slave_pids
参考资料
https://www.rabbitmq.com/tutorials/tutorial-six-java.html
https://www.cnblogs.com/ityouknow/p/6120544.html
https://www.zouyesheng.com/rabbitmq.html
https://blog.csdn.net/hellozpc/article/details/81436980
项目地址 :https://github.com/374003909/RabbitQM
四:分配策略
即队列中的消息如何分配给不同消费者,假设这样的场景,一个消息队列中有多条消息,rabbitQM服务器发现了一个消费者,它是一次性的把所有消息分配给该消费者呢?还是该消费者消费了一个消息(假设消费一个消息需要10秒钟)后在分配另一个消息呢?如果先发现一个消费者后又发现一个消费者怎么分配?如果一次发现多个消费者消息又如何分配呢?。。。。。
分配策略一:
分配策略二:
测试Spring Boot默认的分配策略?
场景一:一次性发现两(多)个消费者。
结论:消息队列中的消息平均分配给两个消费者,即一个消费者只消费偶数消息,另一个消费者只消费奇数消息
场景二: 一次性发现两(多)个消费者。在消费时其中一个消费者showdown了,怎么消费?
结论:
场景三:先发现一个消费者后又发现一个消费者,怎么消费?
结论:如果第一个消费者不死,第二个消费者不会消费到消息
分配策略小结:
真对Spring Boot的默认分配策略分析,rabbitqm服务器在分配队列中的消息时,会先查看监控该队列的消费者,然后制定分配策略。分配策略一旦制定如果消费者不出意外,就按这个策略执行。但如果消费者发生意外导致不能正确相应服务器(Message acknowledgment 策略)。先前分配给该消费者的消息会重新被rabbitqm服务器分配(即一种递归策略)
RabbitQM(消息duilie)的更多相关文章
- php消息队列
Memcache 一般用于缓存服务.但是很多时候,比如一个消息广播系统,需要一个消息队列.直接从数据库取消息,负载往往不行.如果将整个消息队列用一个key缓存到memcache里面.对于一个很大的消息 ...
- 消息队列(MQ)入门-activemq,代码级别
第一种:activemq: 1.从官网下载apache-activemq-5.15.3-bin.zip并解压: 2.启动activemq, CMD--/bin/activemq start ,访问12 ...
- 消息队列介绍、RabbitMQ&Redis的重点介绍与简单应用
消息队列介绍.RabbitMQ&Redis的重点介绍与简单应用 消息队列介绍.RabbitMQ.Redis 一.什么是消息队列 这个概念我们百度Google能查到一大堆文章,所以我就通俗的讲下 ...
- 进击的Python【第十一章】:消息队列介绍、RabbitMQ&Redis的重点介绍与简单应用
消息队列介绍.RabbitMQ.Redis 一.什么是消息队列 这个概念我们百度Google能查到一大堆文章,所以我就通俗的讲下消息队列的基本思路. 还记得原来写过Queue的文章,不管是线程queu ...
- 消息队列——RabbitMQ学习笔记
消息队列--RabbitMQ学习笔记 1. 写在前面 昨天简单学习了一个消息队列项目--RabbitMQ,今天趁热打铁,将学到的东西记录下来. 学习的资料主要是官网给出的6个基本的消息发送/接收模型, ...
- PHP实现RTX发送消息提醒
RTX是腾讯公司推出的企业级即时通信平台,大多数公司都在使用它,但是我们很多时候需要将自己系统或者产品的一些通知实时推送给RTX,这就需要用到RTX的服务端SDK,建议先去看看RTX的SDK开发文档( ...
- 消息队列 Kafka 的基本知识及 .NET Core 客户端
前言 最新项目中要用到消息队列来做消息的传输,之所以选着 Kafka 是因为要配合其他 java 项目中,所以就对 Kafka 了解了一下,也算是做个笔记吧. 本篇不谈论 Kafka 和其他的一些消息 ...
- 一步步开发自己的博客 .NET版(10、前端对话框和消息框的实现)
关于前端对话框.消息框的优秀插件多不胜数.造轮子是为了更好的使用轮子,并不是说自己造的轮子肯定好.所以,这个博客系统基本上都是自己实现的,包括日志记录.响应式布局.评论功能等等一些本可以使用插件的.好 ...
- MVVM模式解析和在WPF中的实现(六) 用依赖注入的方式配置ViewModel并注册消息
MVVM模式解析和在WPF中的实现(六) 用依赖注入的方式配置ViewModel并注册消息 系列目录: MVVM模式解析和在WPF中的实现(一)MVVM模式简介 MVVM模式解析和在WPF中的实现(二 ...
随机推荐
- BootstrapTable,选中某几行,获取其数据并进行后台处理。以及其他的属性使用。
参考链接:bootstrap Table API 中文版 Bootstrap Table 选中某几行,获取其数据 Ajax传递数组,struts2接收数组 1.首先将复选框搞出来,<table ...
- 使用Netty实现HTTP服务器
使用Netty实现HTTP服务器,使用Netty实现httpserver,Netty Http Netty是一个异步事件驱动的网络应用程序框架用于快速开发可维护的高性能协议服务器和客户端.Netty经 ...
- 使用docker 部署rabbitmq 镜像
1.使用带有web管理功能 sudo docker pull rabbitmq:management 2.运行镜像文件创建容器 sudo docker run -d --name rabbitmq - ...
- ArcMap中获取要素的Extent值
新建xmax,xmin,ymax,ymin4个字段,右键,在[字段计算器]中选择Python,分别输入!shape.extent.XMax!.!shape.extent.XMin!.!shape.ex ...
- laravel使用redis队列实践(只需6步,超详细,超简单)
1.配置使用redis队列 在.env文件找到QUEUE_DRIVER=sync改成QUEUE_DRIVER=redis redis配置一般不用改如果有密码改.env文件的REDIS_PASSWORD ...
- Python数据分析-知识宝藏
0.SQL数据库 1. python基础知识 2. 重点工具掌握:数据解析核心技巧 - Numpy| Pandas| Matplotlib 3. 数据特征分析:分布| 对比| 统计| 帕累托| 正态| ...
- html2canvas在Vue项目踩坑-生成图片偏移不完整
背景 最近做一个Vue项目需求是用户长按保存图片,页面的数据是根据不同id动态生成的,页面渲染完生成内容图片让用户长按保存的时候,把整个页面都保存起来. 在项目遇到的坑是图片能生成,可是生成的图片总是 ...
- vue 值的更新
用了vue开发了一段时间,基本上感觉都是比较好用的一个框架,刚开始还是会存在一些小坑的东西,这里先浅谈下值的更新问题. 1.本组件的一些变量,或者是主view(路由页面)一些值,是通过vuex 中st ...
- elasticsearch目录
快速入门篇(基于版本5.4) Elasticsearch入门 Elasticsearch和Kibana安装 Elasticsearch索引和文档操作 Elasticsearch文档查询 安装和配置(基 ...
- 使用poi读取Excel文件数据
package com.haiyisoft.iecp.util; import java.io.File;import java.io.FileInputStream;import java.io.F ...