RabbitMQ 使用(一)
RabbitMQ中的使用
这篇文章将会介绍关于RabbbitMQ的使用,并且使用的是kombo(客户端的Python实现)来实现;
安装
如果使用的是mac安装的话,可以先安装到指定的位置,接着配置命令访问路径:
- cd ~
vi .bash_profile,输入下面两行
RABBIT_HOME=/usr/local/Cellar/rabbitmq/3.6.9_1
PATH=$PATH:$RABBIT_HOME/sbinesc,:wq保存并退出即可
启动和停止
开始:sudo rabbitmq-server start结束:sudo rabbitmq-server stop
Producer 和 Consumer
首先我们需要知道Producer和Consumer的初始化和其对应的publish和consumer方法。
Producer
class kombu.Producer(channel, exchange=None, routing_key=None,
serializer=None, auto_declare=None,
compression=None, on_return=None)
# 发布消息
.publish(body, routing_key=None, delivery_mode=None, mandatory=False,
immediate=False, priority=0, content_type=None, content_encoding=None,
serializer=None, headers=None, compression=None, exchange=None,
retry=False, retry_policy=None, declare=None, expiration=None, **properties)
Consumer
class kombu.Consumer(channel, queues=None, no_ack=None,
auto_declare=None, callbacks=None, on_decode_error=None,
on_message=None, accept=None, prefetch_count=None, tag_prefix=None)
# 消费
.consume(no_ack=None)
Hello world
当收到消息的时候,除非你已经对这个message进行了相关的操作,否则像是某个消费者的通道关闭等特殊情况下,RabbitMQ不会丢失掉这个信息,如果存在其它的消费者,则丢给其它消费者,没有就扔回队列中;当然你也可以通过no_ack=True
来关闭消息确认机制。
from kombu import Exchange, Queue, Connection, Consumer, Producer
task_queue = Queue('tasks', exchange=Exchange('tasks', type='direct'), routing_key='tasks')
# 生产者
with Connection('amqp://guest@localhost:5672//') as conn:
with conn.channel() as channel:
producer = Producer(channel)
producer.publish({'hello': 'world'},
retry=True,
exchange=task_queue.exchange,
routing_key=task_queue.routing_key,
declare=[task_queue])
def get_message(body, message):
print(body)
# message.ack()
# 消费者
with Connection('amqp://guest@localhost:5672//') as conn:
with conn.channel() as channel:
consumer = Consumer(channel, queues=task_queue, callbacks=[get_message,], prefetch_count=10)
consumer.consume(no_ack=True)
生产者和消费者相互对应,这样一个简易的消息队列就可以使用了。
任务队列
我们将创建一个工作队列,专门用来处理分配耗时的任务。原理就是将任务封装成一个消息,由客户端发送到消息队列中,而后台运行的工作进程负责弹出任务并且分配给消费者来执行任务。这种方案在一些IO密集型的情况下很有用,比如在短时间内HTTP请求窗口中无法处理复杂的任务。
我们先创建相关的exchange和queue,queues.py文件如下:
from kombu import Exchange, Queue
task_exchange = Exchange('tasks', type='direct')
task_queues = [Queue('high', exchange=task_exchange, routing_key='high'),
Queue('middle', exchange=task_exchange, routing_key='middle'),
Queue('low', exchange=task_exchange, routing_key='low')]接下来再创建消费者,worker.py文件如下:
from kombu.mixins import ConsumerMixin
from queues import task_queues
# 消费者
class Worker(ConsumerMixin):
def __init__(self, connection):
self.connection = connection
def get_consumers(self, Consumer, channel):
consumer = Consumer(queues=task_queues, callbacks=[self.process_task], accept=['text/plain', 'json', 'pickle'])
consumer.qos(prefetch_count=10) # 最多一下子获取10个任务
return [consumer]
def process_task(self, body, message):
fun = body['fun']; args = body['args']; kwargs = body['kwargs']
try:
fun(*args, **kwargs)
except Exception as exc:
print(exc)
message.requeue()
else:
message.ack()
if __name__ == '__main__':
from kombu import Connection
with Connection('amqp://guest@localhost:5672//') as conn:
try:
worker = Worker(conn)
worker.run()
except KeyboardInterrupt:
print('bye bye')创建需要传递给消费者执行的任务,tasks.py如下:
def hello_task(who='world'):
import time
print('wait one second')
time.sleep(1)
print('Hello {}'.format(who))最后,创建生产者,client.py如下:
from kombu.pools import producers
from queues import task_exchange
routing_keys = {
'high': 'high',
'middle': 'middle',
'low': 'low'
}
# 将消息序列化后发送到队列中
def send_as_task(connection, fun, key='middle', args=(), kwargs={}):
payload = {'fun': fun, 'args': args, 'kwargs': kwargs}
routing_key = routing_keys[key]
with producers[connection].acquire(block=True) as producer:
producer.publish(payload, serializer='pickle', exchange=task_exchange,
routing_key=routing_key, declare=[task_exchange])
if __name__ == '__main__':
from kombu import Connection
from tasks import hello_task
with Connection('amqp://guest@localhost:5672//') as conn:
send_as_task(conn, fun=hello_task, args=('wang',))
上面的代码主要实现的是,将hello_task这个任务经过pickle序列化以后发送到指定的middle消息队列中,接着消费者(可以开多个进程)从中取出消息后再执行任务。
RabbitMQ 使用(一)的更多相关文章
- 消息队列——RabbitMQ学习笔记
消息队列--RabbitMQ学习笔记 1. 写在前面 昨天简单学习了一个消息队列项目--RabbitMQ,今天趁热打铁,将学到的东西记录下来. 学习的资料主要是官网给出的6个基本的消息发送/接收模型, ...
- RabbitMq应用二
在应用一中,基本的消息队列使用已经完成了,在实际项目中,一定会出现各种各样的需求和问题,rabbitmq内置的很多强大机制和功能会帮助我们解决很多的问题,下面就一个一个的一起学习一下. 消息响应机制 ...
- 如何优雅的使用RabbitMQ
RabbitMQ无疑是目前最流行的消息队列之一,对各种语言环境的支持也很丰富,作为一个.NET developer有必要学习和了解这一工具.消息队列的使用场景大概有3种: 1.系统集成,分布式系统的设 ...
- RabbitMq应用一的补充(RabbitMQ的应用场景)
直接进入正题. 一.异步处理 场景:发送手机验证码,邮件 传统古老处理方式如下图 这个流程,全部在主线程完成,注册->入库->发送邮件->发送短信,由于都在主线程,所以要等待每一步完 ...
- RabbitMq应用一
RabbitMq应用一 RabbitMQ的具体概念,百度百科一下,我这里说一下我的理解,如果有少或者不对的地方,欢迎纠正和补充. 一个项目架构,小的时候,一般都是传统的单一网站系统,或者项目,三层架构 ...
- 缓存、队列(Memcached、redis、RabbitMQ)
本章内容: Memcached 简介.安装.使用 Python 操作 Memcached 天生支持集群 redis 简介.安装.使用.实例 Python 操作 Redis String.Hash.Li ...
- 消息队列性能对比——ActiveMQ、RabbitMQ与ZeroMQ(译文)
Dissecting Message Queues 概述: 我花了一些时间解剖各种库执行分布式消息.在这个分析中,我看了几个不同的方面,包括API特性,易于部署和维护,以及性能质量..消息队列已经被分 ...
- windows下 安装 rabbitMQ 及操作常用命令
rabbitMQ是一个在AMQP协议标准基础上完整的,可服用的企业消息系统.它遵循Mozilla Public License开源协议,采用 Erlang 实现的工业级的消息队列(MQ)服务器,Rab ...
- RabbitMQ + PHP (三)案例演示
今天用一个简单的案例来实现 RabbitMQ + PHP 这个消息队列的运行机制. 主要分为两个部分: 第一:发送者(publisher) 第二:消费者(consumer) (一)生产者 (创建一个r ...
- RabbitMQ + PHP (二)AMQP拓展安装
上篇说到了 RabbitMQ 的安装. 这次要在讲案例之前,需要安装PHP的AMQP扩展.不然可能会报以下两个错误. 1.Fatal error: Class 'AMQPConnection' not ...
随机推荐
- Disruptor的应用示例——大文件拆分
结合最近Disruptor的学习,和之前一直思考解决的大文件拆分问题,想到是否可以使用Disruptor作为生产者/消费者传递数据的通道呢?借助其高效的传递,理论上应当可以提升性能.此文便是此想法的落 ...
- maven自定义jar到本地仓库
Apache Maven为项目构建提供了绝佳的解决方案,其本地仓库中缓存了远程代理仓库或中央仓库中的资源,从而提高网络资源使用效率,很好很强大! 但是并非所有资源都可以根据GroupId.Artif ...
- JavaScript 原型与继承机制详解
引言 初识 JavaScript 对象的时候,我以为 JS 是没有继承这种说法的,虽说 JS 是一门面向对象语言,可是面向对象的一些特性在 JS 中并不存在(比如多态,不过严格来说也没有继承).这就困 ...
- centos7使用cobbler(2.8)批量部署操作系统之一
一. 批量部署操作系统的前提 要想批量部署操作系统,得具备以下条件: 客户机支持pxe网络引导 服务器端和客户端建立网络通信(DHCP) 服务器端要有可供客户机开机引导的引导文件 服务器端的可引 ...
- FineReport中如何对cpt模板加密
1. 描述 FR客户使用FineReport报表并将其集成到自己的产品中,然后提供给最终用户使用,最终用户可以预览FR模板,但是不能打开模板进行设计修改. FineReport提供了cpt模板Des加 ...
- RunLoop的简单理解笔记
一句话解释RunLoop:运行任务的循环. 为什么要有RunLoop:解决交互式UI设计中的一个问题,如何快速响应用户输入,如何快速将程序运行结果输出到屏幕? 基本原理:1 将任务分解的足够细 2 每 ...
- html中的锚点
一.页面内跳转的锚点设置 页面内的跳转需要两步: 方法一: ①:设置一个锚点链接<a href="#miao">去找喵星人</a>:(注意:href属性的属 ...
- Luogu 1894 [USACO4.2]完美的牛栏The Perfect Stall / POJ 1274 The Perfect Stall(二分图最大匹配)
Luogu 1894 [USACO4.2]完美的牛栏The Perfect Stall / POJ 1274 The Perfect Stall(二分图最大匹配) Description 农夫约翰上个 ...
- SQl去获取相同记录
以name字段为例 select * from table where name in(select name from table group by name having count(name)& ...
- CSS学习笔记一:css 画平面图形
最近在学习CSS,先从CSS画点平面图形入手,发现除了正方形.长方形此类比较简单,只要有长宽设置恰当即可,画圆要涉及radius,然后恢复到做界面的最讨厌的状态了,不断的修改设值,调整数据,所幸并不多 ...