python中利用redis构建任务队列(queue)
Python中的使用标准queue模块就可以建立多进程使用的队列,但是使用redis和redis-queue(rq)模块使这一操作更加简单。
Part 1.
比如首先我们使用队列来简单的储存数据:我们选用redis list
类型,其他类型的数据操作可以参考这个文章
在redis_queue.py
文件中:
import redis
class RedisQueue(object):
def __init__(self, name, namespace='queue', **redis_kwargs):
# redis的默认参数为:host='localhost', port=6379, db=0, 其中db为定义redis database的数量
self.__db= redis.Redis(**redis_kwargs)
self.key = '%s:%s' %(namespace, name)
def qsize(self):
return self.__db.llen(self.key) # 返回队列里面list内元素的数量
def put(self, item):
self.__db.rpush(self.key, item) # 添加新元素到队列最右方
def get_wait(self, timeout=None):
# 返回队列第一个元素,如果为空则等待至有元素被加入队列(超时时间阈值为timeout,如果为None则一直等待)
item = self.__db.blpop(self.key, timeout=timeout)
# if item:
# item = item[1] # 返回值为一个tuple
return item
def get_nowait(self):
# 直接返回队列第一个元素,如果队列为空返回的是None
item = self.__db.lpop(self.key)
return item
在input.py
文件中:
from redis_queue import RedisQueue
import time
q = RedisQueue('rq') # 新建队列名为rq
for i in range(5):
q.put(i)
print "input.py: data {} enqueue {}".format(i, time.strftime("%c"))
time.sleep(1)
在output.py
文件中:
from redis_queue import RedisQueue
import time
q = RedisQueue('rq')
while 1:
result = q.get_nowait()
if not result:
break
print "output.py: data {} out of queue {}".format(result, time.strftime("%c"))
time.sleep(2)
在test_run.sh
文件中:
python input.py &
python output.py &
在terminal中运行test.sh的结果如下:
input.py: data 0 enqueue Fri Nov 10 10:51:37 2017
output.py: data 0 out of queue Fri Nov 10 10:51:37 2017
input.py: data 1 enqueue Fri Nov 10 10:51:38 2017
output.py: data 1 out of queue Fri Nov 10 10:51:38 2017
input.py: data 2 enqueue Fri Nov 10 10:51:39 2017
output.py: data 2 out of queue Fri Nov 10 10:51:39 2017
input.py: data 3 enqueue Fri Nov 10 10:51:40 2017
output.py: data ('queue:rq', '3') out of queue Fri Nov 10 10:51:40 2017
input.py: data 4 enqueue Fri Nov 10 10:51:41 2017
output.py: data ('queue:rq', '4') out of queue 1510282301.69
其中lpop返回的是一个队列名+元素值的tuple,并且返回的数值默认为string
Part 2.
队列里面可以添加任意object,因此可以添加函数到多个队列来实现多线程并发的效果。
首先,建立一个rq work进程(写在worker.py
脚本中)来监听队列
import redis
from rq import Worker, Queue, Connection
listen = ['default']
redis_url = "redis://localhost:6379" # redis server 默认地址
conn = redis.from_url(redis_url)
def square_function(x):
return x*x
if __name__ == '__main__':
with Connection(conn): # 建立与redis server的连接
worker = Worker(list(map(Queue, listen))) # 建立worker监听给定的队列
worker.work()
然后python worker.py
启动redis server
在test.py
文件中:
from rq import Queue
from rq.job import Job
from worker import square_function, conn
import time
q = Queue(connection=conn)
job = q.enqueue_call(square_function, args=(5, ), result_ttl=5000) # 保存结果5000s
job_id = job.get_id()
print job_id
result1 = Job.fetch(job_id, connection=conn)
print result1.is_finished
time.sleep(1) # 等待队列里任务完成
result2 = Job.fetch(job_id, connection=conn)
print result2.return_value
上面文件的输出结果为:
98dc6f58-9333-48f7-88c1-c4de1cc9e5cf # job id
False # 任务尚未完成
25 # 任务完成,输出结果
注: 调用的square_function不允许和任务发起在同一个脚本,否则会报错ValueError: Functions from the __main__ module cannot be processed by workers
当与flask一起使用时:
在app.py
文件中:
from rq import Queue
from rq.job import Job
from worker import conn, square_function
from flask import Flask, request
app = Flask(__name__)
q = Queue(connection=conn) # 建立与Redis server的连接并初始化一个队列
@app.route("/", methods=['POST'])
def index():
x = request.get_data() # string 类型
job = q.enqueue_call(square_function, args=(int(x), ), result_ttl=5000) # 最后的参数为RQ保留结果的时间
return job.get_id() # 返回job的id
@app.route('/result/<job_key>', methods=['GET'])
def get_results(job_key):
job = Job.fetch(job_key, connection=conn) # 获取根据job_id获取任务的返回值
if job.is_finished: # 检验是否完成
return str(job.result), 200
else:
return "Wait!", 202
if __name__ == "__main__":
app.run('0.0.0.0', port=5000)
python app.py
启动flask服务
在test.py
文件:
import requests
import time
post_url = "http://localhost:5000"
post_result = requests.post(post_url, data={'x': 2})
job_id = post_result.content
print job_id
time.sleep(1)
get_url = "http://localhost:5000/result/{}".format(job_id)
get_result = requests.get(get_url)
print get_result.content
获得的结果如下:
067306e9-f13b-4b6a-93dc-2f5b457a78b7 # job id
4 # job返回值
参考:
- https://realpython.com/blog/python/flask-by-example-implementing-a-redis-task-queue/
- http://peter-hoffmann.com/2012/python-simple-queue-redis-queue.html
- http://python-rq.org/docs/
- https://www.cnblogs.com/melonjiang/p/5342505.html
- http://xiaorui.cc/2015/11/11/解决python-rq获取返回结果和异常的问题/
python中利用redis构建任务队列(queue)的更多相关文章
- python中利用队列asyncio.Queue进行通讯详解
python中利用队列asyncio.Queue进行通讯详解 本文主要给大家介绍了关于python用队列asyncio.Queue通讯的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细 ...
- Python中利用函数装饰器实现备忘功能
Python中利用函数装饰器实现备忘功能 这篇文章主要介绍了Python中利用函数装饰器实现备忘功能,同时还降到了利用装饰器来检查函数的递归.确保参数传递的正确,需要的朋友可以参考下 " ...
- python中利用matplotlib绘图可视化知识归纳
python中利用matplotlib绘图可视化知识归纳: (1)matplotlib图标正常显示中文 import matplotlib.pyplot as plt plt.rcParams['fo ...
- redis的安装使用以及在python中操作redis
一.Redis介绍: Redis可以看作是一个key-value的存储系统,它为我们提供了丰富的数据结构,包括lists,sets,ordered sets和hashes.还包括了对这些数据结构的丰富 ...
- Python中的 redis keyspace 通知
介绍 Redis是内存中的数据结构存储,用于缓存.高速数据摄取.处理消息队列.分布式锁定等等. 与其他内存存储相比,使用Redis的优势在于它提供了持久性和数据结构,比如列表.集合.排序集合和散列. ...
- python中的Redis键空间通知(过期回调)
介绍 Redis是一个内存数据结构存储库,用于缓存,高速数据摄取,处理消息队列,分布式锁定等等. 使用Redis优于其他内存存储的优点是Redis提供持久性和数据结构,如列表,集合,有序集和散列. 在 ...
- Python中利用原始套接字进行网络编程的示例
Python中利用原始套接字进行网络编程的示例 在实验中需要自己构造单独的HTTP数据报文,而使用SOCK_STREAM进行发送数据包,需要进行完整的TCP交互. 因此想使用原始套接字进行编程,直接构 ...
- (数据科学学习手札145)在Python中利用yarl轻松操作url
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师,在诸如网络爬虫.web应用开发 ...
- Python中利用LSTM模型进行时间序列预测分析
时间序列模型 时间序列预测分析就是利用过去一段时间内某事件时间的特征来预测未来一段时间内该事件的特征.这是一类相对比较复杂的预测建模问题,和回归分析模型的预测不同,时间序列模型是依赖于事件发生的先后顺 ...
随机推荐
- netty如何知道连接已经关闭,socket心跳,双工?异步?
https://stackoverflow.com/questions/10240694/java-socket-api-how-to-tell-if-a-connection-has-been-cl ...
- 在现实面前,IT从业者的无奈
话题:在中国,有多少程序员干到40了? 作者:匿名用户 链接:https://www.zhihu.com/question/33953081/answer/349839986 学历低,计算机理论不高, ...
- android:定制 ListView 的界面
只能显示一段文本的 ListView 实在是太单调了,我们现在就来对 ListView 的界面进行 定制,让它可以显示更加丰富的内容. 首先需要准备好一组图片,分别对应上面提供的每一种水果,待会我们要 ...
- Knockout.Js官网学习(Mapping插件)
前言 Knockout设计成允许你使用任何JavaScript对象作为view model.必须view model的一些属性是observable的,你可以使用KO绑定他们到你的UI元素上,当这些o ...
- AVL树平衡旋转详解
AVL树平衡旋转详解 概述 AVL树又叫做平衡二叉树.前言部分我也有说到,AVL树的前提是二叉排序树(BST或叫做二叉查找树).由于在生成BST树的过程中可能会出现线型树结构,比如插入的顺序是:1, ...
- AB Test 是什么
关于AB Test是什么 一种灰度发布方式. ps:什么是灰度发布 每个灰度对象都是0%(白色)到100%(黑色)的中间值,灰度发布是指在黑白之间,能够平滑过度的一种发布方式. 实现方式 让一部分用户 ...
- DNS的域名的解析解决办法(openDNS)
http://www.williamlong.info/archives/1101.html
- [JS]两个常用的取随机整数的函数
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/ ...
- maven本地库与私服比对,查找缺失jar包
项目中遇到的一个问题,因为要切换开发环境(新环境不能联网,且私服上的jar包信息不全),需要将本地仓库(项目使用本地仓库能够正常编译)中有而私服上没有的jar包整理出来(名称.版本号等),提供给第三方 ...
- redis内部数据结构深入浅出
最大感受,无论从设计还是源码,Redis都尽量做到简单,其中运用到的原理也通俗易懂.特别是源码,简洁易读,真正做到clean and clear, 这篇文章以unstable分支的源码为基准,先从大体 ...