使用celery的backend异步获取结果
惯例先贴出相关参考的文档:
http://docs.celeryproject.org/en/stable/getting-started/next-steps.html
http://docs.celeryproject.org/en/stable/userguide/tasks.html#task-result-backends
这篇紧接上篇。
其实我们一般对这种异步任务需求是可能需要回调的。比如说我现在有一个支付的异步任务发送到了队列。
生产者不需要等待,在发送到队列之后就告诉用户已经支付成功了或者说正在支付稍后再来查看状态。
这个时候celery的worker获取到这个任务之后开始处理,等一会儿他处理完毕之后可能需要将这个处理完毕的结果返回给发送给他的生产者。
那么问题来了,如何告知生产者?因为生产者生产完消息之后就结束了。
那么这个时候就使用到了backend这个参数了:
当我们像指明broker一样指明了backend之后,当worker运行完结果之后就会把他返回给生产者的唯一id作为键,将结果作为值传递给你设置的worker(backend测试环境为redis).这个时候你无论在什么时候只要拿着这个值去redis里面查找到结果就行了。比如你在执行一个任务,你可以设置一个周期性轮询,去查看这个结果是否已经被生产出来,如果生产出来便取到该值做相应的操作即可。下面为具体操作实例:
先贴出一个我统一使用的配置文件
- # file_name=init_celery.py
# coding: utf-8- from celery import Celery
- BROKER_URL = 'redis://:password@localhost:6379/0'
- BACKEND_URL = 'redis://:password@localhost:6379/1'
- # Add tasks here
- CELERY_IMPORTS = (
- 'try',
- )
- celery = Celery('celery',
- broker=BROKER_URL,
- backend=BACKEND_URL,
- include=CELERY_IMPORTS,)
- celery.conf.update(
- CELERY_ACKS_LATE=True,
- CELERY_ACCEPT_CONTENT=['pickle', 'json'],
- CELERYD_FORCE_EXECV=True,
- CELERYD_MAX_TASKS_PER_CHILD=500,
- BROKER_HEARTBEAT=0,
- )
然后是celery任何函数
- from init_celery import celery
- @celery.task
- def add(x, y):
- result = x + y
- print result
- return result
最后我们调用这个函数执行异步操作
- from tasks import add
- def notify(a, b):
- result = add.apply_async((a, b), queue='laplace')
- return result
- if __name__ == '__main__':
- haha = notify(6, 7)
- print haha.status
- print haha.id
- print haha.get(timeout=1)
这里注意我使用了task.apply_async这个函数。其实效果根task.delay差不多只是可以指定更多的参数。 这里我指定了使用的队列为laplace队列,所以对应的监听的队列也必须使用参数-Q监听对应的队列,才能获得结果。
这里返回的result其实就是一个唯一的<class 'celery.result.AsyncResult'>对象。
我们可以对这个对象查看他的状态,id 以及使用get去得到他的具体值。
合理的使用这个get方法就可以取得woker处理之后的值,同时在redis可以清楚的看到,worker处理之后自动帮你在redis里面存储了
这么介绍之后对于backend是不是已经一目了然了呢?其实我在进行之类操作的时候还踩了一些配置文件方面的坑,
所以一定要仔细的参考官方文档进行操作。和查看更多你需要用到的功能和参数。
使用celery的backend异步获取结果的更多相关文章
- Celery - 一个懂得 异步任务 , 定时任务 , 周期任务 的芹菜
1.什么是Celery?Celery 是芹菜Celery 是基于Python实现的模块, 用于执行异步定时周期任务的其结构的组成是由 1.用户任务 app 2.管道 broker 用于存储 ...
- Django+Celery+xadmin实现异步任务和定时任务
Django+Celery+xadmin实现异步任务和定时任务 关注公众号"轻松学编程"了解更多. 一.celery介绍 1.简介 [官网]http://www.celerypro ...
- django celery的分布式异步之路(一) 起步
如果你看完本文还有兴趣的话,可以看看进阶篇:http://www.cnblogs.com/kangoroo/p/7300433.html 设想你遇到如下场景: 1)高并发 2)请求的执行相当消耗机器资 ...
- celery+django+mq 异步任务与定时任务
参考 celerypip install celery==4.1.1https://www.cnblogs.com/wdliu/p/9530219.htmlhttps://www.jianshu.co ...
- Curator 异步获取结果
原声的ZooKeeper 的CRUD API有同步和异步之分,对于异步API,需要传递AsyncCallback回调.对于getData,getChildren,exists这三个API,还可以设置W ...
- jquery的异步获取返回值为中文时乱码解决方法
用jqgrid异步获取列表值,遇到个问题,服务器端从数据库取到的数据没有出现中文乱码问题(日志打出来是没有乱码的),但是异步传到客户的时候却出现了乱码. 服务器端已经编码过了(UTF-8编码).开始一 ...
- 分享一个安卓中异步获取网络图片并自适应大小的第三方程序(来自github)
安卓中获取网络图片,生成缓存 用安卓手机,因为手机流量的限制,所以我们在做应用时,要尽量为用户考虑,尽量少耗点用户的流量,而在应用中网络图片的显示无疑是消耗流量最大的,所以我们可以采取压缩图片或者将图 ...
- 如何解决设置Session保存在StateServer后引起WebService/WebMethod无法异步获取Session
项目中有一个文件上传功能,需要显示文件上传进度.于是使用PageMethods 调用WebService/WebMethod . 在demo中测试一切正常.但是转移到项目中之后无法异步刷新文件上传进度 ...
- Swift - 异步获取网络数据封装类
使用NSURLConnection.sendAsynchronousRequest()可以采用异步获取的方式取得数据.下面通过对数据获取类进行封装,演示如何进行数据请求与接收. 1,HttpContr ...
随机推荐
- php 常用变量与函数
php 基本函数explode(" ",$str) 字符串转数组 implode(" ",$arr) 数组转字符串strrchr("I love Sh ...
- sqoop的增量导入(increment import)
1.import增量导入的官方说明
- 2015-微软预科生计划-面试题-Swimming Plans
http://hihocoder.com/problemset/problem/1188 题目大意 Steven在时刻T到达了室内游泳池. 游泳池一共有N条泳道,游泳池两侧分别标记为0和1. 已知除了 ...
- C++ UFunction({FLAG}) 宏 FLAG 解释笔记
1.BluePrintCallable --蓝图可调用 但不可编辑 2.BlueprintImplementableEvent --函数体必须实现与Blueprint 但函数名必须生成与C++ .h ...
- linux命令:more
1.命令介绍: more用来逐页输出文件内容,空格键进入到下一页,b键返回到上一页. 2.命令格式: more [选项] 文件 3.命令参数 +n 从笫n行开始显示 -n 定义屏 ...
- andriod学习之一
今天安装了Android Studio, 但PinyinIME没有导入成功.然后看了Android的一些基础. 知道了Android的基本组件: Activity,服务,内容提供程序,广播接收器. 大 ...
- 自定义滚动条样式(jQuery插件、Webkit、IE)
-------------jQuery滚动条插件------------- http://manos.malihu.gr/tuts/jquery_custom_scrollbar.html http: ...
- Windows下RCNN的使用
RCNN 一种把目标图像分割转化为CNN分类问题进行目标检测的方法. 以下转自魏晋的知乎回答 Ross B. Girshick的RCNN使用region proposal(具体用的是Selecti ...
- Spring MVC 4.2 增加 CORS 支持 Cross-Origin
基于XML的配置: <mvc:cors> <mvc:mapping path="/api/**" allowed-origins="http://dom ...
- SSIS 项目部署模型
微软 BI 系列随笔 - SSIS 2012 基础 - SSIS 项目部署模型 关于部署 SSIS 2012 支持两种部署模型:项目部署模型和包部署模型. 使用项目部署模型可以将项目部署到 Integ ...