celery是一个python的分布式任务队列框架,支持 分布的 机器/进程/线程的任务调度。采用典型的生产者-消费者模型

包含三部分:
1. 队列 broker :可使用redis ,rabbitmq ,或关系数据库作为broker

2.处理任务的消费者workers : 队列中有任务时就发出通知,worker收到通知就去处理

3.任务结果存储 backend:  存储任务的返回值

celery 4.2,django 1.11.7 ,rabbitmq 3.7.3,centos 6.5

事先需安装 rabbitmq  , (安装rabbitmq前需安装erlang ,esl-erlang )

yum install rabbitmq-server

(开启 rabbitmq :    systemctl start rabbitmq-server   ;  查看rabbitmq的状态 ,切换到合适的目录与用户(一般为安装时的用户,目录一般为/usr/lib/bin): rabbitmqctl status   ;)

安装celery包

pip install celery ==4.2

通常django的项目目录为

- proj /

- manage.py

-proj/

-__init__.py

-settings.py

- urls.py

-myapp/

-urls.py

-views.py

-models.py

首先要创建 一个celery实例  proj/proj/celery.py

from __future__import absolute_import,unicode_literals

import os

from celery import Celery

#为这个celery项目设置系统环境变量

os.environ.setdefault('DJANGO_SETTINGS_MODULE','proj.settings')

#实例化Celery对象

app=Celery('proj')

#配置传入字符串而不是配置对象,使worker不需要在子进程中序列化配置对象;命名空间设置为’CELERY‘意味着所有celery相关的配置键值都应该以'CELERY_'开头

app.config_from_object('django.conf:settings',namespace='CELERY')

#自动加载task模块

app.autodiscover_tasks()

@app.task(bind=True)

def debug_task(self):

print('Request: {0!r}'.format(self.request))

#debug_task是一个复制它自己的request的信息的task ,使用bind=True简单地将其绑定到当前的task实例上。

2.在 proj/proj/__init__.py中导入第一步中创建的app,是为了保证django项目开启时就加载这个app,让后续的@shared_task装饰器可以使用它。

from __future__ import absolute_import,unicode_literals

from .celery import app as celery_app

__all__=('celery_app',)

3.创建myapp/tasks.py ,使用@shared_task装饰器

from __future__ import absolute_import,unicode_literals

from celery import shared_task

@shared_task

def add(x,y):

return x+y

@shared_task

def mul(x,y):

return x*y

@shared_task

def xsum(numbers):

return sum(numbers)

#一般将比较耗时的操作,定义在task.py中,这样在view中使用这个函数时,就可以异步调用,不必等操作完成再返回页面结果,而是可以异步调用完后直接进行下一步。

而这个操作会在子进程中继续执行,执行结果保存在队列中,也可指定保存在django的orm中

4.将celery队列的任务执行结果保存到 django的orm或缓存框架中

*需要安装 django-celery-results

pip install django-celery-results

*将其('django_celery_results')添加到settings.py的INSTALL_APPS中

*在数据库中创建保存celery结果的表

python manage.py migrate django_celery_results

*在settings.py为celery配置后端存储

CELERY_RESULT_BACKEND='django-db'

CELERY_RESULT_BACKEND='django-cache'

启动完django 的 manage.py runserver后运行 celery -A proj worker -l info 开启celery队列

django+celery +rabbitmq的更多相关文章

  1. Django+celery+rabbitmq实现邮件发送

    一.环境 1.pip包 amqp==2.4.2 anyjson==0.3.3 billiard==3.6.0.0 celery==4.3.0 Django==2.2 dnspython==1.16.0 ...

  2. django+celery+ RabbitMQ实现异步任务实例

    背景   django要是针对上传文件等需要异步操作的场景时,celery是一个非常不错的选择.笔者的项目就是使用了这个组合,这里就做一个备忘吧. 安装RabbitMQ   这个安装及使用我已经在前一 ...

  3. 如何使用django+celery+RabbitMQ实现异步执行

    1)安装需要安装RabbitMQ.Celery和Django-celeryCelery和Django-celery的安装直接pip就好 2)修改settings.py在INSTALLED_APPS中加 ...

  4. 使用django+celery+RabbitMQ实现异步执行

    http://www.yu180.com/group/view/259 推荐一个解决框架 https://github.com/maccman/juggernaut Realtime server p ...

  5. django celery异步框架

    描述:实现运维平台的异步执行与定时任务,以下简单描述了安装过程及使用.   安装django和celery pip install django pip install celery pip inst ...

  6. Configuring and Running Django + Celery in Docker Containers

    Configuring and Running Django + Celery in Docker Containers  Justyna Ilczuk  Oct 25, 2016  0 Commen ...

  7. Django+Celery+xadmin实现异步任务和定时任务

    Django+Celery+xadmin实现异步任务和定时任务 关注公众号"轻松学编程"了解更多. 一.celery介绍 1.简介 [官网]http://www.celerypro ...

  8. django+celery+redis环境搭建

    初次尝试搭建django+celery+redis环境,记录下来,慢慢学习~ 1.安装apache 下载httpd-2.0.63.tar.gz,解压tar zxvf httpd-2.0.63.tar. ...

  9. celery+RabbitMQ 实战记录2—工程化使用

    上篇文章中,已经介绍了celery和RabbitMQ的安装以及基本用法. 本文将从工程的角度介绍如何使用celery. 1.配置和启动RabbitMQ 请参考celery+RabbitMQ实战记录. ...

随机推荐

  1. mysql优化方案之sql优化

    优化目标 1.减少 IO 次数 IO永远是数据库最容易瓶颈的地方,这是由数据库的职责所决定的,大部分数据库操作中超过90%的时间都是 IO 操作所占用的,减少 IO 次数是 SQL 优化中需要第一优先 ...

  2. MariaDB glare cluster简介

    MariaDB MariaDB 是由原来 MySQL 的作者Michael Widenius创办的公司所开发的免费开源的数据库服务器,MariaDB是同一MySQL版本的二进制替代品, 当前最新版本1 ...

  3. shift键有什么用?怎么用?shift键的妙用

    一.当你用QQ和别人聊天时,是不是有时信息发送的特别慢呀,不要紧,只要你发信息时按shift 键信息就会很快的发送出去的! 二.当你面对一大堆窗口,却要一个一个把它们关掉时.是不是很烦啊.只要你按sh ...

  4. JavaScript 字典

    JavaScript 字典 字典以 key value 形式出现 使用: a = {'k1':'v1,''k2':'v2'} 获取值: a['k1'] 获取值:v1

  5. Docker Macvlan 应用部署

    Docker Macvlan 应用部署 MacVLAN有两种桥接模式 Bridge模式:不创建子接口的情况下直接去桥接物理接口.直接桥接到与宿主级的同网段. VLAN Bridge模式:创建子接口去桥 ...

  6. iOS报错总结

    1. new Date('2018-07-18 14:58:32').getTime();      //在ios上拿报Invalid Date    无法转化 Safari 正确解析new Date ...

  7. JS设计模式(5)发布订阅模式

    什么是发布订阅模式(观察者模式)? 定义:定义对象间的一种一对多的依赖关系,当一个对象的状态发生改变时,所有依赖于它的对象都得到通知并被自动更新. 主要解决:一个对象状态改变给其他对象通知的问题,而且 ...

  8. 微信小程序wepy开发,$apply()不能更新页面数据的情况

    例如userinfo信息获取到后,$apply()更新后还是没有在页面中显示数据 已发现的原因: 当data中没有定义userinfo时,会发生这样的问题

  9. Matlab Code for Visualize the Tracking Results of OTB100 dataset

    Matlab Code for Visualize the Tracking Results of OTB100 dataset 2018-11-12 17:06:21 %把所有tracker的结果画 ...

  10. 8、zabbix监控方式及分布式监控(04)

    zabbix支持的监控方式 zabbix所能够显示的且可指定为监控接口类型的监控方式: Agent passive active SNMP:Simple Network Management Prot ...