分布式队列celery 异步----Django框架中的使用

仅仅是个人学习的过程，发现有问题欢迎留言

一、celery 介绍

celery是一种功能完备的即插即用的任务对列

celery适用异步处理问题，比如上传邮件、上传文件、图像处理等比较耗时的事情

异步执行，这样用户不需要等待很长的时间，提高用户的体验

celery是由python语言编写的，但是可以使用于许多语言，比如js、PHP等

二、celery的特点：

简单，易于使用和维护，有丰富的文档

高效，单个的celery进程每分钟可以处理数百个任务

灵活，celery中几乎每个部分都可以有自己的拓展

celery易于集成在一些web开发框架中

三、在Django框架中安装celery

1、进入虚拟环境

2、在终端中输入 pip install celery

 

四、celery的组成结构：

1、任务对列是一种跨线程、跨机器工作的机制；

2、任务对列中包含工作单元，有专门的工作进程持续不断的监听任务对列，并从中获取新的任务并处理；

3、celery通过消息进行通信，通常有一个client(任务发出者)通过broker(中间人)建立和worker(任务执行者)的通信

client发出消息到对列中，broker将对列中的信息派发给worker来处理

一个celery系统中可以包含多个worker和broker，可以增强横向的扩展性和高可用性

celery组成结构是生产者消费者模型的一种体现

五、celery在Django项目中的具体应用案例：

1、在项目的目录下创建一个celery_tasks文件夹

2、创建应用对象/客户端/client

2.1在celery_tasks的目录下创建一个main.py文件，作为celery的启动文件

"""
　　 celery:
    必须先导入配置文件
    创建celery实例
    让celery加载broker
    celery实例对象自动检测
　　1、任务
　　2、broker
　　3、worker
　　"""
#导入工程的配置文件，可以通过复制工程manage.py文件中的信息
import os
from celery import Celery
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mall.settings")
#创建celery实例
#参数 main 其实就是给celery设置一个名字，这个名字唯一就可以
#推荐使用  文件路径
app = Celery(main='celery_tasks')
#让celery加载broker
app.config_from_object('celery_tasks.config')
#让celery实力对象自动检测任务
#参数：
    #列表
    #列表中需要填写 任务的包路径
app.autodiscover_tasks(['celery_tasks.sms'])

2.2在celery_tasks的目录下创建一个config.py文件，用于存放broker

本次项目中采用的Redis数据库作为中间人

celery需要一种解决消息发送和接受的方式，我们把这种用来储存消息的中间装置称为message

　　可以使用RabbitMQ：是一个功能完备，稳定的，并且易于安装的broker，它是生产环境最优的选择

　　可以采用Redis：也是一个功能完备broker,但是其可能因为意外中断或者电源故障导致数据丢失

"""
配置信息，单独放在一个文件中
broker 选择放在redis的14号库
"""
broker_url = 'redis://127.0.0.1/14'
#执行任务的结果保存再15号库
result_url = 'redis://127.0.0.1/15'

　　2.3在celery_tasks的目录下创建一个sms文件包(例子是用来发送短信的，因此起名sms),在sms文件包中创建一个tasks.py文件，用于发布任务

from celery_tasks.main import app
from libs.yuntongxun.sms import CCP
#创建任务
"""
任务：
    任务包所对应的py文件  必须为tasks.py
    所谓的任务就是函数
    这个函数必须被celery的实例对象的task装饰器装饰
    这个任务必须被实力对象自动检测
"""
#bug   task多了一个s，导致没任务
@app.task
def send_sms_code(mobile,sms_code):
    CCP().send_template_sms(mobile,[sms_code,5],1)

2.5需要找到对应的视图中，导入任务

#在视图中导入celery
from celery_tasks.sms.tasks import send_sms_code
        #delay 的参数同 send_sms_code 的参数
        send_sms_code.delay(mobile,sms_code)

　　

2.6、在终端中添加执行命令

celery -A celery实例对象所在的文件 worker -l info

celery -A celery_tasks.main worker -l info