这里不解释celery,如果不清楚可以参考下面链接:

http://docs.celeryproject.org/en/latest/getting-started/introduction.html

这里来演示一下在Django项目中如何使用celery:

1. 首先我们需要使用到两个库,用pip安装:

  pip install celery

  pip install django-celery

2. 在celery建议使用rabbitmq作为消息代理,当然也支持redis作代理,abbitmq提供的队列和消息持久化机制确实更加稳定,所以对于追求稳定性的任务更适合适配rabbitmq作为中间件, 这里用rabbitmq作为消息代理,用redis作为存储后端

  我的环境是deepin,安装rabbitmq和redis

  sudo apt-get install rabbitmq-server
  sudo apt-gei install redis

3. 在django中使用celery的方式和普通py文件中的方式略有不同,下面是一个向通过秒滴平台发送短信验证码的demo:

  • 普通py文件用法:
# tasks.py

import os
from celery import Celery app = Celery('tasks', backend='amqp://guest@localhost//', broker='redis://localhost:6379/1')
@app.task(name="send_verification_code")
def _send_verification_code(phone_number, verification_code):
"""
:param phone_number: 目标手机号
:param verification_code: 验证码
:return:
True:发送成功
False:发送失败
"""
api = getConfig('MiaoDi', 'api')
accountSid = getConfig('MiaoDi', 'accountSid')
templateid = getConfig('MiaoDi', 'templateid')
timeout_s = getConfig('MiaoDi', 'timeout')
param = '{},{}'.format(verification_code, timeout_s)
timestamp = datetime.datetime.now().strftime('%Y%m%d%H%M%S')
sign = hash_sign(timestamp)
data = {
'accountSid': accountSid, 'templateid': templateid, 'param': param,
'to': phone_number, 'timestamp': timestamp, 'sig': sign
}
response = requests.post(url=api, data=data)
ret_json = response.text
ret_dict = eval(ret_json) if ret_dict.get('respCode') != '':
return False
else:
return True
# test.py
from tasks import _send_verification_code def send_verification_code(phone_number, verification_code):
  task = _send_verification_code.delay(phone_number, verification_code)
if __name__ == '__main__':
  phone_number = input('请输入手机号:')
  verification_code = input('请输入验证码:')
  send_verification_code(phone_number, verification_code)

启动celery 服务:

  celery -A tasks worker --loglevel=info            # 若在windows下报错,需再加  -P  eventlet       表示绿色线程,把celery的并行执行方式改为 eventlet, 而不是默认的prefork,需要安装 :pip install eventlet

  •  django中用法推荐(只是推荐这样用,显得简洁方便管理,你当然可以将以上方法用在Django中)

    在项目的setting.py中配置:

 

import djcelery

djcelery.setup_loader()

INSTALLED_APPS = (
······,
'djcelery',
·······
) # CELERY STUFF
BROKER_URL = 'amqp://guest@localhost//' # 使用的消息队列rabbitmq
CELERY_RESULT_BACKEND = 'redis://localhost:6379/1' # 结果使用的存储介质为redis
CELERY_TASK_SERIALIZER = 'json'            # 消息任务的序列化方式
CELERY_RESULT_SERIALIZER = 'json'           # 结果的序列化方式
CELERY_TASK_RESULT_EXPIRES = 60 * 60       # celery任务执行结果的超时时
CELERY_ACCEPT_CONTENT = ['json']
CELERY_TIMEZONE = 'Asia/Shanghai' # 建议不同的task使用不同的Queue,而不是都是用默认的Queue
CELERY_QUEUES = (
Queue(
"default",
Exchange("default"),
routing_key="default"),
Queue(
"request_to_chit_platform",
Exchange("request_to_chit_platform"),
routing_key="request_to_chit_platform"),
)
# Queue的路由
CELERY_ROUTES = {
'request_to_chit_platform': {"queue": "request_to_chit_platform",
"routing_key": "request_to_chit_platform"},
}

接下来就是celery tasks的编写:

项目APP与models.py同级下创建tasks.py

tasks.py

# coding=utf-8
import requests
import datetime
from celery import task
from utils.hash import hash_sign
from utils.common import getConfig @task(name="request_to_chit_platform")
def request_to_chit_platform(phone_number, verification_code):
""" :param phone_number: 目标手机号
:param verification_code: 验证码
:return:
True:发送成功
False:发送失败
""" proxy_dict = {
"http": "http://xxxxxxxxxxxxx:xxx/",
"https": "http://xxxxxxxxxxxxxxx:xxx/"
} api = getConfig('MiaoDi', 'api')
accountSid = getConfig('MiaoDi', 'accountSid')
templateid = getConfig('MiaoDi', 'templateid')
timeout_s = getConfig('MiaoDi', 'timeout')
param = '{},{}'.format(verification_code, timeout_s)
timestamp = datetime.datetime.now().strftime('%Y%m%d%H%M%S')
sign = hash_sign(timestamp)
data = {
'accountSid': accountSid, 'templateid': templateid, 'param': param,
'to': phone_number, 'timestamp': timestamp, 'sig': sign
}
response = requests.post(url=api, data=data, proxies=proxy_dict)
# response = requests.post(url=api, data=data)
ret_json = response.text
ret_dict = eval(ret_json) if ret_dict.get('respCode') != '':
return False
else:
return True

接下来尝试去启动celery吧,在项目路径下执行:

python3 manage.py celery worker -c 10 --loglevel=info -Q request_to_chit_platform    # 这样djcelery会帮助我们创建 request_to_chit_platform tasks的worker,并添加到 request_to_chit_platform 的队列   -c 指定worker数

然后创建tasks吧

然后看celery这边,发现已经成功执行执行了tasks,我这里为方便用了redis队列,效果是一样的

最后附上celery4.3.0的文档

http://docs.celeryproject.org/en/latest/index.html

celery在Django中的应用的更多相关文章

  1. 异步任务队列Celery在Django中的使用

    前段时间在Django Web平台开发中,碰到一些请求执行的任务时间较长(几分钟),为了加快用户的响应时间,因此决定采用异步任务的方式在后台执行这些任务.在同事的指引下接触了Celery这个异步任务队 ...

  2. celery在Django中的集成使用

    继上回安装和使用Redis之后,看看如何在Django中使用Celery.Celery是Python开发分布式任务列队的处理库.可以异步分布式地异步处理任务,也可定时执行任务等等.通常我们可以在Dja ...

  3. Celery在Django中的使用介绍

    Celery在Django中的使用介绍 Celery简介 celery是一个简单.灵活且可靠的,处理大量消息的分布式系统,并且提供维护这样一个系统的必须工具. 它是一个专注于实时处理的任务队列,同时也 ...

  4. Django 中使用 Celery

    起步 在 <分布式任务队列Celery使用说明> 中介绍了在 Python 中使用 Celery 来实验异步任务和定时任务功能.本文介绍如何在 Django 中使用 Celery. 安装 ...

  5. Django中Celery的实现介绍(一)

    Django中Celery的实现 Celery官网http://www.celeryproject.org/ 学习资料:http://docs.jinkan.org/docs/celery/ Cele ...

  6. Django中使用Celery

    一.前言 Celery是一个基于python开发的分布式任务队列,如果不了解请阅读笔者上一篇博文Celery入门与进阶,而做python WEB开发最为流行的框架莫属Django,但是Django的请 ...

  7. 分布式队列celery 异步----Django框架中的使用

    仅仅是个人学习的过程,发现有问题欢迎留言 一.celery 介绍 celery是一种功能完备的即插即用的任务对列 celery适用异步处理问题,比如上传邮件.上传文件.图像处理等比较耗时的事情 异步执 ...

  8. Django中使用Celery,定制应用程序中定义的shared_task未在定期任务管理页面的注册任务中显示

    解决办法: 在项目 proj/proj/celery.py文件中,看到下面这行配置: celery_app.config_from_object('django.conf:settings', nam ...

  9. Django中Celery http请求异步处理(四)

    Django中Celery http请求异步处理 本章延续celery之前的系列 1.settings配置 2.编写task jib_update_task任务为更新salt jid数据 3.url设 ...

随机推荐

  1. afx_msg解释

    以前一直不知道AFX_MSG是什么意思,只是觉得它应该是个消息映射函数,但是具体代表什么意思,会返回一个什么样的值是一点都不清楚,今天查了下资料,把查到的东西放这,以免以后忘了还得再查. 在头文件(D ...

  2. Scala包和引用

    1.包 Scala包的命名方式有两种.一种和Java一样,通过把package子句放在文件顶端的方式,把整个文件的内容放进包里.如: package scala.actors.Actor 另一种方式可 ...

  3. 谷类 cereal

  4. Tomcat服务器(一)

    一.tomcat目录中重要的文件: bin 存放启动和关闭的脚本 conf  存放配置文件 logs 日志文件 webapps 存放部署的项目 work 工作目录 Web应用开发好后,若想供外界访问, ...

  5. [redis]Redis Transaction

    https://github.com/phpredis/phpredis#transactions Transactions multi, exec, discard - Enter and exit ...

  6. MAC将 /etc/sudoers文件修改错后的几种解决方法

    文件修改错误后难以再次修改的原因: 1.修改此文件必须是root权限 2.此文件出现问题时sudo命令不可用 3.默认情况下MAC系统不启用root用户 解决的方法: 一.启用root用户,使用roo ...

  7. ionic xcode8 App上传应用详细流程

    第一步: 进入开发者官网 https://developer.apple.com   2.证书 序号1:开发者证书,用于真机调试   序号2:上传证书,用于发布最终版 3.证书申请 由于我现在是要发布 ...

  8. C# 读取Excel表格内容,以及NPOI的使用

    在实际的开发中,我们可能需要读写word或者Excel的内容,在我开发的项目中,需要读取Excel的内容,并将相对应的内容存储到数据库中,这里简单跟大家分享一下,希望能够帮助一些人. 我相信在读写wo ...

  9. can not connect cube in performancce dashboard

    需要在所有安装sharepoint服务器里面安装ADOMD组件 \Program Files\Microsoft Office Servers\15.0\WebServices\PpsMonitori ...

  10. Godot开发环境与学习资源

    记得第一次听到Godot的名字时还在深圳工作,刚刚接触Unity快一年,只是匆匆在Github上star了,就没有继续了.后面时不时翻开它的Git主页,然而一直没有下载过,每每想看看开源引擎都去看Or ...