以前项目中用到过 celery ,但是没怎么记笔记,现在在记一下,方便以后用。

 
Celery.png

问:Celery 是什么?

答:Celery 是一个由 Python 编写的简单、灵活、可靠的用来处理大量信息的分布式系统,它同时提供操作和维护分布式系统所需的工具。
Celery 专注于实时任务处理,支持任务调度。(来源于网络)

问:适用场景在哪里?

答:如图示(来自:http://blog.csdn.net/xsj_blog/article/details/70181984

 
image.png

问:生产者和消费者模式定义是什么?

答:
(1)生产者->负责产生数据;
(2)消费者->负责数据处理;
(3)缓冲区->解耦生产者和消费者,减少依赖,主要是通过消息队列来进行两点之间的通讯处理。

图示:

 
image.png

问:什么是任务队列?

答:任务队列是一种在线程或机器间分发任务的机制。

问:什么是消息队列?

答:消息队列的输入是工作的一个单元,称为任务,独立的职程(Worker)进程持续监视队列中是否有需要处理的新任务。

问:职程有什么作用?

答:Celery 用消息通信,通常使用中间人(Broker)在客户端和职程间斡旋。这个过程从客户端向队列添加消息开始,之后中间人把消息派送给职程,职程对消息进行处理。如下图所示:

 
image.png

问:Celery的架构三部分是哪几个部分?

答:Celery的架构由三部分组成,消息中间件(message broker),任务执行单元(worker)和任务执行结果存储(task result store)组成。

(1)消息中间件
PS: Celery本身不提供消息服务,但是可以方便的和第三方提供的消息中间件集成,包括,RabbitMQ,Redis,MongoDB等。

(2)任务执行单元
PS: Worker是Celery提供的任务执行的单元,worker并发的运行在分布式的系统节点中。

(3)任务结果存储
PS: Task result store用来存储Worker执行的任务的结果,Celery支持以不同方式存储任务的结果,包括Redis,MongoDB,Django ORM,AMQP等。

(任务调度)Celery Beat:任务调度
Celery Beat:任务调度器,Beat 进程会读取配置文件的内容,周期性地将配置中到期需要执行的任务发送给任务队列。

 
来自网络

消息分发与任务调度的实现机制(来自:http://blog.csdn.net/xsj_blog/article/details/70181984

 
image.png

1:—>producer发出调用请求(message包含所调用任务的相关信息)
2:—>celery服务启动时,会产生一个或多个交换机(exchanges),对应的交换机 接收请求message
3:—>交换机根据message内容,将message分发到一个或多个符合条件的队列(queue)
4:—>每个队列上都有一个或多个worker在监听,在监听到符合条件的message到达后,worker负责进行任务处理,任务处理完被确认后,队列中的message将被删除。

注释:Exchange和Queue都是Rabbitmq中的概念

Exchange:交换机,决定了消息路由规则;

Queue:消息队列;

Channel:进行消息读写的通道;

Bind:绑定了Queue和Exchange,意即为符合什么样路由规则的消息,将会放置入哪一个[消息队列];

调图流程图示:(来自https://www.cnblogs.com/forward-wang/p/5970806.html

 
image.png

实践步骤:

相关依赖:
 
image.png
第1步:首先搭建bottle客户端端,进行任务委派:
#!/usr/bin/evn python
# coding=utf-8
"""
Author = zyx
@Create_Time: 2018/1/30 15:58
@version: v1.0.0
@File: main.py
@文件功能描述:
""" from bottle import route, run @route('/')
def index():
return '访问了首页!' run(host='127.0.0.1', port=8080, debug=True, reloader=True)

main.py

启动wen服务应用访问:

 
image.png
第2步:编写对应Celery任务模块celery_test
 
image.png
第3步:编写对应Celery任务模块启动配置文件
# coding:utf-8
from datetime import timedelta
from kombu import Exchange, Queue # 配置消息中间件Broker
BROKER_URL = 'redis://127.0.0.1:6379/0' # 配置结果存贮Backend
CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379/1' # 指定时区,默认是 UTC
CELERY_TIMEZONE = 'Asia/Shanghai'
CELERY_ENABLE_UTC = True #限制所有的任务的刷新频率
CELERY_ANNOTATIONS = {'*':{'rate_limit':'10/s'}} # # 不需要返回任务状态,即设置以下参数为True
# 如果不需要某个任务的结果,应该确保Celery不去获取这些结果。这是通过装饰器@task(ignore_result=True)来做的。如果所有的任务结果都忽略了,就不必定义结果后台。这可以让性能大幅提高。
CELERY_IGNORE_RESULT = True # 任务序列化和反序列化使用msgpack方案
# CELERY_TASK_SERIALIZER = 'json' # 读取任务结果一般性能要求不高,所以使用了可读性更好的JSON
# CELERY_RESULT_SERIALIZER = 'json' # 指定任务模块
CELERY_IMPORTS = (
'celery_test.tasks',
) # celery worker的并发数 也是命令行-c指定的数目,事实上实践发现并不是worker也多越好,保证任务不堆积,加上一定新增任务的预留就可以
CELERYD_CONCURRENCY = 10
CELERYD_FORCE_EXECV = True # 非常重要,有些情况下可以防止死锁 # celery worker 每次去redis取任务的数量,我这里预取了4个慢慢执行,因为任务有长有短没有预取太多
CELERYD_PREFETCH_MULTIPLIER = 4 #每个worker执行了多少次任务后就会死掉,建议数量大一些
CELERYD_MAX_TASKS_PER_CHILD = 200 # CELERY_ACCEPT_CONTENT = ['json'] # 指定接受的内容类型 #celery任务执行结果的超时时间
CELERY_TASK_RESULT_EXPIRES = 1200
#单个任务的运行时间限制,否则会被杀死
CELERYD_TASK_TIME_LIMIT = 60 # # 默认的队列,如果一个消息不符合其他的队列就会放在默认队列里面
# CELERY_DEFAULT_QUEUE = "default"
#
# CELERY_QUEUES = (
# Queue('default', Exchange('default'), routing_key='default'),# 这是上面指定的默认队列
# Queue('for_add', Exchange('for_task_add'), routing_key='for_task_add'), # 这是一个for_add队列 凡是for_task_add开头的routing key都会被放到这个队列
# Queue('for_send_email', Exchange('for_task_email'), routing_key='for_task_email'),
# # 这是一个or_send_email'队列 凡是for_task_email开头的routing key都会被放到这个队列
# )
#
# CELERY_ROUTES = {
# 'celery_test.tasks.add': {'queue': 'for_add', 'routing_key': 'for_task_add'},
# 'celery_test.tasks.easeye_send_mails': {'queue': 'for_send_email', 'routing_key': 'for_task_email'},
# }
# #定时任务
CELERYBEAT_SCHEDULE = {
'easeye_send_mail': {
'task': 'celery_test.tasks.easeye_send_mails',
'schedule': timedelta(seconds=30),
},
'add': {
'task': 'celery_test.tasks.add',
'schedule': timedelta(seconds=10),
'args': (16, 16) }
}

setting.py

第4步:编写对应Celery实例
from  celery import Celery
app=Celery('celery_test',include=['celery_test.tasks'])
app.config_from_object('celery_test.setting') if __name__=='__main__':
app.start()

server.py

第5步:编写对应任务
# coding:utf-8
from celery_test.server import app @app.task(bind=True)
def add(self,x, y): #自己放项目里 一定不要忘了self
return x + y @app.task(bind=True)
def send_mail(self,x, y):
return x - y

tasks.py

第6步:修改main.py进行任务调用
from bottle import route, run, redirect

from celery_test import tasks

# @route('/add')
# def index():
# tasks.add.daley(888, 45)
# return '访问了add!' @route('/send_mail')
def index():
task = tasks.send_mail.delay(888, 45)
print('访问了send_mail!')
return redirect('/tasks_status/' + task.id) # 重定向到首页(可以 ) @route('/tasks_status/<task_id>')
def index(task_id):
# 获取异步任务结果
task = tasks.send_mail.AsyncResult(task_id)
# 等待处理
if task.state == 'PENDING':
response = {'state': task.state, 'current': 0, 'total': 1}
print('PENDING:', response)
elif task.state != 'FAILURE':
response = {'state': task.state, 'current': task.info.get('current', 0), 'total': task.info.get('total', 1)}
# 处理完成
if 'result' in task.info:
response['result'] = task.info['result']
print('处理完成:', response)
else:
# 后台任务出错
response = {'state': task.state, 'current': 1, 'total': 1}
print('后台任务出错:', response) run(host='127.0.0.1', port=8080, debug=True, reloader=True)

main.py

第7步:启动指定的队列
celery -A celery_test.server worker --loglevel=debug --pool=solo
 
image.png

启动成功如图示:

 
image.png
第8步:启动web服务调用对应的URL请求异步处理异步任务

调用:

http://127.0.0.1:8080/send_mail
 
image.png

即时查看任务处理情况:

http://127.0.0.1:8080/tasks_status/0079d834-d918-4ad7-88dd-f23c5eeb09dc

查看对应的celery的运行 情况:

 
image.png

问:监控Celery任务执行情况?

答:Flower是基于web的监控和管理Celery的工具.
相关文档:
http://flower-docs-cn.readthedocs.io/zh/latest/
安装pip install flower
启动flower(flower默认的端口是5555.)
celery flower --port=5555 --broker=redis://localhost:6379/0
celery flower --broker=amqp://guest:guest@192.168.xx.xxx:5672//
启动任务查看

celery flower --port=5555 --broker=redis://localhost:6379/0
image.png

访问:127.0.0.1:5555

 
image.png

进行任务执行:http://127.0.0.1:8080/send_mail
查看任务执行结果

 
image.png

PS其他命令

============================================================================
前台启动 启动指定的队列
celery -A celery_test.server worker -l info -Q for_send_email celery -A celery_test.server worker -l info -Q for_add 启动定时相关的任务队列
celery -A celery_test.server beat celery -A celery_test.server worker -l info -Q for_send_email celery -A celery_test.server worker -l info -Q for_add ============================================================================
后台启动
celery multi start w1 -A proj -l info
celery multi restart w1 -A proj -l info # 异步关闭 立即返回
celery multi stop w1 -A proj -l info
# 等待关闭操作完成
celery multi stopwait w1 -A proj -l info 调用任务:
add.apply_async((2, 2), queue='lopri', countdown=10)
# 指定要发送到哪个队列 运行时间延迟countdown

celery异步任务 定时任务的更多相关文章

  1. Celery 异步任务 , 定时任务 , 周期任务 的芹菜

    1.什么是Celery?Celery 是芹菜Celery 是基于Python实现的模块, 用于执行异步定时周期任务的其结构的组成是由    1.用户任务 app    2.管道 broker 用于存储 ...

  2. Celery - 异步任务 , 定时任务 , 周期任务

    1.什么是Celery?Celery 是芹菜Celery 是基于Python实现的模块, 用于执行异步定时周期任务的其结构的组成是由    1.用户任务 app    2.管道 broker 用于存储 ...

  3. Celery - 一个懂得 异步任务 , 定时任务 , 周期任务 的芹菜

    1.什么是Celery?Celery 是芹菜Celery 是基于Python实现的模块, 用于执行异步定时周期任务的其结构的组成是由    1.用户任务 app    2.管道 broker 用于存储 ...

  4. Celery+python+redis异步执行定时任务

    我之前的一篇文章中写了[Celery+django+redis异步执行任务] 博文:http://blog.csdn.net/apple9005/article/details/54236212 你会 ...

  5. celery异步任务、定时任务

    阅读目录 一 什么是Celery? 二 Celery的使用场景 三 Celery的安装配置 四 Celery异步任务 五Celery定时任务 六在Django中使用Celery   一 什么是Cele ...

  6. 日夕如是寒暑不间,基于Python3+Tornado6+APScheduler/Celery打造并发异步动态定时任务轮询服务

    原文转载自「刘悦的技术博客」https://v3u.cn/a_id_220 定时任务的典型落地场景在各行业中都很普遍,比如支付系统中,支付过程中因为网络或者其他因素导致出现掉单.卡单的情况,账单变成了 ...

  7. django —— Celery实现异步和定时任务

    1. 环境 python==2.7 djang==1.11.2 # 1.8, 1.9, 1.10应该都没问题 celery-with-redis==3.0 # 需要用到redis作为中间人服务(Bro ...

  8. Django使用Celery异步任务队列

    1  Celery简介 Celery是异步任务队列,可以独立于主进程运行,在主进程退出后,也不影响队列中的任务执行. 任务执行异常退出,重新启动后,会继续执行队列中的其他任务,同时可以缓存停止期间接收 ...

  9. Django --- celery异步任务与RabbitMQ模块

    一 RabbitMQ 和 celery 1 celery Celery 是一个 基于python开发的分布式异步消息任务队列,通过它可以轻松的实现任务的异步处理, 如果你的业务场景中需要用到异步任务, ...

随机推荐

  1. python运行报错——注释报错

    本人是IT行业的,从事软件测试,还是个菜鸟.希望大神们多多关照~ 首先,开通这个博客的目的: 1)通常我容易犯一些低级的错误,而且在网上找到解决方法,解决之后时间长了又不记得: 2)想和有共同兴趣的人 ...

  2. Oracle 10G 服务端的升级

    第一步:备份 rman target / backup full database plus archivelog; 第二步:升级 解压升级包到soft目录下,修改所有者 chown -R oracl ...

  3. cesium入门示例-geoserver服务访问

    1.wms服务访问 //wms服务 viewer.imageryLayers.addImageryProvider(new Cesium.WebMapServiceImageryProvider({ ...

  4. documentFragment深入理解

    documentFragment是一个保存多个element的容器对象(保存在内存)当更新其中的一个或者多个element时,页面不会更新.只有当documentFragment容器中保存的所有ele ...

  5. python socket实例

    1.客户端向服务端发送 #coding:utf-8 '''客户端''' import socket khd=socket.socket() #声明socket类型,同时生产socket连接对象 khd ...

  6. 机器学习入门-逻辑(Logistic)回归(1)

    原文地址:http://www.bugingcode.com/machine_learning/ex3.html 关于机器学习的教程确实是太多了,处于这种变革的时代,出去不说点机器学习的东西,都觉得自 ...

  7. 初入 Ubuntu 的一些操作 · Lei's blog

    查看系统版本 cat /etc/os-release 修改 root 密码 passwd 新建用户 新建用户: adduser username 将新用户加入 sudo 组,这样就可以用 sudo 命 ...

  8. Python---3基础输入方法

    一字符串写法 1.单一字符串 用print()在括号中加上字符串,就可以向屏幕上输出指定的文字.比如输出'hello, world',用代码实现如下: >>> print('hell ...

  9. 安装NSQ

    安装文档 https://nsq.io/deployment/installing.html 打开连接后,根据系统找到对应的二进制包 一般都是linux则下载 https://s3.amazonaws ...

  10. Java设计模式(二十一):职责链模式

    职责链模式(Chain Of Responsibility Pattern) 职责链模式(Chain Of Responsibility Pattern):属于对象的行为模式.使多个对象都有机会处理请 ...