Celery + Redis 的探究
Celery + Redis 的探究
不在乎过程的,可以直接看最后的结论。
测试代码:
# a.py
from celery import Celery celery_app = Celery('a', broker='redis://localhost:6379/0') @celery_app.task
def test_task(n):
open('test.txt', 'a').write(n + '\n')
print n if __name__ == '__main__':
test_task.delay('==== ttttt1 =====')
先将 redis 部署于本机的 6379 默认端口 不要设置密码,使用 celery 版本 3.1.23
[1]
先直接发起一个 task
python a.py
执行后可看到 redis 上生成了两个 key
celery
:表示当前正在队列中的 task,等待被 worker 所接收
_kombu.binding.celery
:这个不用管(celery 使用 kombu 维护消息队列,这个是 kombu 生成的对逻辑影响不大)
然后启动一个 worker
celery worker -A a --loglevel=debug
执行后可看到 celery 这个 key 消失了,同时新增了 2 个 key
celery
消失说明任务已经被刚启动的 worker 接收了,worker 会自己去执行这个 task,当前没有等待被接收的任务
_kombu.binding.celery.pidbox
:这个也不用管(也是 kombu 维护的)
_kombu.binding.celeryev
:这个也不用管(也是 kombu 维护的,用来记下当前连接的 worker)
[2]
下面我们试一下延时任务
将代码中的
test_task.delay('==== ttttt1 =====')
改成
test_task.apply_async(('==== ttttt2 =====', ), countdown=60)
然后启动脚本,发起一个60秒后执行任务,并且启动 celery worker 准备执行任务
python a.py
celery worker -A a --loglevel=debug
在 60 秒内查看 redis,可以看到没有出现 celery
这个 key,但多出了另外两个 key
unacked
:可以理解为这个是被 worker 接收了但是还没开始执行的 task 列表(因为60秒后才会开始执行)
unacked_index
:用户标记上面 unacked 的任务的 id,理论上应该与 unacked
一一对应的
60 秒后再次查看 redis,可以看到又回到了无任务的状态
这表示被 worker 领取的任务确实在 60 秒后执行了
[3]
这里在尝试一种异常的情况,worker 领取任务后还没到 60 秒,突然遇到问题退出了
python a.py
celery worker -A a --loglevel=debug
等大约 10 秒后,ctrl+c 中断 worker
可以看到 redis 中有 celery
这个 key,其中有一条等待领取的任务
再次启动 worker
celery worker -A a --loglevel=debug
可以发现任务被再次正常领取和执行
结论,由此可以推测出 celery 和 redis 之间交互的基本原理:
1、当发起一个 task 时,会向 redis 的 celery
key 中插入一条记录。
2、如果这时有正在待命的空闲 worker,这个 task 会立即被 worker 领取。
3、如果这时没有空闲的 worker,这个 task 的记录会保留在 celery
key 中。
4、这时会将这个 task 的记录从 key celery 中移除,并添加相关信息到 unacked
和 unacked_index
中。
5、worker 根据 task 设定的期望执行时间执行任务,如果接到的不是延时任务或者已经超过了期望时间,则立刻执行。
6、worker 开始执行任务时,通知 redis。(如果设置了 CELERY_ACKS_LATE = True 那么会在任务执行结束时再通知)
7、redis 接到通知后,将 unacked
和 unacked_index
中相关记录移除。
8、如果在接到通知前,worker 中断了,这时 redis 中的 unacked 和 unacked_index 记录会重新回到 celery
key 中。(这个回写的操作是由 worker 在 “临死” 前自己完成的,所以在关闭 worker 时为防止任务丢失,请务必使用正确的方法停止它,如: celery multi stop w1 -A proj1
)
9、在 celery
key 中的 task 可以再次重复上述 2 以下的流程。
10、celery 只是利用 redis 的 list 类型,当作个简单的 Queue,并没有使用消息订阅等功能
题外话:
1、启动 celery worker
时可以加上 -B
参数使得 schedule 定时任务生效,但要注意如果为同一个项目启动多个 worker 时,只需要其中一个启动命令中加上 -B
,否则 schedule 会被多次执行。
2、上面的 1 同时也说明了 schedule task 的执行是由 celery 发起的。也就是说,如果在 django 中使用了 CELERYBEAT_SCHEDULE
,那么只要 celery worker -B
启动了,即使 django web 服务没有启动,定时任务也一样会被发起。(推荐使用专门的 celery beat
方法)
3、使用 flower 时,在上述的 “worker 领取任务后突然遇到问题退出了然后又重新启动执行” 这种情况下可能会出现显示不正常的问题,这个是否是 flower 的 bug 还是有其他原因,可能下篇再探究。
Celery + Redis 的探究的更多相关文章
- python celery + redis
redis http://debugo.com/python-redis celery http://docs.jinkan.org/docs/celery/getting-started/intro ...
- django+celery+redis环境搭建
初次尝试搭建django+celery+redis环境,记录下来,慢慢学习~ 1.安装apache 下载httpd-2.0.63.tar.gz,解压tar zxvf httpd-2.0.63.tar. ...
- django celery redis 定时任务
0.目的 在开发项目中,经常有一些操作时间比较长(生产环境中超过了nginx的timeout时间),或者是间隔一段时间就要执行的任务. 在这种情况下,使用celery就是一个很好的选择. cele ...
- celery + redis quick start
软件: redis server redis-server.exe 安装redis for python using pip 安装celery (redis) pip install -U &quo ...
- Celery+redis实现异步
目录 Celery+redis实现异步 安装redis 安装celery-with-redis 添加celery相关配置 创建异步运行任务tasks.py 启动 Celery+redis实现异步 安装 ...
- django+celery+redis实现运行定时任务
0.目的 在开发项目中,经常有一些操作时间比较长(生产环境中超过了nginx的timeout时间),或者是间隔一段时间就要执行的任务. 在这种情况下,使用celery就是一个很好的选择. cele ...
- Airflow 配置celery+rabbitmq和celery+redis
Airflow 配置celery+rabbitmq 1.安装celery和rabbitmq组件 pip3 install apache-airflow[celery] pip3 install apa ...
- airflow 安装配置celery+rabbitmq celery+redis
AirFlow的安装可以参考:https://www.cnblogs.com/braveym/p/11378851.html 这里介绍的是AirFlow 安装配置celery+rabbitmq 和 ...
- Django+Celery+redis kombu.exceptions.EncodeError:Object of type is not JSON serializable报错
在本文中例子中遇到问题的各种开发版本如下: Python3.6.8 Django==2.2 celery==4.4.0 kombu==4.6.7 redis==3.3.0 大概的报错如下截图: 是在开 ...
随机推荐
- 翻书shader
//把下面的shader挂载到plane上,调节_Angle Shader "Unlit/PageTurning"{ Properties { _Color ("Colo ...
- 【剑指offer】1+….+n,不能使用相关关键字
题目描述 求1+2+3+...+n,要求不能使用乘除法.for.while.if.else.switch.case等关键字及条件判断语句(A?B:C). 分析:可以使用递归! class Soluti ...
- 第1课,python输出,输入,变量,运算
课程内容: 为什么要学习python 如何学python 实践体验 图片来源网络分享 为什么要学python: 简单 (设计如此) 强大(因为开源,有库) 如何学习python: 变量 --> ...
- python笔记:删除列表元素和根据索引查找元素
查找元素 #查找元素 >>> member=['张三','李四','王五','张麻子'] >>> member[0] '张三' #交换元素 >>> ...
- go switch 和java C#有不同
1 switch 后的语句可以有简单的赋值语句 2 case :后的语句结束后不需要break;默认自动结束 除非以 fallthrough 语句结束,否则分支会自动终止 没有条件的 switch 有 ...
- Spring Boot Freemarker特别篇之contextPath【从零开始学Spring Boot
需求缘起:有人在群里@我:请教群主大神一个问题,spring boot + freemarker 怎么获取contextPath 头疼死我了,网上没一个靠谱的 .我就看看之前博客中的 [Spri ...
- springboot 通过@WebFilter(urlPatterns )配置Filter过滤路径
springboot 通过@WebFilter(urlPatterns )配置Filter过滤路径,没有配置/*,输入任何路径都能进过滤器 2019年04月25日 12:51:33 peigui.hu ...
- K8S使用问题汇总
1,报错如下 Warning: kubectl apply should be used on resource created by either kubectl create --save-con ...
- 自学Python编程的第九天(希望有大牛帮我看看我第一个代码是否有弊端,感谢您们)----------来自苦逼的转行人
2019-09-19-22:11:33 今天是自学Python的第九天 学的内容是有关文件操作的,如:r.w.a.rb.wb.ab.r+.w+.a+等 有大牛帮我看一下我的代码第一个有没有什么弊端吗? ...
- js 将数字转换成中文大写
//完成将 toChineseNum, 可以将数字转换成中文大写的表示,处理到万级别,例如 toChineseNum(12345),返回 一万二千三百四十五. const toChinesNum = ...