Celery(三)实例Application
Celery必须实例化后才可以使用,实例称之为application或者简称app。实例是线程安全的,多个Celery实例(不同的配置、部件和任务)都可以在一个进程空间中运行。
创建一个最简单的app:
>>> from celery import Celery
>>> app = Celery()
>>> app
<Celery __main__ at 0x7f6be52d0cd0>
上述的app是一个运行在__main__模块中的Celery实例。
Main Name
Celery发送任务信息时,是不发送任何源代码的,只是发送要执行的任务名称,而每个worker都维持着一个任务名称到任务具体函数的映射,称之为任务注册。
所以每个任务task都要有一个独特的不重复名称,可以看下任务默认名称是如何生成的:
>>> @app.task
... def add(x, y):
... return x + y
...
>>> add.name
u'__main__.add'
可见任务的名称是实例运行模块的名称加上任务函数的名称。
现在在py文件中创建一个app实例,tasks.py:
from celery import Celery
app = Celery() @app.task
def add(x, y): return x + y if __name__ == '__main__':
print add.name
app.worker_main()
在shell中直接创建Celery实例、模块直接运行或者在命令行中运行模块,都是在main模块中运行的:
$ python tasks.py
__main__.add
而使用import导入模块的时候,main name为定义Celery实例模块的名称:
>>> from tasks import add
>>> add.name
u'tasks.add'
在main模块中运行是可以手动指定实例的Main name的:
>>> from celery import Celery
>>> app = Celery('tasks')
>>> app.main
'tasks'
任务的名称也可以指定:
>>> @app.task(name='sum-of-two-numbers')
>>> def add(x, y):
... return x + y >>> add.name
'sum-of-two-numbers'
Configuration
要为app实例添加配置有几种方式:
创建app实例时初始化:
app = Celery('tasks', backend='redis://localhost:6379/0',
┆ ┆ ┆broker='redis://localhost:6379/0')
使用app.conf属性设置:
app.conf.result_backend = 'redis://localhost:6379/0'
app.conf.broker_url = 'redis://localhost:6379/0'
update多个配置:
>>> app.conf.update(
... enable_utc=True,
... timezone='Asia/Shanghai',
...)
使用配置文件,在当前目录下或者python可以搜索到的目录下建立一个配置文件,保证可以import,celeryconfig.py :
result_backend = 'redis://localhost:6379/0'
broker_url = 'redis://localhost:6379/0'
然后:
app.config_from_object('celeryconfig')
可以测试一下配置文件是否有格式错误:
$ python -m celeryconfig
也可以建立一个配置类:
class Config:
enable_utc = True
timezone = 'Europe/London' app.config_from_object(Config)
从环境变量中获取:
import os
from celery import Celery #: Set default configuration module name
os.environ.setdefault('CELERY_CONFIG_MODULE', 'celeryconfig') app = Celery()
app.config_from_envvar('CELERY_CONFIG_MODULE')
查看配置:
>>> app.conf.humanize(with_defaults=False, censored=True)
>>> app.conf.table(with_defaults=False, censored=True)
第一条以字符串的形式返回,第二条以字典的形式返回。
with_defaults设置为True时可以查看默认的配置,censored设置为True可以过滤掉敏感信息,包括API, TOKEN, KEY, SECRET, PASS, SIGNATURE, DATABASE。
Laziness
app实例是延迟的,创建一个实例只会将app设置为current app,只有在真正需要的时候才会完成。
实例只有在调用app.finalize()方法或者访问app.tasks属性时才会完成。
Finalizing实例会复制apps之间可以共享的tasks,执行未确定的tasks装饰器,确定所有的tasks都绑定于current app。
app.task装饰器并不会真正的创建task任务,直到task被调用或者app finalize完成时才创建:
>>> from celery import Celery
>>> app = Celery()
>>> @app.task
... def add(x, y):
... return x + y
...
>>> add.__evaluated__()
False
>>> repr(add)
'<@task: __main__.add of __main__ at 0x7f6571694cd0>'
>>> add.__evaluated__()
True
调用了task的__repr__方法后,task就被真正创建了。
Breaking the chain
当使用current app时,最好将其作为参数进行传递,称之为app chain,比较好的实践是:
class Scheduler(object): def __init__(self, app):
self.app = app
而不要:
from celery import current_app class Scheduler(object): def run(self):
app = current_app
通用的的写法:
from celery.app import app_or_default class Scheduler(object):
def __init__(self, app=None):
self.app = app_or_default(app)
开发时可以设置:
$ CELERY_TRACE_APP=1 celery worker -l info
当app chain断裂时会raise一个异常。
Abstract Tasks
使用app.task装饰器创建的任务都继承自Task类。
可以自定义:
from celery import Task class DebugTask(Task): def __call__(self, *args, **kwargs):
print('TASK STARTING: {0.name}[{0.request.id}]'.format(self))
return super(DebugTask, self).__call__(*args, **kwargs)
然后用base参数指定:
@app.task(base=DebugTask)
def add(x, y):
return x + y
也可以使用app的Task参数修改:
>>> app.Task = DebugTask
Celery(三)实例Application的更多相关文章
- Tomcat三实例cluster多播方案共享session再配置
昨天已经将两实例cluster多播方案共享Session配置成功,其中的关键就在于server.xml中,engine->channel->receiver节点中address得写成自己的 ...
- 黄聪:Microsoft Enterprise Library 5.0 系列教程(三) Validation Application Block (高级)
原文:黄聪:Microsoft Enterprise Library 5.0 系列教程(三) Validation Application Block (高级) 企业库验证应用程序模块之配置文件模式: ...
- 黄聪:Microsoft Enterprise Library 5.0 系列教程(三) Validation Application Block (初级)
原文:黄聪:Microsoft Enterprise Library 5.0 系列教程(三) Validation Application Block (初级) 企业库提供了一个很强大的验证应用程序模 ...
- 【运维技术】kafka三实例集群环境搭建及测试使用
kafka三实例集群环境搭建及测试使用 单机搭建分为两部分:1. 软件安装启动 2. 软件配置 软件安装启动: # 切换到目录 cd /app # 获取kafka最新安装包,这边使用的是镜像地址,可以 ...
- Android学习笔记(三)Application类简介
每次运行APP时,Application类都保持实例化状态.与Activity不同,配置改变不会导致应用程序重启.通过继承Application类,可以完成一下3项工作: · 对Android运行时广 ...
- WPF 10天修炼 第三天- Application全局应用程序类
Application对象 当一个WPF应用程序启动时,首先会实例化一个全局唯一的Application对象,类似于WinForm下的Application类,用于控制整个应用程序,该类将用于追踪应用 ...
- 第一部分:开发前的准备-第三章 Application 基本原理
第3章 应用程序基本原理 首先我们需要强调一下Android 应用程序是用java写的.Android SDK工具编译代码并把资源文件和数据打包成一个文件.这个名字的扩展名是.APK.要在androi ...
- vector详讲(三)实例
移动语义: push语句有时候会通过移动语义来提高性能 #include <iostream> #include <vector> class Element { public ...
- 三.实例演示insert/update/delect更新数据库
1.逻辑图 2.只是准备 3.代码展示 import pymysql conn=pymysql.connect( host='192.168.199.249', port=3306, user='ro ...
随机推荐
- Android测试:Testing Apps on Android
原文:https://developer.android.com/training/testing/index.html 测试你的App是开发过程中的重要组成部分.通过对应用程序持续的运行测试,你可以 ...
- js 匹配2个字符串相似度
strSimilarity2Number: function (s, t) { var n = s.length, m = t.length, d = []; var i, j, s_i, t_j, ...
- Javascript--cookie创建与查看
创建cookie 以下代码将创建一个cookie,该cookie名称为UserName,值为Paul,过期时间为7天后(2015年6月29日) <span style="font-si ...
- 为eclipse离线安装hibernate tools插件
工具/原料 eclipse luna jboss hibernate tools 方法/步骤 下载hibernate tools插件 在eclipse根目录下创建myplugins和l ...
- idea 导入项目后 有的项目目录结构不展开解决办法
如图:可能会出现这中国情况. 解决办法: 1.一般项目导入完成后,但是目录不展开, 2.出现这种情况一般情况下, 关闭idea close idea ,然后重新导入一遍就OK.
- Intellij 解除(去除)SVN关联
方法一:通过Intellj 来处理 1. 安装插件 打开Intellij的setting(ctrl+alt+s),选择plugins,在右边搜索框输入"SVN",搜索.选择&quo ...
- Android(Java) 字符串的常用操作,获取指定字符出现的次数,根据指定字符截取字符串
/*这是第100000份数据,要截取出100000*/ String s="这是第100000份数据"; String s1 = s.substring(s.indexOf(&qu ...
- cors解决Web跨域访问问题
首先了解一下什么是跨域以及解决的几种常见方式. 跨域,指的是浏览器不能执行其他网站的脚本.它是由浏览器的同源策略造成的,是浏览器施加的安全限制. 所谓同源是指,域名,协议,端口均相同. 举例: 相对于 ...
- ADODB.Connection、ADODB.RecordSet
1.数据库连接对象(ADODB. Connection)该对象用于与ODBC数据库建立连接,所有对数据库的操作均通过该连接进行.数据库连接对象ADODB. Connection的作用象Delphi中的 ...
- NOIP2002 字符变换
啊本来以为2002的题应该会比较友善于是很naive地像模拟一样用着stl乱玩结果死也过不了最后一个点qaq 心情很悲痛于是为了解放自我 #include<iostream> #inclu ...