Celery必须实例化后才可以使用,实例称之为application或者简称app。实例是线程安全的,多个Celery实例(不同的配置、部件和任务)都可以在一个进程空间中运行。

创建一个最简单的app:

>>> from celery import Celery
>>> app = Celery()
>>> app
<Celery __main__ at 0x7f6be52d0cd0>

上述的app是一个运行在__main__模块中的Celery实例。

Main Name

Celery发送任务信息时,是不发送任何源代码的,只是发送要执行的任务名称,而每个worker都维持着一个任务名称到任务具体函数的映射,称之为任务注册。

所以每个任务task都要有一个独特的不重复名称,可以看下任务默认名称是如何生成的:

>>> @app.task
... def add(x, y):
... return x + y
...
>>> add.name
u'__main__.add'

可见任务的名称是实例运行模块的名称加上任务函数的名称。

现在在py文件中创建一个app实例,tasks.py:

from celery import Celery
app = Celery() @app.task
def add(x, y): return x + y if __name__ == '__main__':
print add.name
app.worker_main()

在shell中直接创建Celery实例、模块直接运行或者在命令行中运行模块,都是在main模块中运行的:

$ python tasks.py
__main__.add

而使用import导入模块的时候,main name为定义Celery实例模块的名称:

>>> from tasks import add
>>> add.name
u'tasks.add'

在main模块中运行是可以手动指定实例的Main name的:

>>> from celery import Celery
>>> app = Celery('tasks')
>>> app.main
'tasks'

任务的名称也可以指定:

>>> @app.task(name='sum-of-two-numbers')
>>> def add(x, y):
... return x + y >>> add.name
'sum-of-two-numbers'

Configuration

要为app实例添加配置有几种方式:

创建app实例时初始化:

app = Celery('tasks', backend='redis://localhost:6379/0',
┆ ┆ ┆broker='redis://localhost:6379/0')

使用app.conf属性设置:

app.conf.result_backend = 'redis://localhost:6379/0'
app.conf.broker_url = 'redis://localhost:6379/0'

update多个配置:

>>> app.conf.update(
... enable_utc=True,
... timezone='Asia/Shanghai',
...)

使用配置文件,在当前目录下或者python可以搜索到的目录下建立一个配置文件,保证可以import,celeryconfig.py :

result_backend = 'redis://localhost:6379/0'
broker_url = 'redis://localhost:6379/0'

然后:

app.config_from_object('celeryconfig')

可以测试一下配置文件是否有格式错误:

$ python -m celeryconfig

也可以建立一个配置类:

class Config:
enable_utc = True
timezone = 'Europe/London' app.config_from_object(Config)

从环境变量中获取:

import os
from celery import Celery #: Set default configuration module name
os.environ.setdefault('CELERY_CONFIG_MODULE', 'celeryconfig') app = Celery()
app.config_from_envvar('CELERY_CONFIG_MODULE')

查看配置:

>>> app.conf.humanize(with_defaults=False, censored=True)
>>> app.conf.table(with_defaults=False, censored=True)

第一条以字符串的形式返回,第二条以字典的形式返回。

with_defaults设置为True时可以查看默认的配置,censored设置为True可以过滤掉敏感信息,包括API, TOKEN, KEY, SECRET, PASS, SIGNATURE, DATABASE。

Laziness

app实例是延迟的,创建一个实例只会将app设置为current app,只有在真正需要的时候才会完成。

实例只有在调用app.finalize()方法或者访问app.tasks属性时才会完成。

Finalizing实例会复制apps之间可以共享的tasks,执行未确定的tasks装饰器,确定所有的tasks都绑定于current app。

app.task装饰器并不会真正的创建task任务,直到task被调用或者app finalize完成时才创建:

>>> from celery import Celery
>>> app = Celery()
>>> @app.task
... def add(x, y):
... return x + y
...
>>> add.__evaluated__()
False
>>> repr(add)
'<@task: __main__.add of __main__ at 0x7f6571694cd0>'
>>> add.__evaluated__()
True

调用了task的__repr__方法后,task就被真正创建了。

Breaking the chain

当使用current app时,最好将其作为参数进行传递,称之为app chain,比较好的实践是:

class Scheduler(object):

    def __init__(self, app):
self.app = app

而不要:

from celery import current_app

class Scheduler(object):

    def run(self):
app = current_app

通用的的写法:

from celery.app import app_or_default

class Scheduler(object):
def __init__(self, app=None):
self.app = app_or_default(app)

开发时可以设置:

$ CELERY_TRACE_APP=1 celery worker -l info

当app chain断裂时会raise一个异常。

Abstract Tasks

使用app.task装饰器创建的任务都继承自Task类。

可以自定义:

from celery import Task

class DebugTask(Task):

    def __call__(self, *args, **kwargs):
print('TASK STARTING: {0.name}[{0.request.id}]'.format(self))
return super(DebugTask, self).__call__(*args, **kwargs)

然后用base参数指定:

@app.task(base=DebugTask)
def add(x, y):
return x + y

也可以使用app的Task参数修改:

>>> app.Task = DebugTask

  

Celery(三)实例Application的更多相关文章

  1. Tomcat三实例cluster多播方案共享session再配置

    昨天已经将两实例cluster多播方案共享Session配置成功,其中的关键就在于server.xml中,engine->channel->receiver节点中address得写成自己的 ...

  2. 黄聪:Microsoft Enterprise Library 5.0 系列教程(三) Validation Application Block (高级)

    原文:黄聪:Microsoft Enterprise Library 5.0 系列教程(三) Validation Application Block (高级) 企业库验证应用程序模块之配置文件模式: ...

  3. 黄聪:Microsoft Enterprise Library 5.0 系列教程(三) Validation Application Block (初级)

    原文:黄聪:Microsoft Enterprise Library 5.0 系列教程(三) Validation Application Block (初级) 企业库提供了一个很强大的验证应用程序模 ...

  4. 【运维技术】kafka三实例集群环境搭建及测试使用

    kafka三实例集群环境搭建及测试使用 单机搭建分为两部分:1. 软件安装启动 2. 软件配置 软件安装启动: # 切换到目录 cd /app # 获取kafka最新安装包,这边使用的是镜像地址,可以 ...

  5. Android学习笔记(三)Application类简介

    每次运行APP时,Application类都保持实例化状态.与Activity不同,配置改变不会导致应用程序重启.通过继承Application类,可以完成一下3项工作: · 对Android运行时广 ...

  6. WPF 10天修炼 第三天- Application全局应用程序类

    Application对象 当一个WPF应用程序启动时,首先会实例化一个全局唯一的Application对象,类似于WinForm下的Application类,用于控制整个应用程序,该类将用于追踪应用 ...

  7. 第一部分:开发前的准备-第三章 Application 基本原理

    第3章 应用程序基本原理 首先我们需要强调一下Android 应用程序是用java写的.Android SDK工具编译代码并把资源文件和数据打包成一个文件.这个名字的扩展名是.APK.要在androi ...

  8. vector详讲(三)实例

    移动语义: push语句有时候会通过移动语义来提高性能 #include <iostream> #include <vector> class Element { public ...

  9. 三.实例演示insert/update/delect更新数据库

    1.逻辑图 2.只是准备 3.代码展示 import pymysql conn=pymysql.connect( host='192.168.199.249', port=3306, user='ro ...

随机推荐

  1. Shell中处理方法返回值问题

    同步发表:http://blog.hacktons.cn/2017/12/13/shell-func-return/ 背景 通过shell编程,写一些工具批处理的时候,经常需要自定义函数.更复杂点的情 ...

  2. Codeforces Gym 101521A Shuttle Bus

    题意:给定一个2*N的方格,从左上角开始走,有些格子不能走,问能否一次遍历所有能走的方格 在Gym上看到一场香港的比赛,很好奇就去看了一下,发现第一题很有趣,并且很水,似乎讨论一下奇偶性就行了,然后. ...

  3. C# (using Newtonsoft.Json) Json 转换用法小总结

    //序列化 string Json字符串 = JsonConvert.SerializeObject(目标对象); // 字符串转化为对象 string UserJson = "{\&quo ...

  4. java多线程核心技术——第四章总结

    第一节使用ReentrantLock类 1.1使用ReentrantLock实现同步:测试1 1.2使用ReentrantLock实现同步:测试2 1.3使用Condition实现等待/同步错误用法与 ...

  5. Java开发小技巧(二):自定义Maven依赖

    前言 我们在项目开发中经常会将一些通用的类.方法等内容进行打包,打造成我们自己的开发工具包,作为各个项目的依赖来使用. 一般的做法是将项目导出成Jar包,然后在其它项目中将其导入,看起来很轻松,但是存 ...

  6. macox下编译snappy静态库

    源代码地址:https://github.com/google/snappy 下载 git clone https://github.com/google/snappy 编译 进入snappy源代码文 ...

  7. 【zabbix系列】安装与加入host

    測试环境 Ubuntu 14.04.1 LTS [服务端安装] 关于安装官方提供了非常具体的安装方法,包含各平台的源代码及包安装.关于其它版本号Linux请參考 https://www.zabbix. ...

  8. 报表开发之扩展GROUP BY

    在实际运用中.比方在数据仓库中,常常须要对数据进行多维分析.不仅须要标准分组的结果(相当于 GROUP BY),还须要不同维度的小计(简单 GROUP BY 中取部分列分组)和合计(不分组).从而 提 ...

  9. 【quickhybrid】架构一个Hybrid框架

    前言 虽然说本系列中架构篇是第一章,但实际过程中是在慢慢演化的第二版中才有这个概念, 经过不断的迭代,演化才逐步稳定 明确目标 首先明确需要做成一个什么样的框架? 大致就是: 一套API规范(统一An ...

  10. mybatis框架(5)---动态sql

    那么,问题来了: 什么是动态SQL? 动态SQL有什么作用? 传统的使用JDBC的方法,相信大家在组合复杂的的SQL语句的时候,需要去拼接,稍不注意哪怕少了个空格,都会导致错误.Mybatis的动态S ...