Python中定时任务框架APScheduler
前言
大家应该都知道在编程语言中,定时任务是常用的一种调度形式,在Python中也涌现了非常多的调度模块,本文将简要介绍APScheduler的基本使用方法。
一、APScheduler介绍
APScheduler是基于Quartz的一个python定时任务框架,实现了Quartz的所有功能,使用起来十分方便。提供了基于日期、固定时间间隔以及crontab类型的任务,并且可以持久化任务。
APScheduler提供了多种不同的调度器,方便开发者根据自己的实际需要进行使用;同时也提供了不同的存储机制,可以方便与Redis,数据库等第三方的外部持久化机制进行协同工作,总之功能非常强大和易用。
在Python的世界中,另外一个齐名的调度模块是Celery,功能也非常的强大,号称分布式的调度器,感兴趣的读者可以自行进行研究。
官网文档地址:http://apscheduler.readthedocs.io/en/latest/
安装包位置: https://pypi.python.org/pypi/APScheduler/
在系统中,如何进行安装呢?其实非常简单,基于pip直接安装即可:
1
|
pip install APScheduler |
二、APScheduler的主要的调度类
在APScheduler中有以下几个非常重要的概念,需要大家理解:
1、触发器(trigger)
包含调度逻辑,每一个作业有它自己的触发器,用于决定接下来哪一个作业会运行,根据trigger中定义的时间点,频率,时间区间等等参数设置。除了他们自己初始配置以外,触发器完全是无状态的。
2、作业存储(job store)
存储被调度的作业,默认的作业存储是简单地把作业保存在内存中,其他的作业存储是将作业保存在数据库中。一个作业的数据讲在保存在持久化作业存储时被序列化,并在加载时被反序列化。调度器不能分享同一个作业存储。job store支持主流的存储机制:redis, mongodb, 关系型数据库, 内存等等
3、执行器(executor)
处理作业的运行,他们通常通过在作业中提交制定的可调用对象到一个线程或者进城池来进行。当作业完成时,执行器将会通知调度器。基于池化的操作,可以针对不同类型的作业任务,更为高效地使用cpu的计算资源。
调度器(scheduler)
通常在应用只有一个调度器,调度器提供了处理这些的合适的接口。配置作业存储和执行器可以在调度器中完成,例如添加、修改和移除作业。
这里简单列一下常用的若干调度器:
- BlockingScheduler:仅可用在当前你的进程之内,与当前的进行共享计算资源
- BackgroundScheduler: 在后台运行调度,不影响当前的系统计算运行
- AsyncIOScheduler: 如果当前系统中使用了async module,则需要使用异步的调度器
- GeventScheduler: 如果使用了gevent,则需要使用该调度
- TornadoScheduler: 如果使用了Tornado, 则使用当前的调度器
- TwistedScheduler:Twister应用的调度器
- QtScheduler: Qt的调度器
由此可知,在APscheduler的调度器中,是与底层的实现机制紧密相关的,需要依据当前的计算模型来动态选择调度器。
三、APScheduler的job管理
Job是APScheduler中的核心,其承接目前需要执行的工作和任务,其可以在系统运行过程中动态地进行增加/修改/删除/查询等操作。
3.1 Job的新增
共有两种方式进行新增job的操作:
基于add_job来动态增加
代码示例:
1
|
sched.add_job(job_function, 'cron' , day_of_week = 'mon-fri' , hour = '0-9' , minute = "*" , second = "*/4" ) |
基于修饰器scheduled_job来动态装饰job的实际函数
代码示例:
1
2
3
|
@sched .scheduled_job( 'cron' , id = 'my_job_id' , day = 'last sun' ) def some_decorated_task(): print ( "I am printed at 00:00:00 on the last Sunday of every month!" ) |
3.2 移除作业
1
2
3
4
5
6
|
job = scheduler.add_job(myfunc, 'interval' , minutes = 2 ) job.remove() Same, using an explicit job ID : scheduler.add_job(myfunc, 'interval' , minutes = 2 , id = 'my_job_id' ) scheduler.remove_job( 'my_job_id' ) |
基于job id来动态移除特定的job.
3.3 暂停和恢复作业
暂停作业:
– apscheduler.job.Job.pause()
– apscheduler.schedulers.base.BaseScheduler.pause_job()
恢复作业:
– apscheduler.job.Job.resume()
– apscheduler.schedulers.base.BaseScheduler.resume_job()
3.4. 获得job列表
获得调度作业的列表,可以使用 get_jobs()
来完成,它会返回所有的job实例。或者使用 print_jobs()
来输出所有格式化的作业列表。
3.5. 修改作业 job
可以通过apscheduler.job.Job.modify()
or modify_job()
来动态修改job的属性信息,除了job id无法修改之外,都是可以修改的。
1
|
job.modify(max_instances = 6 , name = 'Alternate name' ) |
另外我们也可以通过apscheduler.job.Job.reschedule()
or reschedule_job()
动态重新设置trigger,示例如下:
1
|
scheduler.reschedule_job( 'my_job_id' , trigger = 'cron' , minute = '*/5' ) |
3.6. 关闭调度器
默认情况下调度器会等待所有正在运行的作业完成后,关闭所有的调度器和作业存储。如果你不想等待,可以将wait选项设置为False。
1
2
|
scheduler.shutdown() scheduler.shutdown(wait = False ) |
四、 APScheduler的代码示例
这里使用装饰器来展示一个调度的使用:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
from apscheduler.schedulers.blocking import BlockingScheduler sched = BlockingScheduler() @sched .scheduled_job( 'interval' , seconds = 3 ) def timed_job(): print ( 'This job is run every three minutes.' ) @sched .scheduled_job( 'cron' , day_of_week = 'mon-fri' , hour = '0-9' , minute = '30-59' , second = '*/3' ) def scheduled_job(): print ( 'This job is run every weekday at 5pm.' ) print ( 'before the start funciton' ) sched.start() print ( "let us figure out the situation" ) |
代码说明:
在这段代码中,使用了当前进程中共享计算资源的BlockingScheduler,共使用了2个调度器,其中一个是间隔3秒的执行。
另外一个调度器是模仿cron来执行的,在周一到周五其间,每天的0点到9点直接,在30分到59分之间执行,执行频次为3秒。
基于正常代码的示例如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
|
from apscheduler.schedulers.background import BackgroundScheduler from apscheduler.schedulers.blocking import BlockingScheduler import datetime import time import logging def job_function(): print "Hello World" + " " + str (datetime.datetime.now()) if __name__ = = '__main__' : log = logging.getLogger( 'apscheduler.executors.default' ) log.setLevel(logging.INFO) # DEBUG fmt = logging.Formatter( '%(levelname)s:%(name)s:%(message)s' ) h = logging.StreamHandler() h.setFormatter(fmt) log.addHandler(h) print ( 'start to do it' ) sched = BlockingScheduler() # Schedules job_function to be run on the third Friday # of June, July, August, November and December at 00:00, 01:00, 02:00 and 03:00 sched.add_job(job_function, 'cron' , day_of_week = 'mon-fri' , hour = '0-9' , minute = "*" , second = "*/4" ) sched.start() |
五、某个异常问题的思考
在执行以下代码之时候,定时任务一直未能正常生效:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
from apscheduler.schedulers.background import BackgroundScheduler from apscheduler.schedulers.blocking import BlockingScheduler import datetime import time def job_function(): print "Hello World" + " " + str (datetime.datetime.now()) if __name__ = = '__main__' : print ( 'start to do it' ) sched = BlockingScheduler() sched.add_job(job_function, 'cron' , day_of_week = 'mon-fri' , hour = '0-9' , minute = "*" , second = "*/4" ) sched.start() |
代码报错的错误信息为:
1
|
No handlers could be found for logger “apscheduler.scheduler” |
从字面意思来分析,是没有logging模块的logger存在,故需要添加上去即可。
新增对应的logging信息即可:
1
|
import logging |
1
2
3
4
5
6
7
|
log = logging.getLogger( 'apscheduler.executors.default' ) log.setLevel(logging.INFO) # DEBUG fmt = logging.Formatter( '%(levelname)s:%(name)s:%(message)s' ) h = logging.StreamHandler() h.setFormatter(fmt) log.addHandler(h) |
后来笔者重新做了一次执行,即使移除掉logging的内容,依然可以正常执行,故可以推测为需要动态引入一次依赖包logging即可。
六、总结
APScheduler是一个非常强大易用的类库,为了我们简单快捷的解决问题提供了很多的工具,并且提供了很多灵活的扩展点,只要你添加若干的web页面,就可以创建一个强大的任务调度系统,不是吗?
好了,以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。
Python中定时任务框架APScheduler的更多相关文章
- Python中定时任务框架APScheduler的快速入门指南
前言 大家应该都知道在编程语言中,定时任务是常用的一种调度形式,在Python中也涌现了非常多的调度模块,本文将简要介绍APScheduler的基本使用方法. 一.APScheduler介绍 APSc ...
- 定时任务框架APScheduler学习详解
APScheduler简介 在平常的工作中几乎有一半的功能模块都需要定时任务来推动,例如项目中有一个定时统计程序,定时爬出网站的URL程序,定时检测钓鱼网站的程序等等,都涉及到了关于定时任务的问题,第 ...
- 分布式定时任务框架——python定时任务框架APScheduler扩展
http://bbs.7boo.org/forum.php?mod=viewthread&tid=14546 如果将定时任务部署在一台服务器上,那么这个定时任务就是整个系统的单点,这台服务器出 ...
- Python定时任务框架APScheduler
http://blog.csdn.net/chosen0ne/article/details/7842421 APScheduler是基于Quartz的一个Python定时任务框架,实现了Quartz ...
- [转]Python定时任务框架APScheduler
APScheduler是基于Quartz的 一个Python定时任务框架,实现了Quartz的所有功能,使用起来十分方便.提供了基于日期.固定时间间隔以及crontab类型的任务,并且可以 持久化任务 ...
- Python 定时任务框架 APScheduler 详解
APScheduler 最近想写个任务调度程序,于是研究了下 Python 中的任务调度工具,比较有名的是:Celery,RQ,APScheduler. Celery:非常强大的分布式任务调度框架 R ...
- python 定时任务框架apscheduler
文章目录 安装 基本概念介绍 调度器的工作流程 实例1 -间隔性任务 实例2 - cron 任务 配置调度器 方法一 方法二 方法三: 启动调度器 方法一:使用默认的作业存储器: 方法二:使用数据库作 ...
- Python定时任务框架APScheduler 3.0.3 Cron示例
APScheduler是基于Quartz的一个Python定时任务框架,实现了Quartz的所有功能,使用起来十分方便.提供了基于日期.固定时间间隔以及crontab类型的任务,并且可以持久化任务.基 ...
- python Aspscheduler 定时任务框架使用
前几日,爬虫基本能爬点东西出来了,现在需要实现定时把数据爬到DB里去,可以使用windows定时任务执行py脚本,但好像不彻底,要做一个纯(jiao)粹(qing)的程序员,定时任务的重任落到了Asp ...
随机推荐
- Java面向对象---重写(Override)与重载(Overload)
一.重写(Override) 重写是子类对父类的允许访问的方法的实现过程进行重新编写, 返回值和形参都不能改变.即外壳不变,核心重写! 重写的好处在于子类可以根据需要,定义特定于自己的行为. 也就是说 ...
- Android 自定义View - 饼图
最近有看到一个自定义等分圆的View,自己尝试做了一个类似的,效果图如下图(1)所示: 图(1) 实现方法:自定义View-ColorCircle,需要的知道的值有圆的半径,等分个数以及扇形颜色. / ...
- Python笔记 #13# Pandas: Viewing Data
感觉很详细:数据分析:pandas 基础 import pandas as pd import numpy as np import matplotlib.pyplot as plt dates = ...
- override和new关键字 隐藏父类的方法
正常情况下,父类virtual的方法,子类override class Animal { public virtual void EatFood() { Console.WriteLine(" ...
- C# 版本和.NET 版本以及VS版本的对应关系
https://en.wikipedia.org/wiki/C_Sharp_(programming_language)#Versions http://stackoverflow.com/quest ...
- Python学习札记(三十四) 面向对象编程 Object Oriented Program 5
参考:获取对象信息 NOTE 1.type()函数可以用来判断对象的类型: >>> type(123) <class 'int'> >>> type(' ...
- 16s workfollw
http://bioconductor.org/packages/devel/bioc/vignettes/metagenomeFeatures/inst/doc/Example_16S_Annota ...
- python 返回系统名称,系统平台,系统版本
import platform import os print(os.name) print(platform.system()) print(platform.release())
- MySQL返回影响行数的测试示例
found_rows() : select row_count() : update delete insert 注:需要配合相应的操作一起使用,否则返回的值只是1和-1(都是不正确的值) 示例: d ...
- Rails 5 Test Prescriptions 第5章 Testing Models
Rails,model层包含业务逻辑和储存逻辑.其中储存逻辑被ActiveRecord处理. 在model中,不是每件事都必须是ActiveRecord对象.model layer可以包含各种服务,对 ...