Python中定时任务框架APScheduler的快速入门指南
前言
大家应该都知道在编程语言中,定时任务是常用的一种调度形式,在Python中也涌现了非常多的调度模块,本文将简要介绍APScheduler的基本使用方法。
一、APScheduler介绍
APScheduler是基于Quartz的一个python定时任务框架,实现了Quartz的所有功能,使用起来十分方便。提供了基于日期、固定时间间隔以及crontab类型的任务,并且可以持久化任务。
APScheduler提供了多种不同的调度器,方便开发者根据自己的实际需要进行使用;同时也提供了不同的存储机制,可以方便与Redis,数据库等第三方的外部持久化机制进行协同工作,总之功能非常强大和易用。
在Python的世界中,另外一个齐名的调度模块是Celery,功能也非常的强大,号称分布式的调度器,感兴趣的读者可以自行进行研究。
官网文档地址:http://apscheduler.readthedocs.io/en/latest/
安装包位置: https://pypi.python.org/pypi/APScheduler/
在系统中,如何进行安装呢?其实非常简单,基于pip直接安装即可:
1
|
pip install APScheduler |
二、APScheduler的主要的调度类
在APScheduler中有以下几个非常重要的概念,需要大家理解:
1、触发器(trigger)
包含调度逻辑,每一个作业有它自己的触发器,用于决定接下来哪一个作业会运行,根据trigger中定义的时间点,频率,时间区间等等参数设置。除了他们自己初始配置以外,触发器完全是无状态的。
2、作业存储(job store)
存储被调度的作业,默认的作业存储是简单地把作业保存在内存中,其他的作业存储是将作业保存在数据库中。一个作业的数据讲在保存在持久化作业存储时被序列化,并在加载时被反序列化。调度器不能分享同一个作业存储。job store支持主流的存储机制:redis, mongodb, 关系型数据库, 内存等等
3、执行器(executor)
处理作业的运行,他们通常通过在作业中提交制定的可调用对象到一个线程或者进城池来进行。当作业完成时,执行器将会通知调度器。基于池化的操作,可以针对不同类型的作业任务,更为高效地使用cpu的计算资源。
调度器(scheduler)
通常在应用只有一个调度器,调度器提供了处理这些的合适的接口。配置作业存储和执行器可以在调度器中完成,例如添加、修改和移除作业。
这里简单列一下常用的若干调度器:
- BlockingScheduler:仅可用在当前你的进程之内,与当前的进行共享计算资源
- BackgroundScheduler: 在后台运行调度,不影响当前的系统计算运行
- AsyncIOScheduler: 如果当前系统中使用了async module,则需要使用异步的调度器
- GeventScheduler: 如果使用了gevent,则需要使用该调度
- TornadoScheduler: 如果使用了Tornado, 则使用当前的调度器
- TwistedScheduler:Twister应用的调度器
- QtScheduler: Qt的调度器
由此可知,在APscheduler的调度器中,是与底层的实现机制紧密相关的,需要依据当前的计算模型来动态选择调度器。
三、APScheduler的job管理
Job是APScheduler中的核心,其承接目前需要执行的工作和任务,其可以在系统运行过程中动态地进行增加/修改/删除/查询等操作。
3.1 Job的新增
共有两种方式进行新增job的操作:
基于add_job来动态增加
代码示例:
1
|
sched.add_job(job_function, 'cron' , day_of_week = 'mon-fri' , hour = '0-9' , minute = "*" , second = "*/4" ) |
基于修饰器scheduled_job来动态装饰job的实际函数
代码示例:
1
2
3
|
@sched .scheduled_job( 'cron' , id = 'my_job_id' , day = 'last sun' ) def some_decorated_task(): print ( "I am printed at 00:00:00 on the last Sunday of every month!" ) |
3.2 移除作业
1
2
3
4
5
6
|
job = scheduler.add_job(myfunc, 'interval' , minutes = 2 ) job.remove() Same, using an explicit job ID : scheduler.add_job(myfunc, 'interval' , minutes = 2 , id = 'my_job_id' ) scheduler.remove_job( 'my_job_id' ) |
基于job id来动态移除特定的job.
3.3 暂停和恢复作业
暂停作业:
– apscheduler.job.Job.pause()
– apscheduler.schedulers.base.BaseScheduler.pause_job()
恢复作业:
– apscheduler.job.Job.resume()
– apscheduler.schedulers.base.BaseScheduler.resume_job()
3.4. 获得job列表
获得调度作业的列表,可以使用 get_jobs()
来完成,它会返回所有的job实例。或者使用 print_jobs()
来输出所有格式化的作业列表。
3.5. 修改作业 job
可以通过apscheduler.job.Job.modify()
or modify_job()
来动态修改job的属性信息,除了job id无法修改之外,都是可以修改的。
1
|
job.modify(max_instances = 6 , name = 'Alternate name' ) |
另外我们也可以通过apscheduler.job.Job.reschedule()
or reschedule_job()
动态重新设置trigger,示例如下:
1
|
scheduler.reschedule_job( 'my_job_id' , trigger = 'cron' , minute = '*/5' ) |
3.6. 关闭调度器
默认情况下调度器会等待所有正在运行的作业完成后,关闭所有的调度器和作业存储。如果你不想等待,可以将wait选项设置为False。
1
2
|
scheduler.shutdown() scheduler.shutdown(wait = False ) |
四、 APScheduler的代码示例
这里使用装饰器来展示一个调度的使用:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
from apscheduler.schedulers.blocking import BlockingScheduler sched = BlockingScheduler() @sched .scheduled_job( 'interval' , seconds = 3 ) def timed_job(): print ( 'This job is run every three minutes.' ) @sched .scheduled_job( 'cron' , day_of_week = 'mon-fri' , hour = '0-9' , minute = '30-59' , second = '*/3' ) def scheduled_job(): print ( 'This job is run every weekday at 5pm.' ) print ( 'before the start funciton' ) sched.start() print ( "let us figure out the situation" ) |
代码说明:
在这段代码中,使用了当前进程中共享计算资源的BlockingScheduler,共使用了2个调度器,其中一个是间隔3秒的执行。
另外一个调度器是模仿cron来执行的,在周一到周五其间,每天的0点到9点直接,在30分到59分之间执行,执行频次为3秒。
基于正常代码的示例如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
|
from apscheduler.schedulers.background import BackgroundScheduler from apscheduler.schedulers.blocking import BlockingScheduler import datetime import time import logging def job_function(): print "Hello World" + " " + str (datetime.datetime.now()) if __name__ = = '__main__' : log = logging.getLogger( 'apscheduler.executors.default' ) log.setLevel(logging.INFO) # DEBUG fmt = logging.Formatter( '%(levelname)s:%(name)s:%(message)s' ) h = logging.StreamHandler() h.setFormatter(fmt) log.addHandler(h) print ( 'start to do it' ) sched = BlockingScheduler() # Schedules job_function to be run on the third Friday # of June, July, August, November and December at 00:00, 01:00, 02:00 and 03:00 sched.add_job(job_function, 'cron' , day_of_week = 'mon-fri' , hour = '0-9' , minute = "*" , second = "*/4" ) sched.start() |
五、某个异常问题的思考
在执行以下代码之时候,定时任务一直未能正常生效:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
from apscheduler.schedulers.background import BackgroundScheduler from apscheduler.schedulers.blocking import BlockingScheduler import datetime import time def job_function(): print "Hello World" + " " + str (datetime.datetime.now()) if __name__ = = '__main__' : print ( 'start to do it' ) sched = BlockingScheduler() sched.add_job(job_function, 'cron' , day_of_week = 'mon-fri' , hour = '0-9' , minute = "*" , second = "*/4" ) sched.start() |
代码报错的错误信息为:
1
|
No handlers could be found for logger “apscheduler.scheduler” |
从字面意思来分析,是没有logging模块的logger存在,故需要添加上去即可。
新增对应的logging信息即可:
1
|
import logging |
1
2
3
4
5
6
7
|
log = logging.getLogger( 'apscheduler.executors.default' ) log.setLevel(logging.INFO) # DEBUG fmt = logging.Formatter( '%(levelname)s:%(name)s:%(message)s' ) h = logging.StreamHandler() h.setFormatter(fmt) log.addHandler(h) |
后来笔者重新做了一次执行,即使移除掉logging的内容,依然可以正常执行,故可以推测为需要动态引入一次依赖包logging即可。
六、总结
APScheduler是一个非常强大易用的类库,为了我们简单快捷的解决问题提供了很多的工具,并且提供了很多灵活的扩展点,只要你添加若干的web页面,就可以创建一个强大的任务调度系统,不是吗?
好了,以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。
Python中定时任务框架APScheduler的快速入门指南的更多相关文章
- Python中定时任务框架APScheduler
前言 大家应该都知道在编程语言中,定时任务是常用的一种调度形式,在Python中也涌现了非常多的调度模块,本文将简要介绍APScheduler的基本使用方法. 一.APScheduler介绍 APSc ...
- Python中的单元测试模块Unittest快速入门
前言 为什么需要单元测试? 如果没有单元测试,我们会遇到这种情况:已有的健康运行的代码在经过改动之后,我们无法得知改动之后是否引入了Bug.如果有单元测试的话,只要单元测试全部通过,我们就可以保证没有 ...
- 定时任务框架APScheduler学习详解
APScheduler简介 在平常的工作中几乎有一半的功能模块都需要定时任务来推动,例如项目中有一个定时统计程序,定时爬出网站的URL程序,定时检测钓鱼网站的程序等等,都涉及到了关于定时任务的问题,第 ...
- 实体框架(Entity Framework)快速入门--实例篇
在上一篇 <实体框架(Entity Framework)快速入门> 中我们简单了解的EF的定义和大体的情况,我们通过一步一步的做一个简单的实际例子来让大家对EF使用有个简单印象,看操作步骤 ...
- [转] Spark快速入门指南 – Spark安装与基础使用
[From] https://blog.csdn.net/w405722907/article/details/77943331 Spark快速入门指南 – Spark安装与基础使用 2017年09月 ...
- TensorFlow 2.0 快速入门指南 | iBooker·ApacheCN
原文:TensorFlow 2.0 Quick Start Guide 协议:CC BY-NC-SA 4.0 自豪地采用谷歌翻译 不要担心自己的形象,只关心如何实现目标.--<原则>,生活 ...
- AngularJS快速入门指南18:Application
是时候创建一个真正的AngularJS单页面应用程序了(SPA). 一个AngularJS应用程序示例 你已经了解了足够多的内容来创建第一个AngularJS应用程序: My Note Save Cl ...
- AngularJS快速入门指南16:Bootstrap
thead>tr>th, table.reference>tbody>tr>th, table.reference>tfoot>tr>th, table ...
- AngularJS快速入门指南02:介绍
AngularJS是一个JavaScript框架.它可以通过<script>标记被添加到HTML页面中. AngularJS通过指令对HTML属性进行了扩展,然后通过表达式将数据绑定到HT ...
随机推荐
- Java 9 模块解耦的设计策略
1. 概述 Java 平台模块系统 (Java Platform Module System,JPMS)提供了更强的封装.更可靠且更好的关注点分离. 但所有的这些方便的功能都需要付出代价.由于模块化的 ...
- u-boot-2014.04分析
本文档以smdk2410为例初步分析了u-boot-2014.04的配置.启动流程.代码重定向.内存分布. u-boot-2014.04这个版本的uboot从Linux内核中借鉴了很多东西,比如编译u ...
- jquery单选框radio绑定click事件实现方法
本文实例讲述了jquery单选框radio绑定click事件实现方法.分享给大家供大家参考. 具体实现方法如下: 复制代码代码如下: <html><head><title ...
- Codeforces Round #316 (Div. 2) (ABC题)
A - Elections 题意: 每一场城市选举的结果,第一关键字是票数(降序),第二关键字是序号(升序),第一位获得胜利. 最后的选举结果,第一关键字是获胜城市数(降序),第二关键字是序号(升序) ...
- eclipse tomcat maven
jdk jre eclipse 略过 下载maven和tomcat 上apache官网下载maven:http://maven.apache.org/download.cgi. 上apache官网下载 ...
- Android:实现两个Activity相互切换而都不走onCreate()
本文要实现的目的是: 有3个Activity: A,B,C.从A中能够进入B,B中能够进入C.而且B和C之间可能须要多次相互切换,因此不能使用普通的startActivity-finish方式,由于又 ...
- 【BZOJ2666】[cqoi2012]组装 贪心
[BZOJ2666][cqoi2012]组装 Description 数轴上有m个生产车间可以生产零件.一共有n种零件,编号为1~n.第i个车间的坐标为xi,生产第pi种零件(1<=pi< ...
- 【BZOJ2510】弱题 期望DP+循环矩阵乘法
[BZOJ2510]弱题 Description 有M个球,一开始每个球均有一个初始标号,标号范围为1-N且为整数,标号为i的球有ai个,并保证Σai = M. 每次操作等概率取出一个球(即取出每个球 ...
- 顽石系列:Java技术面试
顽石系列:Java技术面试 JDBC相关 1.Statement与PreparedStatement的区 别,什什么是SQL注⼊入,如何防⽌止SQL注⼊? PreparedStatement支持动态设 ...
- android MVP模式思考
在软件开发设计中,有多种软件设计模式,如web开发中经典的MVC, 将后台分为三层:Model层,View层和Controller层,其中,Model主要是数据处理,如数据库,文件,或网络数据等:Vi ...