详解BI系统中的任务调度
任务调度是一个通用的计算机概念,可以简单地理解为计算机基于一定时间频率,自动执行一项进程任务。任务调度是操作系统的重要组成部分,Windows系统中的定时任务和Linux的Crontab都是常用的系统级调度器,被广泛应用于各种定时执行程序的场景。在传统商业智能BI领域,系统的调度器也经常被作为ETL作业的调度器。作业任务会通过T+1或者更高的时间频率进行调度执行。
随着商业智能BI技术的发展,BI工具的调度功能也有了长足的发展。特别是伴随着大数据和实时数据的市场需求,处理能力更强、多线程作业,准实时调度等场景的应用越来越普遍。
具体到商业智能BI工具的调度功能,目前,主要可以概括为两类:
- 数据抽取的任务调度
- 通知、消息的任务调度
一、数据抽取的任务调度
商业智能工具的一大应用场景就是打破数据孤岛,将分布在不同系统中的异构数据进行整合,并抽取到数据仓库,形成分析模型,为可视化分析提供数据支撑。对于大数据量的历史数据分析,抽取基本采用的就是定时调度机制。从数据源到数据仓库,可以配置增量更新或者全量更新。
全量更新一般采用的机制是先Truncate Table,再进行Insert操作。增量更新则是基于主键列或者时间戳,只更新满足条件的数据。无论哪种方式,都是通过设置不同时间频率的定时调度任务来执行的。
任务的频率也是和前述两种更新方式密切相关的。对于实时性要求不高的数据,可以通过设置T+1来进行全量更新。对于频率相对较高的数据,可以设置以小时、分钟甚至秒级的频率来进行调度增量更新。
具体的调度频率要根据数据量、服务器配置,同时考虑对数据源系统的压力来综合考虑。
以Wyn为例,在数据接入方式上同时支持直连模型和抽取模型。对于抽取模型,可以设置调度运行计划。自动重载计划会在设定的时间自动刷新模型中的数据。
用户可以根据不同的业务需求制定不同的执行计划,以不同频率重载表中的缓存数据。若计划执行失败,会向填写的邮箱发送一封邮件通知。若成功,则没有提示。
创建自动定时的运行计划,设定后运行计划会周期性的自动刷新数据。
商业智能BI工具在任务计划设置上,也会考虑到其复用性。提供通过模板创建运行计划功能。运行计划可以手动或自动执行。运行计划的调度执行是数据抽取成功的重要技术保障。
二、通知、消息的任务调度
在商业智能的任务调度场景中,不仅要将数据抽取到数仓集中存储。对于报表、仪表板等分析结果,也需要支持定时推送功能。并不是每个报表数据的查看者都方面直接登录系统查看数据。例如,出差路上,或者遗忘时,通过定时推送功能,可以主动地将分析结果呈现给数据的使用者。在企业实践中,邮件推送是最常用的方式之一。
以Wyn为例,在任务计划模板中,可以使用邮件推送功能。发送对象支持邮件和邮件组。在运行报表运行计划时,不仅仅支持将报表作为邮件附件或链接的形式发送至目标邮箱,也支持将报表作为邮件正文,这样会更加方便用户查看。
将报表作为邮件正文显示的关键在于,在设置运行计划时,将导出格式设置为"HTML"或"Image"。而后,发送方式选择邮件通知时,"发送类型"中才可以选择"在邮件正文中显示报表"。
综上所述,任务调度作为商业智能工具的普遍需求,已经被广泛应用,为数据抽取提供了有效的支撑。随着软件开发技术的发展和市场需求的变化,数据实时性更高的分析场景将越来越多。但是,大数据量历史数据分析的场景也会一直存在。因此,可以预见的是,在未来一段时间内,基于任务调度的抽取模型和基于流式的、实时推送模型、直连数据源的直连模型将并存,并共同为企业的数据分析提供重要的技术支撑。
详解BI系统中的任务调度的更多相关文章
- 详解Linux系统中的文件名和文件种类以及文件权限
Linux文件种类与副文件名 一直强调一个概念,那就是:任何装置在Linux底下都是文件, 不仅如此,连资料沟通的介面也有专属的文件在负责-所以,你会瞭解到,Linux的文件种类真的很多- 除了前面提 ...
- 详解Linux系统中10个最危险的命令
概述 大多数的朋友都是主要用的windows系统,基本用鼠标就可以完成所有的操作,但是在Linux系统中很多都是键盘+命令操作电脑的,Linux命令行使用很有趣,但有时候也很危险,尤其是在你不确定你自 ...
- [转帖]详解Linux系统inode原理--硬链接、软链接、innodb大小和划分等
详解Linux系统inode原理--硬链接.软链接.innodb大小和划分等 原创 波波说运维 2019-07-17 00:03:00 https://www.toutiao.com/i6713116 ...
- 详解WebService开发中四个常见问题(2)
详解WebService开发中四个常见问题(2) WebService开发中经常会碰到诸如WebService与方法重载.循环引用.数据被穿该等等问题.本文会给大家一些很好的解决方法. AD:WO ...
- 详解WebService开发中四个常见问题(1)
详解WebService开发中四个常见问题(1) WebService开发中经常会碰到诸如WebService与方法重载.循环引用.数据被穿该等等问题.本文会给大家一些很好的解决方法. AD:WO ...
- 一文详解 Linux 系统常用监控工一文详解 Linux 系统常用监控工具(top,htop,iotop,iftop)具(top,htop,iotop,iftop)
一文详解 Linux 系统常用监控工具(top,htop,iotop,iftop) 概 述 本文主要记录一下 Linux 系统上一些常用的系统监控工具,非常好用.正所谓磨刀不误砍柴工,花点时间 ...
- 详解 $_SERVER 函数中QUERY_STRING和REQUEST_URI区别
详解 $_SERVER 函数中QUERY_STRING和REQUEST_URI区别 http://blog.sina.com.cn/s/blog_686999de0100jgda.html 实例: ...
- 详解 Go 语言中的 time.Duration 类型
swardsman详解 Go 语言中的 time.Duration 类型swardsman · 2018-03-17 23:10:54 · 5448 次点击 · 预计阅读时间 5 分钟 · 31分钟之 ...
- 详解jquery插件中(function ( $, window, document, undefined )的作用。
1.(function(window,undefined){})(window); Q:(function(window,undefined){})(window);中为什么要将window和unde ...
随机推荐
- 【C#特性】 Attribute 应用
特性应用 取得枚举类型的注释 平时开发时,经常会用到枚举类型及其相关判断,而有时我们想显示枚举类型的注释,怎么办?下面用特性来解决这个问题. namespace AttributeDemo.Custo ...
- Linux系统最重要的工具——Shell学习笔记
一.为什么学习Shell脚本语言 1.Shell脚本语言是实现Linux/UNIX系统管理及自动化运维必备的重要工具,Linux/UNIX系统底层及 基础应用软件的核心大都涉及Shell脚本的内容. ...
- Pycharm:设置完Anaconda后报错TypeError: an integer is required (got type bytes)
背景:安装了最新版本的Anaconda3.9后,在Pycharm中设置Python Interpreter为这个最新版本Anaconda文件下的python.exe后,控制台无法启动并报错TypeEr ...
- JAVA——转义字符
目录 1.Java转义字符 2.Java中的注释 2.1Java 中的注释类型 2.2文档注释 3.Java代码规范 4.Java开发注意事项和细节说明 1.Java转义字符 在控制台,输入 tab ...
- python中max使用key参数
arr = [1,2,2,2,2,3,3,3] arr = collections.Counter(arr) b = max(arr.keys(),key = arr.get) 这个时候b为arr中元 ...
- Linux du命令和df命令区别
du 命令 1.命令格式: du [选项][文件] 2.命令功能: 显示每个文件和目录的磁盘使用空间. 3.命令参数: -a或-all 显示目录中个别文件的大小. -b或-bytes 显示目录或文件大 ...
- mysql全量备份与增量备份
mysql全量备份与增量备份 1.全量备份 全量备份就是把数据库中所有的数据进行备份. 备份所有库: mysqldump -uroot -p456 -S /data/3306/mysql.sock ...
- svelte组件:Svelte自定义弹窗Popup组件|svelte移动端弹框组件
基于Svelte3.x自定义多功能svPopup弹出框组件(组件式+函数式) 前几天有分享一个svelte自定义tabbar+navbar组件,今天继续带来svelte自定义弹窗组件. svPopup ...
- C#+SQL Server的数据库管理系统常用的代码
数据库管理系统 数据库管理系统(Database Management System)是一种操纵和管理数据库的大型软件,用于建立.使用和维护数据库,简称DBMS.它对数据库进行统一的管理和控制,以保证 ...
- Net中委托之一
1.委托的用法 委托是一种特殊的类型 a. 委托可以类外定义,也可以在类里面定义 b. 委托的操作步骤 1.委托的声明 2.委托的实例化 3.委托的调用 2.委托实例 amespace MyDeleg ...