FocusBI:《DW/BI项目管理》之SSIS执行情况
微信公众号:FocusBI
关注可了解更多的商业智能、数据仓库、数据库开发、爬虫知识及沪深股市数据推送。问题或建议,请关注公众号发送消息留言;
如果你觉得FocusBI对你有帮助,欢迎转发朋友圈或在文章末尾点赞[1]
《商业智能教程》pdf下载地址
链接:https://pan.baidu.com/s/1f9VdZUXztwylkOdFLbcmWw 密码:2r4v
在 FocusBI:SSIS体系结构、《SSIS开发案例》这两篇文章中讲到SSIS 开发完最终是要被执行的,但是被执行后会出现什么样的情况,如何去监控它的执行情况;这也是在BI实施中遇到的难题,当有上百个包我们应该如何管理这个SSIS的ETL 项目,虽然SSIS执行出错是有邮件通知出错了,但是它无法通知你具体是哪个地方出错,当一个项目有上百个包如何准确的定位出错和错误原因、如何清楚的知道这些包内部执行了哪些SQL 语句及包执行的时长起始时间等。
DW/BI项目管理:SSIS执行情况
这里我介绍《DW/BI项目管理》的第二个模块 SSIS执行情况,它能解决如何管理好上百个包及包内运行的状况等。
首先登录《DW/BI项目管理》 系统,单击SSIS执行情况 模块,在这个模块就会出现:SSIS执行包时间、SSIS执行的SQL、配置执行计划、配置邮件通知四个子模块,这里的配置执行计划就是把部署好的包选择好顺序会自动生成作业,这个功能在包比较少的情况下是没有多大意义的,只有当有上百个包,而且要迁移时才能帮你节省时间,如果要迁移也能做成存储过程一次性就迁移成功了,所以这个子模块就不在描述。配置邮件通知:这个子模块就是把SQL Server中的邮件模块引用进来我觉得没有多大意义,后面会取消这个模块。SSIS执行情况模块我重点讲一下执行包时间和执行的SQL 两个子模块。另外SSIS包执行错误和警告的信息在DW/BI项目管理 的首页 右侧 这个子模块是你一登录就会出现,为什么我要做成一登录就出现这些内容,即使有邮件通知SSIS的错误或警告但是毕竟是邮件有可能会遗漏。
DW/BI项目管理:SSIS执行包时间
单击 模块 SSIS执行情况中的子模块SSIS执行包时间 就会出现这个页面,页面有执行日期的查询,这里默认的是当天包执行的情况;每天只要打开这个子模块就能清晰的看到包和数据流组件运行的开始时间、结束时间、执行时长、受影响的行数。在表格中看到类型字段这个字段的内容是1代表数据流、0代表包。这里很明显是每个包中包含有多个数据流,这是很简单的业务才这么做,如果是复杂的业务就需要每一个包只包含一个数据流,这里也没有做增量包,所以在更加复杂的业务场景中需要考虑的因素更多,不管怎么复杂这个模块都能管理的很好;执行时长字段就是统计了这个包或数据流执行的时间,这个做性能优化时是非常重要的参考因素。行数字段行数很明显是显示出这个数据流处理的数据行数,这里做的是全量清除和全量抽取,没有做增量,所以这个字段对于做增量比较有意义一些。
DW/BI项目管理:SSIS执行的SQL
单击模块 SSIS执行情况中的子模块 SSIS执行的SQL 就会出现下面这个页面,包下面的某个数据流执行了什么样的SQL 语句一目了然,不管你是执行的存储过程这里也会把存储过程给显示出来,在BI实施的过程出于项目的交付需要给甲方使用可能会给甲方自己维护,所以在实施的过程中尽量都是SQL来处理较为简单的业务、存储过程处理复杂的业务,这样方便统一管理也对技术人员不要有太高深的了解SSIS的高级功能就能看懂和维护。执行的SQL字段后面的都是DBA使用的数据用于调优SQL参考的。
总结
把DW/BI项目管理中数据库表结构和SSIS执行情况两个模块结合起来使用对BI项目开发和维护非常的方便,能节约人力成本、提供开发速度、维护起来更加容易判断问题出在哪里。可以说离我的一个月只工作10天的梦想越来越近了,我需要更多系统化、智能化的思考BI项目的稳定和提前预防错误的方法。
历史文章:
FocusBI: 使用Python爬虫为BI准备数据源(原创)
FocusBI关注者
FocusBI:SSAS体系结构(原创)
FocusBI:租房分析&星型模型
FocusBI:地产分析&雪花模型
FocusBI:MDX检索多维模型
FocusBI:租房分析可视化(网址体验)
FocusBI: 《DW/BI项目管理》之数据库表结构 (原创)
FocusBI:《DW/BI项目管理》之SSIS执行情况的更多相关文章
- FocusBI: 《DW/BI项目管理》之数据库表结构 (原创)
关注微信公众号:FocusBI 查看更多文章:加QQ群:808774277 获取学习资料和一起探讨问题. <商业智能教程>pdf下载地址 链接:https://pan.baidu.com/ ...
- BI 项目管理之生命周期跟踪和任务区域
DW/BI 系统是复杂的实体,构建这种系统的方法必须有助于简化复杂性.13 个方框显示了构建成功的数据仓库的主要任务区域,以及这些任务之间的主要依赖关系. 在生命周期这一级可以进行多方观察 ...
- BI 项目管理之角色和职责
DW/BI 系统在生命周期中需要许多不同的角色和技能,它们来自业务和技术领域.本文将介绍创建DW/BI 系统所涉及的主要角色.角色和人之间很少是一对一关系.与我们合作的团队小到只有一人,大 ...
- SQL SERVER 查询Job作业基本信息及执行情况
查询作业基本信息和作业执行情况 SELECT [jop].[job_id] AS '作业唯一标识符' ,[jop].[ name ] AS '作业名称' ,[dp].[ name ] AS '作业创建 ...
- 【原创】SQL SERVER 查询Job作业基本信息及执行情况
查询作业基本信息和作业执行情况 SELECT [jop].[job_id] AS '作业唯一标识符' ,[jop].[ name ] AS '作业名称' ,[dp].[ name ] AS '作业创建 ...
- 【转】Java中try catch finally语句中含有return语句的执行情况(总结版)
Java中try catch finally语句中含有return语句的执行情况(总结版) 有一点可以肯定,finally块中的内容会先于try中的return语句执行,如果finall语句块中也有r ...
- 【转】html、css、js文件加载顺序及执行情况
原链接:http://www.cnblogs.com/Walker-lyl/p/5262075.html 今天看书,看到html,css,js加载执行情况,发现自己并不是真正的了解,网上搜了半小时依然 ...
- SQL查询作业执行情况
查询作业的执行情况sql: SELECT [JobName] = JOB.name, [Step] = HIST.step_id, [StepName] = HIST.step_name, [Mess ...
- Oracle数据库定时任务配置和日志执行情况查询
基础配置: /***************************************************************** * * 移动抵扣券快到期推送提醒 * 首次执行 : 2 ...
随机推荐
- oracle 11gr2 2.04 em 更改 hostname 后无需重建资料库的方法
1) 备份删除$ORACKE_HOME/ xxxx-sid 的EM目录:复制要创建的xxx-sid EM 名称目录: 备份删除$ORACKE_HOME/oc4j/j2ee/ xxxx-sid 的EM目 ...
- C#之工厂
工厂在我看来分为三种分别都是简单工厂,工厂方法,和抽象工厂,这三种都是将使用和创建分开的一种模式 接下来我来介绍一下我理解的简单工厂模式: 在平时我们需要使用生产对象的一个类当我们需要new 一个对象 ...
- [C#学习笔记]C#中的decimal类型——《CLR via C#》
System.Decimal是非常特殊的类型.在CLR中,Decimal类型不是基元类型.这就意味着CLR没有知道如何处理Decimal的IL指令. 在文档中查看Decimal类型,可以看到它提供了一 ...
- php—Smarty-2
一.注释 *注释内容* Html注释显示客户端源文件中 Smarty注释不会发给客户端 Smarty的注释主要给模板设计者来看的 二.模板中的变量 l 由php文件分配 1) 普通变量 2) 数 ...
- java—数据存储过程 (54)
存储过程:procedure:就是一段可执行程序.这个程序运行在数据中. Begin = { End = } If Else 也可以接收参数. 1 定义一个procedure: CREATE PROC ...
- “全栈2019”Java异常第十章:throw与throws区别详解
难度 初级 学习时间 10分钟 适合人群 零基础 开发语言 Java 开发环境 JDK v11 IntelliJ IDEA v2018.3 文章原文链接 "全栈2019"Java异 ...
- “全栈2019”Java第一百零五章:匿名内部类覆盖作用域成员详解
难度 初级 学习时间 10分钟 适合人群 零基础 开发语言 Java 开发环境 JDK v11 IntelliJ IDEA v2018.3 文章原文链接 "全栈2019"Java第 ...
- 3D-2D:PnP
PnP(Perspective-n-Point):当知道n个3D空间点及其投影位置时,估计相机位姿. 2D-2D的对极几何方法需要八个或八个以上的点对(以八点法为例),且存在着初始化.纯旋转和尺度的问 ...
- Rabbitmq 消息对列 生产者与消费者的具体实现 springboot
RabbitMQ 基本介绍 RabbitMQ的设计理念是.只要有接收消息的队列. 邮件就会存放到队列里. 直到订阅人取走. . 如果没有可以接收这个消息的消息队列. 默认是抛弃这个消息的.. 我实现的 ...
- leetcode-8-字符串转整数 (atoi)
题目描述: 实现 atoi,将字符串转为整数. 在找到第一个非空字符之前,需要移除掉字符串中的空格字符.如果第一个非空字符是正号或负号,选取该符号,并将其与后面尽可能多的连续的数字组合起来,这部分字符 ...