SSIS教程:创建简单的ETL包 -- 4. 增加错误处理流程(Adding Error Flow Redirection)
为了处理在转换过程中可能发生的错误,MicrosoftIntegration Services 允许根据每个组件和每个列来决定如何处理无法转换的数据。 可以选择忽略某些列中的失败、重定向整个失败的行或者只是使组件失败。 默认情况下,Integration Services 中的所有组件被配置为在发生错误时失败。 而使组件失败又会导致包失败,并使所有后续处理停止。
如果不让失败导致包停止执行,一个好方法是通过配置使在转换中发生潜在处理错误时这些错误能够得到处理。 虽然可能选择忽略失败以确保包成功运行,但通常更好的做法是将失败的行重定向到另一个处理路径,在这里可以使数据和错误持久化、接受检查并在随后的某个时间对其进行重新处理。
在本课中,将创建在Lesson 3: Adding Logging中开发的包的副本。 使用这个新包时,将创建一个示例数据文件的损坏版本。 损坏的文件将在运行包时强制发生处理错误。
为了处理错误数据,您将添加并配置一个平面文件目标,它会将所有无法在 Lookup Currency Key 转换中找到查找值的行写入文件。
将错误数据写入文件之前,需要包括一个使用脚本获取错误说明的脚本组件。 然后,将重新配置 Lookup Currency Key 转换,以便将所有无法处理的数据重定向到脚本转换中。
Step 1 : 复制第 3 课包
Step 2: 创建损坏的文件
- 在记事本或任何其他文本编辑器中,打开 Currency_VEB.txt 文件。示例数据与 SSIS 课程包一起提供。 若要下载示例数据和课程包,请执行以下操作。使用文本编辑器的查找和替换功能,查找 VEB 的所有实例,并将其替换为 BAD。使用文本编辑器的查找和替换功能,查找 VEB 的所有实例,并将其替换为 BAD。在包含其他示例数据文件的同一文件夹中,将修改后的文件另存为 Currency_BAD.txt。
- 导航到 Integration Services 产品示例。
- 单击“下载”选项卡。
- 单击 SQL2012.Integration_Services.Create_Simple_ETL_Tutorial.Sample.zip 文件。
- 关闭文本编辑器。
验证是否将在运行时发生错误
在“调试”菜单中,单击“启动调试”。
在数据流第三次迭代时,Lookup Currency Key 转换将尝试处理 Currency_BAD.txt 文件,并且该转换将失败。 转换失败将导致整个包失败。
在“调试”菜单中,单击“停止调试”。
在设计图面上,单击“执行结果”选项卡。
浏览日志,确认是否发生了以下未处理的错误:
[Lookup Currency Key[27]] Error: Row yielded no match during lookup.
Step 3: 添加错误流重定向
如上一个任务中所示,当 Lookup Currency Key 转换尝试对产生错误的已损坏示例平面文件进行处理时,该转换无法生成匹配。由于转换针对错误输出使用了默认设置,因此,任何错误都将导致该转换失败。当转换失败时,该包的其余部分也将失败。
可以使用错误输出将组件配置为将失败的行重定向到其他处理路径,而不是允许转换失败。使用单独的错误处理路径,您可以执行多项任务。例如,您可能要尝试清除该数据,然后重新处理失败的行。或者,您可能要将失败的行与其他错误信息保存在一起,以便以后进行验证和重新处理。
在本任务中,您将 Lookup Currency Key 转换配置为将所有失败的行重定向到错误输出。在数据流的错误分支中,这些行将被写入文件中。
默认情况下,Integration Services 错误输出中的另外两列(ErrorCode 和 ErrorColumn)只包含表示错误号的数值代码以及出现错误的列的 ID。如果没有相应的错误说明,这些数值没有多大用处。
若要更有效地使用错误输出,请在包将失败的行写入文件之前,使用脚本组件来访问 Integration Services API,然后获取错误说明。
配置错误输出
1. 在“SSIS 工具箱”中,展开“公共”,然后将“脚本组件”拖动到“数据流”选项卡的设计图面上。将“脚本”放置在 Lookup Currency Key 转换的右侧。
2. 在“选择脚本组件类型”对话框中,单击“转换”,再单击“确定”。
3. 单击“Lookup Currency Key”转换,然后将红色箭头拖动到新添加的“脚本”转换上,以连接这两个组件。
4. 红色箭头表示“Lookup Currency Key”转换出现错误输出。通过使用红色箭头将转换连接到脚本组件,您可以将所有处理错误重定向到脚本组件,然后,该组件会处理这些错误并将它们发送到目标。
5. 在“配置错误输出”对话框的“错误”列中,选择“重定向行”,再单击“确定”。
6. 在“数据流”设计图面上,在新添加的“脚本组件”中单击“脚本组件”,然后将该名称更改为获取错误说明。
7. 双击 Get Error Description 转换。
8. 在“脚本转换编辑器”对话框中的“输入列”页中,选择 ErrorCode 列。
9. 在“输入和输出”页中,展开“输出 0”,单击“输出列”,再单击“添加列”。
10. 在 Name 属性中,键入错误说明并将 DataType 属性设置为“Unicode string [DT_WSTR]”。
11. 在“脚本”页中,确保已将 LocaleID 属性设置为“英语(美国)”。
12. 单击“编辑脚本”打开 MicrosoftVisual Studio Tools for Applications (VSTA)。在 Input0_ProcessInputRow 方法中,键入或粘贴以下代码。
Step 4: 添加平面文件目标
添加并配置平面文件目标
- 单击“数据流”选项卡。
- 在“SSIS 工具箱”中,展开“其他”,然后将“平面文件目标”拖动到数据流设计图面上。将“平面文件目标”直接放在“获取错误说明”转换的下面。
- 单击“获取错误说明”转换,然后将绿色箭头拖动到新的“平面文件目标”上。
- 在“数据流”设计图面上,在新添加的“平面文件目标”转换中单击“平面文件目标”,然后将该名称更改为 Failed Rows。
- 右键单击 Failed Rows 转换,再单击“编辑”,然后在平面文件目标编辑器中单击“新建”。
- 在“平面文件格式”对话框中,确认已选中“带分隔符”,然后单击“确定”。
- 在平面文件连接管理器编辑器的“连接管理器名称”框中,键入 Error Data。
- 在“平面文件连接管理器编辑器”对话框中,单击“浏览”,然后找到存储文件的文件夹。
- 在“打开”对话框中,对于“文件名”键入 ErrorOutput.txt,然后单击“打开”。
- 在“平面文件连接管理器编辑器”对话框中,验证“区域设置”框是否包含“英语(美国)”,“代码页”是否包含 1252 (ANSI -Latin I)。
- 在“选项”窗格中,单击“列”。请注意,除了源数据文件中的列之外,还存在三个新列:ErrorCode、ErrorColumn 和 ErrorDescription。这三列由 Lookup Currency Key 转换的错误输出和获取错误说明转换中的脚本生成,可用于排查失败行的原因。
- 单击“确定”。
- 在平面文件目标编辑器中,清除“覆盖文件中的数据”复选框。清除该复选框可使错误在执行多个包的过程中持续存在。
- 在平面文件目标编辑器中,单击“映射”来验证所有列是否正确。您也可以选择重命名目标中的列。
- 单击“确定”。
Step 5: 测试包
察看Error Output.txt文件
SSIS教程:创建简单的ETL包 -- 4. 增加错误处理流程(Adding Error Flow Redirection)的更多相关文章
- SSIS教程:创建简单的ETL包
SSIS: Microsoft SQL Server Integration Services.是一个可用于生成高性能数据集成解决方案的平台,其中包括数据仓库的提取(Extract).转换(Trans ...
- SSIS教程:创建简单的ETL包 -- 2. 添加循环(Adding Looping)
在第 1 课:创建项目和基本包中,创建了从单个平面文件源中提取数据的包,然后使用查找转换功能对数据进行了转换,最后将数据加载到AdventureWorksDW2012 示例数据库的 FactCurre ...
- SSIS教程:创建简单的ETL包 -- 1. 创建项目和基本包
在本课中,将创建一个简单 ETL 包,该包可以从单个平面文件(Flat File)源中提取数据,使用两个查找转换组件转换该数据,然后将该数据写入AdventureWorksDW2012 的 FactC ...
- SSIS教程:创建简单的ETL包 -- 6. 对项目部署模型使用参数(Using Parameters with the Project Deployment Model)
在本课中,将修改在第 5 课: 添加包部署模型的包配置中创建的包,以便使用项目部署模型.您将使用一个参数替换该配置值,以便指定示例数据位置.还可以复制本教程附带的已完成的 Lesson 5 包. 使用 ...
- SSIS教程:创建简单的ETL包 -- 3. 添加日志(Adding Logging)
Microsoft Integration Services 包含日志记录功能,可通过提供任务和容器事件跟踪监控包执行情况以及进行故障排除. 日志记录功能非常灵活,可以在包级别或在包中的各个任务和容器 ...
- SSIS教程:创建简单的ETL包 -- 5. 添加包部署模型的包配置(Adding Package Configurations for the Package Deployment Model)
包配置允许您从开发环境的外部设置运行时属性和变量. 配置允许您开发灵活且易于部署和分发的包.Microsoft Integration Services 提供了以下配置类型: XML 配置文件 环境变 ...
- 实例学习SSIS(一)--制作一个简单的ETL包
原文:实例学习SSIS(一)--制作一个简单的ETL包 导读: 实例学习SSIS(一)--制作一个简单的ETL包 实例学习SSIS(二)--使用迭代 实例学习SSIS(三)--使用包配置 实例学习SS ...
- Idea 2018.2.5创建springboot项目依赖包没有的错误
- Integration Services创建ETL包
http://www.cnblogs.com/chiniao/archive/2009/12/23/1630595.html (转载) Microsoft Integration Services ...
随机推荐
- WebApi Post string 参数 为空
用webApi做开发也有很久了 一些 细节平时可能未必很留心 今天就很奇葩 post 只接受一个string 参数的数据 但接收是一直未空 很奇怪 看了一些资料后得出以下结论
- @ManyToOne和@OneToMany 注解
(1)ManyToOne(多对一)单向:不产生中间表,但可以用@Joincolumn(name=" ")来指定生成外键的名字,外键在多的一方表中产生! (2)OneToMany( ...
- java 实验5 图形用户界面设计试验
常用布局 1).流布局: FlowLayout 从左到右,自上而下方式在容器中排列,控件的大小不会随容器大小变化. 容器.setLayout(new FlowLayout(FlowLayout.LEF ...
- css3动画水波纹、波浪
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
- Lexicographical Substring Search (spoj7259) (sam(后缀自动机)+第k小子串)
Little Daniel loves to play with strings! He always finds different ways to have fun with strings! K ...
- AngularJS入门讲解3:$http服务和路由讲解
上一课的例子中,我们的模型数据是硬编码的,也就是说,我们的数据不是从服务器请求回来的. 这里,我们先讲解,如何从服务器获取数据: function PhoneListCtrl($scope, $htt ...
- Android脚本打包
最近项目中需要添加应用渠道,我使用的是友盟统计,对于不同渠道需要编译不同版本,对于开发者说编译一次,手动操作还是可以接受的,但是项目发布版本频率较高,而且渠道很多,这就是一个体力活,而且手动打包还比较 ...
- Libra的第一天
wuli乖乖,今天是你降生第一天,以后的几年可能我们都会朝夕相处,你的成长就是我的向上,一起加油吧
- C#数组,List,Dictionary,IQueryable,IEnumerable的相互转换
本篇文章会向大家实例讲述以下内容: 将数组转换为List 将List转换为数组 将数组转换为Dictionary 将Dictionary 转换为数组 将List转换为Dictionary 将Dicti ...
- string常用字符串操作函数
1.strdup和strndup 说明:strdup() 函数将参数 s 指向的字符串复制到一个字符串指针上去,这个字符串指针事先可以没被初始化.在复制时,strdup() 会给这个指针分配空间,使用 ...