SSIS 实例 从Ftp获取多个文件并对数据库进行增量更新。
整个流程
Step 1 放置一个FTP Task 将远程文件复制到本地
建立FTP链接管理器后 Is LocalPatchVariable 设置为Ture 并创建一个变量设置本地路径
Operation 设置为 Receive files
OverwriteFileAtDest 设置为True
同样的设置远程路径变量
Step 2 放置一个Foreach Loop ,循环将文件内容导入到数据库
Collection 页中Enumerator 选择Foreach File Enumerator
图中 Folder: 用表达式里面的 Directory代替,变量值直接套用FTP配置建立的LocalStoreFiles变量
Files设置不变,保持 *.* 获取目录下所有文件
Retrieve file name ,选择Fully qualified (获取文件全名,包括目录)
Variable Mappings 页 新增一个变量LoadFile 用来获得 Fully qualified的返回值
Step 3 放置一个Data Flow Task 到 Foreach Loop Container并打开
1) 创建一个Flat File Connection Manager 并选择一个文件进行配置
点击Flat File Connection Manager ,然后在属性中配置表达式,将链接字符串设置为刚才设置的变量 LoadFile。用来获取每个文件
2) 放置一个 Flat File Source 并选择刚才配置的Flat File Connection Manager
此时可以先先测试一下效果。注意由于LoadFile现在没有值,执行的时候SSIS检查到可能会报错,我们把 StoreFile 的 DelayValidation 属性设置为True即可
3) 放置一个Lookup判断原有数据是否重复
Lookup 配置增量方式也可以参考我之前几篇文章
[译]Stairway to Integration Services Level 3 - 增量导入数据
[译]Stairway to Integration Services Level 4 - 增量更新数据
[译]Stairway to Integration Services Level 5 - 增量删除数据
4) 放置一个OLE DB Destination,改名为 Staging 然后将Lookup的Lookup Match Output 连到 Staging 用来存放匹配的记录
5) 再放置一个OLE DB Destination,改名为 Stores Table 然后将Lookup的Lookup No Match Output 连到Stores Table用来放未匹配的新纪录
Step 4 拖动一个Execute SQL Task到Control Flow,用来更新匹配的记录
执行语句
update stores
set TerritoryID = ss.TerritoryID
,StoreName = ss.StoreName
,Address1 = ss.Address1
,Address2 = ss.Address2
,City = ss.City
,State = ss.State
,Zip = ss.Zip
from stores s
join StoreStaging ss
on ss.BusinessEntityID = s.BusinessEntityID
之后与Foreach Store File Loop 链接
Step 5 再拖一个Execute SQL Task 用来清空临时表
Step6 移动已导入的文件
1) 建立一个 File Connection Manager ,并选择‘已完成’目录,更名为Complete Folder
2) 在建立一个 File Connection Manager 并随意选择一个csv文件,更名为StoreFilePhy
同样的,设置连接字符串
3) 拖一个 File System Task 到 Foreach Store File Loop里面
进行相关设置
至此整个过程结束
SSIS 实例 从Ftp获取多个文件并对数据库进行增量更新。的更多相关文章
- ftp获取远程Pdf文件
此程序需要安装ftp服务器,安装adobe reader(我这里使用的adobe reader9.0) 1.部署ftp服务器 将ftp的权限设置为允许匿名访问,部署完成 2.安装adobe reade ...
- SSIS 实例——将SQL获取的信息传递到Email中
最近在为公司财务开发一个邮件通知时遇到了一个技术问题.原来我设计SSIS的是每天将ERP系统支付数据导出到财务支付平台后 Email 通知财务,然后财务到支付平台上进行支付操作.由于那个时候开发时间很 ...
- php 遍历文件夹及文件,获取文件名和文件路径存入数据库中
<?php header("Content-Type:text/html; charset=gbk"); require('../../include/connect.php ...
- Linux下wget获取ftp下目录下文件
如果某个目录下有一个文件可以使用ftp命令: get xxx 如果是某个目录下有多个文件(且不需要获取目录下子文件夹下的内容): mget * 如果是某个目录下有子目录希望获取所有子目录: wget ...
- 从ftp获取文件并生成压缩包
依赖 <dependency> <groupId>commons-net</groupId> <artifactId>commons-net</a ...
- Asp.net上传文件Request.files获取不到文件
使用ftp上传文件,并且Request.files获取文件,今天发现获取到的文件个数始终是0个,查了下原来form标签中需加入enctype=”multipart/form-data”,呵呵了 < ...
- 微软BI 之SSIS 系列 - 在 SSIS 中将指定目录下的所有文件分类输出到不同文件夹
开篇介绍 比如有这样的一个需求,旧的一个业务系统通常将产出的文件输出到同一个指定的目录下的不同子目录,输出的文件类型有 XML,EXCEL, TXT 这些不同后缀的文件.现在需要在 SSIS 中将它们 ...
- C#获取并修改文件扩展名的方法
本文实例讲述了C#获取并修改文件扩展名的方法.分享给大家供大家参考.具体分析如下: 这里使用C#编程的方法改变文件扩展名的文件,必须使用Path类. Path类用来解析文件系统路径的各个部分.静态方法 ...
- 使用任意的输入流(InputStream)实例,包括字符串形式的文件路径或者 file:// 的 URL 形式的文件路径来配置
mybatis – MyBatis 3 | 入门 http://www.mybatis.org/mybatis-3/zh/getting-started.html 从 XML 中构建 SqlSessi ...
随机推荐
- IBM X System ServerGuide 8.41 服务器 系统安装 引导盘
IBM X System ServerGuide 8.41 支持操作系统: 32位: Microsoft Windows 2003/2003 R2 (Enterprise, Standard, Web ...
- ThinkPHP中ajax提交数据
最近在做项目时遇到了一些需要从页面用ajax提交数据到后台的操作,无奈本人技术有限,网上苦寻,研究了一下ajax和thinkPHP的结合,黄天不负苦心人,终于搞定了. 闲话少叙,进入正题:我需要从页面 ...
- Cortex-M3学习日志(五) -- DAC实验
终于逮了个忙里偷闲的机会,就再学一下LPC1768的外围功能吧,循序渐进是学习的基本规则,也许LPC1768的DAC与8位单片机16位单片机里面集成的DAC操作类似,但是既然这是懒猫的学习日志,就顺便 ...
- [LeetCode][Python]Largest Number
# -*- coding: utf8 -*-'''__author__ = 'dabay.wang@gmail.com'https://oj.leetcode.com/problems/largest ...
- 链表-remove duplicates from sorted list
struct ListNode* deleteDuplicates(struct ListNode* head) { struct ListNode *p=head; if(!head) return ...
- Web安全測试二步走
Web安全測试时一个比較复杂的过程,软件測试人员能够在当中做一些简单的測试,例如以下: Web安全測试也应该遵循尽早測试的原则,在进行功能測试的时候(就应该运行以下的測试Checklist安全測试场景 ...
- Ubuntu启动、停止、重新启动MySQL,查看MySQL错误日志、中文编码错误
1)启动: sudo /etc/init.d/mysql start 2)停止: sudo /etc/init.d/mysql stop 3)重新启动: sudo /etc/init.d/mysql ...
- li span兼容性问题
li与span的搭配使用所产的浏览器兼容性问题 1.ls两位,设定了width还是没用.2.总结了一下就是,里面的标签漂浮以后,就不能撑起外层的容器了. 3.li要设至少一个宽度或高度,还要加上ove ...
- Javascript 基础编程练习一
Javascript 基础互动编程,这篇练习结合了function 函数名(), onclick 时间, prompt输入窗口, window.open和confirm窗口, 任务 1.新窗口打开时弹 ...
- JavaScript之firstChild属性、lastChild属性、nodeValue属性学习
1.数组元素childNodes[0]有更直观易读的优点,这边在介绍一个有同样功能的属性,且更加语义化-------->firstChild属性 假设我们需要目标元素节点下的所有子元素中的第一个 ...