微软BI 之SSIS 系列 - 在 SSIS 中使用 Web Service 以及 XML 解析
开篇介绍
Web Service 的用途非常广几乎无处不在,像各大门户网站上的天气预报使用到的第三方 Web Service API,像手机客户端和服务器端的交互等都可以通过事先设计好的 Web Service 接口来实现两个不同平台的信息沟通。
记得第一次做 IPhone 手机客户端与服务器端交互的 Web Service 接口的时候,由于我们在客户端开发和服务器端开发都没有 IOS 平台开发经验,白天有其它的项目,只能利用晚上的时间不断尝试。最终在第三个通宵的时候,尝试搭建的第3套不同版本的 Web Service 接口终于和 IPhone 手机客户端成功通讯交互。前两套 Web Service 接口可以交互,但是在图片和有些个别地方总有丢数据的情况,所以 Web Service 给我带来的痛苦熬夜经历还是记忆犹新。那时还很单纯,说让加班就加班,玩命表现…不过很享受“尝试,失败!再尝试,再推进,再失败!再尝试,再推进,再失败,再推进,成功!!!”“有问题,出现问题一定能解决,再怎么不能解决,最终一定也能解决!”的决心和过程。
后来在一个美国某保险公司的 BI项目中也使用到了 Web Service, 其原因是美国一个保险公司对于他们的客户信息的隐私保护,还涉及到一些非常敏感的资金结算等业务,这些信息他们不会轻易开放给开发者。因为有一些非常敏感的业务涉及到客户公司的内部财务结算还有用户账户等信息都是通过客户 IT 部门提供的 Web Service 接口来实现的。
实现过程
调用的过程实现起来非常的简单,下面使用美国的一个 ZIP Code Web Service 接口来获取指定 ZIP Code 的地区信息。
http://www.webservicex.net/uszip.asmx?op=GetInfoByZIP
输入 US Zip Code,例如 54404 提交后就能看到返回的一个 XML 格式的结果。Wisconsin 州的 Marshfield, 美国中北部的一个小镇。
下面演示在 SSIS 中使用 Web Service 接口,传人指定的参数返回相应的结果。
首先,新建一个 HTTP Connection Manager 这个连接的作用是用来连接到 WSDL(Web Services Description Language)的 XML 描述页面。这个页面提供了 Web Service API 接口,还有一些参数和返回值的约定。
这里 Web Service 接口的安全性配置可以忽略,但是在实际大多数项目中对 Web Service 接口的使用都用用户验证的。
看看这个WSDL描述文件 - http://www.webservicex.net/uszip.asmx?WSDL
我们将在后面使用到这个 Service - USZip 以及它下面的接口方法。
新建一个 Web Service Task,指定刚创建的 HttpConnection。
WSDLFile 这里先创建一个新的空白的 wsdl 文件,然后在这里指向这个文件。
OverwriteWSDLFile - True, 允许覆盖。
一定要记得点击 Download WSDL ,这样就会把上面看到的 XML 信息下载并保存到指定的 WSDL 文件中。
切换到 Input 选项选择输入的接口方法和参数。Service 选项会列出所有的服务,服务下面会提供方法,当选择完方法后会显示出每个方法需要的参数和类型。在这里我选择的是 GetInfoByZip 方法,它有一个输入参数,字符串类型,我使用自定义的变量 VarZipCode 来作为参数传递到 Web Service 接口中。
Output 是一个 string 类型的变量,用它来接受 Web Service 接口返回的 XML 格式字符串,里面包含了有关城市和州的信息。
下面先创建一张表,用它来保存通过 ZipCode查询返回的信息。
IF OBJECT_ID('DEMO_WS_USRegion') IS NOT NULL
DROP TABLE DEMO_WS_USRegion
GO CREATE TABLE DEMO_WS_USRegion
(
ZipCode NVARCHAR(255),
AreaCode NVARCHAR(255),
[State] NVARCHAR(255),
City NVARCHAR(255),
TimeZone NVARCHAR(255)
)
创建一个 Data Flow, 选择一个 XML Source 并进行编辑。
在进行这一步之前,一般的操作是在上一步将 Web Service 返回的 XML 输出到一个 XML 文件,然后在这里指定一下 XML 文件的路径地址,然后点击 Generate XSD 产生 xsd 文件。
在这个例子中我省略了对这些步骤的描述,这里选择的 Data access mode 是从一个变量中读取的,这个变量是前面出现的 VarCityInfo。
看看 Columns 中,返回的对 XML 输出解析出来的列。
Source 指定好了,后面的就容易办了,拖放一个 OLE DB Destination 控件,指定相关的目标表并关联映射到 XML 源的输出列。
保存并执行 Package,检查数据库,输出正确。
Package 变量信息
如果有一个 List 存放所有的 US ZipCode, 那么可以循环调用 Web Service 接口将所有的跟 Zip Code 相关的城市信息都可以一次性加载到数据表中。
更多 BI 文章请参看 BI 系列随笔列表 (SSIS, SSRS, SSAS, MDX, SQL Server) 如果觉得这篇文章看了对您有帮助,请帮助推荐,以方便他人在 BIWORK 博客推荐栏中快速看到这些文章。
微软BI 之SSIS 系列 - 在 SSIS 中使用 Web Service 以及 XML 解析的更多相关文章
- 微软BI 之SSRS 系列 - 实现 Excel 中图表结合的报表设计
来自群里面讨论的一个问题,EXCEL 中有类似于这样的图形,上面是 Chart, Chart X轴上的值正好就是下方 Table 的列头,这个在 SSRS 中应该如何实现? SSRS 2008.2 ...
- 微软BI 之SSRS 系列 - 在 Cube 中通过 MDX 查询实现基于父子递归关系的汇总报表
之前我写了一篇在 SSRS 开发中处理这种父子关系的汇总与聚合的文章 (SSRS 系列 - 使用分组 Group 属性实现基于父子递归关系的汇总报表),示例中的查询是基于 SQL Server 关系型 ...
- BizTalk开发系列(二十六) 使用Web Service
Web Service是在构建SOA平台中广泛使用的技术.在BizTalk开发过程中使用SOAP适配器接收和发送 Web Services 请求.业务流程可以发布为 Web Services 并使用外 ...
- 你会在C#的类库中添加web service引用吗?
本文并不是什么高深的文章,只是VS2008应用中的一小部分,但小部分你不一定会,要不你试试: 本人对于分布式开发应用的并不多,这次正好有一个项目要应用web service,我的开发环境是vs2008 ...
- Visual Studio 2013中引入Web Service的简单方法visual studio 引用 wsdl
http://blog.csdn.net/wangzhongbo_24/article/details/49954191 Web Service有三种表示方式 三种方式分别为WSDL.Endpoint ...
- VS2010下创建WEBSERVICE,第二天 ----你会在C#的类库中添加web service引用吗?
本文并不是什么高深的文章,只是VS2008应用中的一小部分,但小部分你不一定会,要不你试试: 本人对于分布式开发应用的并不多,这次正好有一个项目要应用web service,我的开发环境是vs2008 ...
- 微软BI 之SSIS 系列 - 在 SSIS 中导入 ACCESS 数据库中的数据
开篇介绍 来自 天善学院 一个学员的问题,如何在 SSIS 中导入 ACCESS 数据表中的数据. 在 SSIS 中导入 ACCESS 数据库数据 ACCESS 实际上是一个轻量级的桌面数据库,直接使 ...
- 在Salesforce中创建Web Service供外部系统调用
在Salesforce中可以创建Web Service供外部系统调用,并且可以以SOAP或者REST方式向外提供调用接口,接下来的内容将详细讲述一下用SOAP的方式创建Web Service并且用As ...
- 在WinForm中使用Web Service来实现软件自动升级
来源:互联网 winform程序相对web程序而言,功能更强大编程更方便,但软件更新却相当麻烦,要到客户端一台一台地升级,面对这个实际问题,在最近的一个小项目中,本人设计了一个通过软件实现自动升级技术 ...
随机推荐
- poj2992 阶乘分解
/* 将C(n,k)质因数分解,然后约束个数按公式计算 */ #include<iostream> #include<cstring> #include<cstdio&g ...
- python接口自动化测试二十四:上传多个附件,参数化
# 添加多个附件参数化files = [("1.png", "1.png") ("2.png", "2.png") ]d ...
- python 全栈开发,Day110(django ModelForm,客户管理之 编辑权限(一))
昨日内容回顾 1. 简述权限管理的实现原理. 粒度控制到按钮级别的权限控制 - 用户登陆成功之后,将权限和菜单信息放入session - 每次请求时,在中间件中做权限校验 - inclusion_ta ...
- CSS3:透明度
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
- 【BZOJ3626】[LNOI2014]LCA
题解: 数据结构套路真多.. 思考了一下线段树分治和启发式合并发现复杂度并不怎么对.. 看了题解发现都是套路啊 考虑一下lca(x,y)的dep有什么性质 我们把1-x的路径+1,查询1-y的路径和 ...
- 解决celipse中mybatis使用的时候xml没有提示的问题
文件下载好以后点击Add会出现如下界面 上面是添加mapper的插件,再找到config的配置文件.和上面相似的操作安装以后就可以了
- 【Java】 剑指offer(24) 反转链表
本文参考自<剑指offer>一书,代码采用Java语言. 更多:<剑指Offer>Java实现合集 题目 定义一个函数,输入一个链表的头结点,反转该链表并输出反转后链表的头 ...
- 【Java】 剑指offer(55-1) 二叉树的深度
本文参考自<剑指offer>一书,代码采用Java语言. 更多:<剑指Offer>Java实现合集 题目 输入一棵二叉树的根结点,求该树的深度.从根结点到叶结点依次经过 ...
- 026 使用大数据对网站基本指标PV案例的分析
案例: 使用电商网站的用户行为日志进行统计分析 一:准备 1.指标 PV:网页流浪量 UV:独立访客数 VV:访客的访问数,session次数 IP:独立的IP数 2.上传测试数据 3.查看第一条记录 ...
- poj 1703 - Find them, Catch them【带权并查集】
<题目链接> 题目大意: 已知所有元素要么属于第一个集合,要么属于第二个集合,给出两种操作.第一种是D a b,表示a,b两个元素不在一个集合里面.第二种操作是A a b,表示询问a,b两 ...