微软BI 之SSIS 系列 - 在 SSIS 中使用 Web Service 以及 XML 解析
开篇介绍
Web Service 的用途非常广几乎无处不在,像各大门户网站上的天气预报使用到的第三方 Web Service API,像手机客户端和服务器端的交互等都可以通过事先设计好的 Web Service 接口来实现两个不同平台的信息沟通。
记得第一次做 IPhone 手机客户端与服务器端交互的 Web Service 接口的时候,由于我们在客户端开发和服务器端开发都没有 IOS 平台开发经验,白天有其它的项目,只能利用晚上的时间不断尝试。最终在第三个通宵的时候,尝试搭建的第3套不同版本的 Web Service 接口终于和 IPhone 手机客户端成功通讯交互。前两套 Web Service 接口可以交互,但是在图片和有些个别地方总有丢数据的情况,所以 Web Service 给我带来的痛苦熬夜经历还是记忆犹新。那时还很单纯,说让加班就加班,玩命表现…不过很享受“尝试,失败!再尝试,再推进,再失败!再尝试,再推进,再失败,再推进,成功!!!”“有问题,出现问题一定能解决,再怎么不能解决,最终一定也能解决!”的决心和过程。
后来在一个美国某保险公司的 BI项目中也使用到了 Web Service, 其原因是美国一个保险公司对于他们的客户信息的隐私保护,还涉及到一些非常敏感的资金结算等业务,这些信息他们不会轻易开放给开发者。因为有一些非常敏感的业务涉及到客户公司的内部财务结算还有用户账户等信息都是通过客户 IT 部门提供的 Web Service 接口来实现的。
实现过程
调用的过程实现起来非常的简单,下面使用美国的一个 ZIP Code Web Service 接口来获取指定 ZIP Code 的地区信息。
http://www.webservicex.net/uszip.asmx?op=GetInfoByZIP
输入 US Zip Code,例如 54404 提交后就能看到返回的一个 XML 格式的结果。Wisconsin 州的 Marshfield, 美国中北部的一个小镇。
下面演示在 SSIS 中使用 Web Service 接口,传人指定的参数返回相应的结果。
首先,新建一个 HTTP Connection Manager 这个连接的作用是用来连接到 WSDL(Web Services Description Language)的 XML 描述页面。这个页面提供了 Web Service API 接口,还有一些参数和返回值的约定。
这里 Web Service 接口的安全性配置可以忽略,但是在实际大多数项目中对 Web Service 接口的使用都用用户验证的。
看看这个WSDL描述文件 - http://www.webservicex.net/uszip.asmx?WSDL
我们将在后面使用到这个 Service - USZip 以及它下面的接口方法。
新建一个 Web Service Task,指定刚创建的 HttpConnection。
WSDLFile 这里先创建一个新的空白的 wsdl 文件,然后在这里指向这个文件。
OverwriteWSDLFile - True, 允许覆盖。
一定要记得点击 Download WSDL ,这样就会把上面看到的 XML 信息下载并保存到指定的 WSDL 文件中。
切换到 Input 选项选择输入的接口方法和参数。Service 选项会列出所有的服务,服务下面会提供方法,当选择完方法后会显示出每个方法需要的参数和类型。在这里我选择的是 GetInfoByZip 方法,它有一个输入参数,字符串类型,我使用自定义的变量 VarZipCode 来作为参数传递到 Web Service 接口中。
Output 是一个 string 类型的变量,用它来接受 Web Service 接口返回的 XML 格式字符串,里面包含了有关城市和州的信息。
下面先创建一张表,用它来保存通过 ZipCode查询返回的信息。
IF OBJECT_ID('DEMO_WS_USRegion') IS NOT NULL
DROP TABLE DEMO_WS_USRegion
GO CREATE TABLE DEMO_WS_USRegion
(
ZipCode NVARCHAR(255),
AreaCode NVARCHAR(255),
[State] NVARCHAR(255),
City NVARCHAR(255),
TimeZone NVARCHAR(255)
)
创建一个 Data Flow, 选择一个 XML Source 并进行编辑。
在进行这一步之前,一般的操作是在上一步将 Web Service 返回的 XML 输出到一个 XML 文件,然后在这里指定一下 XML 文件的路径地址,然后点击 Generate XSD 产生 xsd 文件。
在这个例子中我省略了对这些步骤的描述,这里选择的 Data access mode 是从一个变量中读取的,这个变量是前面出现的 VarCityInfo。
看看 Columns 中,返回的对 XML 输出解析出来的列。
Source 指定好了,后面的就容易办了,拖放一个 OLE DB Destination 控件,指定相关的目标表并关联映射到 XML 源的输出列。
保存并执行 Package,检查数据库,输出正确。
Package 变量信息
如果有一个 List 存放所有的 US ZipCode, 那么可以循环调用 Web Service 接口将所有的跟 Zip Code 相关的城市信息都可以一次性加载到数据表中。
更多 BI 文章请参看 BI 系列随笔列表 (SSIS, SSRS, SSAS, MDX, SQL Server) 如果觉得这篇文章看了对您有帮助,请帮助推荐,以方便他人在 BIWORK 博客推荐栏中快速看到这些文章。
微软BI 之SSIS 系列 - 在 SSIS 中使用 Web Service 以及 XML 解析的更多相关文章
- 微软BI 之SSRS 系列 - 实现 Excel 中图表结合的报表设计
来自群里面讨论的一个问题,EXCEL 中有类似于这样的图形,上面是 Chart, Chart X轴上的值正好就是下方 Table 的列头,这个在 SSRS 中应该如何实现? SSRS 2008.2 ...
- 微软BI 之SSRS 系列 - 在 Cube 中通过 MDX 查询实现基于父子递归关系的汇总报表
之前我写了一篇在 SSRS 开发中处理这种父子关系的汇总与聚合的文章 (SSRS 系列 - 使用分组 Group 属性实现基于父子递归关系的汇总报表),示例中的查询是基于 SQL Server 关系型 ...
- BizTalk开发系列(二十六) 使用Web Service
Web Service是在构建SOA平台中广泛使用的技术.在BizTalk开发过程中使用SOAP适配器接收和发送 Web Services 请求.业务流程可以发布为 Web Services 并使用外 ...
- 你会在C#的类库中添加web service引用吗?
本文并不是什么高深的文章,只是VS2008应用中的一小部分,但小部分你不一定会,要不你试试: 本人对于分布式开发应用的并不多,这次正好有一个项目要应用web service,我的开发环境是vs2008 ...
- Visual Studio 2013中引入Web Service的简单方法visual studio 引用 wsdl
http://blog.csdn.net/wangzhongbo_24/article/details/49954191 Web Service有三种表示方式 三种方式分别为WSDL.Endpoint ...
- VS2010下创建WEBSERVICE,第二天 ----你会在C#的类库中添加web service引用吗?
本文并不是什么高深的文章,只是VS2008应用中的一小部分,但小部分你不一定会,要不你试试: 本人对于分布式开发应用的并不多,这次正好有一个项目要应用web service,我的开发环境是vs2008 ...
- 微软BI 之SSIS 系列 - 在 SSIS 中导入 ACCESS 数据库中的数据
开篇介绍 来自 天善学院 一个学员的问题,如何在 SSIS 中导入 ACCESS 数据表中的数据. 在 SSIS 中导入 ACCESS 数据库数据 ACCESS 实际上是一个轻量级的桌面数据库,直接使 ...
- 在Salesforce中创建Web Service供外部系统调用
在Salesforce中可以创建Web Service供外部系统调用,并且可以以SOAP或者REST方式向外提供调用接口,接下来的内容将详细讲述一下用SOAP的方式创建Web Service并且用As ...
- 在WinForm中使用Web Service来实现软件自动升级
来源:互联网 winform程序相对web程序而言,功能更强大编程更方便,但软件更新却相当麻烦,要到客户端一台一台地升级,面对这个实际问题,在最近的一个小项目中,本人设计了一个通过软件实现自动升级技术 ...
随机推荐
- pytest十四:doctest 框架
doctest 从字面意思上看,那就是文档测试.doctest 是 python里面自带的一个模块,它实际上是单元测试的一种. 官方解释:doctest 模块会搜索那些看起来像交互式会话的 Pytho ...
- 常见的MySQL Replication Error
现在不少公司都在用MySQL(master)-->MySQL(slave)的框架,当然也有一主多从的架构,这也是MySQL主从的一个延伸架构;当然也有的公司MySQL主主的架构,MySQL主主架 ...
- C#检查服务状态和启动关闭服务
WinForm 判断服务状态,显示服务名称和状态 https://blog.csdn.net/u013063880/article/details/78626200 C#获得服务,判断服务状态,启动服 ...
- HDU 3336 输出包括从1到len长 字符串前缀的总个数(+DP)
Sample Input14abab Sample Output6输出包括从1到len长 字符串前缀的总个数abab:包括2个a,2个ab,1个aba,1个abab # include <cst ...
- [转] css自定义字体font-face的兼容和使用
@Font-face目前浏览器的兼容性: Webkit/Safari(3.2+) TrueType/OpenType TT (.ttf) .OpenType PS (.otf): Opera (10+ ...
- bzoj3687
3687: 简单题 Time Limit: 10 Sec Memory Limit: 512 MBSubmit: 700 Solved: 319[Submit][Status][Discuss] ...
- HDU3336 Count the string KMP 动态规划
欢迎访问~原文出处——博客园-zhouzhendong 去博客园看该题解 题目传送门 - HDU3336 题意概括 给T组数据,每组数据给一个长度为n的字符串s.求字符串每个前缀出现的次数和,结果mo ...
- 023 SpringMVC拦截器
一:拦截器的HelloWorld 1.首先自定义拦截器 只要实现接口就行. package com.spring.it.interceptors; import javax.servlet.http. ...
- 003 将spark源码导入到IDEA中
1.解压源代码 2.进入IDEA的首界面 3.使用open将解压的工程加载 4.将文件的形式改成maven项目 5.使用
- 046 hiveserver2以及beeline客户端的使用
一:开启服务 1.启动前端的hiveserver2 按住ctrl+c就可以结束这个服务. 2.怎么知道已经开启的服务 如果进程在后台,可以查出来,kill这些进程. 3.后端开启服务 二:beelin ...