数据仓库基础(十)Informatica 组件1
本文转载自:http://www.cnblogs.com/evencao/p/informatica.html
Informatica主要的组件:
Source Qualifier 从数据源读取数据
Expression 行级转换,计算式
Filter 数据过滤
Sorter 数据排序
Aggregator 聚合
Joiner 异构数据关系连接
Lookup 查询连接
Update Strategy 对目标编辑insert, update,delete ,reject
Router 条件分发
Sequence Generator 序列号生成器
Normalize 记录规范化
Rank 对记录进行TopX
Union 数据合并
Transaction Control 对装载数据按条件进行事务控制
Stored Procedure 存储过程组件
Http www组件
Java java组件
之后为常用的组件进行说明
1.lookup组件:是一个passive组件
在对源抽取过程中,有时候数据源的信息不完善,相关的详细信息不明确,去别的表或者数据源中去关联。
这样输入一条记录,输出一条记录,否则为空。
lookup能访问的源:表文件,同义词,视图。
lookup cached:如果源的数据比lookup表的数据量多时,使用cached.这样的每次都要去数据库查询,性能不好。
例:
主要从invoice表传入字段,经过一个filter 过滤 ,条件为Not(ISNULL(DATE_CLOSED))and CANCELED=0,然后就是到lookup组件
通过cust_no和customer表中的Cust_id相等去从customer查找相应的条件,输出到目标数据表。
lookup 组件设置如图:
这样一个mapping就完成了。启用一个简单的workflow,这样执行结果如图:
2.Update Strategy:知道这条数据要做什么样的操作,对流过组件的每一条记录赋予一个恶操作标志
根据操作标志对目标表关系型数据库表生成SQL操作
操作标志有DD_INSERT,DD_DELETE,DD_UPDATE,DD_REJECT.
例:
在这个例子用lookup的作用是探查目标表里面是否存在这条记录,起到一个预判断的作用。
然后再update组件中的条件如图:
这个条件就是在lookup组件中返回的结果进行判断,如果为空即不存在这条记录就插入,如果存在就更新
DISCONTINUED_FLAG是源数据的字段,是判断这个商品是否被废弃掉。
可以创建一个wordflow运行它。验证结果。
3.Source Qualifier与filter :对流入组件中等的数据进行过滤。例子在例子1中已经做过。只能有一个条件。
先可以在Source Qualifier将不必要的数据过滤掉,这样能提高性能。
数据仓库基础(十)Informatica 组件1的更多相关文章
- {Django基础十之Form和ModelForm组件}一 Form介绍 二 Form常用字段和插件 三 From所有内置字段 四 字段校验 五 Hook钩子方法 六 进阶补充 七 ModelForm
Django基础十之Form和ModelForm组件 本节目录 一 Form介绍 二 Form常用字段和插件 三 From所有内置字段 四 字段校验 五 Hook钩子方法 六 进阶补充 七 Model ...
- day 64 Django基础十之Form和ModelForm组件
Django基础十之Form和ModelForm组件 本节目录 一 Form介绍 二 Form常用字段和插件 三 From所有内置字段 四 字段校验 五 Hook钩子方法 六 进阶补充 七 Mod ...
- Bootstrap<基础十五> 输入框组
Bootstrap 支持的另一个特性,输入框组.输入框组扩展自 表单控件.使用输入框组,可以很容易地向基于文本的输入框添加作为前缀和后缀的文本或按钮. 通过向输入域添加前缀和后缀的内容,您可以向用户输 ...
- 微信小程序(二十)-UI组件(Vant Weapp)-01按装配置
1.官网 https://vant-contrib.gitee.io/vant-weapp/#/intro https://gitee.com/vant-contrib/vant-weapp 2.按装 ...
- Bootstrap <基础十九>分页
Bootstrap 支持的分页特性.分页(Pagination),是一种无序列表,Bootstrap 像处理其他界面元素一样处理分页. 分页(Pagination) 下表列出了 Bootstrap 提 ...
- Bootstrap <基础十八>面包屑导航(Breadcrumbs)
面包屑导航(Breadcrumbs)是一种基于网站层次信息的显示方式.以博客为例,面包屑导航可以显示发布日期.类别或标签.它们表示当前页面在导航层次结构内的位置. Bootstrap 中的面包屑导航( ...
- Bootstrap<基础十六> 导航元素
Bootstrap 提供的用于定义导航元素的一些选项.它们使用相同的标记和基类 .nav.Bootstrap 也提供了一个用于共享标记和状态的帮助器类.改变修饰的 class,可以在不同的样式间进行切 ...
- Bootstrap<基础十四> 按钮下拉菜单
使用 Bootstrap class 向按钮添加下拉菜单.如需向按钮添加下拉菜单,只需要简单地在在一个 .btn-group 中放置按钮和下拉菜单即可.也可以使用 <span class=&qu ...
- Bootstrap <基础十二>下拉菜单(Dropdowns)
Bootstrap 下拉菜单.下拉菜单是可切换的,是以列表格式显示链接的上下文菜单.这可以通过与 下拉菜单(Dropdown) JavaScript 插件 的互动来实现. 如需使用下列菜单,只需要在 ...
- Bootstrap<基础十> 响应式实用工具
Bootstrap 提供了一些辅助类,以便更快地实现对移动设备友好的开发.这些可以通过媒体查询结合大型.小型和中型设备,实现内容对设备的显示和隐藏. 需要谨慎使用这些工具,避免在同一个站点创建完全不同 ...
随机推荐
- [工具] CintaNotes
CintaNotes是一款非常轻巧实用的笔记软件,可看作EverNote轻量级替代品.CintaNotes只需1个exe,体积仅1MB,却拥有 EverNote易于收集.实时搜索.条状排列.tag分类 ...
- linux启动程序和关闭程序脚本
关闭脚本: #!/bin/bash source /etc/profile log() { echo `date +[%Y-%m-%d" "%H:%M:%S]` $1 } log ...
- ggplot2绘制概率密度图
以下绘图以Weibull分布(韦伯分布.威布尔分布)为例 关于Weibull分布(韦伯分布.威布尔分布),请参考本人博客http://www.cnblogs.com/wwxbi/p/6141501.h ...
- java.lang.ClassNotFoundException: hudson.remoting.Launcher
jenkins构建失败,错误信息如下: [yjp-dev-po-hrsync] $ "C:\Program Files\Java\jdk1.8.0_121/bin/java" -c ...
- TOP100summit 2017:【案例分享】魅族持续交付平台建设实践
本篇文章内容来自第10期魅族开放日魅族运维架构师林钟洪的现场分享.编辑:Cynthia 一.自动化建设历程1.1 魅族互联网发展的时间线 2003-2008年被称之为“互联网1.0时代”.2003年, ...
- 江南大学第三届程序设计竞赛K题 - Cun Tou Gaming - [贪心+堆]
描述 CTG(Cun Tou Gaming) 是我校的一支 LOL 战队,他们参加比赛总是可以拿到冠军,因为每次都只有他们一支队伍参赛,所以只需要去签个到就可以直接夺冠并领取奖金.现在有 n 场比赛 ...
- 新购买的vps应该做的几件事情
1. 修改root密码 passwd root 2.新建用户 useradd vinentguo 3.配置免密码登陆 .使用新建用户登陆vps. mkdir ~/.ssh/ch ...
- 网站优化不等于搜索引擎优化SEO
对于SEO相信搞网络营销的人基本上都知道这个名词,英文全称为search engine optimization,中文一般叫搜索引擎优化,也有的叫搜索引擎定位(Search Engine Positi ...
- mac chrome 驱动配置
将解压后的chromedriver移动到/usr/local/bin目录下
- 【Pyton】【小甲鱼】爬虫4-XXOO
import urllib.request import os def open_url(url): req=urllib.request.Request(url) req.add_header('U ...