informatica powercenter学习笔记(二)
LOOKUP TRANSFORMATION的使用点评:
LOOKUP基本用法不熟的话请参考下附属信息。
用法感受:
1 LOOKUP的作用跟我们以前在EXCEL的函数功能类似,就是隔表取值。优点就是用ETL工具可以设置CACHE,大量的 数据也可以实现这个功能。数据量大的话要设置CACHE ENABLE并调高CACHE SIZE的值。
2 LOOKUP 有CONNECTED 和UNCONNECTED的两种,根据需要而用,如果很多字段要取对应的这个值的话,就用UNCONNECTED.在具体项目中要小心LOOKUP来处理维度列的情况,我目前项目中就发现,在LOOKUP中根据几列来取出主键,结果数据并不完全能唯一区别,最后要做数据清理或引入代理键。
3 关于缓慢变化维处理,用LOOKUP加UPDATESTRATERY组件就可实现缓慢变化维的更新或插入,这是数据仓库项目中处理缓慢变化维比较经典的用法,我认为。
顺带粘贴些关于LOOKUP的参考信息,了解的,请忽略以下信息,呵呵:
Lookup
概要描述
获得一个关联的值。例如:源里包含employee ID,但你还需要employee name。用于计算的植。例如:只是汇率或者个人所得税之类的固定数值,不是计算得出来的数据。Update slowly changing dimension tables。主要是根据条件查出原表,若查出了,就把自己添加的标志位设为真,否则就设置为假。
Connected or unconnected
Connected 和 unconnected 的transformations的输入和输出是不同的,不同点如表2列出的。
表2
Connected Lookup |
Unconnected Lookup |
从 pipeline获得输入。 |
从另一个transformation的:LKP的表达式获得输入。 |
使用静态或者动态cache。 |
使用静态cache。 |
Cache中包括所有的 mapping中使用到的lookup columns(就是condition中的和被标记为输出的columns)。 |
Cache中包括所有condition中的、被标记为输出的columns以及被标记为return port的。 |
同行能够返回多个columns 或者加载到动态lookup cache中。 |
每行只能返回一个return port (R)。 |
如果没有匹配的数据,Integration Service会返回一个默认值。如果是动态缓存(cache),会加入一个新的行或者放着他不管。 |
如果没有匹配的数据,Integration Service会返回一个NULL。 |
如果有匹配的数据,Integration Service回返回一个结果包括所有被设置为输出的值。如果是动态缓存,Integration Service会任意的修改一行或者放着它不管。 |
如果有匹配的数据,Integration Service会返回一个被设置为return port的值。 |
输出所有的被标记为output的符合条件的数据。 |
返回一个值到使用:LKP调用它的表达式。 |
用户可以设置默认值。 |
用户不可以设置默认值。 |
Connected
下面是Integration Service处理connected Lookup transformation的过程:
- 一个connected Lookup transformation通过pipeline从其他的transformation获得输入值。
- 为每个输入行,Integration Service会通过lookup ports 和 condition从源或者缓存中查询。
- 如果组件没有使用缓存或者使用的静态缓存,Integration Service会使用lookup query来返回值。
- 如果组件使用的动态缓存,当Integration Service在缓存找不到这行,它会把这行插入到缓存中。当Integration Service找到这行,它会修改这行在缓存中或者什么都不做。它标记这行是插入、修改或者是不做变动。
- Integration Service从查询中返回值到下一个transformation。
如果transformation使用动态缓存,你可以把这行通过Filter 或者 Router transformation来过滤后在到目标中。
unconnected
- 可以在一个mapping中调用这个Lookup transformation多次。
- 下面的步骤描述了Integration Service处理一个unconnected Lookup transformation的过程:
1. 一个unconnected Lookup transformation从另一个transformation的一个:LKP表达式的结果中获得输入值,例如一个Update Strategy transformation。
2. Integration Service通过transformation 中的lookup ports 和 condition来查询。
3. Integration Service返回一个值到Lookup transformation 的return port 中。
4. Integration Service把值返回到:LKP表达式中。
- 步骤
- 添加input ports。
- 添加查询条件。
- 指定返回值。
- 从其他的组件中调用该lookup。
- 用途
unconnected lookups多数用于:
- 在一个表达式测试一个lookup的值。
- 在查询的基础上过滤。
- 标记行基于查询的结果,例如:updating slowly changing dimension tables。
- 调用同一个查找多次在一个mapping中。
Relational or flat file lookup
当你在建立一个Lookup transformation时,你可以选择查询flat file或者relational table。
Relational
可以通过SQL的来override默认的SQL,这样可以你可以加where或者查询多个表。
flat file
使用下面选项在使用flat file时:
- 指定源是indirect files的。
- 使用sorted输入。
Tips
- 使用这些技巧在你配置一个Lookup transformation的时候:
- 给被用于查询条件的列加一个索引。
- 把=号放在条件的第一位。
- 查询的时候,完全加载小的表。
- 在数据库中Join tables比使用查询要高校的多。
- 为静态cache设置固定的大小。
- 使用:LKP来调用unconnected Lookup transformations。
Cached or uncached
有时,你可以在使用lookup组件查询表的时候,把组件设置成Cached 的来提高session的速度。如果你选择了Cached ,你可以选择使用动态的还是静态的。默认的是使用静态的。
Cached
可以在一个lookup组件中为要查询的表配置cache。当第一行数据进入lookup组件的时候,Integration Service会在内存为它建立一个cache。它分配内存基于你在组件或者session的属性中配置的数量。Integration Service把条件值保存索引cache,把output值保存在数据cache。Integration Service会为每一条进入这个组件的行查询cache。
Integration Service也同样会建立cache files用$PMCacheDir(相对路径,在consol中可以配置)中默认的。如果数据不适合内存cache时,Integration Service把超出的数据保存到cache files中。当seesion结束,Integration Service会释放cache记忆和删除cache files,除非你配置组件使用持久化的cache。
如果你使用flat file lookup,Integration Service总是会把它放在cache中。如果你配置flat file lookup为sorted input,Integration Service不会把它放入cache,如果条件类不是分组的。如果这些列是分组的,但是没有sorted,Integration Service会处理这个查询的方式和没有配置sorted input一样。
当你配置了lookup cache,你可以配置如下cache选项:
Building caches:你可以配置session建立多个cache用串行或者并行。当你建立串行的cache时,Integration Service会按照源行进入的顺序建立cache。当你建立并行的cache时,Integration Service不会等第一行进入Lookup transformation,就会建立cache。代替的是建立多个并行的cache。
Persistent cache:你可以保存lookup cache files并重用他们在Integration Service调用一个配置使用该cache的Lookup transformation。
Integration Service 对Persistent Caches的处理:
Mapping or Session Changes Between Sessions |
Named Cache |
Unnamed Cache |
Integration Service cannot locate cache files. |
Rebuilds cache. |
Rebuilds cache. |
Enable or disable the Enable High Precision option in session properties. |
Fails session. |
Rebuilds cache. |
Edit the transformation in the Mapping Designer, Mapplet Designer, or Reusable Transformation Developer.* |
Fails session. |
Rebuilds cache. |
Edit the mapping (excluding Lookup transformation). |
Reuses cache. |
Rebuilds cache. |
Change database connection or the file location used to access the lookup table. |
Fails session. |
Rebuilds cache. |
Change the Integration Service data movement mode. |
Fails session. |
Rebuilds cache. |
Change the sort order in Unicode mode. |
Fails session. |
Rebuilds cache. |
Change the Integration Service code page to a compatible code page. |
Reuses cache. |
Reuses cache. |
Change the Integration Service code page to an incompatible code page. |
Fails session. |
Rebuilds cache. |
*Editing properties such as transformation description or port description does not affect persistent cache handling. |
Recache from source:当持久化的cache不是同步的时候,你可以配置Lookup transformation重新建立新的cache。
Static cache:你可以为所有的lookup source配置一个静态,或者只读的cache。默认的,Integration Service建立静态的cache。它为所有进入组件的lookup file或者 table 以及 looks up values建立cache。当条件为真的时候,Integration Service从cache中返回一个值。
Dynamic cache:为一个target table或者flat file source建立cache,并且向cache中插入新的行或者修改现有的行,当使用动态cache。在cache中, Integration Service动态的插入或者修改数据并且把数据传到目标中。
Shared cache:你可以共享cache在多个组件之间。你可以共享一个匿名的cache在一张mapping中。你可以共享一个有名的cache在同一个或者不同的mapping中。
当你没有为Lookup transformation配置cache,Integration Service为每一个输入行查询查询表。结果和处理过程是同样的,不论你是否设置cache。然而,使用cache可以改善session的性能。当被查询的表很大的时候可以使用cache最大的优化性能。
Cache Comparison
uncached lookup, static cache, dynamic cache的区别:
Uncached |
Static Cache |
Dynamic Cache |
你不可以向cache中插入或者修改。 |
你不可以向cache中插入或者修改。 |
你可以向cache中插入或者修改,并且可以向目标传输。 |
不可以进行flat file的查询。 |
可以进行relational 或者 flat file的查询。 |
可以进行relational 或者 flat file的查询。 |
当条件为真的时候,Integration Service从表或者cache中返回一个值。 当条件为假的时候,Integration Service返回一个默认值或者为非连接组件返回NULL。 |
当条件为真的时候,Integration Service从表或者cache中返回一个值。 当条件为假的时候,Integration Service返回一个默认值或者为非连接组件返回NULL。 |
当条件为真的时候,Integration Service会根据行的类型来修改或者放着它不管。你可以向目标传输修改后的行。 当条件为假的时候,the Integration Service会根据行的类型来插入或者放着它不管。这意味着行不在cache或目标中。你可以把插入的行传给目标表。 |
informatica powercenter学习笔记(二)的更多相关文章
- informatica powercenter学习笔记(一)
本文转摘:http://blog.itpub.net/22377317/viewspace-677137/ 1 informatica powercenter的下载: 方法一:去年我是在ORACLE ...
- informatica powercenter学习笔记(三)
以前在做DBA时在DB里写过行转列,列转行的CODE.这两天做了一下测试用INFORMATICA来实现行列互换的功能. 列转行的SQL 实现 ENV: RMDB TABLE: SALES STOREN ...
- informatica powercenter学习笔记(LookUp 使用)
LOOKUP TRANSFORMATION的使用点评: LOOKUP基本用法不熟的话请参考下附属信息. 用法感受: 1 LOOKUP的作用跟我们以前在EXCEL的函数功能类似,就是隔表取值.优点就是用 ...
- Informatica Powercenter学习笔记
LOOKUP TRANSFORMATION的使用点评: LOOKUP基本用法不熟的话请参考下附属信息. 用法感受: 1 LOOKUP的作用跟我们以前在EXCEL的函数功能类似,就是隔表取值.优点就是用 ...
- WPF的Binding学习笔记(二)
原文: http://www.cnblogs.com/pasoraku/archive/2012/10/25/2738428.htmlWPF的Binding学习笔记(二) 上次学了点点Binding的 ...
- AJax 学习笔记二(onreadystatechange的作用)
AJax 学习笔记二(onreadystatechange的作用) 当发送一个请求后,客户端无法确定什么时候会完成这个请求,所以需要用事件机制来捕获请求的状态XMLHttpRequest对象提供了on ...
- [Firefly引擎][学习笔记二][已完结]卡牌游戏开发模型的设计
源地址:http://bbs.9miao.com/thread-44603-1-1.html 在此补充一下Socket的验证机制:socket登陆验证.会采用session会话超时的机制做心跳接口验证 ...
- JMX学习笔记(二)-Notification
Notification通知,也可理解为消息,有通知,必然有发送通知的广播,JMX这里采用了一种订阅的方式,类似于观察者模式,注册一个观察者到广播里,当有通知时,广播通过调用观察者,逐一通知. 这里写 ...
- java之jvm学习笔记二(类装载器的体系结构)
java的class只在需要的时候才内转载入内存,并由java虚拟机的执行引擎来执行,而执行引擎从总的来说主要的执行方式分为四种, 第一种,一次性解释代码,也就是当字节码转载到内存后,每次需要都会重新 ...
随机推荐
- C++函数的重载、覆盖和隐藏区别
a.成员函数被重载的特征:(1)相同的范围(在同一个类中)(2)函数名字相同(3)参数不同(4)virtual 关键字可有可无b.覆盖是指派生类函数覆盖基类函数,特征是:(1)不同的范围(分别位于派生 ...
- Linux性能工具
Brendan Gregg 目前是 Netflix 的高级性能架构师 ,他在那里做大规模计算机性能设计.分析和调优.他是<Systems Performance>等技术书的作者,因在系统管 ...
- LeetCode 628. 三个数的最大乘积
题目描述 LeetCode 628. 三个数的最大乘积 给定一个整型数组,在数组中找出由三个数组成的最大乘积,并输出这个乘积. 示例1 输入: [1,2,3] 输出: 6 示例2 输入: [1,2,3 ...
- 11.Spark Streaming源码解读之Driver中的ReceiverTracker架构设计以及具体实现彻底研究
上篇文章详细解析了Receiver不断接收数据的过程,在Receiver接收数据的过程中会将数据的元信息发送给ReceiverTracker: 本文将详细解析ReceiverTracker的的架构 ...
- git合并分支理解和常用命令的总结
原文参考:https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000 工作区和暂存区 工作区 ...
- 【转载】ARouter-万能路由协议
Github源码地址:https://github.com/alibaba/ARouter 一.功能介绍 支持直接解析标准URL进行跳转,并自动解析参数注入 支持多模块工程使用 支持添加多个拦截器,自 ...
- 深入理解javascript作用域系列第三篇
前面的话 一般认为,javascript代码在执行时是由上到下一行一行执行的.但实际上这并不完全正确,主要是因为声明提升的存在.本文是深入理解javascript作用域系列第三篇——声明提升(hois ...
- UVALive 6907 Body Building
题目链接:https://vjudge.net/problem/UVALive-6907 题意: 给出一张图,判断这张图中有多少个哑铃,哑铃判断的条件是,对于一个连通图:如果找到一条边连接这两个点的个 ...
- hdu 3001 三进制状压
题意:tsp问题,但是每个点可以最多走两次 链接:点我 转移方程见代码 #include<iostream> #include<cstdio> #include<cstr ...
- [转]用 Jsp 的 Session 机制编写的购物车程序
一.构建的商品类 //写一个Goods类,并定义商品的各个属性,返回商品属性的方法,以及商品对象进行比较的方法//Goods.java package com.viita.Shop; public c ...