LOOKUP TRANSFORMATION的使用点评:

LOOKUP基本用法不熟的话请参考下附属信息。

用法感受:

1 LOOKUP的作用跟我们以前在EXCEL的函数功能类似,就是隔表取值。优点就是用ETL工具可以设置CACHE,大量的 数据也可以实现这个功能。数据量大的话要设置CACHE ENABLE并调高CACHE SIZE的值。

2 LOOKUP 有CONNECTED 和UNCONNECTED的两种,根据需要而用,如果很多字段要取对应的这个值的话,就用UNCONNECTED.在具体项目中要小心LOOKUP来处理维度列的情况,我目前项目中就发现,在LOOKUP中根据几列来取出主键,结果数据并不完全能唯一区别,最后要做数据清理或引入代理键。

3 关于缓慢变化维处理,用LOOKUP加UPDATESTRATERY组件就可实现缓慢变化维的更新或插入,这是数据仓库项目中处理缓慢变化维比较经典的用法,我认为。

  顺带粘贴些关于LOOKUP的参考信息,了解的,请忽略以下信息,呵呵:

Lookup

概要描述

  获得一个关联的值。例如:源里包含employee ID,但你还需要employee name。用于计算的植。例如:只是汇率或者个人所得税之类的固定数值,不是计算得出来的数据。Update slowly changing dimension tables。主要是根据条件查出原表,若查出了,就把自己添加的标志位设为真,否则就设置为假。

Connected or unconnected

  Connected 和 unconnected 的transformations的输入和输出是不同的,不同点如表2列出的。

表2

Connected Lookup

Unconnected Lookup

从 pipeline获得输入。

从另一个transformation的:LKP的表达式获得输入。

使用静态或者动态cache。

使用静态cache。

Cache中包括所有的 mapping中使用到的lookup columns(就是condition中的和被标记为输出的columns)。

Cache中包括所有condition中的、被标记为输出的columns以及被标记为return port的。

同行能够返回多个columns 或者加载到动态lookup cache中。

每行只能返回一个return port (R)。

如果没有匹配的数据,Integration Service会返回一个默认值。如果是动态缓存(cache),会加入一个新的行或者放着他不管。

如果没有匹配的数据,Integration Service会返回一个NULL。

如果有匹配的数据,Integration Service回返回一个结果包括所有被设置为输出的值。如果是动态缓存,Integration Service会任意的修改一行或者放着它不管。

如果有匹配的数据,Integration Service会返回一个被设置为return port的值。

输出所有的被标记为output的符合条件的数据。

返回一个值到使用:LKP调用它的表达式。

用户可以设置默认值。

用户不可以设置默认值。

Connected

下面是Integration Service处理connected Lookup transformation的过程:

  1. 一个connected Lookup transformation通过pipeline从其他的transformation获得输入值。
  2. 为每个输入行,Integration Service会通过lookup ports 和 condition从源或者缓存中查询。
  3. 如果组件没有使用缓存或者使用的静态缓存,Integration Service会使用lookup query来返回值。
  4. 如果组件使用的动态缓存,当Integration Service在缓存找不到这行,它会把这行插入到缓存中。当Integration Service找到这行,它会修改这行在缓存中或者什么都不做。它标记这行是插入、修改或者是不做变动。
  5. Integration Service从查询中返回值到下一个transformation。

如果transformation使用动态缓存,你可以把这行通过Filter 或者 Router transformation来过滤后在到目标中。

unconnected

  • 可以在一个mapping中调用这个Lookup transformation多次。
  • 下面的步骤描述了Integration Service处理一个unconnected Lookup transformation的过程:

1. 一个unconnected Lookup transformation从另一个transformation的一个:LKP表达式的结果中获得输入值,例如一个Update Strategy transformation。

2. Integration Service通过transformation 中的lookup ports 和 condition来查询。

3. Integration Service返回一个值到Lookup transformation 的return port 中。

4. Integration Service把值返回到:LKP表达式中。

  • 步骤
    1. 添加input ports。
    2. 添加查询条件。
    3. 指定返回值。
    4. 从其他的组件中调用该lookup。
  • 用途

unconnected lookups多数用于:

  1. 在一个表达式测试一个lookup的值。
  2. 在查询的基础上过滤。
  3. 标记行基于查询的结果,例如:updating slowly changing dimension tables。
  4. 调用同一个查找多次在一个mapping中。

Relational or flat file lookup

  当你在建立一个Lookup transformation时,你可以选择查询flat file或者relational table。

Relational

  可以通过SQL的来override默认的SQL,这样可以你可以加where或者查询多个表。

flat file

  使用下面选项在使用flat file时:

  1. 指定源是indirect files的。
  2. 使用sorted输入。

Tips

  • 使用这些技巧在你配置一个Lookup transformation的时候:
  • 给被用于查询条件的列加一个索引。
  • 把=号放在条件的第一位。
  • 查询的时候,完全加载小的表。
  • 在数据库中Join tables比使用查询要高校的多。
  • 为静态cache设置固定的大小。
  • 使用:LKP来调用unconnected Lookup transformations。

Cached or uncached

  有时,你可以在使用lookup组件查询表的时候,把组件设置成Cached 的来提高session的速度。如果你选择了Cached ,你可以选择使用动态的还是静态的。默认的是使用静态的。

Cached

  可以在一个lookup组件中为要查询的表配置cache。当第一行数据进入lookup组件的时候,Integration Service会在内存为它建立一个cache。它分配内存基于你在组件或者session的属性中配置的数量。Integration Service把条件值保存索引cache,把output值保存在数据cache。Integration Service会为每一条进入这个组件的行查询cache。

  Integration Service也同样会建立cache files用$PMCacheDir(相对路径,在consol中可以配置)中默认的。如果数据不适合内存cache时,Integration Service把超出的数据保存到cache files中。当seesion结束,Integration Service会释放cache记忆和删除cache files,除非你配置组件使用持久化的cache。

  如果你使用flat file lookup,Integration Service总是会把它放在cache中。如果你配置flat file lookup为sorted input,Integration Service不会把它放入cache,如果条件类不是分组的。如果这些列是分组的,但是没有sorted,Integration Service会处理这个查询的方式和没有配置sorted input一样。

  当你配置了lookup cache,你可以配置如下cache选项:

  Building caches:你可以配置session建立多个cache用串行或者并行。当你建立串行的cache时,Integration Service会按照源行进入的顺序建立cache。当你建立并行的cache时,Integration Service不会等第一行进入Lookup transformation,就会建立cache。代替的是建立多个并行的cache。

  Persistent cache:你可以保存lookup cache files并重用他们在Integration Service调用一个配置使用该cache的Lookup transformation。

  Integration Service 对Persistent Caches的处理:

Mapping or Session Changes Between Sessions

Named Cache

Unnamed Cache

Integration Service cannot locate cache files.

Rebuilds cache.

Rebuilds cache.

Enable or disable the Enable High Precision option in session properties.

Fails session.

Rebuilds cache.

Edit the transformation in the Mapping Designer, Mapplet Designer, or Reusable Transformation Developer.*

Fails session.

Rebuilds cache.

Edit the mapping (excluding Lookup transformation).

Reuses cache.

Rebuilds cache.

Change database connection or the file location used to access the lookup table.

Fails session.

Rebuilds cache.

Change the Integration Service data movement mode.

Fails session.

Rebuilds cache.

Change the sort order in Unicode mode.

Fails session.

Rebuilds cache.

Change the Integration Service code page to a compatible code page.

Reuses cache.

Reuses cache.

Change the Integration Service code page to an incompatible code page.

Fails session.

Rebuilds cache.

*Editing properties such as transformation description or port description does not affect persistent cache handling.

  Recache from source:当持久化的cache不是同步的时候,你可以配置Lookup transformation重新建立新的cache。

  Static cache:你可以为所有的lookup source配置一个静态,或者只读的cache。默认的,Integration Service建立静态的cache。它为所有进入组件的lookup file或者 table 以及 looks up values建立cache。当条件为真的时候,Integration Service从cache中返回一个值。

  Dynamic cache:为一个target table或者flat file source建立cache,并且向cache中插入新的行或者修改现有的行,当使用动态cache。在cache中,  Integration Service动态的插入或者修改数据并且把数据传到目标中。

  Shared cache:你可以共享cache在多个组件之间。你可以共享一个匿名的cache在一张mapping中。你可以共享一个有名的cache在同一个或者不同的mapping中。

  当你没有为Lookup transformation配置cache,Integration Service为每一个输入行查询查询表。结果和处理过程是同样的,不论你是否设置cache。然而,使用cache可以改善session的性能。当被查询的表很大的时候可以使用cache最大的优化性能。

Cache Comparison

uncached lookup, static cache, dynamic cache的区别:

Uncached

Static Cache

Dynamic Cache

你不可以向cache中插入或者修改。

你不可以向cache中插入或者修改。

你可以向cache中插入或者修改,并且可以向目标传输。

不可以进行flat file的查询。

可以进行relational 或者 flat file的查询。

可以进行relational 或者 flat file的查询。

当条件为真的时候,Integration Service从表或者cache中返回一个值。

当条件为假的时候,Integration Service返回一个默认值或者为非连接组件返回NULL。

当条件为真的时候,Integration Service从表或者cache中返回一个值。

当条件为假的时候,Integration Service返回一个默认值或者为非连接组件返回NULL。

当条件为真的时候,Integration Service会根据行的类型来修改或者放着它不管。你可以向目标传输修改后的行。

当条件为假的时候,the Integration Service会根据行的类型来插入或者放着它不管。这意味着行不在cache或目标中。你可以把插入的行传给目标表。

informatica powercenter学习笔记(二)的更多相关文章

  1. informatica powercenter学习笔记(一)

    本文转摘:http://blog.itpub.net/22377317/viewspace-677137/ 1 informatica powercenter的下载: 方法一:去年我是在ORACLE ...

  2. informatica powercenter学习笔记(三)

    以前在做DBA时在DB里写过行转列,列转行的CODE.这两天做了一下测试用INFORMATICA来实现行列互换的功能. 列转行的SQL 实现 ENV: RMDB TABLE: SALES STOREN ...

  3. informatica powercenter学习笔记(LookUp 使用)

    LOOKUP TRANSFORMATION的使用点评: LOOKUP基本用法不熟的话请参考下附属信息. 用法感受: 1 LOOKUP的作用跟我们以前在EXCEL的函数功能类似,就是隔表取值.优点就是用 ...

  4. Informatica Powercenter学习笔记

    LOOKUP TRANSFORMATION的使用点评: LOOKUP基本用法不熟的话请参考下附属信息. 用法感受: 1 LOOKUP的作用跟我们以前在EXCEL的函数功能类似,就是隔表取值.优点就是用 ...

  5. WPF的Binding学习笔记(二)

    原文: http://www.cnblogs.com/pasoraku/archive/2012/10/25/2738428.htmlWPF的Binding学习笔记(二) 上次学了点点Binding的 ...

  6. AJax 学习笔记二(onreadystatechange的作用)

    AJax 学习笔记二(onreadystatechange的作用) 当发送一个请求后,客户端无法确定什么时候会完成这个请求,所以需要用事件机制来捕获请求的状态XMLHttpRequest对象提供了on ...

  7. [Firefly引擎][学习笔记二][已完结]卡牌游戏开发模型的设计

    源地址:http://bbs.9miao.com/thread-44603-1-1.html 在此补充一下Socket的验证机制:socket登陆验证.会采用session会话超时的机制做心跳接口验证 ...

  8. JMX学习笔记(二)-Notification

    Notification通知,也可理解为消息,有通知,必然有发送通知的广播,JMX这里采用了一种订阅的方式,类似于观察者模式,注册一个观察者到广播里,当有通知时,广播通过调用观察者,逐一通知. 这里写 ...

  9. java之jvm学习笔记二(类装载器的体系结构)

    java的class只在需要的时候才内转载入内存,并由java虚拟机的执行引擎来执行,而执行引擎从总的来说主要的执行方式分为四种, 第一种,一次性解释代码,也就是当字节码转载到内存后,每次需要都会重新 ...

随机推荐

  1. C++函数的重载、覆盖和隐藏区别

    a.成员函数被重载的特征:(1)相同的范围(在同一个类中)(2)函数名字相同(3)参数不同(4)virtual 关键字可有可无b.覆盖是指派生类函数覆盖基类函数,特征是:(1)不同的范围(分别位于派生 ...

  2. Linux性能工具

    Brendan Gregg 目前是 Netflix 的高级性能架构师 ,他在那里做大规模计算机性能设计.分析和调优.他是<Systems Performance>等技术书的作者,因在系统管 ...

  3. LeetCode 628. 三个数的最大乘积

    题目描述 LeetCode 628. 三个数的最大乘积 给定一个整型数组,在数组中找出由三个数组成的最大乘积,并输出这个乘积. 示例1 输入: [1,2,3] 输出: 6 示例2 输入: [1,2,3 ...

  4. 11.Spark Streaming源码解读之Driver中的ReceiverTracker架构设计以及具体实现彻底研究

    上篇文章详细解析了Receiver不断接收数据的过程,在Receiver接收数据的过程中会将数据的元信息发送给ReceiverTracker:   本文将详细解析ReceiverTracker的的架构 ...

  5. git合并分支理解和常用命令的总结

    原文参考:https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000 工作区和暂存区 工作区 ...

  6. 【转载】ARouter-万能路由协议

    Github源码地址:https://github.com/alibaba/ARouter 一.功能介绍 支持直接解析标准URL进行跳转,并自动解析参数注入 支持多模块工程使用 支持添加多个拦截器,自 ...

  7. 深入理解javascript作用域系列第三篇

    前面的话 一般认为,javascript代码在执行时是由上到下一行一行执行的.但实际上这并不完全正确,主要是因为声明提升的存在.本文是深入理解javascript作用域系列第三篇——声明提升(hois ...

  8. UVALive 6907 Body Building

    题目链接:https://vjudge.net/problem/UVALive-6907 题意: 给出一张图,判断这张图中有多少个哑铃,哑铃判断的条件是,对于一个连通图:如果找到一条边连接这两个点的个 ...

  9. hdu 3001 三进制状压

    题意:tsp问题,但是每个点可以最多走两次 链接:点我 转移方程见代码 #include<iostream> #include<cstdio> #include<cstr ...

  10. [转]用 Jsp 的 Session 机制编写的购物车程序

    一.构建的商品类 //写一个Goods类,并定义商品的各个属性,返回商品属性的方法,以及商品对象进行比较的方法//Goods.java package com.viita.Shop; public c ...