在这里分析下最近分析和解决ODI性能问题的点滴,用作参考.在介入该问题前,已经具备的基础知识包括了ODI基础,SOA理论和实施,特别是04年封闭四天的informatic ETL培训和实操.几年的开发经验和技术积累. 首先我们拿到的问题是ODI性能慢,要知道ODI本身核心还是是ETL,只是ODI已经由传统的ETL转化为了ELT,先Load数据然后再进行转换.同时增加了声明式设计,正是由了声明式设计ODI才能够真正转化为按需,按参数调度的数据服务,更好的和SOA进行集成. 以往的经验始终有

java:  第一章: JDK(Java Development Kit) java开发工具包 JVM(Java Virtual Machine) java虚拟机 Javac  编译命令 java  解释命令 Javadoc  生成java文档命令 classpath 类路径 Version  版本 author  作者 public  公共的 class  类 static  静态的 void  没有返回值 String  字符串类 System  系统类 out  输出 print  同行打

ODI KM二次开发手册   分类: ODI(16) 目录(?)[+] 1 引言 1.1 编写目的 本手册面向的读者对象为具备数据集成业务知识及对ODI操作了解的开发人员,作为其完成基于ODI基础上KM二次开发的参考手册.详细介绍了如何在ODI上进行KM二次开发,以满足用户数据集成特定场合下的个性化需求. 2 开发模板KM介绍 2.1 KM概述 KM(Knowledge Modules:知识模块)在ODI中是一组代码模板.在集成过程中,每一个KM对应一个特定任务,整个数据集成过程通过选择若干个K

ODI学习笔记2--ODI产品架构 ODI产品架构: ODI提供了以下几种管理工具:Designer 用于定义数据转换逻辑,这是最常用的开发工具,大部分的开发任务,包括data store的定义,interface(数据映射关系)和package(相当于workflow)的创建等,都是在Designer中完成.Operator用于管理和监控数据转换任务的执行情况,在设计阶段,也可用于调试(debugging)Topology Manager用于定义物理和逻辑基础架构,如work reposito

本文主要介绍在ODI中使用groovy创建工程,并添加一个表转换的映射.要创建groovy脚本,可以从ODI Studio的菜单:工具->Groovy->新脚本 打开一个编辑窗口.在执行下面的脚本之前,确认在模型中已经有EMP表. USERSRC USERDEST import oracle.odi.domain.project.OdiProject import oracle.odi.domain.project.finder.IOdiProjectFinder import oracle.

本文利用twitter做为数据源,介绍使用Oracle大数据平台及Oralce Data Integrator工具,完成从twitter抽取数据,在hadoop平台上处理数据,并最终加载到oracle数据库. 数据集成分为三个阶段:获取.整理.分析和决策.

唉,一开始在纠结起个什么名字,感觉名字常常的很装逼,于是起了个这<手把手教你写LKM rookit> 我觉得: 你们觉得:...... 开始之前,我们先来理解一句话:一切的操作都是系统调用.系统通过陷入或者库的方式,让你跟内核的函数交互.当然啦,平时我们都处在用户态的情况下,系统调用调用的是内核态的函数,ps:这个系列完了,我们从内核级的rookit脱离出来,升级到bios级别的rootkit,哇卡卡-- 那么我在这傻了吧唧的讲了半天,什么是LKM,Loadable Kernel Module

ODI中删除数据的处理 一.前提知识:数据从源数据库向数据仓库抽取时,一般采用以下几种方式: 全抽取模式如果表的数据量较小,则可以采取全表抽取方式,以TRUNCATE/INSERT方式进行数据抽取. 基于时间戳的抽取模式如果源数据表是不可更新的数据(如大多数事务处理数据)或者是不可删除数据(只能失效历史记录的情况),则根据变更时间戳,抽取最新变更的数据进行同步. 日志分析如果没有更新时间戳,或者源数据存在删除的情况,则可以进行日志分析,来执行最新数据变更的同步. 说明:时间戳的方式如果要处理删除

Oracle ODI系列之一(ODI知识模块)     ODI简介 ODI(Oracle Data Integrator)前身是Sunopsis Active Integration Platform,在2006年底被Oracle收购,重新命名为Oracle Data Integrator.主要定位于在ETL和数据集成的场景里使用.ODI和Oracle原来的ETL工具OWB相比有一些显著的特点,比如和OWB一样是ELT架构,但是比OWB支持更多的异构的数据源等等,本系列文章将逐步介绍ODI的一些

简单介绍一下ODI的几个基本概念   ODI的几个基本概念是本文我们主要要介绍的内容,接下来我们就开始介绍这一过程,一起来看看吧! 什么是资料库 ODI资料库可安装在任何支持ANSIISO89的数据库中.资料库分两种: 1.MasterRepository,保存企业所有IT资源的Topology,保存项目和数据模型的安全信息.版本信息,供ODI图形模块等使用.通常创建一个即可.MasterRepository要尽可能独立存储,单独的Instance,或单独的Schema. 2.WorkRepos

资料库的创建.体系结构的创建.模型反向工程都已经完成了,下面就是创建以及执行接口来完成工作了. 浏览前两节请点击: [ODI]| 数据ETL:从零开始使用Oracle ODI完成数据集成(一) [ODI]| 数据ETL:从零开始使用Oracle ODI完成数据集成(二) 8. 创建项目及接口 项目包含了开发人员所开发的所有对象,项目包含的元素有接口.过程.包.变量.用户定义函数等.项目创建完毕后,即可在项目下创建接口来实现数据集成. [设计器]>>[项目]>>[新建项目] 为项目自

今天,连接ODI,出现下面的错误 oracle.odi.core.config.WorkRepositoryResourceFailureException: ODI-10182: 资料档案库访问期间出现未分类的异常错误. 进入PLSQL,用相关用户登陆,登陆失败,报错“ORA-28001: thepassword has expired”,进入解决密码过期问题. 1.用DBA 登陆PLSQL.输入语句查询ORACLE密码有效期设置,可以确认有效期为180天.LIMIT字段是密码有效天数. 2.

0. Get ODI installed 1. Topo physical Architecture/new physical schema 2. New Logical schema 3. New logical Model 4. Reverse Engineer 5. New project 6. Import KM 7. Create mapping target:IKM AP:LKM 8. Save&Run

ODI中,场景的作用类似发布版本,当映射最终修改版完成时,可以生成场景.无论是映射(Mapping)还是包(Package)都可以生成场景. 包调用映射和调用场景的区别: 1,包直接调用映射,当映射修改保存后,需要重新保存包,并且重新生成包场景,才能使用新的映射逻辑.该方案适用于映射改动很小的情况. 2,包调用映射场景,此时映射修改后,只需要重新生成映射的场景即可,无需重新保存包以及重新生成包的场景. 一般项目中,执行计划会调用包场景,此时如果映射需要经常性的修改,建议映射生成场景后再被包调用,

大数据实践:ODI和Twitter(二) 在前面的文章中,我们已经使用flume将数据从twitter抓取到Hive中,现在我们来看看ODI(Oracle Data Integrator)如何在HIVE表中进行逆向工程,打开HIVE模型,然后在逆向工程中选择“新的数据存储”及待逆向的对象,如下:

缓慢变化维(Slowly changing Dimensions)指的是维表中的维度字段值会随着时间或业务调整,而在后续的分析中,历史数据仍然要使用旧的维度值,新的数据会使用当前维度值.在数据仓库建设过程中,ODI 提供有专门的SCD 集成模块,更方便的对维表进行更新.在ODI 12c中实现缓慢变化维SCD2的例子如下. 一.创建测试表格 创建源表,并插入数据 DROP TABLE EMP_SCD2_SRC; CREATE TABLE EMP_SCD2_SRC( EMPNO ) CONSTRAI

2010-01-15 10:32 chinaitlab chinaitlab 字号:T | T 在这篇文章里, 我们将看到各种不同的后门技术,特别是 Linux的可装载内核模块(LKM). 我们将会发现LKM后门比传统的后门程序更加复杂,更加强大,更不易于被发现.知道这些之后,我们可以制造我们 自己的基于LKM的Rootkit程序, 主要体现在TCP/IP层, 因为我们相信这是在系统管理员面前最好的隐藏后门的地方. AD:2014WOT全球软件技术峰会北京站 课程视频发布 简介: 在这篇文章里,

简介 搜集一下linux lkm rootkit中常用的一些技巧 1.劫持系统调用 遍历地址空间 根据系统调用中的一些导出函数,比如sys_close的地址来寻找 unsigned long ** get_sys_call_table(void) { unsigned long **entry = (unsigned long **)PAGE_OFFSET; ) { if (entry[__NR_close] == (unsigned long *)sys_close) { return ent

简介 Reptile是github上一个很火的linux lkm rootkit,最近学习了一些linux rootkit的内容,在这里记录一下. 主要是分析reptile的实现 Reptile的使用 安装命令: sudo ./setup.sh install 然后执行下面的命令 /reptile/reptile_cmd show 接着就可以看到/reptile目录下的一些东西了,这是项目安装在系统中的一些文件,在安装完成后,默认是隐藏的.具体的执行命令就不再这里赘述了 会出现下面这些程序 Re

有些功能部分手机不能使用,网站,通讯录,wifi基本上每个手机都可以使用. 在看之前你可以扫一扫下面几个二维码先看看效果: 1.二维码生成 网址 (URL) 包含网址的 二维码生成 是大家平时最常接触到的(例如:http://dnt.dkill.net),二维码识别软件能够通过 http://前缀 知道数据代表的是一个网址.使用{URLTO:www.baidu.com} 类似的语法格式也能让识别软件认出网址. 2.二维码生成 电子邮箱地址(E-mail Address) 互联网上大家联络时基本都