发生错误如下,源端EXTRACT进程异常中止,查看日志,发现如下错误. 2014-07-23 01:32:13  ERROR   OGG-00446  Oracle GoldenGate Capture for Oracle, ext_mkt.prm:  Could not find archived log for sequence 74730 thread 1 under default destinations SQL <SELECT  name    FROM v$archived_lo…

:first-child { margin-top: 0; } blockquote > :last-child { margin-bottom: 0; } img { border: 0; max-width: 100%; height: auto !important; margin: 2px 0; } table { border-collapse: collapse; border: 1px solid #bbbbbb; } td, th { padding: 4px 8px; bord…

ODI利用goldengate实现增量数据捕获 上个月,Oracle发布了ODI的最新版本10.1.3.6_02,其中增加了针对采用goldengate获取源数据库增量变化的知识模块,这样当系统需要实时数据仓库时,我们从源数据库抽取增量数据,就完全可以利用goldengate从数据库的日志中抽取,避免了对源数据库系统的影响,以前采用streams或者logminer抽取增量时,需要在源数据库部署stream,需要DBA权限,很多管理员都有抵触情绪,怕影响生产系统,goldengate在源数据库中…

环境描述: 1.节点描述 节点 IP 节点描述 11.6.76.221 GG 抽取端 / DG 节点,数据库版本号为 Oracle-11.2.0.3,与 11.6.76.222 组成 DataGuard. 11.6.76.222 DG 节点,数据库版本号为 Oracle-11.2.0.3,与 11.6.76.221 组成 DataGuard. 192.168.87.221 GG 复制端,数据库版本号为 Oracle-11.2.0.4 2.拓扑结构   方案描述: 假设 11.6.76.221 最…

在查询分析器中执行:select rand(),可以看到结果会是类似于这样的随机小数:0.36361513486289558,像这样的小数在实际应用中用得不多,一般要取随机数都会取随机整数.那就看下面的两种随机取整数的方法:1.A:select floor(rand()*N) ---生成的数是这样的:12.0 B:select cast( floor(rand()*N) as int) ---生成的数是这样的:12 2.A:select ceiling(rand() * N) ---生成的数是这…

使用Kettle在不同的数据库抽取数据时,有时会出现中文乱码问题:其解决方案如下: 1.查看数据库的字符集是否是UTF-8(最常用的字符集) 2.如果数据库设置正确仍然存在中文乱码,则可能是因为有的客户端数据库默认的编码集不是UTF-8,我们只需要在输出时对输出的数据库进行编码配置.我的数据库是MySql,下面是解决图示: a.我的转换图 b.打开表输出-->数据库连接后的"编辑"-->Advanced,在下方的空白处输入:set names utf8;,设置数据库客户端的…

Atitit.并发测试解决方案(2) -----获取随机数据库记录 随机抽取数据 随机排序 1. 应用场景 1 2. 随机抽取数据原理 1 3. 常用的实现方法:::数据库随机函数 1 4. Mssql 的实现 NEWID() 跟rand()  1 5. newid()与rand()的区别 2 6. NEWID() 2 7. 参考 2 1. 应用场景 并发测试 2. 随机抽取数据原理 原理是 循环所有的ID/记录,附加随机函数字段,然后排序as 这个字段.. 3. 常用的实现方法:::数据库随机…

DB:11.2.0.3.0OS:oracle-linux 5.7 建表语句:create table YOON.YOON_HIS(  c_id              NUMBER not null,  YOON_code      VARCHAR2(30),  create_time       DATE,  update_time       DATE not null,)partition by range (CREATE_TIME)(  partition PART_01 values…

SQLite作为一种数据库可以配置为Kettle的数据输入和输出,这个例子是从Excel中抽取数据然后写入到SQLite中 配置测试并成功后如下 下面是配置步骤: Excel输入配置 sqlite配置如下 选择表输入控件,建立数据库连接,选择连接类型 Generic database ,连接方式Native(jdbc), 自定义连接URL:jdbc:sqlite:E:/temp/20171205/ps_manager_grid.db 自定义驱动类型 org.sqlite.JDBC 保存测试成功…

环境:OEL 5.7 + Oracle 10.2.0.5 RAC 需求:实验在Oracle 10g环境使用amdu抽取数据库文件 本文主要目的是介绍3个知识点: 1.使amdu可以在oracle 10g环境中使用 2.使kfed可以在oracle 10g环境中使用 3.amdu如何抽取损坏的ASM磁盘组数据 1.使amdu可以在oracle 10g环境中使用 在Oracle 10g环境,并没有自带amdu工具,需要自行去下载: 具体可以参考MOS文档: Placeholder for AMDU…

1.使用mongodump备份小量分片集群数据 如果一个分片集群的数据集比较小,可以直接使用mongodump连接到mongos实例进行数据备份.默认情况下,mongodump到非primary的节点进行数据查询. 2.备份全库 mongodump --host 192.168.1.195 --port 28000 -o . 2.备份集群库(test库) [root@localhost datatest]# mongodump --host 192.168.1.195 --port 28000…

1.使用场景:sql server数据库备份单个表的结构和数据,在我们要修改正式系统的数据的一天或者多条某些数据时候,要执行update语句操作,安全稳健考虑,最好先做好所修改的表的结构和数据备份! 2.操作方法:第一步:由于不是整个数据库备份,不是点备份.还原操作,要选择整个数据库然后右击,选择:任务——生成脚本,如下图: 第二部:在选择对象的步骤,如下图红框的单选按钮组默认的是第一个(即整个数据库对象脚本),要点击选择下面的第二个(即选择特定数据库对象),然后选中要经行备份的表,点击下一步,…

kettle抽取数据发送邮件Linux调度 #1.进入kettle安装目录 然后执行sqoop.sh文件启动kettlecd /app/pdi-ce-7.1.0.0-12/data-integration./spoon.sh & #2.新建脚本文件 /app/pdi-ce-7.1.0.0-12/time/iCounter_time.sh start #!/bin/bashcd /app/pdi-ce-7.1.0.0-12/data-integration#需要导入jdk路径export KETT…

1.使用场景:sql server数据库备份单个表的结构和数据,在我们要修改正式系统的数据的一天或者多条某些数据时候,要执行update语句操作,安全稳健考虑,最好先做好所修改的表的结构和数据备份! 2.操作方法:第一步:由于不是整个数据库备份,不是点备份.还原操作,要选择整个数据库然后右击,选择:任务——生成脚本,如下图: 第二部:在选择对象的步骤,如下图红框的单选按钮组默认的是第一个(即整个数据库对象脚本),要点击选择下面的第二个(即选择特定数据库对象),然后选中要经行备份的表,点击下一步,…

原文:数据仓库之抽取数据:通过bcp命令行导入数据 在做数据仓库时,最重要的就是ETL的开发,而在ETL开发中的第一步,就是要从原OLTP系统中抽取数据到过渡区中,再对这个过渡区中的数据进行转换,最后把经过处理的干净的数据加载到数据仓库中. 目标数据库是sql server,通过bcp命令行导入数据.bcp方式相对于其他方式来说,速度更快,是做了优化的. 以下为bcp命令行常用的参数,注意大小写: -c  以char作为存储类型 -w  和-c类似,只有当使用unicode字符集拷贝数据时使用n…

原文:数据仓库之抽取数据:openrowset函数带bulk操作符的用法 在做数据仓库时,最重要的就是ETL的开发,而在ETL开发中的第一步,就是要从原OLTP系统中抽取数据到过渡区中,再对这个过渡区中的数据进行转换,最后把经过处理的干净的数据加载到数据仓库中. 目标数据库是sql server,通过openrowset函数带bulk操作符的用法,导入.导出.更新数据. 带bulk操作符的方式相对于其他方式来说,速度更快. 使用方法: 第1种用法: openrowset (     bulk 要…

原文:数据仓库之抽取数据:通过openrowset执行存储过程 在做数据仓库时,最重要的就是ETL的开发,而在ETL开发中的第一步,就是要从原OLTP系统中抽取数据到过渡区中,再对这个过渡区中的数据进行转换,最后把经过处理的干净的数据加载到数据仓库中. 目标数据库是sql server,通过openrowset函数调用存储过程,但是存储过程中不能带参数. 1.开启即席查询 --修改高级参数 sp_configure 'show advanced options',1 go --允许即席分布式查询…

检查抽取进程模式 在 GGSCI 环境下,执行类似如下语句查看特定进程的状态. GGSCI> info <Group_Name> 其中,<Group_Name> 为进程名称.例如:下图所示 EPUBADM 进程抽取模式为集成抽取模式(Integrated Capture) 例如:下图所示 ETEST 进程抽取模式为传统抽取模式(Classic Capture)   由传统抽取(Classic Capture)模式升级至集成抽取(Integrated Capture)模式 1.…

背景:          同事误删除线上数据.所以须要从备份中找回数据恢复. 真实屋漏偏逢连夜雨.船迟又遇打头风.前两天备份的磁盘坏块,如今仅仅有rman全备的.bak文件,没有控制文件和參数文件,所以如今须要考虑的是怎样依据bak文件在备份数据库上恢复数据,从中找出被误删的数据. 1 通过catalog start with''的方式来恢复 1.1手动创建控制文件 CREATE CONTROLFILE REUSE set DATABASE"powerdes" RESETLOGS AR…

Oracle GoldenGate不仅可以在线实时同步数据(包括增量和存量),也内置有一套事件触发流程,允许用户根据某张表某条记录的某个特殊字段值,触发相应的自定义执行流程,比如接收到某个银行账号的大笔转账金额之后,触发一条报警信息,或者根据某条记录,自动停止目标端的投递进程. 基于变更记录触发事件的设置,如果是源端抽取进程,则在Table语句的Filter或Where中定义,如果是目标端投递进程,则可以在Replicat进程的MAP语句中定义.当然,也可以在一个SQLEXEC执行一条SQL语句…

写在开始前 从两周前我花了大量的业余时间阅读GoldenGate官方文档,并根据文档实践和进一步学习了解GoldenGate,以下便是根据官方文档理解总结的GoldenGate学习内容: Oracle GoldenGate 一.介绍和安装 Oracle GoldenGate 二.配置和使用 Oracle GoldenGate 三.加密 在[美] 莫提默·J.艾德勒,[美] 查尔斯·范多伦著的[How to Read a Book]一书中,作者强调如果你每天所学的知识你不能用你自己的语言去描述或记…

以下对goldengate数据复制的限制情况进行说明. 不支持文件等非结构化数据复制 GoldenGate依赖对于数据库日志的解析获取数据变化,因此只能支持数据库中的数据变化复制,无法支持文件等非结构化数据的复制. Oracle数据类型限制 GoldenGate支持Oralce常见数据类型的复制. GoldenGate不支持的数据类型 1)         ANYDATA 2)         ANYDATASET 3)         ANYTYPE 4)         BFILE 5)  …

平时工作的时候,经常会遇到这种事情,从一个大表A中,抽取字段a在一个相对较小B的表的数据,比如,从一个详单表中,抽取几万个用户号码的话单出来.这种时候,一般来说, 做关联查询: create table A1 as select A.* from 详单表 A,号码表 B wherea.号码 = b.号码 当然这个语句根据情况不一样有很多中写法,但是,不管是哪种写法,这个语句最大的问题是,如果数据量大,你非常纠结他到底能不能跑完,有时候一个事情,要求2个小时干完,现在跑了1个小时,你说到底要不要结…

1.搭建环境 新建JAVA项目,添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar.hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2.主要程序 package com.wujintao.hbase.test; import java.io.IOException; import java.util.ArrayList; import java.util.List;…

在安装完scrapy以后,相信大家都会跃跃欲试想定制一个自己的爬虫吧?我也不例外,下面详细记录一下定制一个scrapy工程都需要哪些步骤.如果你还没有安装好scrapy,又或者为scrapy的安装感到头疼和不知所措,可以参考下前面的文章安装python爬虫scrapy踩过的那些坑和编程外的思考.这里就拿博客园来做例子吧,抓取博客园的博客列表并保存到json文件. 环境:CentOS 6.0 虚拟机 scrapy(如未安装可参考安装python爬虫scrapy踩过的那些坑和编程外的思考) 1.创建…

1.搭建环境 新建JAVA项目,添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar.hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2.主要程序 package com.wujintao.hbase.test; import java.io.IOException; import java.util.ArrayList; import java.util.List;…

1.搭建环境 新建JAVA项目,添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar.hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2.主要程序 package com.wujintao.hbase.test; import java.io.IOException; import java.util.ArrayList; import java.util.List;…

#!/bin/bash DT=`date +%Y%m%d` #当前日期YESTERDAY=`date -d "yesterday" +%Y-%m-%d` #昨天,用于处理数据的日期 if [ ! -n "$1" ] ;then echo "ETL Date:$YESTERDAY";else YESTERDAY=${1} echo "ETL Date:$YESTERDAY";fi #AGENT_IDS="'NDM1MW…

一般Hive依赖关系型数据库Mysql,故先安装Mysql $: yum install mysql-server mysql-client [yum安装] $: /etc/init.d/mysqld start [启动mysql服务] $: mysql [登录mysql客户端] mysql> create database hive; 安装配置Hive $: tar zvxf apache-hive-2.1.1-bin.tar 1. 配置环境变量 export HIVE_HOME=/usr/l…

这里用大家随处可见的(除了extent分布的x$kffxp需要百度和google外),其余都是文档中有详细记载的常用ASM视图来实现同样功能: 下面的用于从ASM中备份数据文件头: SQL> set pages 9999SQL> col "backup(dd) fileheader from asm" for a200SQL> SELECT 'dd if='||d.path||' of=&backup_path/'||e.GROUP_KFFXP||'_'||e…