此文已由作者赵欣授权网易云社区发布。

欢迎访问网易云社区,了解更多网易技术产品运营经验。

自从oracle收购来了goldengate这款产品并以后对它做了一系列改进后,有非常多的用户使用它做数据迁移、etl抽取、复制容灾等等场景。

这里还有两个goldengate的另类用法,也是非常实用。

1.通过dataguard的备库+goldengate直接格式化输出操作的sql

大多数时候我们要检查某些表数据的变化是怎么产生的、何时产生的,在没有打开详细审计监控的时候一般都会使用logminer来操作。

但如果只想提取修改部分表的操作sql而不是要做集体回滚操作、或者不想通过logminer做整体的挖掘审计时logminer操作起来稍显麻烦

在很多oracle场景里都会有dataguard+goldengate使用,那么我们其实可以很简单的利用dataguard的adg+goldengate快速抽取归档,格式化输出我们感兴趣表的相关sql

以下是我们的测试步骤,环境为oracle11.2.2.8+goldengate11.2.1.20:

主库创建测试用户

create user oggtest identified by oracle;
grant connect,resource to oggtest;

打开force logging和最小附加日志

select supplemental_log_data_min from v$database;
alter database add supplemental log data; 
select force_logging from v$database;
Alter database force logging;

开启表级补全日志,这里我们使用全库打开补全

alter database add supplemental log data (primary key,unique,foreign key) columns;

创建goldengate需要的用户

create user goldengate identified by oracle;
grant  resource, connect, dba to goldengate;

备库上

export LD_LIBRARY_PATH=$ORACLE_HOME/lib

解压缩ogg安装包,创建目录

mkdir trails
 ./ggsci
 CREATE SUBDIRS

创建mgr配置文件

edit param mgr
Port 7809
userid goldengate , password oracle
DYNAMICPORTLIST 9101-9356

在standby备库上只需要配置alo模式的抽取,因为只测试抽取进程,也不需要设置任何检查点

ADD EXTRACT t1,TRANLOG, EXTSEQNO 746, EXTRBA 0
edit param t1
extract t1
USERID goldengate, PASSWORD oracle
DISCARDFILE t1dsc,APPEND,MEGABYTES 50
TRANLOGOPTIONS altarchivelogdest /home/oracle/arch
TRANLOGOPTIONS ARCHIVEDLOGONLY
TRANLOGOPTIONS NOCOMPLETEARCHIVEDLOGONLY
FORMATSQL
EXTTRAIL ./trails/t1
TABLE oggtest.*; ADD EXTTRAIL ./trails/t1  EXTRACT T1

这里的EXTSEQNO 746是我们测试环境里的归档日志号

都配置完成后start相应进程

主库上测试做insert和update操作

create table oggtest.ogg(a int constraint key1 primary key,b varchar2(100),c varchar2(100),d date default sysdate);
insert into  oggtest.ogg(a,b,c,d) values(1,1,1,sysdate);
insert into  oggtest.ogg(a,b,c,d) values(2,2,2,sysdate);
insert into  oggtest.ogg(a,b,c,d) values(3,3,3,sysdate);
commit;
insert into  oggtest.ogg(a,b,c,d) values(4,4,4,sysdate);
insert into  oggtest.ogg(a,b,c,d) values(5,5,5,sysdate);
commit;
update oggtest.ogg set b=2 where a=5;
commit;

然后我们在备库./trails/t1000000文件里就可以看到

B,2015-02-24:14:53:05.000000,1424760785,749,
INSERT INTO OGGTEST.OGG (A,B,C,D) VALUES ('1','1','1','2015-02-24:14:53:05');
INSERT INTO OGGTEST.OGG (A,B,C,D) VALUES ('2','2','2','2015-02-24:14:53:05');
INSERT INTO OGGTEST.OGG (A,B,C,D) VALUES ('3','3','3','2015-02-24:14:53:05');
C,
B,2015-02-24:14:53:06.000000,1424760786,749,
INSERT INTO OGGTEST.OGG (A,B,C,D) VALUES ('4','4','4','2015-02-24:14:53:05');
INSERT INTO OGGTEST.OGG (A,B,C,D) VALUES ('5','5','5','2015-02-24:14:53:05');
C,
B,2015-02-24:14:53:49.000000,1424760829,750,
UPDATE OGGTEST.OGG SET B='2' WHERE A='5';
C,

什么时间点,对各个表做了哪些操作就可以很容易的显示出来,

平时这个在备库上的ogg可以不使用,在特定时候可以手工配置需要检查抽取的归档

手工调整新的归档日志去抽取

alter EXTRACT t1,TRANLOG, EXTSEQNO 754, EXTRBA 0

ADD EXTTRAIL ./trails/t1  EXTRACT T1

然后start t1让其运行再去日志记录里检查,如果有新增其他用户下的表要监控修改参数文件即可

比如增加一个表ogg2.test2015的抽取

在t1的参数文件最后增加一行

TABLE ogg2.test2015;

然后输出日志里就可以看到

B,2015-02-24:15:04:45.000000,1424761485,755,
INSERT INTO OGG2.TEST2015 (A,B,C,D) VALUES ('1','1','1','2015-02-24:15:04:45');
C,
B,2015-02-24:15:04:46.000000,1424761486,755,
UPDATE OGG2.TEST2015 SET B='2' WHERE A='1';

这样可以快速定位做操作的sql用来做很多事情。

2.通过goldengate生成平面文件用于数据交换

很多时候我们在不同系统或者db之间交换数据都会用到ETL,比如银行的总行和下面支行之间是用etl抽取出当日数据变化然后输出文本文件压缩后下发,支行再利用etl工具做数据导入。oracle的数据导入hadoop则可以选择sqoop这样的产品。

但是我们知道etl做增量抽取往往都是使用时间戳,包括sqoop也是如此,这样可能会对原始表有一定的修改要求。

而基于oracle日志抽取的goldengate可以很方便的做平面文件输出到HDFS,甚至是直接使用java输出到hive里。

这里我们介绍一下goldengate生产平面文件。

整个结构图如上所示,环境为oracle11.2.2.8+goldengate11.2.1.20+GOLDENGATE ADAPTERS V11.2.1.0.1:

和普通的goldengate部署源和目标都是goldengate不同,源端部署goldengate,目标端部署的是GOLDENGATE ADAPTERS

整个配置过程大家可以参考一下官方手册,主要注意以下几点:

1.defgen文件需要在源端生成然后拷贝到目标端,每次表变化需要重新生成def文件

2.需要通过配置参数文件控制平面文件的生成和分离

3.如果需求是生成表里所有数据的平面文件,需要单独对表所有列做trandata,例如add trandata oggtest.ogg, cols(b,c,d)  这里主键之外的列是b、c、d ,这样的话如果列太多可能会是问题(对早期版本的OGG来说)

4.每个平面文件的大小需要通过内部参数和外部shell做整合,特别是放到hadoop里的时候,因为过多的小平面文件会浪费hadoop的namenode的内存,对性能上也没用好处

具体的配置大家可以参考官方文档,我们简要说明一下实现的效果:

源库上增加

create table oggtest.ogg2(a int constraint key2 primary key,b varchar2(100),c varchar2(100),d date default sysdate);

源库OGG里执行

dblogin userid goldengate, password oracle
add trandata oggtest.ogg2, cols(b,c,d)

在源库上更新表

insert into  oggtest.ogg2(a,b,c,d) values(8,8,8,sysdate);
insert into  oggtest.ogg2(a,b,c,d) values(9,9,9,sysdate);
insert into  oggtest.ogg(a,b,c,d) values(1,1,1,sysdate);
commit;
update oggtest.ogg2 set b=9 where a=8;
commit;

目标库上可以看到

[oracle@oel5 dirout]$ more pump_OGGTEST_OGG2_2015-02-24_21-41-25_00000_data.dsv.temp
I|8|8|8|2015-02-24:21:41:19
I|9|9|9|2015-02-24:21:41:19
U|8|9|8|2015-02-24:21:41:19
[oracle@oel5 dirout]$ more pump_OGGTEST_OGG_2015-02-24_21-41-25_00001_data.dsv.temp
I|1|1|1|2015-02-24:21:41:19

可以看到OGG自动将平面文件打出来,I表示Insert,U表示update,甚至可以设置delete

不同的表OGG也可以自动分离到不同的文件

通过goldengate我们可以按照各自需求来生成不同的平面文件,比如生成带insert和update的文件用于异构数据库导入操作或者不同oracle之间交换数据

生成只包含行数据的平面文件直接用于hadoop处理,或者oracle做merge导入等等,甚至还可以配置包含update前后值的文件。

最后还需要说一点这个操作同样适用于处理其他数据库比如db2,mysql,sybase。

免费领取验证码、内容安全、短信发送、直播点播体验包及云服务器等套餐

更多网易技术、产品、运营经验分享请点击

相关文章:
【推荐】 浏览器插件及好用的小工具
【推荐】 深入浅出“跨视图粒度计算”--1、理解数据的粒度

oracle goldengate的两种用法的更多相关文章

  1. c++ operator操作符的两种用法:重载和隐式类型转换,string转其他基本数据类型的简洁实现string_cast

    C++中的operator主要有两个作用,一是操作符的重载,一是自定义对象类型的隐式转换.对于操作符的重载,许多人都不陌生,但是估计不少人都不太熟悉operator的第二种用法,即自定义对象类型的隐式 ...

  2. operator 的两种用法

    C++,有时它的确是个耐玩的东东,就比如operator,它有两种用法,一种是operator overloading(操作符重载),一种是operator casting(操作隐式转换).1.操作符 ...

  3. Service的两种用法及其生命周期

    先来一点基础知识: Service 是android的四大组件之一,与Activity同属于一个级别,它是运行在后台进行服务的组件(例如在后台播放的音乐,播放音乐的同时并不影响其他操作).Servic ...

  4. JSP中的include的两种用法

    1.两种用法 <%@ include file=” ”%> <jsp:include page=” ” flush=”true”/> 2.用法区别 (1)执行时间上区别 < ...

  5. 子查询。ANY三种用法。ALL两种用法。HAVING中使用子查询。SELECT中使用子查询。

    子查询存在的意义是解决多表查询带来的性能问题. 子查询返回单行多列: ANY三种用法: ALL两种用法: HAVING中的子查询返回单行单列: SELECT中使用子查询:(了解就好,避免使用这种方法! ...

  6. mstsc远程报:这可能是由于CredSSP 加密Oracle修正的两种完美解决方法

    win10很完美,用的也很舒服!当然人无完人,也总有不尽如人意的时候.比如说我们经常用的远程mstsc,就出现了一个坑,既然出现坑了,我们就得把坑解决掉吧!下面就记录一下这个坑的解决方法. 本文地址: ...

  7. .Net 中读写Oracle数据库常用两种方式

    .net中连接Oracle 的两种方式:OracleClient,OleDb转载 2015年04月24日 00:00:24 10820.Net 中读写Oracle数据库常用两种方式:OracleCli ...

  8. Comparable和Comparator的区别&Collections.sort的两种用法

    在Java集合的学习中,我们明白了: 看到tree,可以按顺序进行排列,就要想到两个接口.Comparable(集合中元素实现这个接口,元素自身具备可比性),Comparator(比较器,传入容器构造 ...

  9. in有两种用法:

    # in有两种用法: 1. 在for中. 是把每一个元素获取到赋值给前⾯的变量. 2. 不在for中. 判断xxx是否出现在str中. #len() 为内置函数,输出为1,2,3,4....., 长度 ...

随机推荐

  1. mfc对话框启动就直接隐藏在右下角显示托盘图标

    之前在网络上找了一份mfc对话框启动就直接隐藏窗体,在右下角显示托盘图标的demo 在win7下可以正常使用,但在win10上直接溢出,导致计算机跟注销似的崩溃现象. 后来找到原因是因为在OnInit ...

  2. flutter android keystore

      keytool -genkey -v -keystore E:/key.jks -keyalg RSA -keysize 2048 -validity 10000 -alias key     k ...

  3. python安装库(Windows下)

    首先确保安装了pip,并且pip也加入了系统path路径: pip下载:https://pypi.python.org/pypi/pip#downloads 下载Python对应的包:(http:// ...

  4. bps、bit、byte的区别

    bps是速度单位,bit是大小单位,byte也是大小单位1bps=1bit每秒, 8bit=1byte 1 Byte = 8    bits1 KB   = 1024 Bytes1 MB   = 10 ...

  5. xbstream 备份恢复

    xbstream -x < ./backs/backup.xbstream  -C /dbnode/data/ innobackupex --defaults-file=/dbnode/etc/ ...

  6. Linux实战教学笔记38:企业级Nginx Web服务优化实战(下)

    四,Nginx站点目录及文件URL访问控制 4.1 根据扩展名限制程序和文件访问 Web2.0时代,绝大多数网站都是以用户为中心多的,例如:bbs,blog,sns产品,这几个产品都有一个共同特点,就 ...

  7. DevCloud for CloudStack Development

    Apache CloudStack development is not an easy task, for the simplest of deployments one requires a se ...

  8. yii2.0 报错Cookievalidationkey Must Be Configured With A Secret Key

    'components' => [ 'request' => [ // !!! insert a secret key in the following (if it is empty) ...

  9. 15-I hate it (HDU1754:线段树)

    http://acm.hdu.edu.cn/showproblem.php?pid=1754     相似例题:  敌兵布阵  http://www.cnblogs.com/zhumengdexiao ...

  10. OpenSceneGraph3.4.0+Qt5.6.1MinGW开发环境部署

                基本步骤如下描述: Step1:CMake3.10编译openscenegraph3.4.0,生成makefile文件(中间过程可能会涉及到很多三方库,需要下载编译,然后按cm ...