OGG到OGGAdapter配置详情-从Oracle直接抽取成csv文件

Oracle Golden Gate是Oracle旗下一款支持异构平台之间高级复制技术，是Oracle力推一种HA高可用产品，简称“OGG”，可以实现Active-Active 双业务中心架构

1.1. 目的 
本文档描述OGG的相关配置和实际操作教程，旨在能够初步了解掌握OGG的原理和使用方法 
1.2. 定义、业务术语、缩略语 
Oracle Golden Gate有源端和目标端，源端捕获日志发送到目标端应用，这个过程分为六步骤 
 捕获：实时捕获交易日志(已提交数据)，包含DML和DDL，并可根据规则进行过滤 
 队列：把捕获的日志数据加载入队列(写入trail文件)，这是可选项，为了提高安全性，怕网络传丢了。 也可以不入队列，直接从redo buffer传递给目标端 
 数据泵：将trail文件广播到不同的目标端 
 网络：从源网络压缩加密后传送到目的网络 
 接收队列：接收从源端传过来的trail文件 
 交付：把trail文件内容转换成SQL语句在目标库执行 双向复制：在把另一端重新配置成源端，即可实现双向复制，这就是Active-Active双业务中心 
Golden Gate进程 
 Manager进程：这是GG全局主进程，它是GG守护进程统筹全局，它可以启动、监控、终止Golden Gate的其它进程，收集错误报告及事件，分配数据存储空间，发布阀值告警等，在源端和目标端有且只有一个Manager进程。 
 Extract进程：运行在源端的进程，实时捕获交易数据，可以直接在redo buffer捕获传递到目标端，也可以在redo buffer捕获先写入trail队列在传递到目标端。非Oracle库支持从数据表捕获数据。 
 Pump进程：运行在源端的进程，将源端产生的本地trail文件广播到不同的目标端，pump进程本质是extract进程的一种特殊形式，如果不使用trail文件，那么extract进程在捕获完交易日志后直接传递到目标端，生成远程trail文件。 
 Collector进程：运行在目标端的进程，专门接收从源端传过来的trail文件日志生成队列。 
 Delivery进程：运行在目标端的进程，通常我们也把它叫做replicat进程，是数据传递的最后一站，负责读取远程trail文件内容，解析为SQL语句在目标库上执行。 
1.3. 参考资料 
 《OGG MaxCompute插件.pdf》； 
 《OGG环境搭建手册.pdf》； 
 《Oracle Golden Gate图文并茂快速掌握.pdf》 
1.4. 原理特点 
 实时数据复制 
 异构平台数据同步 
 支持断点续传，不影响系统连续运行 
 高性能，属于轻量级软件 
 保证数据引用完整性和事物一致性 
 整合ETL Tools Message Service 
 灵活拓扑结构 1:1 1:N N:1 N:N 双向复制 
 复制冲突检测和解决 
 支持数据压缩和加密 
 TCP/IP WAN LAN 
 根据事务大小和数量自动管理内存 
 支持多活业务中心 
 以交易数据为单位复制，保证交易一致性 
 支持数据过滤和转换，可自定义基于表和行的过滤规则，实时在异构环境下转换数据

2. 安装使用

2.1. 下载安装 
配置：源端数据库192.168.2.78 实例名orcl 
目标数据库192.168.2.78 实例名orcl 
安装OGG 
需要下载两个文件，源端安装OGG，目标端安装Adapters 
安装包下载 
http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html 
然后解压安装，选择静默安装 
源端配置/response/oggcore.rsp文件 
有两个需要注意的地方 
INSTALL_OPTION=ORA11g –oracle版本是多少就填多少 
UNIX_GROUP_NAME=oinstall –这个组名需要填对，可以通过ll命令查看文件夹属性组名，否则会报错，还有每次重新安装时都要把以前生成的文件全部del掉，不然会报错 
静默安装步骤： 
./runInstaller -silent -responseFile {YOUR_OGG_INSTALL_FILE_PATH}/response/oggcore.rsp 
具体操作参见 
https://help.aliyun.com/document_detail/28294.html?spm=5176.doc28291.6.593.mdVnrX 
2.2. 双端配置 
2.2.1. 源端数据库配置 
以dba身份进入数据库：sqlplus / as sysdba 
*# 创建独立的表空间，这个路径根据自己安装的oracle路径填写* 
create tablespace ATMV datafile ‘/home/oracle/u01/app/oracle/oradata/uprr/ATMV.dbf’ size 100m autoextend on next 50m maxsize unlimited; 
*# 创建ogg用户，密码也为ogg，也可以不用创建新用户，但是一定要要给使用ogg的用户赋予dba权限* 
create user ogg identified by ogg default tablespace ATMV; 
*# 给ogg用户赋予充分的权限以便ogg正常使用* 
grant connect,resource,dba to ogg; 
*# 检查附加日志情况，若是返回YES则代表日志已开启最小补全日志* 
Select SUPPLEMENTAL_LOG_DATA_MIN, SUPPLEMENTAL_LOG_DATA_PK, SUPPLEMENTAL_LOG_DATA_UI, SUPPLEMENTAL_LOG_DATA_FK, SUPPLEMENTAL_LOG_DATA_ALL from v$database; 
*# 增加数据库附加日志，可以指示数据库在日志中添加额外信息到日志流中，以支持基于日志的工具如ogg，帮助ogg目标端分析识别修改的数据* 
alter database add supplemental log data; 
alter database add supplemental log data (primary key, unique,foreign key) columns; 
*# rollback，回滚机制，帮助数据库回到某一时间点的数据，OGG使用时可以不配置这一步* 
alter database drop supplemental log data (primary key, unique,foreign key) columns; 
alter database drop supplemental log data; 
*# 全字段模式，开启补全日志* 
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS; 
*# 开启数据库强制日志模式，无论什么操作都进行redo的写入，一些nologging的操作也会写如日志* 
alter database force logging; 
*# 执行marker_setup.sql 脚本，会让你填写用户名，这些脚本在ogg安装文件夹里* 
@marker_setup.sql 
*# 执行@ddl_setup.sql* 
@ddl_setup.sql 
*# 执行role_setup.sql* 
@role_setup.sql 
*# 给ogg用户赋权* 
grant GGS_GGSUSER_ROLE to ogg_test; 
*# 执行@ddl_enable.sql，开启DDL trigger* 
@ddl_enable.sql 
*# 执行优化脚本* 
@ddl_pin ogg_test 
*# 安装sequence support* 
@sequence.sql 
alter table sys.seq$ add supplemental log data (primary key) columns; 
2.2.2. 源端mgr配置 
通过./ggsci 进入命令行模式 
创建必须目录GGSCI>create subdirs 
源端配置要配置好mgr(类似于主机的cpu)，extract(进程)和pump(策略) 
 配置mgr 
GGSCI> edit params mgr 
PORT 7839 –端口号可以随意配置，本机传本机端口号要不同 
DYNAMICPORTLIST 7840-7849 
USERID ogg, PASSWORD ogg 
PURGEOLDEXTRACTS ./dirdat/*, USECHECKPOINTS, MINKEEPDAYS 7 
LAGREPORTHOURS 1 
LAGINFOMINUTES 30 
LAGCRITICALMINUTES 45 
PURGEDDLHISTORY MINKEEPDAYS 3, MAXKEEPDAYS 7 
PURGEMARKERHISTORY MINKEEPDAYS 3, MAXKEEPDAYS 7 
 启动mgr： start mgr 
运行日志在dirrpt文件夹下 
 查看mgr状态：info mgr 
 查看mgr配置：view params mgr 
2.2.3. 源端extract配置 
 配置extract 
GGSCI>edit params extract –extract是组名可以任取 
EXTRACT extract 
SETENV (NLS_LANG=” AMERICAN_AMERICA.ZHS16GBK”) 
–通过env查看本机获取这个NLS_LANG 
setenv (ORACLE_SID = orcl) 
USERID ogg, PASSWORD ogg 
EXTTRAIL ./dirdat/st 
DYNAMICRESOLUTION 
TABLE OGG.*; 
 增加该进程 GGSCI> add ext extract,tranlog, begin now 
2.2.4. 源端pump配置 
 配置pump 
GGSCI>edit params pump –pump是组名可以任取 
EXTRACT pump 
setenv (NLS_LANG = “AMERICAN_AMERICA.ZHS16GBK”)  #这里改为了UTF-8之后失败，使用这个配置是对的
PASSTHRU 
RMTHOST 192.168.2.78, MGRPORT 8839, COMPRESS 
RMTTRAIL ./dirdat/st 
DYNAMICRESOLUTION 
TABLE OGG.*; 
 增加抽取进程，开始进程之前目标端一定要配置好，否则会报错 
GGSCI> add ext pump,exttrailsource ./dirdat/st 
2.2.5. 生成def表定义文件 
 编辑defgen 
GGSCI> edit params defgen 
DEFSFILE ./dirdef/ogg.def 
USERID ogg, PASSWORD ogg 
table OGG.*; 
 在shell中执行如下命令，生成ogg.def，并把这个ogg.def 拷贝到目标端dirdef下 
./defgen paramfile ./dirprm/defgen.prm 
2.2.6. 目标端配置并开启 
 解压Ada文件并运行./ggsci 
 GGSCI>create subdirs 
 配置mgr 
GGSCI> edit param mgr 
PORT 8839 
DYNAMICPORTLIST 8840-8849 
 配置接收进程 
GGSCI> edit param ffwriter 
EXTRACT ffwriter 
SOURCEDEFS ./dirdef/ogg.def 
CUSEREXIT ./flatfilewriter.so CUSEREXIT PASSTHRU INCLUDEUPDATEBEFORES, PARAMS “./dirprm/ffue.properties” 
TABLE OGG.*; 
 把源端生成的ogg.def 拷贝到目标端dirdef文件夹下 
 把目标端下这个文件/AdapterExamples/file-writer/ ffue.properties拷贝到目标端dirprm文件夹下 
 启动mgr：start mgr 
 添加进程：ADD EXTRACT ffwriter, EXTTRAILSOURCE dirdat/st 
 启动进程：start ffwriter 
当看到mgr 和ffwriter状态都是running时，说明目标端配置完成，现在可以去调整源端进行测试

#在虚拟机上start失败，错误提示：

2018-11-01 02:52:30  INFO    OGG-01635  BOUNDED RECOVERY: reset to initial or altered checkpoint.

2018-11-01 02:52:30  INFO    OGG-01815  Virtual Memory Facilities for: BR
    anon alloc: mmap(MAP_ANON)  anon free: munmap
    file alloc: mmap(MAP_SHARED)  file free: munmap
    target directories:
    /data/ogg/oggserver/BR/EXT01.

Bounded Recovery Parameter:
BRINTERVAL = 4HOURS
BRDIR      = /data/ogg/oggserver

2018-11-01 02:52:30  INFO    OGG-01851  filecaching started: thread ID: 140736980846336.

2018-11-01 02:52:30  INFO    OGG-01815  Virtual Memory Facilities for: COM
    anon alloc: mmap(MAP_ANON)  anon free: munmap
    file alloc: mmap(MAP_SHARED)  file free: munmap
    target directories:
    /data/ogg/oggserver/dirtmp.

2018-11-01 02:52:30  WARNING OGG-01590  cm_vm_max: failed in call to: VMF_probe  error code: 11 (Resource temporarily unavailable).

Source Context :
  SourceModule            : [ggapp.cachemgr]
  SourceID                : [/scratch/aime/adestore/views/aime_adc4150378/oggcore/OpenSys/src/gglib/ggapp/cachemgr/cmgr_restore.c]
  SourceFunction          : [cm_init_vm_facilities]
  SourceLine              : [2450]
  ThreadBacktrace         : [13] elements
                          : [/data/ogg/oggserver/libgglog.so(CMessageContext::AddThreadContext()+0x1b) [0x7fffed936f2b]]
                          : [/data/ogg/oggserver/libgglog.so(CMessageFactory::CreateMessage(CSourceContext*, unsigned int, ...)+0x134) [0x7fffed930f84]]
                          : [/data/ogg/oggserver/libgglog.so(_MSG_ERR_CACHEOBJ_FUNCTION_FAILED(CSourceContext*, char const*, CMessageFactory::MessageDisposition)+0x30) [0x7fffed912aec]]
                          : [/data/ogg/oggserver/extract() [0x698242]]
                          : [/data/ogg/oggserver/extract() [0x6997b9]]
                          : [/data/ogg/oggserver/extract(CM_cache_init(pool_info*, char const*, extract_vals*)+0x58) [0x69a668]]
                          : [/data/ogg/oggserver/extract() [0x5e9b5a]]
                          : [/data/ogg/oggserver/extract(ggs::gglib::MultiThreading::MainThread::ExecMain()+0x60) [0x6c7e70]]
                          : [/data/ogg/oggserver/extract(ggs::gglib::MultiThreading::Thread::RunThread(ggs::gglib::MultiThreading::Thread::ThreadArgs*)+0x14d) [0x6c90ed]]
                          : [/data/ogg/oggserver/extract(ggs::gglib::MultiThreading::MainThread::Run(int, char**)+0xb1) [0x6c91d1]]
                          : [/data/ogg/oggserver/extract(main+0x3b) [0x5eb26b]]
                          : [/lib64/libc.so.6(__libc_start_main+0xfd) [0x3793e1ed1d]]
                          : [/data/ogg/oggserver/extract() [0x556f39]]

2018-11-01 02:52:30  ERROR   OGG-01264  The call to the cm_vm_max() function from line 2450 in cm_init_vm_facilities() returned an unexpected value.

在物理机上却没有报错，目前猜测是分配内存失败。下面是物理机正常情况的日志：

2018-11-01 10:39:53  INFO    OGG-01851  filecaching started: thread ID: 140242236507904.

2018-11-01 10:39:53  INFO    OGG-01815  Virtual Memory Facilities for: COM
    anon alloc: mmap(MAP_ANON)  anon free: munmap
    file alloc: mmap(MAP_SHARED)  file free: munmap
    target directories:
    /data/oggdata/oggadapter_error/dirtmp.

CACHEMGR virtual memory values (may have been adjusted)
CACHEPAGEOUTSIZE (default):               8M
PROCESS VM AVAIL FROM OS (min):       24.35G
CACHESIZEMAX (strict force to disk):  22.35G
CACHEVMPAGEOUTMAX:                       64M

2018-11-01 10:39:53  WARNING OGG-01842  CACHESIZE PER DYNAMIC DETERMINATION (16G) LESS THAN RECOMMENDED: 64G (64bit system)
vm found: 24.35G
Check swap space. Recommended swap/extract: 128G (64bit system

2.2.7. 源端进程开启 
GGSCI> start extract 
GGSCI> start pump 
通过info all 查看进程状态，若进程显示running则正常运行，若是ABENDING 或者STOPPED则代表启动错误 
通过view report （是进程名）来查看运行日志，空格到最后会有报错日志

这个报错已经说得很清楚了可以通过下面命令来解决 
GGSCI>ADD EXTRAIL ./dirdat/st , extract pump 
至于ERROR OGG-10668 ABENDING 这个错误是代表着配置有错误，即只要有错误配置这个ERROR就会出现，所以不用管它，只需更改好正确配置，错误标志就会消失 
当配置的pump和extract进程都显示RUNNING时，即代表源端，目标端都已准备好

2.3. 测试OGG

 在pl/sql里插入ogg.test表一行数据，并点击提交commit

 然后在目标端dirout文件夹下就可以看到有文件传进来，文件是由时间戳来命名的

 Strings/cat/more/vim等命令查看该dsv文件，即可得到更改讯息事件id，事件类型，发生时间，表，表数据等，其中事件类型有三类（I:insert，D:delete, U:update），这个文件也可以通过datax配置path路径上云 
 GoldenGate File Adapter提供了两个文件，用来生成数据文件。其中properties中有多个文件格式控制属性，通过设置这些属性，即可以控制生成文件的格式，它的文件属性如下： 
dsvwriter.includecolnames=false 
是否在字段值前放置字段名称，缺省为false 
dsvwriter.files.onepertable=true 
每个表格各生成一个文件，还是所有数据放入一个文件，缺省为true 
dsvwriter.files.data.rootdir=./dirout 
数据文件输出目录 
dsvwriter.files.data.ext=_data.dsv 
已就绪的数据文件扩展名 
dsvwriter.files.data.tmpext=_data.dsv.temp 
处理中的数据文件 
dsvwriter.files.data.rollover.time=1800 
数据文件由“处理中”切换为“就绪”的最大时间（秒） 
dsvwriter.files.data.rollover.size=104857600 
数据文件由“处理中”切换为“就绪”的最大文件尺寸（KB） 
dsvwriter.files.data.norecords.timeout=1800 
当无记录写入时，最多等待时间（秒）即切换数据文件为“就绪”，缺省120秒 
dsvwriter.files.rolloveronshutdown=true 
当本属性为true时，如果Extract进程停止，则所有空白“处理中”文件被删除，所有有数据的“处理中”文件切换为“就绪”文件。当本属性为false时，如果Extract进程停止，则所有空白“处理中”文件被删除，所有有数据的“处理中”文件状态不变。 
dsvwriter.dsv.fielddelim.chars=| 
数据文件中的字段分隔符 
dsvwriter.dsv.linedelim.chars=\n 
数据文件中的行终结符号 
dsvwriter.dsv.quotes.chars=” 
数据文件中的引号符号 
dsvwriter.dsv.quotes.escaped.chars=”” 
数据文件中的escape符号 
dsvwriter.metacols=opcode,timestamp 
数据文件中每行数据之前的元数据： 
Opcode － I，U与D代表Insert, Update和Delete Timestamp － 记录的提交时间戳 
dsvwriter.metacols.opcode.insert.chars=I 
数据文件中代表Insert操作的字符 
dsvwriter.metacols.opcode.update.chars=U 
数据文件中代表Update操作的字符 
dsvwriter.metacols.opcode.delete.chars=D 
数据文件中代表Delete操作的字符 
dsvwriter.files.formatstring=pump_%s_%t_%d_%05n 
数据文件名字格式： %s － schema 
%t － table 
%d－ timestamp 
%05n － 5位序号

2.4. 备注

GGSCI 常用的操作有edit params * –编辑mgr，pump，extract这些文件 
start mgr –启动mgr 
start extract –启动某进程 
view report * –查看进程日志 
view params * –查看mgr等的配置信息 
info all –查看信息

参考：

https://www.waitig.com/oggadapters安装部署配置文档.html