版本信息: Oracle GoldenGate Command Interpreter Version 12.2.0.1.160419 OGGCORE_12.2.0.1.0OGGBP_PLATFORMS_160430.1401 Linux, x64, 64bit (optimized), Generic on Apr 30 2016 16:21:34 Operating system character set identified as UTF-8. hive.props gg.handler…

参考:http://docs.oracle.com/goldengate/bd1221/gg-bd/GADBD/toc.htm 一.环境介绍 源:centos6.5 oracl e 11.20.4   OGG版本:12.2.0.1.1 目标:OGG 版本Version 12.2.0.1 二.配置源端数据库 1.1 创建OGG用户并授权 create user ggmgr identified by ggmgr defaulttablespace DATA_OL; grant connect,re…

一.问题报错 -- :: ERROR OGG- Java or JNI exception: oracle.goldengate.util.GGException: Error detected handling transaction commit event. 问题定位 查看dirrpt下info log   bytes when serialized which is larger than the maximum request size you have configured with…

oracle ogg 单实例双向复制搭建(oracle-oracle)--Oracle GoldenGate --继昨天的测试,这一篇实施单实例双向复制(完全重新搭建) --环境不变 db1,db2(单实例)10.1*.1*orcl,oggcentos 6.5,centos 6.511.2.0.4,11.2.0.4 1 检查归档,日志模式(orcl,ogg) SCOTT@ orcl >conn / as sysdba Connected. SYS@ orcl >select NAME,OPEN…

主要新增特性:通用JDBC目标端:支持Amazon Redshift & IBM Netezza Oracle GoldenGate for Big Data 12.3现在支持通用的JDBC目标端,即不使用专用的OGG介质,使用JDBC即可投递Oracle, SQLServer, Amazon Redshift, Netezza,其它提供jdbc接口的数据库也是可以的.jdbc投递的特性包括缓存statement语句,reperror和HANDLECOLLISIONS关键字的支持,也支持源和目标…

前言 Oracle Goldengate在很早前就推出了一个for java的版本,主要目的是方便把关系型数据实时写入到不支持的目标端,如JMS或Redis等key value数据库.在Hadoop刚出来的时候,也可以使用ogg for java adapter将数据实时投递到HDFS等平台,只是后来专门推出了一个ogg for bigdata版本,可以不用二次开发,即可将数据实时投递到hbase ,hive, kafka, mongodb等.所以,针对不支持的目标端,还是需要使用ogg for…

Apache Flume Flume NG是一个分布式.可靠.可用的系统,它能够将不同数据源的海量日志数据进行高效收集.聚合,最后存储到一个中心化数据存储系统中,方便进行数据分析.事实上flume也可以收集其他信息,不仅限于日志.包括端口数据.JMS.命令行等输出数据. 架构 Flume主要的组件包括source(数据源),数据中间存储(channel),sink数据目标存储. 可实现多种拓扑架构,如级联数据传输. 可以多对一做数据集中 也可以一对多做数据分发 Flume支持的组件 Source…

ogg for bigdata 12.2已经发布,新增有如下特性:支持java replicat进程OGG12.2中开发了基于java的replicat模式,以前的版本是基于extract进程中使用userexit实现数据投递,而在12.2中,直接支持replicat进程,性能更好,可以使用声明式的映射.基于操作记录数或数据大小进行交易分组,可使用replicat进程中支持的参数,并改善了检查点功能. 支持kafakogg 12.2中,可直接将LCR(逻辑变更记录)实时写入到kafka主题,可以…

Ogg18.1 remote capture要求mysql为5.7版本,只能从linux远程捕获mysql on windows or linux,且不支持DDL捕获.支持远程mysql为community/commerical版本. 源端数据库配置 OGG登录DB的用户及密码: ogg/Welcome!23 确保源库有打开日志 修改my.cnf,打开日志存放路径,并设置格式 [mysqld] log-bin=/var/log/mysql/mysql-bin.log 确保运行mysql的用户有权…

前言 Docker最近几年异常火爆,主要是因为其方便.快捷.轻量,相对于VM,它不需要占用太多资源,随时可以创建.删除,或在已有image上添加一些软件,再制作成另一个模板image供日后使用.Docker提供的Hub或private registry功能,也极大的方便了日常测试环境的配置和使用,类似于手机应用商店,可以按需下载,帮助企业在很短的时候内部署多个不同的DB环境,如Windows, Unbuntu, MySQL, Postgresql, Hive等,跟传统的VM相比,占用资源更少,效…