Oracle Golden Gate - 概念和机制 (ogg)】的更多相关文章

Golden Gate(简称OGG)提供异构环境下交易数据的实时捕捉.变换.投递. OGG支持的异构环境有: OGG的特性: 对生产系统影响小:实时读取交易日志,以低资源占用实现大交易量数据实时复制 以交易为单位复制,保证交易一致性:只同步已提交的数据 高性能 智能的交易重组和操作合并 使用数据库本地接口访问 并行处理体系 灵活的拓扑结构:支持一对一.一对多.多对一.多对多和双向复制等 支持数据过滤和转换 可以自定义基于表和行的过滤规则. 可以对实时数据执行灵活影射和变换. 提供数据压缩和加密:…
出处:https://www.cnblogs.com/qiumingcheng/p/5435907.html Golden Gate(简称OGG)提供异构环境下交易数据的实时捕捉.变换.投递. OGG支持的异构环境有: OGG的特性: 对生产系统影响小:实时读取交易日志,以低资源占用实现大交易量数据实时复制 以交易为单位复制,保证交易一致性:只同步已提交的数据 高性能 智能的交易重组和操作合并 使用数据库本地接口访问 并行处理体系 灵活的拓扑结构:支持一对一.一对多.多对一.多对多和双向复制等…
引言:Oracle Golden Gate是Oracle旗下一款支持异构平台之间高级复制技术,是Oracle力推一种HA高可用产品,简称“OGG”,可以实现Active-Active 双业务中心架构 一.Golden Gate 特点 1.实时数据复制 2.异构平台数据同步 3.支持断点续传,不影响系统连续运行 4.高性能,属于轻量级软件 5.保证数据引用完整性和事物一致性 6.整合ETL Tools Message Service 7.灵活拓扑结构 1:1 1:N N:1 N:N 双向复制 8.…
1. OGG有哪些进程 ü  Manger : manger进程是goldengate的控制进程,分别运行在源端和目标端上,它主要的作用是启动.监控.重启goldengate的其他进程,报告错误及事件,分配数据存储空间,发布阀值报告等.需要注意的是在源端和目标端有且只有一个manger 进程. ü  Extract : extract 进程运行在数据库源端,负责从源端数据表或日志中捕获数据.Extract的作用可以分为两个阶段:①初始数据装载阶段:在初始数据装载阶段,extract进程直接从源端…
Oracle Golden Gate原理简介 http://www.askoracle.org/oracle/HighAvailability/20140109953.html#6545406-tsina-1-3386-14a237f3587652368b695b00507b1475 GoldenGate简介 OracleGolden Gate是一种基于日志的结构化数据复制备份软件,它通过解析Source Database在线日志或归档日志获得数据的增量变化,再将这些变化应用到TargetDat…
Oracle GoldenGate简介 Oracle Golden Gate用于源数据库与目标数据库的数据复制备份:可以在异构的环境(各种操作系统和数据库)之间实现数据亚秒级的实时复制备份:以及可以在实时数据仓库.数据同步.集中/分发.容灾.数 据库升级和迁移等多个场景下应用:同时还可以使用一 对一.广播(一对多).聚合(多对一).双向.点对点.级联等多种灵活的拓扑结构. 本章介绍Oracle GoldenGate的基本术语及其处理逻辑和体系结构的功能. 1.1 Oracle GoldenGat…
Sybase 安装Golden Gate: 下载,然后create subdirs.并且在两端配置好mgr,设置好端口7809 创建golden gate用户ogguser,并且给它授权sa和replication [root@localhost ~]# su - sybase [sybase@localhost ~]$ vi .bash_profile --设置sybase路径还有DSQUERY=ASE1 [sybase@localhost ~]$ isql -Usa -P111111 -SA…
一.服务器信息 ip   软件版本 ogg版本 软件包 操作系统版本 OGG安装路径 10.1.50.52 源 oracle11.2.0.4 12.2.0.1.1 V100692-01.zip centos6.9 /data/ogg 10.0.71.102 目标 kafka0.10 12.2.0.1.160823 123010_ggs_Adapters_Linux_x64.zip centos7.3 /data/ogg 二.源端安装OGG 1.解压V100692-01.zip .zip 这个时候…
>> from zhuhaiqing.info [oracle@localhost ogg]$ cat ~/.bash_profile GG_HOME=/opt/oggPATH=$PATH:$ORACLE_HOME/bin:$GG_HOMELD_LIBRARY_PATH=$GG_HOME:$ORACLE_HOME/lib:/usr/lib:/lib [oracle@localhost ogg]$ ./ggsciGGSCI (localhost.localdomain) 1> create…
OGG组件: Manager: 启动其它进程 Collector Extract Data Pump:可选进程,建议使用 Replicat Trails: 可以压缩,加密 Checkpoint OGG进程组(process group) Process Group: process parameter file:dirprm checkpoint file: dirchk 其它文件:dirrpt(report文件:.rpt和discard文件:.dsc ogg12c自动创建),dirdef,di…
ORACLE集群概念和原理(二) 概述:写下本文档的初衷和动力,来源于上篇的<oracle基本操作手册>.oracle基本操作手册是作者研一假期对oracle基础知识学习的汇总.然后形成体系的总结,一则进行回顾复习,另则便于查询使用.本图文文档亦源于此.阅读Oracle RAC安装与使用教程前,笔者先对这篇文章整体构思和形成进行梳理.由于阅读者知识储备层次不同,我将从Oracle RAC安装前的准备与规划开始进行整体介绍安装部署Oracle RAC.始于唐博士指导,对数据库集群进行配置安装,前…
文章导航 集群概念介绍(一) ORACLE集群概念和原理(二) RAC 工作原理和相关组件(三) 缓存融合技术(四) RAC 特殊问题和实战经验(五) ORACLE 11 G版本2 RAC在LINUX上使用NFS安装前准备(六) ORACLE ENTERPRISE LINUX 5.7下DATABASE 11G RAC集群安装(七) ORACLE ENTERPRISE LINUX 5.7下DATABASE 11G RAC数据库安装(八) ORACLE ENTERPRISE LINUX 5.7下DA…
  阅读目录 目录 Oracle集群概念和原理 RAC概述 RAC 集成集群件管理 RAC 的体系结构 RAC 的结构组成和机制 RAC 后台进程 RAC 共享存储 RAC 数据库和单实例数据库的区别 参考文献 相关文章 ORACLE集群概念和原理(二) 概述:写下本文档的初衷和动力,来源于上篇的<oracle基本操作手册>.oracle基本操作手册是作者研一假期对oracle基础知识学习的汇总.然后形成体系的总结,一则进行回顾复习,另则便于查询使用.本图文文档亦源于此.阅读Oracle RA…
Oracle的SCN与检查点机制 SCN在Oracle的文档上以多种形式出现,一种是System Change Number,另一种是System Commit Number,在大多数情况下,Systems Change Numbers的定义更为确切. SCN(System Change Number)就是通常所说的系统改变号,是数据库中非常重要的一个数据结构,用以标识数据库在某个确切时刻提交的版本.在事务提交时,它被赋予一个唯一的标示事务的SCN.SCN同时被作为Oracle数据库的内部时钟机…
探索ORACLE之ASM概念(完整版) 本文出自https://www.jb51.net/article/43527.htm ASM是Oracle 10g R2中为了简化Oracle数据库的管理而推出来的一项新功能,这是Oracle自己提供的卷管理器,主要用于替代操作系统所提供的LVM,它不仅支持单实例,同时对RAC的支持也是非常好 一.     ASM(自动存储管理)的来由: ASM是Oracle 10g R2中为了简化Oracle数据库的管理而推出来的一项新功能,这是Oracle自己提供的卷…
一. GoldenGate 概述 GoldenGate现在是业内成熟的数据容灾与复制产品:GoldenGate是一种基于日志的结构化数据复制方式,它通过解析源数据库在线日志或归档日志获得数据的增删改变化(数据量只有日志的四分之一左右),再将这些变化应用到目标数据库,实现源数据库与目标数据库同步.双活. 二. GoldenGate 搭建 目标在linux系统下安装Oracle:利用GoldenGate 实现数据同步:可复制DML和DDL操作 环境如下:本环境目标端是源端的克隆:步骤请参考第8篇  …
着系统的复杂性不断增加,我们所面对的分布式系统渐渐增加.分布式文件系统.分布式消息队列系统等等层出不穷,在一些行业特别是互联网行业应用广泛.分布式数据库也是目前使用比较常用的分布式系统之一. 简单来说,分布式数据库就是通过多个相互连接的数据库节点(注意不是Instance),来支持前端系统数据访问需要的数据库组织结构.各个节点之间相互独立.自我管理(site autonomy).分布式数据库系统追求的主要目标包括:可用性(availability).准确性(accuray).一致性(concur…
锁是并发访问的时候用于保护不共享资源不被同时并发修改的机制.oracle锁分为DML锁,DDL锁,内部锁和latch DML锁确保一次只能只有一个人修改某一行(TX锁),而且正在处理一个表时别人不能删除(TM锁).DDL锁,在DDL操作是系统会自动为对象加上DDL锁,保护这些对象不被其他会话锁修改.latch是轻量级的串行化设备,用于协调对共享数据结构.对象.文件的多用户访问,一般都是保护共享内存结构使用的锁,在此不做讨论. 一般的锁管理器工作过程:1.找到想要锁定的那一行地址2.在锁管理器排队…
一·简介 1)数据库(DataBase) 用于存放数据,管理数据的存储仓库,是有效组织在一起的数据集合. 2)常用数据库软件 大型数据库:Oracle 中小型数据库:Mysql MySQL 3)RDBMS(Relational Database Management System) 关系型数据库管理系统是数据库软件中用来操作和管理数据库的部分,用于建立.使用和维护数据库,简称rdbms.它对数据进行统一的管理和控制,以保证数据的安全性好完整性. 4)SQL(Structured Query La…
转自:http://www.cnblogs.com/lovemoon714/archive/2012/02/29/2373695.html 1.为什么要使用包?       答: 在一个大型项目中,可能有很多模块,而每个模块又有自己的过程.函数等.而这些过程.函数默认是放在一起的(如在PL/SQL中,过程默认都是放在一起 的,即Procedures中),这些非常不方便查询和维护,甚至会发生误删除的事件.所以通过使用包就可以分类管理过程和函数.     而且在包中还可以自定义自定义类型,从而在过程…
原文链接:http://tech.it168.com/a2012/0814/1384/000001384756_all.shtml 不同的集群产品都有自己的特点,RAC的特点包括如下几点: ·双机并行.RAC是一种并行模式,并不是传统的主备模式.也就是说,RAC集群的所有成员都可以同时接收客户端的请求. ·高可用性.RAC是Oracle数据库产品高可用性的解决方案,能够保证在集群中只要有一个节点存活,就能正常对外提供服务. ·易伸缩性.RAC可以非常容易地添加.删除节点,以满足系统自身的调整.…
前言goldengate 11g 在oracle 11g rac 上的配置 (源是rac+asm , 目标是单数据库实例) 源端: 1. 配置tnsnames [oracle@rac1 admin]$ more tnsnames.ora # tnsnames.ora Network Configuration File: /u01/app/oracle/product/11.2.0/db_1/network/admin/tnsnames.ora# Generated by Oracle conf…
Oracle的同义词(synonyms)从字面上理解就是别名的意思,和视图的功能类似,就是一种映射关系. 在Oracle中对用户的管理是使用权限的方式来管理的,也就是说,如果我们想使用数据库,我们就必须得有权限,但是如果是别人将权限授予了我们,我们也是能对数据库进行操作的,但是我们必须要已授权的表的名称前键入该表所有者的名称,所以这就是比较麻烦的,遇到这种情况,我们该怎么办呢?创建个Oracle同义词吧!这样我们就可以直接使用同义词来使用表了. 1.同义词的概念    Oracle数据库中提供了…
准备操作系统用户和文件系统 准备安装和运行用户(操作系统用户) 建议使用Oracle用户 也可使用新建用户,但需做以下配置 该用户必须加入到oinstall组 该用户使用与oracle相同的profile文件 操作系统必须为该用户开放一定的CPU.内存等资源限制,可以通过ulimit –a查看,建议在/etc/security/limits.conf中设置和oracle用户一致. 准备安装位置和空间 OGG可以安装于任意位置,RAC下建议安装在存储阵列,可以在单点失败后切换到其它节点继续运行.只…
概述: 是什么?Oracle GoldenGate 提供异构环境间事务数据的实时.低影响的捕获.路由.转换和交付. 非侵入: 不建触发器,不建中间表,无需增量标记或时间戳字段 不在源表上进行数据查询 低影响: 直接部署和运行在源端数据服务器时,CPU使用率<3%,内存和网络带宽要求极低 高实时: 单条数据同步链路可以持续维持>160GB/小时的数据库日志处理能力,同步延迟在10秒之内 异构的源和目标: 广泛支持异构硬件平台和操作系统下的多种不同数据库类型及版本,包括文件和消息队列 可靠性和事务…
一.     ASM(自动存储管理)的来由: ASM是Oracle 10g R2中为了简化Oracle数据库的管理而推出来的一项新功能,这是Oracle自己提供的卷管理器,主要用于替代操作系统所提供的LVM,它不仅支持单实例,同时对RAC的支持也是非常好.ASM可以自动管理磁盘组并提供有效的数据冗余功能. 使用ASM(自动存储管理)后,数据库管理员不再需要对ORACLE中成千上万的数据文件进行管理和分类,从而简化了DBA的工作量,可以使得工作效率大大提高.   二.     什么是ASM ASM…
范式:英文名称是 Normal Form,它是英国人 E.F.Codd(关系数据库的老祖宗)在上个世纪70年代提出关系数据库模型后总结出来的,范式是关系数据库理论的基础,也是我们在设计数据库结构过程中所要遵循的规则和指导方法.目前有迹可寻的共有8种范式,依次是:1NF,2NF,3NF,BCNF,4NF,5NF,DKNF,6NF.通常所用到的只是前三个范式,即:第一范式(1NF),第二范式(2NF),第三范式(3NF). 下面就简单介绍下这三个范式. ◆ 第一范式(1NF):强调的是列的原子性,即…
一.     ASM(自动存储管理)的来由: ASM是Oracle 10g R2中为了简化Oracle数据库的管理而推出来的一项新功能,这是Oracle自己提供的卷管理器,主要用于替代操作系统所提供的LVM,它不仅支持单实例,同时对RAC的支持也是非常好.ASM可以自动管理磁盘组并提供有效的数据冗余功能.  www.2cto.com  使用ASM(自动存储管理)后,数据库管理员不再需要对ORACLE中成千上万的数据文件进行管理和分类,从而简化了DBA的工作量,可以使得工作效率大大提高.   二.…
About Oracle ASM Instances About Oracle ASM Disk Groups About Mirroring and Failure Groups About Oracle ASM Disks About Oracle ASM Files About Oracle ASM Instances Oracle ASM 实例基于和 Oracle Database 实例相同的技术构建.Oracle ASM instance 具有类似于 Oracle 数据库实例的 Sys…
前台easyui 的datagrid中设置分页属性: pagination:true,//显示分页 pagePosition:'bottom',//分页栏位置 both 上下 bottom.top pageList:[12,24,36]//分页数据大小 后台java代码中 int page ,int rows写set. get方法. page = Integer.parseInt(request.getParameter("page")); rows = Integer.parseIn…