通过goldengate,可以实现目标表和源表不同结构之间的实时复制,包括记录源系统所有表的变更操作,供ETL或其它审计系统使用. 记录信息包括表名.操作时间.操作SCN,事务标记,操作类型到一个流水表.用于后续ETL处理过程中的按序处理. 创建日志记录表 create table odi.odi_trans ( id int primary key, tb_name varchar(100), commit_tm timestamp, op_type varchar(50),         …

1.查出当前使用的是哪个resource plan select * from GV$RSRC_PLAN 2.创建pending area begin  dbms_resource_manager.create_pending_area;end; 3.创建consumer group BEGIN  DBMS_RESOURCE_MANAGER.CREATE_CONSUMER_GROUP(CONSUMER_GROUP=>'SALES_APP',COMMENT=>'');END; 4.创建plan…

一,多表操作之增删改查 1.在seting.py文件中配置数据库连接信息 2.创建数据库关联关系models.py from django.db import models # Create your models here. class Book(models.Model): title = models.CharField( max_length=32) pub_date=models.DateField() price=models.DecimalField(max_digits=5,de…

删除用户 drop user user_name cascade; 建立表空间 CREATE TABLESPACE data01DATAFILE '/oracle/oradata/db/DATA01.dbf' SIZE 500MUNIFORM. SIZE 128k; #指定区尺寸为128k,如不指定,区尺寸默认为64k 删除表空间 DROP TABLESPACE data01 INCLUDING CONTENTS AND DATAFILES; 一.建立表空间 CREATE TABLESPACE…

在 /etc/profile 最后添加 export HISTTIMEFORMAT='[%F %T]: ' export PROMPT_COMMAND='{ msg=$(history 1 | { read x y; echo $y; });logger -t audit "[euid=$(whoami)]":$(who am i):[$(pwd)]:"$msg";}' alias crontab-l='cat /var/spool/cron/tabs/root /…

我们的电脑总是会遇到各种各样的问题,最好用的方式就是电脑重装,重装系统的方式有很多,光盘安装.硬盘安装.U盘安装等.但是碰到电脑系统瘫痪无法启动,甚至连安全模式也进不了的时候,你的光盘.硬盘就没有用处了.这时候还有一个利用第三方工具修改原系统注册表的方法来修复系统,也就是WinPE系统. 如果没有PE的朋友可以在系统之家里面下载,刻录成可启动的光盘或制作成U盘PE.由于WinPE光盘启动PE后,加载的是PE系统的注册表,因此需要进入PE系统的注册表编辑器重新加载硬盘系统的注册表.注册表文件保存位…

了解如何为与数据库交互的流程创建数据库用户,分配正确的权限并防止未经授权使用凭据. 主题: 为Oracle GoldenGate分配凭证 保护Oracle GoldenGate凭证 3.1 为Oracle GoldenGate分配凭证 Oracle GoldenGate进程需要一个或多个具有正确数据库权限的数据库凭证,以便使用数据库版本,数据库配置和Oracle GoldenGate功能.创建源数据库用户和目标数据库用户,每个用户专用于源系统和目标系统上的Oracle GoldenGate.所分…

emo场景,以oracle自带库中的表emp为例: select ename,deptno from emp order by deptno; ENAME DEPTNO CLARK 10 KING 10 MILLER 10 SMITH 20 ADAMS 20 FORD 20 SCOTT 20 JONES 20 ALLEN 30 BLAKE 30 MARTIN 30 JAMES 30 TURNER 30 WARD 30 现在想要将同一部门的人给合并成一行记录,如何做呢?如下: ENAME DEPT…

一.前言 首先要学习一下ogg的所有进程,看着这张图来学习   Manager进程是GoldenGate的控制进程,运行在源端和目标端上.它主要作用有以下几个方面:启动.监控.重启Goldengate的其他进程,报告错误及事件,分配数据存储空间,发布阀值报告等.在目标端和源端有且只有一个manager进程 Extract运行在数据库源端,负责从源端数据表或者日志中捕获数据.Extract的作用可以按照阶段来划分为: 初始时间装载阶段:在初始数据装载阶段,Extract进程直接从源端的数据表中抽取…

本文仅用于学习交流,商业用途请支持正版!转载请注明:http://www.cnblogs.com/mxbs/p/6217152.html 第一步,创建表空间 以SYS/sys账户和SYSDBA身份登录OEM,通过"管理"-"数据库管理"-"存储"-"表空间"打开表空间创建界面, 选择"创建",进入"创建 表空间"界面, 在"创建 表空间"界面"一般信息&qu…

cmds系统数据库源端大表数据更新优化 以下脚本可以用于将表按照rowid范围分区,获得指定数目的rowid Extent区间(Group sets of rows in the table into smaller chunks), 以便于非分区表利用rowid来实现并行删除或更新 ``` REM  rowid_ranges should be at least 21 REM  utilize this script help delete large table REM  if update…

wojilu框架特别适合快速开发多用户分享内容应用,比如知乎,digg这类应用. 对于博客等用户程序,要有4个入口:1)用户展示入口(展示自己的应用) 2)用户后台管理入口(管理自己的应用) 3)聚合展示入口(全部用户) 4)网站后台入口(管理全部用户的应用数据). 下面就来讨论下,如何定制一个与我记录综合系统页面展示不太一样的多用户应用. 上面说到了,二次开发一个新应用,需要实现4个入口.我们这里只关注其中的2个展示入口. 先说聚合展示入口. 定制聚合展示入口比较容易,只需要重写SiteLay…

sql server系统表详细说明 sysaltfiles 主数据库 保存数据库的文件 syscharsets 主数据库字符集与排序顺序 sysconfigures主数据库 配置选项 syscurconfigs主数据库当前配置选项 sysdatabases主数据库服务器中的数据库 syslanguages主数据库语言 syslogins主数据库 登陆帐号信息 sysoledbusers主数据库 链接服务器登陆信息 sysprocesses主数据库进程 sysremotelogins主数据库 远程…

利用Oracle rownum让表排序字段值连续 1.需求说明 表(eval_index)中有字段如下: 表字段 描述 说明 ID 主键 GROUP_ID 分组编号 SORT_NUM 排序序号 按照分值编号并排序:1.2.… 由于删除或其他操作,导致sort_num序号不连续:需要不改变原来的排序,保持其编号连续. 2.利用rownum功能实现 update eval_index a seta.sort_num = ( select b.rn from (select rownum rn ,id…

本文Oracle 18c GI/RAC on Oracle Linux step-by-step 的安装配置步骤,同时也包含dbca 创建数据库的过程. 1. 关闭SELINUX,防火墙vi /etc/selinux/configSELINUX=disabledchkconfig sendmail offchkconfig smartd offchkconfig iptables offchkconfig ip6tables offservice iptables stopservice ip6…

Oracle数据库delete删除普通堆表千万条历史记录. 直接删除的影响: 1.可能由于undo表空间不足从而导致最终删除失败的问题: 2.可能导致undo表空间过度使用,影响到其他用户正常操作. 改进方案:每删除1k行就提交一次.(这样就把一个大事物拆分成了若干个小事物) 注意:下面方法以删除2014年之前的所有记录为例,请根据你的实际情况修改,防止误操作. 方法 declare      cursor [del_cursor] is select a.*, a.rowid row_id f…

[Oracle RAC]Linux系统Oracle12c RAC安装配置详细过程V2.0(图文并茂) 2 Oracle12c RAC数据库安装准备工作2.1 安装环境介绍2.2 数据库安装软件下载3 Oracle12c RAC数据库安装环境配置3.1 安装主机或虚拟机3.2 安装操作系统3.3 hosts文件配置3.4 添加组与用户3.5 添加文件系统3.6 修改操作系统参数3.7 禁止NTP3.8 配置grid和oracle用户的环境变量3.9 配置SSH信任关系3.10 调整页面交换空间3.…

转载:http://www.cnblogs.com/nizuimeiabc1/p/9441937.html 1,首先查找表的操作记录 select * from v$sqlarea a where a.SQL_TEXT like '%TB_ACCT_SYSDATE%'; 2,从上面的记录中找到update语句对应的sql_id select * from v$sqltext a,v$sqlarea b where a.SQL_ID=b.SQL_ID and b.SQL_ID in('cq5382…

实验环境:os01:Red Hat Enterprise Linux Server release 5.1 (32位)db01:oracle 10.2.0.1.0 os02:Windows 7 (32位)db02:Microsoft SQL Server Enterprise Edition(10.0.1600.22) 实验目的:实现两异构数据库单向dml复制(oracle到sqlserver)并配置pump进程,db01为source,db02为target. 实验思路: 知识准备: Mana…

前言:最近刚好在弄数据库同步,网上查了些资料再加上自己整理了一些,做个分享! 一.GoldenGate的安装 1.安装包准备 数据库版本:Oracle Database 11g Release 2(11.2.0.1.0) 此次使用的安装包版本为Oracle GoldenGate 12.3.0.1.2 for Oracle on Linux x86-64 root权限 (创建安装包存放目录) [root@dbsrc oracle]# mkdir /data/goldengate (创建源端安装目录…

此文已由作者赵欣授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 自从oracle收购来了goldengate这款产品并以后对它做了一系列改进后,有非常多的用户使用它做数据迁移.etl抽取.复制容灾等等场景. 这里还有两个goldengate的另类用法,也是非常实用. 1.通过dataguard的备库+goldengate直接格式化输出操作的sql 大多数时候我们要检查某些表数据的变化是怎么产生的.何时产生的,在没有打开详细审计监控的时候一般都会使用logminer来操作…

1Oracle GoldenGate处理方法和支持的数据库Oracle GoldenGate在多样和异构的基础IT平台中,可以在事务级别上进行数据交换和数据操作.在保证交易完整性和最小的开销的条件下,来迁移你已提交的业务,在目前现有的it架构中.它的模块化架构,可以让你更灵活地提取和复制你所选定的数据记录,交易的变化以及变化的DDL(数据定义语言). Note:支持DDL,一定的拓扑结构,获取和传送不同的数据类型.详见Oracle GoldenGate installation and conf…

第1章...... GoldenGate概述 1.1         GoldenGate技术原理 1.2         GoldenGate可靠的复制 1.3         GoldenGate支持操作系统和数据库类型 第2章...... 安装GoldenGate 2.1          安装GoldenGate环境 2.2          分别在源数据库,目标数据库安装GoldenGate 2.2.1       下载GoldenGate 2.2.2       解压 2.2.3  …

GoldenGate公司简介 GoldenGate公司专注于数据同步领域,是实现数据同步技术的领导者.至2007年,在全球35个国家售出超过2000个许可证,客户分布在政府.银行.电信.证券.传媒.医疗等行业,大部分客户为全球500强企业,如中国海关总署.中国国家体育总局体彩管理中心.中国电子口岸.海南移动.美国银行.VISA.瑞银集团.澳大利亚海关.新加坡港务局等.GoldenGate是许多一流的数据库厂商如Oracle.Sybase.Microsoft.MySQL.Teradata等公司的认…

转自:http://blog.sina.com.cn/s/blog_a32eff28010136d9.html 日志或归档日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库同步.双活.GoldenGate TDM 软件能够在异构的IT基础结构(包含差点儿全部经常使用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制.其复制过程简图例如以下: 如上图所看到的,GoldenGate TDM的数据复制步骤例如以下: 利用捕捉进程(Capture Process)…

Oracle GoldenGate实现数据库同步 前言:最近刚好在弄数据库同步,网上查了些资料再加上自己整理了一些,做个分享! 一.GoldenGate的安装 官方文档: Oracle®GoldenGate安装和配置Oracle GoldenGate for Oracle数据库(https://docs.oracle.com/goldengate/1212/gg-winux/GIORA/toc.htm) 1.安装包准备 数据库版本:Oracle Database 11g Release 2(11…

使用 Oracle GoldenGate 在 Microsoft SQL Server 和 Oracle Database 之间复制事务 作者:Nikolay Manchev 分步构建一个跨这些平台的简单事务复制示例. 2011 年 8 月发布 大多数关注数据复制的 Oracle 技术专家都熟悉 Oracle Streams.在 2009 年之前,Streams 一直是推荐使用的最流行的 Oracle 数据分发技术. 2009 年 7 月,Oracle 收购了 GoldenGate 这一数据库复…

ref:http://blog.sina.com.cn/s/blog_5d29418d0101cvyx.html 1 简介 Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步.Oracle Golden Gate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统.在线报表.实时…

Oracle GoldenGate学习之Goldengate介绍 (2012-10-02 17:07:27) 标签: 检查点 数据传输 队列 进程 分类: Goldengate Goldengate介绍 GoldenGate TDM(交易数据管理)软件是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库同步.双活.GoldenGate TDM 软件可以在异构的IT基础结构(包括几乎所有常用操作系统平台…

上一文章 <__Win7 配置OGG(Oracle GoldenGate).docx>定下了 两个目标: 目标1: 给安装的Oracle_11g 创建 两个用户 admin 和 root . admin 对应了 ADMIN 结构,创建了一个 TB_ TEST表. root 对应了 ROOT 结构,也创建一个 TB_ TEST (表结构一摸一样). 当 admin.TBTEST 中的表数据 变化时,root.TB TEST 的表数据 自动同步(备份) PS. 实际的 容灾备份,肯定是 两个 Or…