使用Oracle Logminer同步Demo 1 Demo介绍 1.1 Demo设想 前面介绍了Oracle LogMiner配置使用以及使用LogMiner进行解析日志文件性能,在这篇文章中将利用LogMiner进行数据同步,实现从源目标数据库到目标数据库之间的数据同步.由于LogMiner支持的版本是8.1及以上,所以进行数据同步的Oracle数据库版本也必须是8.1及以上. 当然在本文中介绍的是LogMiner进行数据同步例子,也可以利用LogMiner进行数据审计.数据操作追踪等功能,…

使用Oracle Logminer同步Demo 1 Demo介绍 1.1 Demo设想 前面介绍了Oracle LogMiner配置使用以及使用LogMiner进行解析日志文件性能,在这篇文章中将利用LogMiner进行数据同步,实现从源目标数据库到目标数据库之间的数据同步.由于LogMiner支持的版本是8.1及以上,所以进行数据同步的Oracle数据库版本也必须是8.1及以上. 当然在本文中介绍的是LogMiner进行数据同步例子,也可以利用LogMiner进行数据审计.数据操作追踪等功能,…

第 1 页 共 20 页 出自石山园主,博客地址:http://www.cnblogs.com/shishanyuan LogMiner 配置使用手册 1 Logminer 简介 1.1 LogMiner介绍 Oracle LogMiner 是 Oracle 公司从产品 8i 以后提供的一个实际非常有用的分析工具,使用该工具可以轻松获得 Oracle 在线/归档日志文件中的具体内容,特别是该工具可以分析出所有对于数据库操作的 DML 和 DDL 语句.该工具特别适用于调试.审计或者回退某个特定的…

最近开发Oracle数据同步功能,做了些调研和验证,这个工作过去有段时间,怕时间长了忘记,故用博客共享出来.在这系列中共写了三篇文章,第一篇是写LogMiner配置及使用,第二篇是测试了LogMiner读取日志文件性能,验证可行性,第三篇是使用LogMiner进行数据同步Demo,在该Demo中通过LogMiner在源数据库读取在线/归档日志文件,然后在目标数据库上执行. 以下为三篇文章PDF文件: 1.1.OracleLogminer配置使用.pdf 2.2.OracleLogminer性能测…

Oracle Logminer性能测试 1 测试介绍 1.1 测试目的 通过模拟不同环境下LogMiner解析联机/归档日志文件运行情况,通过测试所获取的数据分析,通过对以下两点的验证来确定通过LogMiner技术技术可行性: 1.在日志文件不同大小.不同数据压力情况下对数据库服务器内存.CPU的影响: 2.并通过查询LogMiner的动态表和实际物理表中数据数目是否一致,验证其准确性. 1.2 测试环境 用途及说明 硬件配置 软件配置 其它说明 数据库服务器 型号:T420i 处理器:Inte…

LogMiner配置使用手册 1 Logminer简介 1.1 LogMiner介绍 Oracle LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具,使用该工具可以轻松获得Oracle 在线/归档日志文件中的具体内容,特别是该工具可以分析出所有对于数据库操作的DML和DDL语句.该工具特别适用于调试.审计或者回退某个特定的事务. LogMiner分析工具实际上是由一组PL/SQL包和一些动态视图(Oracle8i内置包的一部分)组成,它作为Oracle数据库的一…

(本教程展示了Windows环境的oracle数据库主从同步,Linux环境一样也可以) (把主数据库obpm 和从数据库orcl 用实际的数据库名给替换掉) (配置主从同步后,再配置双向同步,可能会有表数据重叠,建议在配置双向同完成后,再导入表数据!) 备注:主.从数据库都用淡蓝色标记了,方便查找替换. 1.环境介绍 主数据库SID : obpm   操作系统 :    win 2003    IP地址   :  192.168.0.1    Global_name :    oracle v…

Oracle logminer 分析redo log Oracle 11g r2 RAC centos 6.5 设置时间格式 select to_char(sysdate,'yyyy-mm-dd hh24:mi:ss') date_format from dual ; 查看数据库是否开启补全日志功能 select SUPPLEMENTAL_LOG_DATA_MIN, SUPPLEMENTAL_LOG_DATA_PK, SUPPLEMENTAL_LOG_DATA_UI, SUPPLEMENTAL_…

Oracle数据库同步方案 1. 利用数据泵导出每表前2000行数据 expdp tvpay2/tvpay directory=dmp dumpfile=20170508.dmp include=table query="'where rownum<=2000'" #导出部分表 这几个表可能数据涉及到外键需要重新导入 expdp tvpay2/tvpay directory=TURN_HISTORY tables={ACCOUNT_BAL_FRZ_RECORD,ACCOUNT,A…

Elasticsearch 2.3.2 从oracle中同步数据   1         数据批量导入-oracle 采用 elasticsearch-jdbc 插件 安装.版本需要ES版本一致 最新 elasticsearch-jdbc 需要 jdk 1.8的支持 1.1   安装 elasticsearch-jdbc 下载elasticsearch-jdbc-2.3.2.0-dist.zip 并解压 将 oracle 驱动jar包 拷贝到elasticsearch-jdbc-2.3.2.0-…

1 引言     Oracle官方网: http://www.stanford.edu/dept/itss/docs/oracle/10g/server.101/b10727/strmover.htm     Oracle Stream功能是为提高数据库的高可用性而设计的,在Oracle 9i及之前的版本这个功能被称为Advance Replication.Oracle Stream利用高级队列技术,通过解析归档日志,将归档日志解析成DDL及DML语句,从而实现数据库之间的同步.这种技术可以将整…

简介: GreenPlum是一个基于PostgreSQL数据库开发的MPP架构的数据库仓库,适用于OLAP系统,支持50PB(1PB=1000TB)级海量数据的存储和处理. 背景: 目前有一个业务是需要将Oracle数据库中的基础数据增量同步到GreenPlum数据仓库,便于进行数据分析和处理. 规模: 每天产生60G左右数据,最大的表每天新增上亿条数据. 解决方法: 1)历史数据通过抽取导入的方式进行初始化. 2)增量更新数据: 使用GoldenGate将Oracle日志解析,传给GreenP…

现在随着项目集成的越来越深入,异构的数据多起来,数据同步的场景也用的多起来,我甚至在考虑是否忽悠用户上Oracle GoldenGate了,这样就可以不用考虑采用哪种同步方案了. 简单的介绍一下我们数据的业务,与边界交换网管相关,有两个表一个是缓冲表,另外一个是持久化表.在一个库类,不同的表名,看似很简单, 要不然也不会写出来,主要是其中有多个blob字段! 这样有如下个问题 1.Blob字段无法做数据变化监控,只能监控id 和其他字段的变化 2.Blob字段在入另外表时必须先iNSERT 后…

1.分别建立链接对数据库进行操作,SQLServer可以用ADO.NET,操作Oracle可以用OLEDB或者用System.Data.OracleClient(需要添加引用才能用) 这种方案的优点就是简单,各自写各自的数据库操作代码,缺点就是不能将两个数据库中的表直接进行联合查询,链接Oracle的每台机器必须安装OracleClient才可以使用. 2.使用同义词操作Oracle数据库. 这种方法的具体操作我在以前的文章中已经写清楚了,这样做一来可以进行表的联合查询二来不需要每台机器都安装O…

数据同步方案:--用DBLINK 创建与所需同步表的链接--------------------------------------------------------------------------------------------------参数 --dblink1 名称 --csys用户名称 --****     用户密码 --HOST 服务器地址 --CONNECT_DATA 实例---------------------------------------------------…

一.安装LogMiner1.@D:\app\product\11.1.0\db_1\RDBMS\ADMIN\dbmslm.sql 2.@D:\app\product\11.1.0\db_1\RDBMS\ADMIN\dbmslmd.sql 二.配置LogMiner文件夹 CREATE DIRECTORY utlfile AS 'D:\app\oradata\practice\LOGMNR'; alter system set utl_file_dir='D:\app\oradata\practic…

今天写篇原创的,把在工作中遇到的logminer问题总结下 (1)简介: logminer 工具即可以用来分析在线,也可以用来分析离线日志文件,即可以分析本身自己数据库的重作日志文件,也可以用来分析其他数据库的重作日志文件. 总的说来,logminer工具的主要用途有:  1． 跟踪数据库的变化:可以离线的跟踪数据库的变化,而不会影响在线系统的性能.  2． 回退数据库的变化:回退特定的变化数据,减少point-in-time recovery的执行.  3． 优化和扩容计划:可通过分析日志文件…

(一)LogMiner工具的作用Logminer工具主要用来分析redo log和archive log文件.通过该工具,可以轻松获得Oracle redo log和archive log文件的具体内容,甚至,可以获得用户对数据库进行的DDL.DML操作.另外还可分析得到一些需要回滚的sql语句.该工具特别适合调试.审计以及回退某个特定的对象.Logminer的作用总结如下:1.跟踪数据库的变化,可以离线跟踪数据的变化,而不会影响在线的性能:2.回退数据库的变化,回退特定的变化的数据,减少poi…

最近,利用一些时间对oracle数据库实时同步工具做了一些调研分析,主要关注了linkedin的databus和阿里的yugong两个中间件,其中databus需要在每个待同步的表上增加额外的列和触发器来实现,方案比较重,本文将着重分析一下阿里的yugong实现方案及给出分析调研报告. 1.yugong实时同步原理 使用了oracle的物化视图日志功能,类似于一个内部的触发器,原表的数据库需要对用户授权具有物化视图日志的创建和删除权限,关于物化视图日志的详细描述,可以参考下面的文章: http:…

在实际开发过程中,有时我们很有可能需要某个表的操作痕迹,或通过记录的SQL语句进行有目的性的数据恢复(此时POINT-IN-TIME恢复已经满足不了更细的粒度).或仅仅是查看: 据说Oracle8i之后,就提供了Logminer日志分析工具,虽然没有GUI图形化的界面,但也阻挡不了使用他的决心. Oracle11g下使用的情况: (1).数据库开启归档模式 在安装Logminer之前,我们先讲数据库设置为归档模式: 注意:如果开启日志分析功能,仅仅是分析系统默认的Redo01.log.Redo0…

随着各行业信息化水平的不断提升,各种各样的信息管理系统都被广泛使用,各系统间数据完全独立,形成了大量的信息孤岛.出于管理及决策方面的需求,实现各平台的数据同步是一个很迫切的需求,TreeSoft数据库管理系统整合了各主流数据库的数据访问及维护监控功能,实现了各主流数据库的互联互通,架起了一座数据同步的桥梁,便捷的实现了数据的同步交互. 一.首先在TreeSoft数据库中配置两个数据源信息 二.配置数据同步任务,并执行任务 三.同步结果数据查看确认 四.支持以下数据同步方案,好强大! 1.MySQ…

一.为了解决数据同步汇聚,数据分发,数据转换,数据维护等需求,TreeSoft将复杂的网状的同步链路变成了星型数据链路.     TreeSoft作为中间传输载体负责连接各种数据源,为各种异构数据库之间架起同步的桥梁,     实现一对多,多对多,多对一等复杂场景的数据同步.           TreeSoft已被广泛应用,每日处理大量大数据的数据维护.数据同步.数据汇聚.数据转换业务.     支持MySQL, MariaDB, Oracle, PostgreSQL, SQL Server,…

背景 最近在负责公司数据Oracle转PG:老平台数据库:Oracle11g:新平台数据库:PostgreSQL12.由于平台统计规则有变动:所以正在推广的游戏数据无法全部迁移过来:只能在老平台上运行.而支付数据接口升级:统一进入新平台数据PG.需要将部分支付数据由PostgreSQL同步到Oracle. 简而言之:PostgreSQL增量同步表到Oracle.首先声明我不是反“去IOE”潮流.我想到两种方案 采用OGG  可以参考 OGG For Oracle To PostgreSQL 采用…

1.how to find invalid status stored procedure and recompile them? SELECT OBJECT_NAME , status FROM user_objects WHERE OBJECT_TYPE = 'PROCEDURE'; Alter procedure schme.procedurename compile; 缺少练习的学习不是完整的学习,练习才是学习,总结才有思考. SELECT OBJECT_NAME , STATUS FR…

刚学Oracle,学习学习别人的代码.这段代码时从下面的博文中摘取的:http://www.cnblogs.com/mq0036/p/4155774.html declare l_dept ; currtime date := sysdate; l_nam ) :),'yyyymmdd'); -- to_char(sysdate,'MM')-13; type num_list ) of number; arr_id num_list :,,,,); begin l_dept :; dbms_ou…

Table of Contents 1. LOGMNR简介 2. 创建数据字典 2.1. 外部文件存储数据字典 2.2. redo log 存储数据字典 3. 添加需要分析的文件 4. 开始分析文件 5. 开始分析内容 6. 结束日志分析 1 LOGMNR简介 logmnr 可以用来分析redo 日志和归档文件.将redo日志或者归档文件中的内容提取出来,供DBA进行操作分析历史操作,比如进行误删除操作的恢复. LOGMNR 分析日志,需要创建一个数据字典,这个数据字典可以存储在外部文件(ext…

1,在目标数据库新增服务器对象->连接到服务器->新建服务器连接 2,编写数据同步业务PROC ALTER PROC TestProc AS BEGIN --打开完全事物回滚 SET XACT_ABORT ON; SET NOCOUNT ON; --开始异常拦截 BEGIN TRY --开始事物 BEGIN TRANSACTION; PRINT '开始同步数据'; MERGE INTO dbo.TestTable AS T USING ( SELECT ROW_NUMBER() OVER (O…

Oracle EBS APP & DB 打补丁过程简述l例子: 打 Patch#   11843100:R12.CAC.B 打PATCH之前先查询一下是否已经有了这个PATCH. SELECT  *  FROM   ad_applied_patches where  patch_name  in  ('11843100','') ;SELECT  *  FROM   ad_bugs  where  bug_number = 11843100 ; Pre-install TasksYou must…

ORA-00257: archiver error. Connect internal only, until freed 查看归档日志序列 SQL> archive log list; Automatic archival Enabled #自动归档 Archive destination USE_DB_RECOVERY_FILE_DEST #归档目录为指定的闪回恢复区 Oldest online #最旧的在线日志序列 #下一个日志序列归档 #当前日志序列 归档日志默认是保存在oracle系统…

该方法没试过,先记下再说 1.软件版本说明: Goldengate 12c 12.2.0.1 for Oracle(源端) Goldengate 12c 12.3.0.1 for Bigdata (目标端) Hadoop 2.6.4(安装参考我的博客 https://blog.csdn.net/Return42/article/details/79786612) Oracle 12c(安装参考我的博客 https://blog.csdn.net/return42/article/details/…