摘要 最近由于工作需要,花时间研究了一下Oracle CDC功能和LogMiner工具,希望能找到一种稳定.高效的技术来实现Oracle增量数据抽取功能.以下是个人的部分学习总结和部署实践. 1. Oracle CDC 简介 很多人都认为,只要是涉及到数据库数据复制和增量数据抽取,都是需要购买收费软件的.实际上,我们通过Oracle提供的CDC和LogMiner等免费工具也能实现数据库数据复制和增量数据抽取,各种数据复制软件只是使得获取增量数据更加便捷,或者是可以支持更多的扩展功能(例如:异构数…

一.CDC简介 Oracle CDC (Change Data Capture)变化数据捕获,是一种数据增量处理技术.CDC特性是在Oracle9i数据库中引入的.CDC能够帮助你识别从上次提取之后发生变化的数据.利用CDC,在对源表进行INSERT.UPDATE或DELETE等操作的同时就可以提取数据,并且变化的数据被保存在数据库的变化表中.这样就可以捕获发生变化的数据,然后利用数据库视图以一种可控的方式提供给目标系统. CDC体系结构基于发布者/订阅者模型.发布者捕捉变化数据并提供给订阅者.…

一.什么是在线日志文件 默认情况下redo的块大小是磁盘的扇区大小,通常是512字节,但是现在很多磁盘开始支持4k的扇区,oracle能自动识别并使用4k的大小,但是使用4k的redo block会有redo 浪费产生. SELECT name, value FROM v$sysstat WHERE name = ‘redo wastage’; 如果使用的是仿真模式的磁盘,4k的扇区模拟512的扇区,你可以指定512的块来覆盖默认生成的4k的块,但是如果redo的写入与4k扇区的开头不一致,会导…

ORACLE DG在线日志修改 SQL>select SEQUENCE#,first_time,next_time,APPLIED, THREAD# from v$archived_log order by  SEQUENCE#,THREAD#; select * from v$logfile order by GROUP# ; SQL> select GROUP#,BYTES/1024/1024 from v$log; SQL> select GROUP#,BYTES/1024/102…

Oracle RACDB 增加.删除 在线重做日志组 select * from v$log;select * from v$logfile ; ----删除日志组:alter database drop logfile group 19; -- 日志切换alter system switch logfile;  —日志切换alter system checkpoint ;  — 将active 的日志变为 inactive -- 增加日志组 ----要求:每个节点6个组,每个组两个成员 ---…

本文适合有 Java 基础知识的人群 作者:HelloGitHub-Salieri HelloGitHub 推出的<讲解开源项目>系列. 项目地址: https://github.com/KFCFans/PowerJob PowerJob 的在线日志一直是饱受好评的一个功能,它能在前端界面实时展示开发者在任务处理过程中输出的日志,帮助开发者更好的监控任务的执行情况.其功能展示如下图所示(前端界面略丑,请自动忽略-). 在线日志这个功能,乍一听很简单,无非 worker 向 server 发日志…

Oracle数据库简介 一.介绍 Oracle数据库系统是美国Oracle(甲骨文)公司提供的以分布式数据库为核心的一组软件产品,是目前最流行的客户/服务器(Client/Server,C/S)或浏览器/服务器(Browser/Server,B/S)体系结构的数据库之一. Oracle数据库是目前世界上使用最为广泛的数据库管理系统,作为一个通用的数据库系统,它具有完整的数据管理功能:作为一个关系数据库,它是一个完备关系的产品:作为分布式数据库它实现了分布式处理功能. 截止至2015年06月,Or…

oracle体系结构简介 一.物理存储结构    1.数据文件       存放数据库数据,以dbf为扩展名.将数据放在多个数据文件中,       再将数据文件分放在不同的硬盘中,可以提高存取速度.数据文       件由数据块构成,块大小由数据库创建时确定. 2.重做日志文件,以rdo为扩展名.含对数据库所做的更改记录,       这样万一出现故障可以启用数据恢复.一个数据库至少需要两个       重做日志文件.重做日志在日志文件中以循环的方式工作.有       归档日志模式和非归档日…

Oracle数据库简介 Oracle Database,又名Oracle RDBMS,或简称Oracle.是甲骨文公司的一款关系数据库管理系统.它是在数据库领域一直处于领先地位的产品.可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好.使用方便.功能强,适用于各类大.中.小.微机环境.它是一种高效率.可靠性好的 适应高吞吐量的数据库解决方案. ORACLE数据库系统是美国ORACLE公司(甲骨文)提供的以分布式数据库为核心的一组软件产品,是目前最流行的客户/服务器(…

一说到写日志,大家可能推荐一堆的开源日志框架,如:Log4Net.NLog,这些日志框架确实也不错,比较强大也比较灵活,但也正因为又强大又灵活,导致我们使用他们时需要引用一些DLL,同时还要学习各种用法及配置文件,这对于有些小工具.小程序.小网站来说,有点“杀鸡焉俺用牛刀”的感觉,而且如果对这些日志框架不了解,可能输出来的日志性能或效果未毕是与自己所想的,鉴于这几个原因,我自己重复造轮子,编写了一个轻量级的异步写日志的实用工具类(LogAsyncWriter),这个类还是比较简单的,实现思路也很…