oracle logminer全解析

今天写篇原创的，把在工作中遇到的logminer问题总结下

（1）简介：

logminer 工具即可以用来分析在线，也可以用来分析离线日志文件，即可以分析本身自己数据库的重作日志文件，也可以用来分析其他数据库的重作日志文件。 
总的说来，logminer工具的主要用途有： 
　 1． 跟踪数据库的变化：可以离线的跟踪数据库的变化，而不会影响在线系统的性能。 
　 2． 回退数据库的变化：回退特定的变化数据，减少point-in-time recovery的执行。 
　 3． 优化和扩容计划：可通过分析日志文件中的数据以分析数据增长模式。

说到这里，不得不提一下oracle日志的问题，oracle日志分为在线redo日志和离线归档日志两种，在线redo日志是必须的，离线归档日志可以设置是否归档，从而离线归档日志可以不存在，但如果没有离线归档日志，那么是没有什么实际价值的，如果数据库崩溃，就不能进行回滚和回复了

(1)可以通过select * from v$log查看在线redo日志。

 

其中archived字段显现的是否开启归档，如上所示，未开启归档模式，实际就没有实际价值,可以启动归档日志，可以看另一篇博客，在此不再说明

在线redo日志，有current，active和inactive字段，在线redo日志的切换原理是，正在修改的日志会标记为current，例如redo1，redo2，redo3，当redo1是current时，会一直写redo1日志，当该日志写满后会修改redo2日志为current，redo1日志标记变为active，此时会对redo1进行归档，当归档完成后，变为inactive标记，current会循环着变化，当在变到redo1时就会覆盖掉以前的内容。因此说开启归档日志非常重要。

(2) 用select * from v$logfile;确定在线redo日志位置

注意：这里提示一点，在linux和windows系统的oracle中，在线redo日志为。。。。。.log，以.log后缀结尾，而在AIX中是没有后缀的，在后面我会说这回有问题。

（3）使用select * from v$archived_log;查看离线归档日志位置。

 归档日志在linux下是以.dbf后缀结尾

（4）开始介绍使用logminer工具（整个logminer都必须是sysdba运行）

　要安装logminer工具，必须首先要运行下面这样两个脚本， 
　　　l  $ORACLE_HOME/rdbms/admin/dbmslm.sql
　　　2 $ORACLE_HOME/rdbms/admin/dbmslmd.sql

        3 $ORACLE_HOME/rdbms/admin/dbmslms.sql
　　这两个脚本必须均以SYS用户身份运行。其中第一个脚本用来创建DBMS_LOGMNR包，该包用来分析日志文件。第二个脚本用来创建DBMS_LOGMNR_D包，该包用来创建数据字典文件。 (即必须以sysdba运行）

 

设置生成数据字典位置：alter system set UTL_FILE_DIR='/oracle' scope=spfile;设置完成后必须重启数据库：shutdown immediate;        //如果不好用就shutdown abort; 或者shutdown force；强行关闭

startup;开启数据库

 

生成数据字典：execute dbms_logmnr_d.build('dict.ora','/oracle');运行后将在/oracle 下生成数据字典

 

添加日志文件：（这里添加的是AIX下的在线redo日志）

execute dbms_logmnr.add_logfile(LogFileName=>'/dev/rredo1_1',Options=>dbms_logmnr.new);
execute dbms_logmnr.add_logfile(LogFileName=>'/dev/rredo1_2',Options=>dbms_logmnr.addfile);

execute dbms_logmnr.start_logmnr(DictFileName=>'/oracle/dict.ora');               //开启logminer工具

随后可以在v$logmnr_contents查看内容了，查看完成后使用：

execute dbms_logmnr.end_logmnr;   //关闭logminer日志

 

这里介绍下logminer原理，logminer的原理是以数据字典为基础加载redo日志文件，当运行dbms_logmnr.start_logmnr()后，会开启，但不会扫描分析日志，logminer是在单进程PGA中运行，也就是只有在运行logminer工具的窗口中v$logmnr_contents视图存在，新开启SQLwindows查询该表时不存在的，v$logminer生存期直到调用了end，会清空PGA。同时v$logmnr_contents采用的是动态扫描的方法，只有当有select 。。。。from v$log_contents动作时，logminer工具会开始从头加载添加的日志文件，直到所有日志文件添加完成，或者是达到指定的日期（这个在后面说），所以v$logmnr_contents是动态生成的，因为这个原理，如果想以create table my_logmnr_contents as select * from v$logmnr_contents，可能就会出现死循环问题，注意这里是分析的在线redo日志，create table my_logmnr_contents也会写到日志中，而v$logmnr_contents是动态的，也就是create table my_logmnr_contents的日志也会出现在v$logmnr_contents里，这就会造成死循环。注意，不是所有情况都会造成死循环。举例说明：

redo1                          current

redo2                          inactive

redo3                          inactive

redo4                          inactive

如果把四个日志都加载进去，就一定会造成死循环，会导致current非常快速的切换日志，这是非常严重的后果，redo日志切换频繁会出的问题可以自行查看，最终将导致create table my_logmnr_contents表的失败，

但是如果加载单独的日志，比如redo1日志，因为此时是current，logminer建自己的表后，current会切换，如果切换一圈又回到自身而create table还没建完，就会出错，而如果没有在切回来，就不会错，在举个例子，如果加载的是redo2日志，此时为inactive，忘了说了将v$logmnr_contents复制成静态表会大量增加日志，因此就会造成日志切换过快，加载redo2日志，current会很快切换redo2日志，这样logminer也会出错，总结就是如果一个日志在用logminer分析时，如果该日志标记改变，用create table就会不成功，这里有个例外就是如果不开启归档模式，不管如何切换，复制自己的logminer表都可以成功。（这些都是经验总结啊，说多了都是泪）

 

总之，用logminer解析日志，如果想存成自己的静态表，会导致日志增加非常迅速，这点一定要注意。所以，一个方法就是只查询，不产生自己的静态表，二就是尽量加上日期等进行限制。加日期的方法如下：

　  
分析重作日志中SCN≥StartScn日志文件部分
EndScn 
数字型（Number） 
0
分析重作日志中SCN≤EndScn日志文件部分
StartTime

日期型(Date)
1998-01-01
分析重作日志中时间戳≥StartTime的日志文件部分
EndTime 
日期型(Date)
2988-01-01
分析重作日志中时间戳≤EndTime的日志文件部分
DictFileName 
字符型(VARCHAR2)
0
字典文件，该文件包含一个数据库目录的快照。使用该文件可以使得到的分析结果是可以理解的文本形式，

4、观察分析结果（v$logmnr_contents）
一共有四个表，详细说明如下
V$LOGMNR_DICTIONARY-------查询使用的数据字典文件 
V$LOGMNR_PARAMETERS-------查询当前LogMiner设定的参数 
V$LOGMNR_LOGS-------查询分析的日志文件 
V$LOGMNR_CONTENTS-------日志文件的内容 

 

用logminer解析离线归档日志就没有那么多事了，方法同上，而且也可以建自己的表保存v$logmnr_contents，但日志同样会暴增，而且归档日志一般是按照一定的规则生成，不像在线redo日志，就那么几个是固定的。

 

这里在说一下工作中遇到的问题，因为日志暴增的问题，想到的就是将服务器的字典文件，在线redo日志通过ssh或者ftp等方式，发送到远程的另一个机器中进行分析，同时在远程的服务器上生成自己的v$logmnr_contents日志，这样就可以避免生产库日志暴增的问题，但是也遇到了其他问题：

首先：原计划想分析在线日志文件，当一个日志由current变成非current时，说明该日志以满，通过scp发送到远程，但是AIX上的在线redo日志不知道什么原因，不能发送到windows服务器上，字典文件可以发送成功，但是日志怎么都不行，但是在centos上的oracle的在线redo日志就可以发送到windows服务器上，可能是由于没有后缀，不能识别该文件，用ftp也不可以。但是可以将归档日志成功发送到windows服务器端。

其次：发送文件将涉及到断网的情况，如何能够在判断归档日志发送到哪个，是否有新增归档日志，断网后连网如何保证同步传输，不会丢失的问题。这些还没有成功解答，成功后会有后续介绍。

 

这里写下远程分析logminer注意事项：

　我们可以利用logminer日志分析工具来分析其他数据库实例产生的重作日志文件，而不仅仅用来分析本身安装logminer的数据库实例的redo logs文件。使用logminer分析其他数据库实例时，有几点需要注意：

　　1. logminer必须使用被分析数据库实例产生的字典文件，而不是安装logminer的数据库产生的字典文件，另外必须保证安装logminer数据库的字符集和被分析数据库的字符集相同。

　　2. 被分析数据库平台必须和当前logminer所在数据库平台一样，也就是说如果我们要分析的文件是由运行在UNIX平台上的Oracle 9i产生的，那么也必须在一个运行在UNIX平台上的Oracle实例上运行logminer，而不能在其他如Microsoft NT上运行logminer。当然两者的硬件条件不一定要求完全一样。

　　3. logminer日志分析工具仅能够分析Oracle 8以后的产品，对于8以前的产品，该工具也无能为力