LogMiner配置使用手册
LogMiner配置使用手册
1 Logminer简介
1.1 LogMiner介绍
Oracle LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具,使用该工具可以轻松获得Oracle 在线/归档日志文件中的具体内容,特别是该工具可以分析出所有对于数据库操作的DML和DDL语句。该工具特别适用于调试、审计或者回退某个特定的事务。
LogMiner分析工具实际上是由一组PL/SQL包和一些动态视图(Oracle8i内置包的一部分)组成,它作为Oracle数据库的一部分来发布是8i产品提供的一个完全免费的工具。但该工具和其他Oracle内建工具相比使用起来显得有些复杂,主要原因是该工具没有提供任何的图形用户界面(GUI)。
1.2 LogMiner作用
在Oracle 8i之前,Oracle没有提供任何协助数据库管理员来读取和解释重作日志文件内容的工具。系统出现问题,对于一个普通的数据管理员来讲,唯一可以作的工作就是将所有的log文件打包,然后发给Oracle公司的技术支持,然后静静地等待Oracle 公司技术支持给我们最后的答案。然而从8i以后,Oracle提供了这样一个强有力的工具--LogMiner。
LogMiner 工具即可以用来分析在线,也可以用来分析离线日志文件,即可以分析本身自己数据库的重作日志文件,也可以用来分析其他数据库的重作日志文件。
总的说来,LogMiner工具的主要用途有:
1、跟踪数据库的变化:可以离线的跟踪数据库的变化,而不会影响在线系统的性能。
2、回退数据库的变化:回退特定的变化数据,减少point-in-time recovery的执行。
3、优化和扩容计划:可通过分析日志文件中的数据以分析数据增长模式
1.3 使用详解
1.3.1 安装LogMiner
在使用LogMiner之前需要确认Oracle是否带有进行LogMiner分析包,一般来说Windows操作系统Oracle10g以上都默认包含。如果不能确认,可以DBA身份登录系统,查看系统中是否存在运行LogMiner所需要的dbms_logmnr、dbms_logmnr_d包,如果没有需要安装LogMiner工具,必须首先要运行下面这样两个脚本:
1、$ORACLE_HOME/rdbms/admin/dbmslm.sql
2、$ORACLE_HOME/rdbms/admin/dbmslmd.sql.
这两个脚本必须均以DBA用户身份运行。其中第一个脚本用来创建DBMS_LOGMNR包,该包用来分析日志文件。第二个脚本用来创建DBMS_LOGMNR_D包,该包用来创建数据字典文件。
创建完毕后将包括如下过程和视图:
类型 |
过程名 |
用途 |
过程 |
Dbms_logmnr_d.build |
创建一个数据字典文件 |
过程 |
Dbms_logmnr.add_logfile |
在类表中增加日志文件以供分析 |
过程 |
Dbms_logmnr.start_logmnr |
使用一个可选的字典文件和前面确定要分析日志文件来启动LogMiner |
过程 |
Dbms_logmnr.end_logmnr |
停止LogMiner分析 |
视图 |
V$logmnr_dictionary |
显示用来决定对象ID名称的字典文件的信息 |
视图 |
V$logmnr_logs |
在LogMiner启动时显示分析的日志列表 |
视图 |
V$logmnr_contents |
LogMiner启动后,可以使用该视图在SQL提示符下输入SQL语句来查询重做日志的内容 |
1.3.2 创建数据字典文件
LogMiner工具实际上是由两个新的PL/SQL内建包((DBMS_LOGMNR 和 DBMS_ LOGMNR_D)和四个V$动态性能视图(视图是在利用过程DBMS_LOGMNR.START_LOGMNR启动LogMiner时创建)组成。在使用LogMiner工具分析redo log文件之前,可以使用DBMS_LOGMNR_D 包将数据字典导出为一个文本文件。该字典文件是可选的,但是如果没有它,LogMiner解释出来的语句中关于数据字典中的部分(如表名、列名等)和数值都将是16进制的形式,我们是无法直接理解的。例如,下面的sql语句:
INSERT INTO dm_dj_swry (rydm, rymc) VALUES (00005, '张三');
LogMiner解释出来的结果将是下面这个样子:
insert into Object#308(col#1, col#2) values (hextoraw('c30rte567e436'), hextoraw('4a6f686e20446f65'));
创建数据字典的目的就是让LogMiner引用涉及到内部数据字典中的部分时为他们实际的名字,而不是系统内部的16进制。数据字典文件是一个文本文件,使用包DBMS_LOGMNR_D来创建。如果我们要分析的数据库中的表有变化,影响到库的数据字典也发生变化,这时就需要重新创建该字典文件。另外一种情况是在分析另外一个数据库文件的重作日志时,也必须要重新生成一遍被分析数据库的数据字典文件。
创建数据字典文件之前需要配置LogMiner文件夹:
1 CREATE DIRECTORY utlfile AS 'D:\oracle\oradata\practice\LOGMNR';
2 alter system set utl_file_dir='D:\oracle\oradata\practice\LOGMNR' scope=spfile;
创建字典文件需要以DBA用户登录,创建到上面配置好的LogMiner文件夹中:
1 CONN LOGMINER/ LOGMINER@PRACTICE AS SYSDBA
2 EXECUTE dbms_logmnr_d.build(dictionary_filename => 'dictionary.ora', dictionary_location =>'D:\oracle\oradata\practice\LOGMNR');
1.3.3 加入需分析的日志文件
Oracle的LogMiner可以分析在线(online)和归档(offline)两种日志文件,加入分析日志文件使用dbms_logmnr.add_logfile过程,第一个文件使用dbms_logmnr.NEW参数,后面文件使用dbms_logmnr.ADDFILE参数。
1、创建列表
1 BEGIN
2 dbms_logmnr.add_logfile(logfilename=>'D:\oracle\oradata\practice\REDO03.LOG',options=>dbms_logmnr.NEW);
3 END;
4 /
2、添加其他日志文件到列表
1 BEGIN
2 dbms_logmnr.add_logfile(logfilename=>'D:\oracle\oradata\practice\ARCHIVE\ARC00002_0817639922.001',options=>dbms_logmnr.ADDFILE);
3 dbms_logmnr.add_logfile(logfilename=>'D:\oracle\oradata\practice\ARCHIVE\ARC00003_0817639922.001',options=>dbms_logmnr.ADDFILE);
4 END;
5 /
1.3.4 使用LogMiner进行日志分析
Oracle的LogMiner分析时分为无限制条件和限制条件两种,无限制条件中分析所有加入到分析列表日志文件,限制条件根据限制条件分析指定范围日志文件。
1、无限制条件
EXECUTE dbms_logmnr.start_logmnr(dictfilename=>'D:\oracle\oradata\practice\LOGMNR\dictionary.ora');
2、有限制条件
通过对过程DBMS_ LOGMNR.START_LOGMNR中几个不同参数的设置(参数含义见表1),可以缩小要分析日志文件的范围。通过设置起始时间和终止时间参数我们可以限制只分析某一时间范围的日志。
参数 |
参数类型 |
默认值 |
含义 |
StartScn |
数字型 |
0 |
分析重作日志中SCN≥StartScn日志文件部分 |
EndScn |
数字型 |
0 |
分析重作日志中SCN≤EndScn日志文件部分 |
StartTime |
日期型 |
1998-01-01 |
分析重作日志中时间戳≥StartTime的日志文件部分 |
EndTime |
日期型 |
2988-01-01 |
分析重作日志中时间戳≤EndTime的日志文件部分 |
DictFileName |
字符型 |
字典文件该文件包含一个数据库目录的快照。 |
如下面的例子,我们仅仅分析2013年6月8日的日志,:
EXECUTE dbms_logmnr.start_logmnr(
DictFileName => dictfilename=>'D:\..\practice\LOGMNR\dictionary.ora',
StartTime =>to_date('2013-6-8 00:00:00','YYYY-MM-DD HH24:MI:SS')
EndTime =>to_date(''2013-6-8 23:59:59','YYYY-MM-DD HH24:MI:SS '));
也可以通过设置起始SCN和截至SCN来限制要分析日志的范围:
EXECUTE dbms_logmnr.start_logmnr(
DictFileName =>'D:\..\practice\LOGMNR\dictionary.ora',
StartScn =>20,
EndScn =>50);
1.3.5 观察分析结果(v$logmnr_contents)
到现在为止,我们已经分析得到了重作日志文件中的内容。动态性能视图v$logmnr_contents包含LogMiner分析得到的所有的信息。
SELECT sql_redo FROM v$logmnr_contents;
如果我们仅仅想知道某个用户对于某张表的操作,可以通过下面的SQL查询得到,该查询可以得到用户LOGMINER对表EMP所作的一切工作。
SELECT sql_redo FROM v$logmnr_contents WHERE username='LOGMINER' AND tablename='EMP';
序号 |
名称 |
含义 |
1 |
SCN |
特定数据变化的系统更改号 |
2 |
TIMESTAM |
数据改变发生的时间 |
3 |
COMMIT_TIMESTAMP |
数据改变提交的时间 |
4 |
SEG_OWNER |
数据发生改变的段名称 |
5 |
SEG_NAME |
段的所有者名称 |
6 |
SEG_TYPE |
数据发生改变的段类型 |
7 |
SEG_TYPE_NAME |
数据发生改变的段类型名称 |
8 |
TABLE_SPACE |
变化段的表空间 |
9 |
ROW_ID |
特定数据变化行的ID |
10 |
SESSION_INFO |
数据发生变化时用户进程信息 |
11 |
OPERATION |
重做记录中记录的操作(如INSERT) |
12 |
SQL_REDO |
可以为重做记录重做指定行变化的SQL语句(正向操作) |
13 |
SQL_UNDO |
可以为重做记录回退或恢复指定行变化的SQL语句(反向操作) |
需要强调一点的是,视图v$logmnr_contents中的分析结果仅在我们运行过程'dbms_logmrn.start_logmnr'这个会话的生命期中存在。这是因为所有的LogMiner存储都在PGA内存中,所有其他的进程是看不到它的,同时随着进程的结束,分析结果也随之消失。
最后,使用过程DBMS_LOGMNR.END_LOGMNR终止日志分析事务,此时PGA内存区域被清除,分析结果也随之不再存在。
2 数据同步Oracle数据库设置
Oracle数据使用LogMiner查看执行SQL语句,其中需要进行如下四步骤是指:
1、设置数据库为归档模式;
2、设置LogMiner字典文件路径等;
3、创建数据同步用户(如用户名为LOGMINER,该用户拥有DBA权限);
4、验证配置是否成功;
2.1 设置数据库为归档模式
2.1.1 查看数据库是否为归档模式
使用SqlPlus或者命令行界面连接数据库(以下以命令行界面操作)
--进入SqlPlus程序
sqlplus /nolog
--使用DBA用户登录到源数据库中
conn system/system@practic as sysdba
--查看PRACTICE数据库是否处于归档模式
1 SELECT dbid, name, log_mode FROM v$database;
2 或者
3 ARCHIVE LOG LIST;
如果显示数据库显示为归档模式,则设置数据库为归档模式可跳过;如果显示数据库为非归档模式则需要进行以下设置。
上图显示数据库未进行归档,需要进行归档设置。
2.1.2 设置归档模式
创建ARCHIVE文件夹,ARCHIVE文件夹路径根据所在服务器进行设置,在下面操作中设置为" D:\oracle\oradata\practice\ARCHIVE"
--设置归档日志文件路径
ALTER SYSTEM SET log_archive_dest="D:\oracle\oradata\practice\ARCHIVE";
--日志文件名称格式:
ALTER SYSTEM SET log_archive_format="ARC%S_%R.%T" SCOPE=SPFILE;
--修改完毕后,关闭数据库,以MOUNT方式启动
1 SHUTDOWN IMMEDIATE;
2 STARTUP MOUNT;
--设置数据库为归档模式
ALTER DATABASE ARCHIVELOG;
(注意:如果重启数据失败,请参考第4章节异常问题处理)
2.1.3 验证归档是否设置成功
--查看PRACTICE数据库是否处于归档模式
1 SELECT dbid, name, log_mode FROM v$database;
2 或者
3 ARCHIVE LOG LIST;
--验证参数设置是否起作用
SELECT dest_id, status, destination FROM v$archive_dest WHERE dest_id =1;
--在参数文件设置已经起作用,打开数据库
ALTER DATABASE OPEN;
2.2 LogMiner设置
2.2.1 创建LogMiner文件夹
创建LOGMNR文件夹,路径为"D:\oracle\oradata\practice\LOGMNR"
2.2.2 设置LogMiner字典文件路径
--创建数据字典文件
1 CREATE DIRECTORY utlfile AS 'D:\oracle\oradata\practice\LOGMNR';
2 alter system set utl_file_dir='D:\oracle\oradata\practice\LOGMNR' scope=spfile;
2.2.3 开启LogMiner日志补充模式
--创建数据字典文件
alter database add supplemental log data;
2.2.4 重启数据库验证
--修改完毕后,关闭数据库,以MOUNT方式启动
1 SHUTDOWN IMMEDIATE;
2 STARTUP;
--查看Logminer文件夹是否设置
SHOW PARAMETER utl_file_dir;
2.3 创建数据同步用户
在数据库创建LOGMINER用户,该用户需要具有DBA权限
--在源数据库创建LOGMINER用户,并赋予DBA权限
1 CREATE USER LOGMINER IDENTIFIED BY LOGMINER;
2 GRANT CONNECT, RESOURCE,DBA TO LOGMINER;
3 使用LogMiner读取日志例子
在使用LogMiner读取归档/在线日志需要按照第2章节进行设置,设置完毕后可以对归档和在线日志进行分析。特别是需要开启LogMiner日志补充模式,如果没有开始LogMiner补充模式将无法查看DDL语句,按照测试结果看,只有开始LogMiner日志补充模式后,才能查看DDL语句,在此之前进行DDL将无法进行查看。
3.1 使用LogMiner读取在线日志
3.1.1 测试数据准备
--以LOGMINER用户登录(非DBA登录)创建AAAAA表(Oracle11g请注意用户名、密码大小写)
1 CONNECT LOGMINER/LOGMINER@PRACTICE
2 CREATE TABLE AAAAA(field001 varchar2(100));
3 INSERT INTO AAAAA (field001) values ('000000');
4 INSERT INTO AAAAA (field001) values ('0000010');
5 commit;
3.1.2 创建数据字典文件
数据库对象发生变化,需要重新创建数据字典文件
--以LOGMINER用户(DBA权限)登录,生成字典文件
1 CONN LOGMINER/LOGMINER@PRACTICE AS SYSDBA
2 EXECUTE dbms_logmnr_d.build(dictionary_filename => 'dictionary.ora', dictionary_location =>'D:\oracle\oradata\practice\LOGMNR');
3.1.3 确认当前处于联机状态的日志文件
--需要确认当前处于联机状态的日志文件
SELECT group#, sequence#, status, first_change#, first_time FROM V$log ORDER BY first_change#;
从上图可以看出在线日志REDO03处于ACTIVE状态中
3.1.4 加入需分析的日志文件
--加入解析在线日志文件
1 BEGIN
2 dbms_logmnr.add_logfile(logfilename=>'D:\oracle\oradata\practice\REDO03.LOG',options=>dbms_logmnr.NEW);
3 END;
4 /
3.1.5 使用LogMiner进行分析
--启动LogMiner进行分析
EXECUTE dbms_logmnr.start_logmnr(dictfilename=>'D:\oracle\oradata\practice\LOGMNR\dictionary.ora');
3.1.6 观察分析结果
--查询相关操作日志
1 SELECT sql_redo, sql_undo, seg_owner
2 FROM v$logmnr_contents
3 WHERE seg_name='AAAAA'
4 AND seg_owner='LOGMINER';
3.2 使用LogMiner读取归档日志
3.2.1 测试数据准备
--以LOGMINER用户登录(非DBA权限)创建EMP表(Oracle11g请注意用户名、密码大小写)
1 CONN LOGMINER/ LOGMINER@PRACTICE
2 CREATE TABLE EMP
3 (EMPNO NUMBER(4) CONSTRAINT PK_EMP PRIMARY KEY,
4 ENAME VARCHAR2(10),
5 JOB VARCHAR2(9),
6 MGR NUMBER(4),
7 HIREDATE DATE,
8 SAL NUMBER(7,2),
9 COMM NUMBER(7,2),
10 DEPTNO NUMBER(2));
--插入EMP数据
1 INSERT INTO EMP VALUES (7369,'SMITH','CLERK',7902,to_date('17-12-1980','dd-mm-yyyy'),800,NULL,20);
2 INSERT INTO EMP VALUES (7499,'ALLEN','SALESMAN',7698,to_date('20-2-1981','dd-mm-yyyy'),1600,300,30);
3 INSERT INTO EMP VALUES (7521,'WARD','SALESMAN',7698,to_date('22-2-1981','dd-mm-yyyy'),1250,500,30);
4 INSERT INTO EMP VALUES (7566,'JONES','MANAGER',7839,to_date('2-4-1981','dd-mm-yyyy'),2975,NULL,20);
5 COMMIT;
--从v$log视图中找出日志文件的序号
1 CONNECT system/system@practice as sysdba
2 ALTER SYSTEM SWITCH LOGFILE;
3 select sequence#, FIRST_CHANGE#, NEXT_CHANGE#,name from v$archived_log order by sequence# desc;
3.2.2 创建数据字典文件
确保按照2.2进行logMiner设置
--以LOGMINER用户(DBA权限)登录,生成字典文件
1 CONN LOGMINER/ LOGMINER@PRACTICE AS SYSDBA
2 EXECUTE dbms_logmnr_d.build(dictionary_filename => 'dictionary.ora', dictionary_location =>'D:\oracle\oradata\practice\LOGMNR');
3.2.3 加入需分析的日志文件
--加入解析日志文件
1 BEGIN
2 dbms_logmnr.add_logfile(logfilename=>'D:\oracle\oradata\practice\ARCHIVE\ARC00002_0817639922.001',options=>dbms_logmnr.NEW);
3 END;
4 /
3.2.4 使用LogMiner进行分析
--启动LogMiner进行分析
1 EXECUTE dbms_logmnr.start_logmnr(dictfilename=>'D:\oracle\oradata\practice\LOGMNR\dictionary.ora');
3.2.5 观察分析结果
--查询相关操作日志
1 SELECT sql_redo, sql_undo
2 FROM v$logmnr_contents
3 WHERE seg_name='EMP'
4 AND seg_owner='LOGMINER';
4 其他
4.1 异常问题处理
4.1.1 出现ORA-12514错误
如果出现ORA-12514错误时,如下图所示:
需要修改listerner.ora文件,具体在Oracle安装目录\NETWORK\ADMIN下,当前操作为" D:\oracle\product\10.2.0\db_1\NETWORK\ADMIN\listener.ora "加入如下设置
1 (SID_DESC =
2 (GLOBAL_DBNAME = practice)
3 (ORACLE_HOME = D:\oracle\product\10.2.0\db_1)
4 (SID_NAME = practice)
5 )
设置后需要重新启动TNSListener,即可生效
4.1.2 出现ORA-16018错误
如果出现ORA-16018错误时,如下图所示:
该问题是数据库开启了闪回功能,归档文件默认情况下是保存到闪回路径中,简单的处理方式是在设置归档路径中加入scope=spfile参数
--设置归档日志文件路径
ALTER SYSTEM SET log_archive_dest="D:\oracle\oradata\practice\ARCHIVE" scope=spfile;
此时查看闪回路径,该路径并未影响,只不过闪回文件和归档文件保存到各自文件夹中
LogMiner配置使用手册的更多相关文章
- 1、图解Oracle Logminer配置使用
LogMiner配置使用手册 1 Logminer简介 1.1 LogMiner介绍 Oracle LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具,使用该工具可以轻 ...
- Dubbo -- 系统学习 笔记 -- 配置参考手册
Dubbo -- 系统学习 笔记 -- 目录 配置参考手册 <dubbo:service/> <dubbo:reference/> <dubbo:protocol/> ...
- oracle LogMiner配置使用
一.安装LogMiner1.@D:\app\product\11.1.0\db_1\RDBMS\ADMIN\dbmslm.sql 2.@D:\app\product\11.1.0\db_1\RDBMS ...
- F5负载均衡-配置指导手册(含IPv6)
F5负载均衡-配置手册 设备概况 图形化界面 通过网络形式访问F5任一接口地址,打开浏览器输入https://网络接口地址:或pc机直连F5的MGMT带外管理口,打开浏览器,输入https://192 ...
- Hadoop配置安装手册
本次Hadoop集群安装一共使用四个节点,各节点IP如下: Master 172.22.120.191 Slave1 172.22.120.192 Slave2 172.22.120.193 Slav ...
- OneProxy读写分离配置操作手册
1.确保已配置好主备集群 A)配置 可参考MySQL官方文档(https://dev.mysql.com/doc/refman/5.6/en/replication-howto.html) 或者我的博 ...
- CAS 4.0 配置开发手册(转)
转:http://blog.csdn.net/ahpo/article/details/46412859 1 下载 地址http://downloads.jasig.org/ cas-serve ...
- Filebeat配置参考手册
Filebeat的配置参考 指定要运行的模块 前提: 在运行Filebeat模块之前,需要安装并配置Elastic堆栈: 安装Ingest Node GeoIP和User Agent插件.这些插件需要 ...
- java配置使用手册
进行java开发,首先要安装jdk,安装了jdk后还要进行环境变量配置: 1.下载jdk(http://java.sun.com/javase/downloads/index.jsp),我下载的版本是 ...
随机推荐
- 8、二进制中1的个数------------>剑指offer系列
题目 输入一个整数,输出该数二进制表示中1的个数.其中负数用补码表示. 法一:分析 这是一道考察二进制的题目 二进制或运算符(or):符号为|,表示若两个二进制位都为0,则结果为0,否则为1. 二进制 ...
- Somethings about Floors题解
题目内容:一个楼梯有N级(N >=0), 每次走1级或2级, 从底走到顶一共有多少种走法? 输入要求:只有一行输入,并且只有一个数N(如果N > 20,则N = N%21,即保证N的范围控 ...
- Linux下环境搭建(二)——jenkins+gitlab配置
配置jenkins+gitlab环境,需要依托java环境,在之前的博文中,已配置好java环境,所以可以直接搭建这两个工具的环境即可. jenkins配置 jenkins的配置方法,在之前windo ...
- java.lang.ClassCastException android.widget.RelativeLayout LayoutParams 异常
1.在xml布局文件如下所示: <RelativeLayout android:layout_width="match_parent" android:layout_heig ...
- Android 权限的实现
1. 权限 每个程序在安装时都有建立一个系统ID,如app_15,用以保护数据不被其它应用获取.Android根据不同的用户和组,分配不同权限,比如访问SD卡,访问网络等等.底层映射为Linux ...
- PyCharm如何配置断点调试功能
1. 点击菜单 PyCharm -> Preferences.. 2. 在左侧菜单栏找到Project:Django - > Project Interpreter 并点击配置 Proje ...
- linux虚拟机安装值得注意的几点
1.建立新的虚拟机时选择自定义安装并选择稍后安装操作系统 2.关键安装命令 tar -xzvf VMwareTools-10.0.6-3595377.tar.gz sudo ./wmware-ins ...
- Hibernate中get()与load()的区别,以及关于ThreadLocal的使用方法
一.get方法和load方法的简易理解 (1)get()方法直接返回实体类,如果查不到数据则返回null.load()会返回一个实体代理对象(当前这个对象可以自动转化为实体对象),但当代理对象被调用时 ...
- Spring框架针对dao层的jdbcTemplate操作crud之query查询数据操作
查询目标是完成3个功能: (1)查询表,返回某一个值.例如查询表中记录的条数,返回一个int类型数据 (2)查询表,返回结果为某一个对象. (3)查询表,返回结果为某一个泛型的list集合. 一.查询 ...
- UISearchBar的应用
当你在seachBar中输入字母之前的时候,只是用鼠标选中searchBar的时候,如图 终端输出截图如下:(这个时候调用先shouldBeginEditing,之后调用didBeginEditing ...