oracle数据匹配merge into
来源于:http://blog.csdn.net/vtopqx/article/details/50633865
前言:
很久之前,估计在2010年左右在使用Oralce,当时有个需求就是需要对两个表的数据进行匹配,这两个表的数据结构一致,一个是正式表,一个是临时表,这两表数据量还算是比较大几百M。业务需求是用临时表中的数据和正式表的匹配,所有字段都需要一一匹配,而且两表还没有主键,这是一个比较麻烦和糟糕的事情。
场景:
1、如果两表所有字段值都一致则不处理;
2、如果有部分字段不一致则更新;
3、如果正式表中数据在临时表中不存在,则需要删除;
满足上面场景的三个功能即可,可以用程序如(Java,C,C#)等各种实现,也可以使用存储过程Oracle实现;
考虑之后用程序来做,这肯定是可以实现,但是撇开繁琐的数据读取、操作sql之外,还需要匹配,而且效率也是个问题;就决定用存储过程来实现,先前是使用了if exists来匹配。后面发现效率不高,比较慢;后续改进之后引入了Oracle merge into来实现;
具体事例代码(字段删除了大部分)如下:
1、对临时表L_TABLE中数据与正式表Z_TABLE比较,如果各个字段值比较不相等则认为临时表的这行数据是新增的,然后插入到正式表中。
- merge into Z_TABLE t1
- using (
- select
- S_SYSTEM_ID,
- S_PORT_ID,
- S_SYSTEM_NAME
- where S_SYSTEM_NAME = "广东"
- from L_TABLE
- ) t2
- on(
- t1.S_PORT_ID=t2.S_PORT_ID and t1.S_SYSTEM_ID=t2.S_SYSTEM_ID and nvl(t1.S_SYSTEM_NAME,'1')=nvl(t2.S_SYSTEM_NAME,'1')
- )
- WHEN NOT matched THEN
- INSERT (
- S_SYSTEM_ID,
- S_PORT_ID,
- S_SYSTEM_NAME
- )
- VALUES (
- t2.S_SYSTEM_ID, t2.S_PORT_ID,t2.S_SYSTEM_NAME
- )
注:
1)上面代码on(nvl(t1.S_SYSTEM_NAME,'1')=nvl(t2.S_SYSTEM_NAME,'1'),用了nvl函数 这个地方需要特别注意,当初测试的时候发现有些字段为空null,null和null之前是不能用相等来处理的,所以对于那些为null或者“”的字段统一转为一个字符串来做匹配,当作相等,要不然会出现匹配不上的问题。
2)在查询临时表的时候加了个条件约束where S_SYSTEM_NAME = "广东";之前的处理是全量的,查询整个大表,后面发现效率不是非常完美;加入条件判断之后相当于是每次只去少量的数据用来和正式表做匹配,如此便可以减轻数据库临时空间的负担,多循环几个城市省份分别去做,可以加快速度。
2、删除正式表中Z_TABLE中多余的数据,最后临时表和正式表数据量相等;
在之前第1步的时候如果有一行数据的某个字段不相同的话,是会重新插入一行数据到正式表中,而不是更新,所以正式表中会多出一些多余的数据也就是和临时表不完全相等的数据。
- merge into Z_TABLE t1
- using (
- select S_SYSTEM_ID, S_PORT_ID,S_SYSTEM_NAME from Z_TABLE
- minus
- select S_SYSTEM_ID, S_PORT_ID,S_SYSTEM_NAME from L_TABLE
- ) t2
- on (
- t1.S_PORT_ID=t2.S_PORT_ID and t1.S_SYSTEM_ID=t2.S_SYSTEM_ID and nvl(t1.S_SYSTEM_NAME,'1')=nvl(t2.S_SYSTEM_NAME,'1')
- )
- when matched then
- update set t1.additionalInfo = 'del'
- delete WHERE t1.additionalInfo = 'del'
上面sql意思是挑选出正式表和临时表中的差异数据(包括各个字段值的差异),这里用了Oracle的minus函数进行刷选,其实这部分就是需要删除的数据,将这部分数据集合拿去和正式表中进行匹配,如果在正式表中存在则更新删除标识,进行删除。
注:
因为两表都是没有主键,所以无法使用唯一判断用来删除作为删除依据,而且merge into的语句测试了下delete必须要跟在update后,这点比较纠结,所以只能给正式表加一个扩展字段additionalInfo 来作为删除的标记,以便删除处理。
通过以上两个步骤,正式表和临时表的数据已同步完成!
oracle数据匹配merge into的更多相关文章
- 在oracle中使用merge into实现更新和插入数据
目录 oracle中使用merge into DUAL表解释 使用场景 用法 单表 多表 oracle中使用merge into DUAL表解释 在Oracle数据库中,dual是Oracle中的一个 ...
- Oracle基础之Merge into
Merge into语句是Oracle9i新增的语法,用来合并UPDATE和INSERT语句. 通过MERGE语句,根据一张表或多表联合查询的连接条件对另外一张表进行查询,连接条件匹配上的进行UPDA ...
- 【转载】使用Pandas进行数据匹配
使用Pandas进行数据匹配 本文转载自:蓝鲸的网站分析笔记 原文链接:使用Pandas进行数据匹配 目录 merge()介绍 inner模式匹配 lefg模式匹配 right模式匹配 outer模式 ...
- Oracle数据块损坏的恢复实例
测试环境:11.2.0.4 1.构建数据块损坏的测试环境 2.有备份:常规恢复坏块 3.无备份:跳过坏块 1.构建数据块损坏的测试环境 1.1 创建测试表 --Create Table t_test ...
- oracle 正则表达式 匹配
oracle 正则表达式 在实际应用中,想排除带有中文的字段值: select h.froomnumber from t_broker_house h where REGEXP_LIKE(froomn ...
- 转载:使用Pandas进行数据匹配
使用Pandas进行数据匹配 本文转载自:蓝鲸的网站分析笔记 原文链接:使用Pandas进行数据匹配 目录 merge()介绍 inner模式匹配 lefg模式匹配 right模式匹配 outer模式 ...
- ORACLE 数据泵 expdp/impdp
ORACLE 数据泵 expdp/impdp 一.概念 Oracle Database 10g 引入了最新的数据泵(Data Dump)技术,数据泵导出导入 (EXPDP 和 IMPDP)的作用: 1 ...
- Oracle数据泵(Data Dump)错误汇集
Oracle数据泵(Data Dump)使用过程当中经常会遇到一些奇奇怪怪的错误案例,下面总结一些自己使用数据泵(Data Dump)过程当中遇到的问题以及解决方法.都是在使用过程中遇到的问题,以后陆 ...
- [转]Oracle数据块体系的详细介绍
数据块概述Oracle对数据库数据文件(datafile)中的存储空间进行管理的单位是数据块(data block).数据块是数据库中最小的(逻辑)数据单位.与数据块对应的,所有数据在操作系统级的最小 ...
随机推荐
- Nagios 自定义插件与安装使用之监控dead datanodes
现在我使用nagios来监控hadoop的核心进程,rm,nm,dn,nn,zkfc,jn,zk等,但是有时候进程虽然还在,但是日志不刷新,web ui上可以看到有些datanodes节点已经变为de ...
- container的生命周期
Container启动过程主要经历三个阶段:资源本地化.启动并运行container.资源回收,其中,资源本地化指创建container工作目录,从HDFS下载运行container所需的各种资源(j ...
- Java报表FineReport在医院院长查询分析系统中有什么用
1.医院院长查询系统的价值 目前,大中型医院的信息处理正从传统手工方式飞速向电脑信息化建设方案转变,一个大中型医院担负着繁重的医疗和科研任务,以及繁杂的事务性工作,院长必须时刻与各科室保持密切的连续, ...
- 《InsideUE4》-3-GamePlay架构(二)Level和World
UE4深入学习QQ群: 456247757 引言 上文谈到Actor和Component的关系,UE利用Actor的概念组成一片游戏对象森林,并利用Component组装扩展Actor的能力,让世界里 ...
- div根据内容改变大小并且左右居中
div{ display:inline-block; width:auto; } 这个div的父元素text-align:center;
- BZOJ 3294: [Cqoi2011]放棋子
3294: [Cqoi2011]放棋子 Time Limit: 10 Sec Memory Limit: 128 MBSubmit: 628 Solved: 238[Submit][Status] ...
- MongoDB集群架构及搭建
MongoDB分布式集群 MongDB分布式集群能够对数据进行备份,提高数据安全性,以及提高集群提高读写服务的能力和数据存储能力.主要通过副本集(replica)对数据进行备份,通过分片(shardi ...
- usb驱动开发18之设备生命线
现在已经使用GET_DESCRIPTOR请求取到了包含一个配置里所有相关描述符内容的一堆数据,这些数据是raw的,即原始的,所有数据不管是配置描述符.接口描述符还是端点描述符都挤在一起,所以得想办法将 ...
- MVC3.0 上传图片并生成缩略图
转自:http://mikelai.blog.163.com/blog/static/18411126620118771732675/ Controller: public ActionResult ...
- rpc框架之 thrift 学习 1 - 安装 及 hello world
thrift是一个facebook开源的高效RPC框架,其主要特点是跨语言及二进制高效传输(当然,除了二进制,也支持json等常用序列化机制),官网地址:http://thrift.apache.or ...