记Oracle中regexp_substr的一次调优(速度提高95.5%)
项目中需要做一个船舶代理费的功能,针对代理的船进行收费,那么该功能的第一步便是选择进行代理费用信息的录入,在进行船舶选择的时候,发现加载相关船舶信息十分的慢,其主要在sql语句的执行,因为测试的时候数据较少,实际使用中,数据量较大。
关于regexp_substr函数的使用可查看Oracle通过一个字段的值将一条记录拆分为多条记录
需求和表结构
船舶相关的信息在系统中有船舶动态表(CBDT),另外有一张船舶代理费表(CBDLF),要求对于已经录入代理费的船舶不再出现在列表中(CBDLF表中有记录的需要过滤掉),CBDT中有一个合同清单字段,HTQD,该字段由分号";"拼接多个合同,由于选了船舶,需要计算这个船上所有合同的作业量(拿合同字段和其他表做连接),因此需要切割,方便后继的作业量计算,需求引入就是这里——需要切割合同清单字段(HTQD),存在几个合同,就要将该行变成几条记录。
- 船舶动态表CBDT(肯定是省略的啦,哪有这么简单的表)
CBBH | HC | HTQD |
---|---|---|
0001 | 191210 | N20191202-xx;N20191203-xx |
- 船舶动态表CBDLF
CBBH | HC | Free |
---|---|---|
0001 | 191210 | 12534.23 |
原来的方案
对于之前的sql,执行时间长达5秒多,最快也是4秒多,而且是只有一个月的数据。
看看原来的sql语句
select CBDT.CBBH, CBDT.HC,
regexp_substr(CBDT.HTBHQD,'[^;]+', 1,LEVEL,'i') HTTDBH
FROM CBDT
WHERE (CBDT.CBBH, CBDT.HC) not IN (SELECT CBBH, HC from CBDLFB)
AND KBRQ >= TO_DATE('2019-11-18', 'yyyy-mm-dd') and KBRQ <= TO_DATE('2019-12-18', 'yyyy-mm-dd')
connect by LEVEL <=regexp_count(CBDT.HTBHQD, ';') + 1
第一次尝试
使用了not in
,显然这满足要求,但事实是not in
的效率是十分低下的,(当初在用的时候,我也不知道啊,手动捂脸),所以应该改成join
,有了下面的sql
select CBDT.CBBH, CBDT.HC,
regexp_substr(CBDT.HTBHQD,'[^;]+', 1,LEVEL,'i') HTTDBH
FROM CBDT
LEFT JOIN CBDLFB ON CBDT.CBBH = CBDLFB.CBBH and CBDT.HC = CBDLFB.HC
WHERE CBDLFB.CBBH is NULL
AND KBRQ >= TO_DATE('2019-11-18', 'yyyy-mm-dd') and KBRQ <= TO_DATE('2019-12-18', 'yyyy-mm-dd')
connect by LEVEL <=regexp_count(CBDT.HTBHQD, ';') + 1
这样改了之后,基本维持在4秒左右,当然,这还是不能忍的啊。
第二次尝试
通过改变时间,无论是延长还是缩短,sql执行的时间基本都在4秒左右,所以,目前的数据量对sql的影响不是很大了,那么肯定是sql本身的问题,去掉regexp_substr后,果然,只需要0.0xx秒的时间,所以基本确定了是这个函数的问题。开始度娘和谷歌。然而只找到了一个百度经验说性能问题,也没有说怎么解决。直到在谷歌上有人说,regexp_substr是正则
,其本身效率就不高,不推荐。但是不推荐如前我的需求是必须要用啊(不知道有没有其他方案),找了许久依旧没有解决方案,回头再观察sql,regexp_substr
是正则表达式毫无疑问,然后发现最后的regexp_count
,这个那应该也是正则,但是regexp_count(CBDT.HTBHQD, ';')
的意思是计算有几个分号,这个函数可以换掉啊。所以改用了LENGTH(CBDT.HTBHQD) -LENGTH(REPLACE(CBDT.HTBHQD,';','')) + 1
,运行,奇迹发生了。
新的sql
select CBDT.CBBH, CBDT.HC,
regexp_substr(CBDT.HTBHQD,'[^;]+', 1,LEVEL,'i') HTTDBH
FROM CBDT
LEFT JOIN CBDLFB ON CBDT.CBBH = CBDLFB.CBBH and CBDT.HC = CBDLFB.HC
WHERE CBDLFB.CBBH is NULL
AND KBRQ >= TO_DATE('2019-11-18', 'yyyy-mm-dd') and KBRQ <= TO_DATE('2019-12-18', 'yyyy-mm-dd')
connect by LEVEL <= LENGTH(CBDT.HTBHQD) -LENGTH(REPLACE(CBDT.HTBHQD,';','')) + 1
速度提到了约:67%。
1秒多的时间,虽然较原来的5秒要好太多,但是1秒多的卡顿,始终还是不好,那么继续尝试吧。
找新的方案去了,待更新........(不到1秒内,誓不回);
——————————————我是分割线——————————————
我回来了,因为找到了终极优化,从5秒到0.025s,还是谷歌啊。
最后执行时间
话不多说,直接看改后的sql
select CBDT.CBBH, CBDT.HC,
regexp_substr(CBDT.HTBHQD,'[^;]+', 1,l) HTTDBH -- 原来的LEVEL换成了l,注意
FROM CBDT
LEFT JOIN CBDLFB ON CBDT.CBBH = CBDLFB.CBBH and CBDT.HC = CBDLFB.HC,
(SELECT LEVEL l FROM DUAL CONNECT BY LEVEL<=100) b -- 关键
WHERE CBDLFB.CBBH is NULL
AND KBRQ >= TO_DATE('2019-11-18', 'yyyy-mm-dd') and KBRQ <= TO_DATE('2019-12-18', 'yyyy-mm-dd')
AND l <= LENGTH(CBDT.HTBHQD) -LENGTH(REPLACE(CBDT.HTBHQD,';','')) + 1
之前的connect 是使用到sql最后,这样的方式会导致数据出现很多冗余,而且冗余特别严重,需要使用distinct,至于原因,还在找。使用regexp_substr函数必须配对使用connect,但是没想到居然可以这样使用。
5—>0.023 这速度提高99.5%;页面秒开,爽。
最后
本文可在我的小站中查看记Oracle中regexp_substr函数的一次调优
生命不息,使劲造。
记Oracle中regexp_substr的一次调优(速度提高95.5%)的更多相关文章
- Oracle中REGEXP_SUBSTR函数(转)
Oracle中REGEXP_SUBSTR函数 Oracle中REGEXP_SUBSTR函数的使用说明: 题目如下:在oracle中,使用一条语句实现将'17,20,23'拆分成'17','20','2 ...
- Oracle中REGEXP_SUBSTR及其它支持正则表达式的内置函数小结
Oracle中REGEXP_SUBSTR函数的使用说明: 题目如下:在oracle中,使用一条语句实现将'17,20,23'拆分成'17','20','23'的集合. REGEXP_SUBSTR函数格 ...
- Oracle中REGEXP_SUBSTR函数(字符串转多行)
Oracle中REGEXP_SUBSTR函数 Oracle中REGEXP_SUBSTR函数的使用说明: 题目如下: 在oracle中,使用一条语句实现将'17,20,23'拆分成'17','20',' ...
- Oracle中REGEXP_SUBSTR函数
Oracle中REGEXP_SUBSTR函数 Oracle中REGEXP_SUBSTR函数的使用说明: 题目如下: 在oracle中,使用一条语句实现将'17,20,23'拆分成'17','20',' ...
- x86服务器中网络性能分析与调优 转
x86服务器中网络性能分析与调优 2017-04-05 巨枫 英特尔精英汇 [OpenStack 易经]是 EasyStack 官微在2017年新推出的技术品牌,将原创技术干货分享给您,本期我们讨论 ...
- 性能调优之提高 ASP.NET Web 应用性能的 24 种方法和技巧
性能调优之提高 ASP.NET Web 应用性能的 24 种方法和技巧 poptest是国内唯一一家培养测试开发工程师的培训机构,以学员能胜任自动化测试,性能测试,测试工具开发等工作为目标.如果对 ...
- 【Oracle】转:通过案例学调优之--Oracle Time Model(时间模型)
转自:http://blog.51cto.com/tiany/1596012 通过案例学调优之--Oracle Time Model(时间模型) 数据库时间 优化不仅仅是缩短等待时间.优化旨在缩短最终 ...
- 记一次Web服务的性能调优
前言 一个项目在经历开发.测试.上线后,当时的用户规模还比较小,所以刚刚上线的项目一般会表现稳定.但是随着时间的推移,用户数量的增加,qps的增加等因素会造成项目慢慢表现出网页半天无响应的状况.在之前 ...
- 利用ORACLE ADV 功能完成SQL TUNING 调优(顾问培训) “让DBA失业还是解脱?”
oracle自动判断SQL性能功能. 11G的ADV,建议.SNAPSHOT,数据集合, 存储在oracle sys $_开头的表(10几条). 创建SNAPSHOT时选择天数, 默认14天. sq ...
随机推荐
- Mysql学习之事务的隔离性
今天咱们说说事务,相信大家都知道事务的 ACID (Atomicity.Consistency.Isolation.Durability,即原子性.一致性.隔离性.持久性). 原子性:表示一个事务不可 ...
- jenkins-harbor迁移(问题记录)
读者们原谅,可能有点没头没尾,根据公司情况具体写的 需求:jenkins和harbor迁移另一台物理机 jenkins和harbor都迁移的情况,之前一直都是使用的是harbor的域名 我也在新的je ...
- flask 扩展包
1.pipenv install python-dotenv (管理项目环境变量): 2.pipenv install watchdog --dev(监测文件变动,一般开发时使用): 3.pipen ...
- h3c 802.11协议的发展进程
- 初识面向对象(钻石继承,super,多态,封装,method,property,classmethod,staticmethod)
组合 什么有什么的关系 一个类的对象作为另一个类的对象继承 子类可以使用父类中的名字(静态属性 方法)抽象类和接口类 只能不继承,不能被实例化 子类必须实现父类中的同名方法———规范代码 metacl ...
- mybatis中对数据表操作的四种语法
查询数据(select) select...from...where... 如:查询学生表中学号为某数的学生的全部信息 select * from stu where id=#{id} 增加数据(in ...
- [堆栈]Linux 中的各种栈:进程栈 线程栈 内核栈 中断栈
转自:https://blog.csdn.net/yangkuanqaz85988/article/details/52403726 问题1:不同线程/进程拥有着不同的栈,那系统所有的中断用的是同一个 ...
- 宁波市第二届CTF部分WP之msc1,msc2
msc1签到 这题没啥好说的,修改一下图片宽高,flag到手 msc2 一开始用十六进制编辑器打开,分析文件,暂时无果,卡了一小时(线下没网) 后面,看着这部分文件头眼熟,猜测是GIF头, 于是,在硬 ...
- PHP——封装Curl请求方法支持POST | DELETE | GET | PUT 等
前言 Curl: https://www.php.net/manual/en/book.curl.php curl_setopt: https://www.php.net/manual/en/fun ...
- win32线程栈溢出问题 (二)
3.2.函数递归调用引发的栈溢出 写一段最简单的无穷递归代码,如下: #include "stdafx.h" void f(void) { f(); } int _tmain(in ...