百倍性能的PL/SQL优化案例(r11笔记第13天)
我相信你是被百倍性能的字样吸引了,不过我所想侧重的是优化的思路,这个比优化技巧更重要,而结果嘛,其实我不希望说成是百倍提升,“”自黑“”一下。
有一个真实想法和大家讨论一下,就是一个SQL语句如果原本运行20秒,优化到了1秒,性能提升该说是20倍还是提高了95%。当然还见过一种说法,一条SQL语句每次运行20秒,每天运行100次,优化后每次运行1秒,运行还是100次,那么性能提升是说成优化累计时间为100*20-100=1990秒?
好了,我们来看看PL/SQL的优化,前期自己分析了一些信息,可以参考闪回区报警引发的性能问题分析(r11笔记第11天)
总体来说就是数据库层面的闪回区暴增,很快就接近报警阈值。
发现其中的一个重要因素就是一个update操作时间极长,大概是4个小时,而且资源消耗巨大。
SQL_FULLTEXT
----------------------------------------------------------------------------------------------------
UPDATE CARDINFO A SET A.MAX_LEVEL = NVL((SELECT USER_CLASS FROM ROLE_CLASS_INFO B WHERE A.GROUPID =
B.GROUP_ID AND B.CN_GUID = A.ROLE_GUID), A.MAX_LEVEL) WHERE DRAWED = 'Y'而经过数据分析发现这是一个规律性的变化,是在每周二会触发一次。经过确认这是一个scheduler JOB运行导致。而其中的关键就是调用的存储过程。
好了,重点就是存储过程,当然里面的逻辑还是有一些复杂。我简化一下。
简单解释一下,数据库a的表card_new中会存储一些礼包卡的数据,用户激活卡信息之后就会插入一条记录。而数据库b则是一个统计数据库,会从数据库a中基于规则表tasklist抽取这些数据,然后在统计端基于业务需求做信息的变更校准,信息都在cardinfo这个表里。规则表tasklist简单补充一下,就好像我们的手机卡号,比如152xxxx001-152xxxx999是一个号段,里面定义的就是这些信息,从源库按照这个规则抽取。
SQL> select count(*)from card_new where cardid between 'j23450010000' and 'j23500009999';
COUNT(*)
----------
5000
存储过程的信息大体如下
CREATE or replace PROCEDURE "PROC_UPDATE_CARDINFO"
AS
BEGIN
for cur in (select * from tasklist where is_droped = 'N') loop
MERGE INTO cardinfo a
USING (SELECT *
FROM card_new@tmp_link t
WHERE t.cardid >= cur.t_start
AND t.cardid <= cur.t_end
) b
ON (a.cardid = b.cardid)
WHEN MATCHED THEN
UPDATE
SET a.groupid = b.GROUPID,
a.role_guid = b.role_guid,
a.drawed = b.drawed,
a.max_level = b.max_level
WHEN NOT MATCHED THEN
insert
(cardid, groupid, role_guid, drawed, max_level)
values
(b.cardid, b.groupid, b.role_guid, b.drawed, b.max_level);
COMMIT;
end loop;
/** 做字段1的映射变更*/
UPDATE cardinfo a
SET a.used_jewel = (SELECT jewel_total
FROM role_costs_info b
WHERE b.GROUP_ID = a.groupid
AND b.cn_guid = a.role_guid)
WHERE drawed = 'Y' and cardid in(select cardid from tmp_cardinfo);
COMMIT;
/** 做字段2的映射变更**/
UPDATE cardinfo a
SET a.max_level = nvl((SELECT user_class
FROM role_class_info b
WHERE a.groupid = b.GROUP_ID
AND b.cn_guid = a.role_guid),
a.max_level)
WHERE drawed = 'Y' and cardid in(select cardid from tmp_cardinfo);
COMMIT;
END;
/
上面的表,除了规则表tasklist是不到1万条数据库(类似号段的数据),其它的数据量都在亿级,所以优化空间很大,优化难度不小。
和开发同学简单了解了需求之后,我的初步结论是update的部分有待提高,因为update的部分变更都是全表更新,这个影响面较大,没法确定增量的数据,基本上按照1周的频率来说,增量数据应该会在百万以内。而查看后面几个update的部分,发现变更的数据量都在千万级别,性能极差。
不过在优化的过程中,感觉我似乎偏离了方向,因为目标端按照现有的条件和补充条件发现始终变更的数据量太大,都是千万级别,和预期相去甚远,简单来说,按照目前的条件得到的数据不是增量数据,所以我的注意力就关注在了源头的数据抽取上。
因为源库的配置较好,使用了PCIE-SSD,查询亿级大表也蛮给力,我在备库查询了一下数据的情况。
SQL> SELECT count(t.cardid)
2 FROM card_new t ,tasklist cur
3 WHERE t.cardid >= cur.t_start
4 AND t.cardid <= cur.t_end;
COUNT(T.CARDID)
---------------
599845975
一看结果有5亿多条数据,当然大家仔细看,其实语句本身也是有问题的。
其实按照逻辑抽取的数据有2亿,也就是源库表中所有的数据。
如此一来,下游的数据变更都会直接影响,导致了现在的状况。
所以瓶颈很明显,在两个地方,
1.抽取的时候对线上业务有性能压力,是全量抽取
2.更新的时候是全量更新,字段匹配数据范围太大
改进思路相对就很简单了。
明确增量的数据
使用临时表或者是在cardinfo中标记增量数据进行增量数据变更
进行完整的数据测试,保证性能改进真实有效。
我们来逐个说一下。
增量的数据,我查看了源表的字段,里面有一个基于时间的字段,看字段的名字应该是礼品卡的激活时间。和开发同事进行了确认,这个地方明确下来。
我们按照这样的思路来看,增量数据大概在7万左右。
SQL> select count(*)from card_new where DRAWDATE>sysdate-10;
COUNT(*)
----------
78174
如此一来就抓住了问题的本质,后面的更新部分就可以限制条件,避免全量更新。我就创建建了一个临时表来处理。得到从源库抽取所得的增量数据。
2.增量数据变更优化
原本的更新是这样的逻辑,
UPDATE cardinfo a
SET a.used_jewel = (SELECT jewel_total
FROM role_costs_info b
WHERE b.GROUP_ID = a.groupid
AND b.cn_guid = a.role_guid)
WHERE drawed = 'Y' ;
改进之后,限制了条件,就是下面的形式
UPDATE cardinfo a
SET a.used_jewel = (SELECT jewel_total
FROM role_costs_info b
WHERE b.GROUP_ID = a.groupid
AND b.cn_guid = a.role_guid)
WHERE drawed = 'Y' and cardid in(select cardid from tmp_cardinfo);
当然还有一些小细节处做了改进,再次先不赘述。
3.性能测试
接下来就是性能测试了,如何真实的模拟测试这个问题,11g中要充分利用Sapshot Standby的福利。
备库切换为Snapshot Standby的方法
dgbroker中把当前的备库设置为disable
然后使用sqlplus在备库操作:
recover managed standby database cancel; --取消日志应用
alter database convert to snapshot standby; --切换为Snapshot Standby
alter database open; --切换后打开数据库
select database_role,open_mode from v$database; --检查变更是否生效
然后开始性能测试,我把数据源指向了源库对应的备库,这样对线上就没有直接的压力。在目标数据库中修改存储过程,运行测试。
SQL> exec PROC_UPDATE_CARDINFO1;
PL/SQL procedure successfully completed.
Elapsed: 00:01:04.38
原本执行至少4个小时的存储过程现在1分钟即可搞定。
完成测试,开始恢复备库为Physical Standby:
sqlplus备库: shutdown immediate
startup mount
alter database convert to physical standby; --切换数据库为physical standby
shutdown immediate --修改后数据库为nomount,重新启动
startup mount
select database_role,open_mode from v$database;
alter database open;
然后在主库使用DG Broker来enable原来的备库即可。
小结
整个一个流程走下来,让我对这个问题的认知,从原本的闪回区报警逐步发掘,扩展到PL/SQL的存储过程实现,当然这个部分还是花了些时间熟悉了下业务,为了更好的满足优化需求,优化中尤其需要牢牢把握性能瓶颈,抓住本质,然后逐个击破即可。而对于性能问题的测试,Snapshot Standby就是一个很不错的补充。评估运行时间等都会更加真实有效。
最后的性能提升,从4个小时提升为1分钟。
--------------------------
一周以后,我再次跟踪这个问题,确认已经修复。闪回前的使用率大大降低。
而实际的SQL执行情况比预期还要好一些,原本的update语句执行需要个把小时,当前执行只需要1秒钟。
百倍性能的PL/SQL优化案例(r11笔记第13天)的更多相关文章
- SQL优化案例—— RowNumber分页
将业务语句翻译成SQL语句不仅是一门技术,还是一门艺术. 下面拿我们程序开发工程师最常用的ROW_NUMBER()分页作为一个典型案例来说明. 先来看看我们最常见的分页的样子: WITH CTE AS ...
- 数栈SQL优化案例:隐式转换
MySQL是当下最流行的关系型数据库之一,互联网高速发展的今天,MySQL数据库在电商.金融等诸多行业的生产系统中被广泛使用. 在实际的开发运维过程中,想必大家也常常会碰到慢SQL的困扰.一条性能不好 ...
- mysql的sql优化案例
前言 mysql的sql优化器比较弱,选择执行计划貌似很随机. 案例 一.表结构说明mysql> show create table table_order\G***************** ...
- SQL 优化案例 1
create or replace procedure SP_GET_NEWEST_CAPTCHA( v_ACCOUNT_ID in VARCHAR2, --接收短信的手机号 v_Tail_num i ...
- 转://Oracle PL/SQL 优化与调整 -- Bulk 说明
一. Bulk 概述 本来只想测试一下Bulk Collect 和update性能的,但发现Bulk 的东西还是很多的,在OTN上搜了一些,整理如下. 1.1 Bulk Binding 和 Bulk ...
- SQL 优化案例
create or replace procedure SP_GET_NEWEST_CAPTCHA( v_ACCOUNT_ID in VARCHAR2, --接收短信的手机号 v_Tail_num i ...
- Oracle PL/SQL语句基础学习笔记(上)
PL/SQL是ORACLE对标准数据库语言的扩展,ORACLE公司已经将PL/SQL整合到ORACLE server和其它工具中了,近几年中很多其它的开发者和DBA開始使用PL/SQL,本文将讲述PL ...
- PL/SQL语言的学习笔记
一.PL/SQL简介1.什么是PL/SQL程序?(PL/SQL是对SQL语言的一个扩展,从而形成的一个语言) 2.PL/SQL语言的特点(操作Orcale数据库效率最高的就是PL/SQL语言,而不是C ...
- PL/SQL基础2(笔记)
1 第一个PL/SQL的程序 DECLARE BEGIN DBMS_OUTPUT.PUT_LINE('Hello World!'); END; / --2一个简单的PL/SQL程序 DECLARE v ...
随机推荐
- 29.极具破坏力的DDoS:浅析其攻击及防御
一.DDoS的概念 1.什么是“DDoS”? DDoS:Distributed Denial of Service(分布式拒绝服务)攻击指借助于客户/服务器技术,将多个计算机联合起来作为攻击平台,对一 ...
- hdu1048
#include<stdio.h>#include<string.h>#include<iostream>using namespace std;int main( ...
- 蚂蚁金服HR电话面
1.先自我介绍一下. 2.问到项目问题.(项目介绍,用到哪些技术,如何测试的.) 3.一些基础知识. a) list.map.set是继承了collection的吗? List:1.可以允许重复的对 ...
- 简单的html兼容(参考js和css的常规写法)
参考往常css/js的浏览器选择加载 <!--[if lte IE 8]> <link rel="stylesheet" href="IEBrower. ...
- sqlserver2012——游标
游标:一种数据访问机制,允许用户访问单独的数据行而不是对整个行集进行操作.用户可以通过单独处理每一行逐条收集信息并对数据逐行进行操作,这样可以将降低系统开销. 游标主要有以下两部分: 游标结果集:由定 ...
- 用js正则判断输入的两位字符,第一位是数字16进制的,第二位是I、O、Q、U除外的字母(A到Z)
项目中遇到客户的需求变化,要验证某个数据的正确性,判断输入的两位字符,第一位是数字16进制的,第二位是I.O.Q.U除外的字母(A到Z). 本来对js不熟练,网上参考了一下js正则验证的规则,使用正则 ...
- nginx配置同一域名下,共存2个nodejs项目
项目背景: 1.官网需要改版,使用nodejs nuxt框架进行重构 2.官网改版没有全部完成.但需要上线首页 项目需求: 1.让首页内容显示为新项目 2.让老官网的内容可以被访问到(比如www.n. ...
- express+vue-cli实现前后端分离交互小例
准备工作 1.Express 应用生成器 npm install express-generator -g 2.vue-cli手脚架 npm install -g vue-cli 3.项目结构 . ├ ...
- 反射实现数据库增删改查DAO及DAOImpl源代码(一)
这是DAO层,第一次尝试,如有bug希望能即使反馈,我们共同进步.具体的用法和实现原理我会在前面几篇博客中补充更新.配置文件及项目目录结构会在下一篇中贴出! package com.javasm.su ...
- XML之DTD
前言 上篇我们知道了,XML的应用范围还是很广的,那么无规矩不成方圆,如果我们每个人写XML的风格不一致,那么读起来是不是很费劲呢?所以格式良好的XML就渐渐的被我们所需要. 内容 格式良好指:拥有正 ...