Oracle大量数据更新策略

生产上要修改某个产品的产品代号, 而我们系统是以产品为中心的, 牵一发而动全身, 涉及表几乎覆盖全部, 有些表数据量是相当大的, 达到千万, 亿级别.

单纯的维护产品代号的 SQL 是不难的, 但是性能是最大的问题, 最后采用了 rowid+forall分批更新策略.

细节涉及:

游标(rowid)

dbms_sql.Urowid_Table

(异常声明;)

fetch v_rowid_cursor bulk collect into v_rowid_table limit v_once_commit; ...

forall i in 1 .. v_rowid_table.count save exceptions ...

完整代码:

PL/SQL存储过程分批更新↓

 --rowid+forall批量更新
 declare
   v_total_count integer default 500000; --待更新目标记录总计
   v_once_commit integer default 10000; --单次提交量
   v_pre_prod_code char(8) := '';
   v_new_prod_code char(8) := '9031000X';
   v_dml_name varchar2(100) := 'update tb_cust_vol_list 20181215 01';
   v_suc_count integer := 0; --成功提交计数
   v_err_count integer := 0; --失败记录数
   v_curr_batch integer := 0; --当前提交批次
   v_start_time date := sysdate; --开始时间
   --待更新目标记录rowids
   cursor v_rowid_cursor is
     select rowid from tb_cust_vol_list
      where prod_code = v_pre_prod_code
      order by rowid; --rowid排序，提高效率
   v_rowid_table dbms_sql.Uv_rowid_table; --临时单次rowid放置表
   v_error exception; --异常声明
   pragma exception_init(v_error, -24381); --指定ora-错误码

 begin
   --操作日志
   insert into tb_dml_log values (
     v_dml_name,
     v_total_count,
     v_once_commit,
     v_start_time,
     v_start_time,
     0, 0, 0, 0, 0
   );
   commit;

   open v_rowid_cursor; --打开rowids游标
   loop
     exit when v_rowid_cursor%notfound;
     --临时rowids表
     fetch v_rowid_cursor bulk collect into v_rowid_table limit v_once_commit;
     exit when v_rowid_table.count = 0;

     begin
       forall i in 1 .. v_rowid_table.count save exceptions
         --rowid定位行更新
         update tb_cust_vol_list set prod_code=v_new_prod_code where rowid=v_rowid_table(i);
     exception
       when v_error then --目标异常
         dbms_output.put_line('ora-24381, error in array DML !');
         dbms_output.put_line('exception count: ' || sql%bulk_exceptions.count);
         v_err_count := v_err_count + sql%bulk_exceptions.count;
       when others then
         dbms_output.put_line('ora-XXX error occurred !');
         dbms_output.put_line('exception count: ' || sql%bulk_exceptions.count);
         v_err_count := v_err_count + sql%bulk_exceptions.count;
     end;

     v_suc_count := v_suc_count + v_rowid_table.count;
     v_curr_batch := v_curr_batch + 1;
     --更新log
     update tb_dml_log a set
         a.curr_time=sysdate,
         a.curr_cost=ceil((sysdate-v_start_time)*24*60*60),
         a.curr_batch=v_curr_batch,
         a.process=v_suc_count/a.total_count,
         a.suc_count=v_suc_count,
         a.err_count=v_err_count
       where a.dml_name=v_dml_name;
     commit;

   end loop;

   dbms_output.put_line('total error count: ' || v_err_count);
 end;

有帮助的博客：
https://blog.csdn.net/leinuo180/article/details/23344647

其他考虑:

如果有的表目标数据实在太大, 就算上述优化依然很费时间, 可将此表的目标数据拆分, 比如按月, 按编号.. 分几个脚本, 维护时并行执行.

查询语句获取所有目标数据的 rowid 时, 如果占比很大(索引空间大), 可以尝试禁用索引查询, 使用全表并行查(网上看到的,本人还未尝试).

超大表要注意索引空间的维护.

@20190126更新

批量数据更新方式

1）表重建

即先新建复制表（create 新表(...) as select ... from 旧表 where ...），然后删除旧表（drop），最后修改表名（rename 新表名 to 旧表名），最后恢复表结构（约束，索引等）。

2）rowid+forall PL/SQL存储过程更新

即上面的办法

3）JDBC程序分批更新

优点是DB无关性，性能也不慢，只是数据量太大（千万级）时，力不从心。