现状描述与需求描述

最近梳理系统功能的时候发现现在每个月处理完数据之后,需要给别的系统传送批接口文件,接口文件的内容是来自于Oracle数据表中的数据。我每次都需要手工执行一下存储过程,让数据从正式表中插入到接口表中,然后再借助plsql工具软件sqlplus的spool工具导出接口文件,然后把导出来的7个接口文件,打成zip压缩包,再通过前台系统实现上传(这一部分功能之前已经在前台系统实现部署上线了,详细可参见博文:https://www.cnblogs.com/zhongfengshan/p/9454259.html)。但是现在每个月都需要做这样的事情,很繁琐,而且每个月都需要耗费我的精力,程序猿的个性喜欢探索、创造、和解决问题,本着这样的态度,我开始了这件事的优化之旅。

方案分析

针对于此需求,大概有两种方案。

方案一:把这一系列的操作都写在Java后台的业务逻辑当中,然后通过前台系统每月传参数过去,实现调用。

方案二:可以用shell脚本实现存储过程的调用和数据接口文件的导出和压缩。

由于系统是一个老系统,各种技术框架个分层并没有那么明显,而且有7个文件之多,用Java写起来无论是业务逻辑还是代码量都是及其多,而且不方便测试和调试。相比之下,用shell脚本写,逻辑变得清晰明了,导出的接口文件写在sql文件中,用sqlplus去执行它便可。因此我选用了方案二。

开始实现

第一步:细化业务逻辑,第一步就是需要去调用一个存储过程,存储过程的主要作用是把正式表中当月的数据插入到接口表中。这一步很简单,代码如下

sqlplus zh/dbpassword@zh10g << sql
declare
imonth varchar2(6);
strrtn varchar2(8);
countnum NUMBER;
begin
select to_char(add_months(sysdate,-1),'YYYYMM') into imonth from dual;
SELECT count(*) INTO countnum FROM t_report_if_carrier
WHERE bill_cycle=imonth;
IF (countnum=0) THEN
Dbms_Output.put_line(imonth+':'+countnum);
PR_REPORT_IF(imonth,strrtn);
END IF;
end;
/
sql

计算出当月的上一个月是多少,然后判断表中有没有该月的数据,如果没有,则认为没有执行该存储过程,需要执行存储过程

第二步:需要对导出文件的目录做一下清理,如果上次导出过了,则删除再重新到导出,代码如下:

cd /workforzhongfs/jffile/
rm -rf $report_month
mkdir $report_month
cd $report_month

第三步:把需要执行导出的语句放到一个spoll_file.sql文件中,然后通过sqlplus调用$report_month 代表着需要传给脚本的当前月的上一个月的参数,如现在是2019年04月,则参数为201903

sqlplus zh/dbpassword@zh10g @/workforzhongfs/spoll_file.sql $report_month

spoll_file.sql的内容如下,其中&1代表$report_month传过来的月份参数。

SET NEWPAGE 0
SET SPACE 0
SET LINESIZE 2500
SET PAGESIZE 0
SET ECHO OFF
SET FEEDBACK OFF
SET VERIFY OFF
SET HEADING OFF
SET MARKUP HTML OFF SPOOL OFF
SET COLSEP ' '
SET TRIMSPOOL ON
SET TERMOUT OFF
COL report_name FORMAT a35
COL report_name NEW_VALUE rpt_name
select 'CMBFYDWAL06002A'||&1||'0000000.000' as report_name from dual;
SPOOL &rpt_name
select bank_warrant_no || CHR(9)|| rec_pay_date || CHR(9)|| bank_name || CHR(9)||
record_flag || CHR(9)|| carrier_name || CHR(9)|| carrier_id || CHR(9)||
descript || CHR(9)|| amount_bill || CHR(9)|| exchange_name2 || CHR(9)||
rate_bill || CHR(9)|| amount || CHR(9)|| exchange_name || CHR(9)|| rate || CHR(9)||
amount_rmb || CHR(9)|| bank_fee || CHR(9)|| remark || CHR(9)|| bill_cycle || CHR(9)||
erp_def_code as data
from t_report_if_recpay a
WHERE 1 = 1
and bill_cycle=&1 order by erp_def_code asc;
SPOOL OFF
select 'CMBFYDWAL06005A'||&1||'0000000.000' as report_name from dual;
SPOOL &rpt_name
select ADVANCE_NO || CHR(9)|| carrier_name || CHR(9)|| WARRANT_NO || CHR(9)||
REC_DATE || CHR(9)|| EXCHANGE_NAME || CHR(9)|| AMOUNT || CHR(9)||
AMOUNT_RMB || CHR(9)|| BALANCE || CHR(9)|| BALANCE_RMB as data
from t_report_if_advance
WHERE 1 = 1
and bill_cycle=&1 order by erp_def_code asc;
SPOOL OFF
select 'CMBFYDWAL06006A'||&1||'0000000.000' as report_name from dual;
SPOOL &rpt_name
select BAIL_NO || CHR(9)|| carrier_name || CHR(9)|| warrant_no || CHR(9)||
REC_DATE || CHR(9)|| EXCHANGE_NAME || CHR(9)|| AMOUNT || CHR(9)||
AMOUNT_RMB || CHR(9)|| BALANCE || CHR(9)|| BALANCE_RMB || CHR(9)||
bill_cycle || CHR(9)|| erp_def_code as data
from t_report_if_bail
WHERE 1 = 1
and bill_cycle=&1 order by erp_def_code asc;
SPOOL OFF
select 'CMBFYDWAL06007A'||&1||'0000000.000' as report_name from dual;
SPOOL &rpt_name
select report_month || CHR(9)|| center || CHR(9)|| period || CHR(9)|| types || CHR(9)||
property || CHR(9)|| carrier_name || CHR(9)|| customer_number || CHR(9)||
currency || CHR(9)|| duration || CHR(9)|| amount || CHR(9)|| basiccurrency || CHR(9)||
reference_no || CHR(9)|| bill_cycle || CHR(9)|| erp_def_code as data
from t_report_if_rp
WHERE 1 = 1
and bill_cycle=&1 order by erp_def_code asc;
SPOOL OFF
select 'CMBFYDWAL01001A'||&1||'0000000.000' as report_name from dual;
SPOOL &rpt_name
select DATA_TYPE|| CHR(9) ||CHINESENAME|| CHR(9) ||
CARRIER_NAME|| CHR(9) ||CARRIER_ID|| CHR(9) ||ACCOUNT_CODE|| CHR(9) ||
ACCOUNT_NAME|| CHR(9) ||CONTACT_PERSON|| CHR(9) ||
TELEPHONE_NO|| CHR(9) ||EMAIL_ADDRESS|| CHR(9) ||
BENEFICIARY_NAME|| CHR(9) ||ACCO_LINKMAN_PHONE|| CHR(9) ||
ACCO_LINKMAN_EMAIL|| CHR(9) ||BUSI_MANA_NAME|| CHR(9) ||
ACCO_MANA_NAME as data
from t_report_if_carrier
WHERE 1 = 1
and bill_cycle=&1 order by erp_def_code asc;
SPOOL OFF
select 'CMBFYDWAL06004A'||&1||'0000000.000' as report_name from dual;
SPOOL &rpt_name
select carrier_name || CHR(9)|| destroybill_no || CHR(9)|| settle_flag || CHR(9)||
service_name || CHR(9)|| load_date || CHR(9)|| jfdate || CHR(9)|| settdate || CHR(9)||
exchange_name || CHR(9)|| settle_amount || CHR(9)|| settle_amount_new || CHR(9)||
bill_cycle || CHR(9)|| erp_def_code as data
From t_report_if_destroys
WHERE 1 = 1
and bill_cycle=&1 order by erp_def_code asc;
SPOOL OFF
select 'CMBFYDWAL06001A'||&1||'0000000.000' as report_name from dual;
SPOOL &rpt_name
select carrier_name || CHR(9)|| carrier_no || CHR(9)|| center_name || CHR(9)||
destroybill_no || CHR(9)|| rec_pay || CHR(9)|| buy_property || CHR(9)||
service_no || CHR(9)|| map_name || CHR(9)|| load_date || CHR(9)|| jfdate || CHR(9)||
settdate || CHR(9)|| end_date || CHR(9)|| exchange_name || CHR(9)||
settle_amount || CHR(9)|| settle_amount_rmb || CHR(9)|| current_amount || CHR(9)||
amount_30 || CHR(9)|| amount_90 || CHR(9)|| amount_180 || CHR(9)||
amount_360 || CHR(9)|| AMOUNT_720 || CHR(9)|| AMOUNT_1080 || CHR(9)||
AMOUNT_1440 || CHR(9)|| AMOUNT_1800 as data
From t_report_if_datadetail
WHERE 1 = 1
and bill_cycle=&1 order by erp_def_code asc;
SPOOL OFF
QUIT

遇到的问题

问题一:原本以为这样问题就可以得到解决了,万万没想到,spool导出的文件换行符出现了问题,Windows下的换行符是“\r\n”,而Linux的则是“\n”,这样导致看起来的文件内容是一样的实则是不一样的,用MD5校验之后发现二者不一致。

问题二:导出的CMBFYDWAL01001A2019030000000.000文件每一行的行末有大量的空格,而在windows下用plsql软件导出来的该接口文件没有这个问题。

问题解决

在网上变换各种搜索关键词和不断地试验测试,最终问题都得到解决

问题二的解决,用sed把行末的空格替换成空,

sed 's/[[:space:]][[:space:]]*$//g' $file>$file-sed

问题一的解决,这样子就可以把换行符从Linux的替换为Windows下的换行符。

awk '{ print $0"\r" }'<$file-sed > $file-fs

写了一个循环,当前目录下的所有文件都可以得到替换。

for file in CMBFY*
do
sed 's/[[:space:]][[:space:]]*$//g' $file>$file-sed
awk '{ print $0"\r" }'<$file-sed > $file-fs
echo $file >> $report_month.log
done

还遇到什么问题

解决了上述的问题,那么还遇到什么问题呢?

我把这个脚本 加到crontab中执行的时候,发现脚本开始需要制定月份参数,这样子不又回到了原点么?因此,我必须要解决这个问题。我在网上搜索,大多数人都告诉我用“date -d”可以计算上月的月份,但是我的程序是部署在AIX中的,AIX没有这些奇奇怪怪的选项,采取了个折中的办法,如下代码

month=`date +%m |sed 's/$/b12a01a02a03a04a05a06a07a08a09a10a11a12/;
s/^\(..\)b.*\(..\)a\1.*/\2/'`
year=`date +%Y`
report_month="$year$month"

这样便能计算出上一个月(虽然我也不太知道原理),以下为测试截图

最后加到crontab中便可以自动执行了

最后

万事大吉,愿世界没有bug。

记一次bash脚本开发的经历的更多相关文章

  1. 记一次bash脚本报错原因

    准备部署上次写的 爬虫的定时任务,发现sh脚本 写为最简单的cd ,也报错 后来网上一波了解,原因竟是 : 额,格式问题,我为了图方便是在window里用notepad++写的,然后我再linux 系 ...

  2. Bash 脚本编程语言中的美学与哲学

    我承认,我再一次地当了标题党.但是不可否认,这一定是一篇精华随笔.在这一篇中,我将探讨 Bash 脚本语言中的美学与哲学. 这不是一篇 Bash 脚本编程的教程,但是却能让人更加深入地了解 Bash ...

  3. Linux应用环境实战10:Bash脚本编程语言中的美学与哲学(转)

    阅读目录 一.一切皆是字符串 二.引用和元字符 三.字符串从哪里来.到哪里去 四.再加上一点点的定义,就可以推导出整个Bash脚本语言的语法了 五.输入输出重定向 六.Bash脚本语言的美学:大道至简 ...

  4. Linux 桌面玩家指南:06. 优雅地使用命令行及 Bash 脚本编程语言中的美学与哲学

    特别说明:要在我的随笔后写评论的小伙伴们请注意了,我的博客开启了 MathJax 数学公式支持,MathJax 使用$标记数学公式的开始和结束.如果某条评论中出现了两个$,MathJax 会将两个$之 ...

  5. 【转】如何调试bash脚本

    本文转自:http://coolshell.cn/articles/1379.html Bash 是Linux操作系统的默认Shell脚本.Shell是用来处理操作系统和用户交互的一个程序.Shell ...

  6. 如何调试bash脚本

    Bash 是Linux操作系统的默认Shell脚本.Shell是用来处理操作系统和用户交互的一个程序.Shell的脚本可以帮助用户自动化地和操作系统进行交互.你也可以理解为一种脚本式的编程.即然有编程 ...

  7. Linux中编写Bash脚本的10个技巧

    Shell 脚本编程 是你在 Linux 下学习或练习编程的最简单的方式.尤其对 系统管理员要处理着自动化任务,且要开发新的简单的实用程序或工具等(这里只是仅举几例)更是必备技能. 本文中,我们将分享 ...

  8. 从此编写 Bash 脚本不再难【转】

    从此编写 Bash 脚本不再难 原创 Linux技术 2017-05-02 14:30 在这篇文章中,我们会介绍如何通过使用 bash-support vim 插件将 Vim 编辑器安装和配置 为一个 ...

  9. Linux系统命令与脚本开发

    系统命令 # cat EFO cat >> file << EOF neirong EOF # 清空 >file 清空文件 [root@Poppy conf]# sed ...

随机推荐

  1. Java框架spring 学习笔记(十二):aop实例操作

    使用aop需要在网上下载两个jar包: aopalliance.jar aspectjweaver.jar 为idea添加jar包,快捷键ctrl+shift+alt+s,打开添加jar包的对话框,将 ...

  2. concurrentHashMap求size

    在 JDK1.7 中,首先会使用不加锁的模式去尝试多次计算 ConcurrentHashMap 的 size,最多三次,比较前后计算的结果,结果一致就认为当前没有元素加入,计算的结果是准确的.如果不符 ...

  3. 大数据学习笔记5 - Spark

    Spark是一个基于内存计算的大数据并行计算框架.所以,Spark并不能完全替代Hadoop,主要用于替代Hadoop中的MapReduce计算模型. 在实际应用中,大数据处理无非是以下几个类型: 复 ...

  4. python的os模块fnmatch模块介绍

    一.先介绍一下os模块 import os print(os.getcwd()) # E:\python\test\python_models # 获取当前的目录 print(os.listdir(& ...

  5. project4 安卓

    [MongoDB的密码] 用户名dbUser 密码dbUserPassword00 dbUser:dbUserPassword00 [概念] POM的配置要严格按照网页指示给出的标签顺序来. 安卓AP ...

  6. python 打开浏览器的方法 Python打开默认浏览器

    一.python 打开浏览器的方法: . startfile方法(打开指定浏览器) import os os.startfile("C:\Program Files\internet exp ...

  7. python课程安排

    作为最流行的脚本语言之一,python具有内置的高级数据结构和简单面向对象编程思想实现.同时,其语法简洁而清晰,类库丰富而强大,非常适合进行快速原型开发.另外,python可以运行在多种系统平台下,从 ...

  8. Samtools在Linux上非root权限的安装

    第一次在Linux上不用root权限安装软件,查看了很多博客,并实践安装成功.大致总结了一下samtools的安装过程,仅供大家参考,如有不对的地方,欢迎指正~ samtools安装过程中依赖于lzm ...

  9. Cannot retrieve metalink for repository: epel/x86_64. Please verify its path and try again

    虚拟机恢复快照后,使用yum安装软件,提示下面的信息,开始以为是yum源的问题或者DNS的问题,但是无果,最后再看一下服务器的时间,坑了,还原快照,时间变成以前的了. [root@localhost ...

  10. net_device 内核中是如何组织的

    下边函数实现将新的 net_device 设备插入到内核链表中工作 /* * Device list insertion */ static void list_netdevice(struct ne ...