公司内部推广DevOps,全部项目配置CI/CD流水线(Jenkins+SVN+ANT),在代码实现持续集成后,SQL语句自动执行的实现提上日程

一、环境

  • Linux环境
  • 安装ANT工具,包括ant扩展包---ant-contrib-1.0b3.jar,maven链接
  • 下载oracle连接ojdbc5.jar包。

二、思路

步骤1:  从SVN的QL脚本提交路径上,下载所有SQL脚本

步骤2:【shell脚本】:获取日期文件夹名为今天的文件夹下的sql脚本,拷贝到待执行文件夹中。将其中已执行成功的脚本(即存在于bak文件夹中)删掉;

步骤3:【ant脚本】:对待执行脚本排序后,循环执行每条sql语句,执行成功的sql脚本备份到bak文件夹,方便后续执行时排除重复。

三、具体实现

3.1 源码管理

3.2 执行shell

if [ $# -ne 1 ]
then
echo "Usage: $0 foldername"
echo " $0 Exec SQL"
exit
fi Workspace=$1
year=`date +%Y`
today=`date +%Y%m%d`
sqlfolder=${Workspace}/svn/${year}/${today}
bakfolder=${Workspace}/sqlbak/${year}/${today}
logfolder=${Workspace}/sqllog #如果待执行sql文件夹已存在就清空该文件夹,否则创建
if [ -d "runSqlInFolder" ];then
echo "-----Clean the executed sql folder:/runSqlInFolder-----"
rm -rf runSqlInFolder/*
else
mkdir -p ${Workspace}/runSqlInFolder
fi if [ ! -d "${logfolder}" ];then
mkdir ${logfolder}
else
echo "-----Dir ${logfolder} is exist"
fi #将今天提交到SVN的sql脚本中还未执行过的拷贝到runSqlInFolder文件夹
if [ -d "${sqlfolder}" ];then
echo '-----Copy the sql file into folder'
cp -r ${sqlfolder}/* runSqlInFolder
find runSqlInFolder/ -name '*.jar' |xargs rm -rf
find runSqlInFolder/ -type d | grep .svn$ | xargs rm -rf
if [ -d "${bakfolder}" ];then
cd ${bakfolder}
find * -type f -name *.sql|xargs -i rm -f ../../../runSqlInFolder/{}
else
echo "-----create back folder: ${bakfolder}"
mkdir -p ${bakfolder}
fi
else
echo dir ${sqlfolder} not exist
fi

3.3 Invoke ANT

3.3.1 定义一个target:runSqlInFolder

使用try catch包裹for 循环,for循环中调用execSQL标签(自定义公共方法块,即宏),顺序逐条执行SQL脚本。

    <taskdef resource="net/sf/antcontrib/antlib.xml" classpath="${lib}/ant-contrib-1.0b3.jar"/>
<target name="runSqlInFolder">
<echo>Run the SQL at Folder: ${sqlfolder}</echo>
<echo>DB Host: ${v7uatdb.host}</echo>
<echo>DB Name: ${v7uatdb.name}</echo>
<echo>DB User: ${v7uatdb.user}</echo>
<trycatch property="errMsg">
<try>
<for param="folder">
<path>
<sort xmlns:rcmp="antlib:org.apache.tools.ant.types.resources.comparators">
<dirset dir="${sqlfolder}" includes="*" />
</sort>
</path>
<sequential>
<echo>SQL Folder: @{folder}</echo>
<for param="file">
<path>
<sort xmlns:rcmp="antlib:org.apache.tools.ant.types.resources.comparators">
<fileset dir="@{folder}" includes="*/*.sql" casesensitive="false"/>
</sort>
</path>
<sequential>
<echo>SQL: @{file}</echo>
<execsql
dbhost="${v7uatdb.host}"
dbport="${v7uatdb.port}"
dbname="${v7uatdb.name}"
dbuser="${v7uatdb.user}"
dbpwd="${v7uatdb.pwd}"
sqlfile="@{file}"
logfile="${Sqllogfile}"/>
</sequential>
<!--<move file="@{file}" todir="${sqlbakdir}/@{folder}"/>
folder 包含路径和文件名,所以直接复制file还有点问题,需要截取文件名--目前待研究 -->
</for>
<move file="@{folder}" todir="${sqlbakdir}"/>
</sequential>
</for>
<echo>Finished running all SQL</echo>
<echo>File moved to backup folder:</echo>
<echo>${sqlbakdir}</echo>
</try>
<catch>
<echo>Error found when running SQL</echo>
<echo>Log file can be found in:</echo>
<echo>${sqlbakdir}/err</echo>
<move file="${Sqllogfile}" todir="${sqlbakdir}/err"/>
<fail>Error Occur</fail>
</catch>
<finally>
</finally>
</trycatch>
</target>

3.3.2 定义execsql标签

通过sql标签执行sql文件,通过record标签记录对应的执行日志并输出。

注意:如果执行procedure就需要设置delimiter,本例中通过SQL文件的命名来区分是不同的SQL类型(procedure,declare等)。

    <macrodef name="execsql" description="Run single SQL file.">
<attribute name="dbhost" description="Host Name/ IP of the DB"/>
<attribute name="dbport" description="DB Port"/>
<attribute name="dbname" description="DB name"/>
<attribute name="dbuser" description="DB User name"/>
<attribute name="dbpwd" description="DB Password"/>
<attribute name="sqlfile" description="SQL file to be run"/>
<attribute name="logfile" default="sql.log" description="Log file"/>
<sequential>
<echo>Log file @{logfile}</echo>
<record name="@{logfile}" action="start"/>
<if>
<contains string="@{sqlfile}" substring="PROCEDURE"/>
<then>
<sql driver="${oracleDriver}"
url="jdbc:oracle:thin:@@@{dbhost}:@{dbport}:@{dbname}"
userid="@{dbuser}"
password="@{dbpwd}"
classpathref="classpath"
encoding="${encoding}"
print="true"
autocommit="true"
delimiter="/"
delimitertype="row">
<transaction src="@{sqlfile}"/>
</sql>
</then>
<else>
<sql driver="${oracleDriver}"
url="jdbc:oracle:thin:@@@{dbhost}:@{dbport}:@{dbname}"
userid="@{dbuser}"
password="@{dbpwd}"
encoding="${encoding}"
classpathref="classpath"
autocommit="true"
print="true">
<transaction src="@{sqlfile}"/>
</sql>
</else>
</if>
<record name="@{logfile}" action="stop"/>
</sequential>
</macrodef>

更新后

    <macrodef name="execsql" description="Run single SQL file.">
<attribute name="dbhost" description="Host Name/ IP of the DB"/>
<attribute name="dbport" description="DB Port"/>
<attribute name="dbname" description="DB name"/>
<attribute name="dbuser" description="DB User name"/>
<attribute name="dbpwd" description="DB Password"/>
<attribute name="sqlfile" description="SQL file to be run"/>
<attribute name="logfile" default="sql.log" description="Log file"/>
<sequential>
<echo>Log file @{logfile}</echo>
<record name="@{logfile}" action="start"/>
<if>
<contains string="@{sqlfile}" casesensitive="no" substring="PROCEDURE"/>
<then>
<sql driver="${oracleDriver}"
url="jdbc:oracle:thin:@@@{dbhost}:@{dbport}:@{dbname}"
userid="@{dbuser}"
password="@{dbpwd}"
classpathref="classpath"
encoding="${encoding}"
print="true"
autocommit="true"
delimiter="/"
delimitertype="row">
<transaction src="@{sqlfile}"/>
</sql>
</then>
<elseif>
<contains string="@{sqlfile}" casesensitive="no" substring="DECLARE"/>
<then>
<sql driver="${oracleDriver}"
url="jdbc:oracle:thin:@@@{dbhost}:@{dbport}:@{dbname}"
userid="@{dbuser}"
password="@{dbpwd}"
classpathref="classpath"
encoding="${encoding}"
print="true"
autocommit="true"
delimiter=";;">
<transaction src="@{sqlfile}"/>
</sql>
</then>
</elseif>
<else>
<sql driver="${oracleDriver}"
url="jdbc:oracle:thin:@@@{dbhost}:@{dbport}:@{dbname}"
userid="@{dbuser}"
password="@{dbpwd}"
encoding="${encoding}"
classpathref="classpath"
autocommit="true"
print="true">
<transaction src="@{sqlfile}"/>
</sql>
</else>
</if>
<record name="@{logfile}" action="stop"/>
</sequential>
</macrodef>

3.4  SVN中存放SQL的文件夹设置

3.5 成功执行效果

四、遇到的问题处理

4.1【问题】如果执行的SQL语句中存在中文,执行完在数据库中保存的数据是乱码

目前常用的两种数据库编码格式为:GBK、UTF-8,也是两种编码风格(ANSI和UNICODE)中的代表

经确认公司数据库采用GBK编码,所以将encoding改为GBK,乱码问题解决,ant文件头设置

<property name="encoding" value="GBK" /><!--UTF-8-->

4.2【问题】如果执行的SQL语句中,有declare,声明变量的,执行declare过程中会报错

delete zssys.WEB_APP_TEMPLATE where C_INTERFACE_ID = '0000-GDCARVA';;
declare
response clob;
begin
response := 'aaa'; insert into zssys.WEB_APP_TEMPLATE (C_PK_ID, C_INTERFACE_ID, C_SYSCODE, C_APP_NAME, C_TEMPLATE_REQUEST, C_TEMPLATE_RESPONSE)
values (SYS_GUID(), '0000-GDCARVA', '*', 'test', null, response);
end;

4.3【问题】目前备份脚本是按照模块整体备份的,没有做到单个sql脚本备份,后期优化

五、 参考资料

使用ANT脚本批量执行SQL,并且结合Jenkins自动化构建

Jenkins系列之-—08 实现SQL脚本批量执行的更多相关文章

  1. PL/SQL中批量执行SQL脚本(不可把所有的语句都复制到New SQL Windows)

    PL/SQL中批量执行SQL脚本,不可把所有的语句都复制到New SQL Window,因为这样会导致缓冲区过大而进程卡死! 最好的办法是将要执行的SQL脚本存放到指定文件中,如C:\insert.s ...

  2. 通过SqlClr制作Sql自动化批量执行脚本

    原文:通过SqlClr制作Sql自动化批量执行脚本 通过SqlClr制作Sql自动化批量执行脚本 在与同事一起做项目时,看到同事用sqlclr做批量执行脚本,感觉挺新奇的就上网搜集资料自己模仿跟做了个 ...

  3. shell脚本批量执行命令----必需判断上一步执行结果--没有捷径

    # 注意:shell脚本批量执行命令,不能只写一个函数,然后把所有命令复制进去,之前试过这样是不行的.必须要有一个判断命令执行成功与否的语句 # 简单的命令可以不加结果判断符号,但是遇到解压包.sed ...

  4. shell脚本-批量执行机器命令

    场景:通过跳板机,批量获取线上机器日志 使用方式:run2 host 'ls -al /home/admin/' #! /bin/sh USER_NAME=$USER if [ $# -ne 2 ]; ...

  5. 脚本批量执行Redis命令

    1.将命令写在文件中 数据量比较大的话,建议用程序去生成文件.例如: List<String> planIdList = planDao.findAll().parallelStream( ...

  6. Jenkins系列之-—06 Ant构建

    一.Ant 简介&构建环境 Apache Ant 是由 Java 语言开发的工具 构建ant环境: 1). 安装jdk,设置JAVA_HOME ,PATH ,CLASS_PATH 2). 下载 ...

  7. SQL Server自动化运维系列——批量执行SQL脚本(Power Shell)

    需求描述 一般在生产环境中,在投产的情况下,需要批量的来执行SQL脚本文件,来完成整个投产,如果投产文件比较多的情况下,无疑这是一个比较痛苦的过程,所以本篇通过PowerShell脚本来批量完成. 监 ...

  8. jenkins jmeter持续集成批处理jmx脚本

    这篇文章介绍jenkis jmeter的持续集成,利用jenkins定时任务去批处理执行jmeter的jmx脚本文件,并且生成测试报告 1:jmeter的安装这里我就不在赘述了,如有问题可参考我的jm ...

  9. Oracle:从SQL文件批量导入数据

    进入DOS界面. 进入SQL文件目录. 在命令提示下运行SqlPlus,c:\sql>sqlplus user_name/password@net_service_name 指定SQL执行日志文 ...

随机推荐

  1. [译] Pandas中根据列的值选取多行数据

    # 选取等于某些值的行记录 用 == df.loc[df['column_name'] == some_value] # 选取某列是否是某一类型的数值 用 isin df.loc[df['column ...

  2. Django notes I: collection of links to the Django document

    Links to the Django documents: the Django template language automatically generated context variable ...

  3. HDU——2602Bone Collector(01背包)

    Bone Collector Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others) T ...

  4. volatile的用法

    在再有人问你Java内存模型是什么,就把这篇文章发给他中我们曾经介绍过,Java语言为了解决并发编程中存在的原子性.可见性和有序性问题,提供了一系列和并发处理相关的关键字,比如synchronized ...

  5. Topcoder SRMCards ——贪心

    选择一个数x会删去x+1和x-1,问可以最多选多少次. 显然,对于一段连续的数列,贪心的从左向右选取是最优的. 然后就可以贪心的统计答案了. #include <map> #include ...

  6. BZOJ 4816 [Sdoi2017]数字表格 ——莫比乌斯反演

    大力反演出奇迹. 然后xjb维护. 毕竟T1 #include <map> #include <ctime> #include <cmath> #include & ...

  7. oracle 导出表结构信息

    直接贴sql: select cols.table_name 表名, cols.column_name 列名, cols.data_type 字段类型, cols.data_length 长度, co ...

  8. bzoj 2801 [Poi2012]Minimalist Security 设一个,求出所有

    题目大意 给出一个N个顶点.M条边的无向图,边(u,v)有权值w(u,v),顶点i也有权值p(i), 并且对于每条边(u,v)都满足p(u)+p(v)>=w(u,v). 现在要将顶点i的权值减去 ...

  9. 【BZOJ3524】Couriers(主席树)

    题意:给一个长度为n的序列a.1≤a[i]≤n.m组询问,每次询问一个区间[l,r],是否存在一个数在[l,r]中出现的次数大于(r-l+1)/2.如果存在,输出这个数,否则输出0. n,m≤5000 ...

  10. LOJ#2302. 「NOI2017」整数

    $n \leq 1000000$个操作:一,给$x$加上$a*2^b$:二,问$x$的某个二进制位$k$.$b,k \leq 30n$,$|a| \leq 1e9$. 30暴露了一切..可以把30个二 ...