Oracle 高级查询

Oracle SQL 一些函数用法

以下sql环境都是在 Oracle 11g/scott完成

Group by

与GROUP BY一起使用的关建字 GROUPING,GROUP SET,ROLLUP,CUBE结合这些特性的函数可以实现SQL的明细+分组统计

GROUPING

GROUPING 记录是对哪个字段进行统计,其值只能是 0 & 1

Group(column) =0 表示此字段参与了分组统计 =1表示字段未参与分组统计

select deptno,job,sum(sal),grouping(deptno),grouping(job)

from emp groupby  ( deptno,job);

执行结果如下

ROLLUP

select deptno,job,sum(sal),grouping(deptno),grouping(job)

from emp groupby rollup( deptno,job);

等价于

selectnull,null,sum(sal)from emp

unionall

select deptno,null,sum(sal)from empgroupby deptno

unionall

select deptno,job,sum(sal)from empgroupby deptno,job

首先是进行无字段的聚合,然后在对字段进行从左到右依次组合后聚合

从上面的结果可以看到

rollup( deptno,job) = group by  deptno, job + group by deptno  + group by null

另外  rollup (deptno,job)<>rollup(job,deptno)两者的结果集是不同的,可以把SQL修改后,执行下看看

提示:在对rollup的分组进行组合使用

select deptno,job,sum(sal),grouping (deptno),grouping(job)

from emp groupby rollup ((deptno,job),null) ;

此时 rollup对(deptno,job)这个组合字段进行分组,这样我们可以控制rollup的分组规则的颗粒细度

rollup ((deptno,job),null) =group by (deptno,job)

+ group by  (deptno,job), null

+group by null

其中group by (deptno,job)=group by (deptno,job),null

所以其产生的结果集会出现group by (deptno,job)的重复记录

CUBE

select deptno,job,sum(sal),grouping (deptno),grouping(job)

from emp groupby cube( deptno,job);

等价于

select deptno,job,sum(sal)from empgroupby deptno,job

unionall

select deptno,null,sum(sal)from empgroupby deptno

unionall

selectnull,null,sum(sal)from emp

union all

select null,job,sum(sal) from emp group by job

CUBE的语法规则与rollup一致,只是在分组聚合上cube要更复杂,从数学的角度讲一个是排序规则,一个是组合规则

GROUP SETS

可以按自己定义的规则进行分组聚合,Grouping sets () 的聚合规则是按“()”里的字段(字段可以是表的单一字段,也可以是多个字段的组合)进行聚合

select deptno,job,sum(sal),grouping (deptno),grouping(job)

from emp group by  grouping sets(deptno,job,null) ;

等价于 group by depnto + group by job +group by null

select deptno,job,sum(sal),grouping (deptno),grouping(job)from emp  group by   grouping sets((deptno,job),null) ;

等价于  group by deptno,job +group by null

select deptno,job,sum(sal),grouping (deptno),grouping(job)

from emp groupby groupingsets ((deptno,job)) ;

等价与 group by deptno,job

Connect by

CONNECT BY 语句特有的函数

SYS_CONNECT_BY_PATH  获取节点在整个树结构的路径

CONNECT_BY_ROOT,     获取节点规属的根节点

CONNECT_BY_ISLEAF,     判断该节点是否存在子节点

CONNECT_BY_ISCYCLE    该节点是否循环

LEVEL                                           伪列,用来指定节点在树结构里的层次

对 CONNECT BY的结果集的每层进行排序

SELECT ……. FROM  TABLENAME

CONNECT BY PRIOR ID = F_ID

START WITH F_ID = 0

ORDER SIBLINGS BY ID DESC

具体的SQL语法不在此举例

产生一个无限序列

select level from dualconnect by 1=1

显示20个记录结果集
select level from dualconnect by 1=1 and level<=20

Lpad与 level伪列可以显示一个层级结构的数据
select lpad(' ',(level-1)*10,' ')||ename,levelfrom emp  connectby prior  empno=mgr start with mgr is null

注意 where 1=1 and …..    connect by prior  and ….    start with and …..  的条件and的约束范围

再分别执行以下语句,并理解其含义

select prior empno,prior mgr, empno ,mgr,x.ename,lpad(' ',(level-1)*10,' ')||x.ename

from emp x  connectbyprior x.empno=x.mgr startwith x.mgrisnull

无限记录

select *from emp  where empno=7369connect by empno=empno;

一条记录

select *from emp  where empno=7369connect by empno=empnoand prior empno is null;

内部自循环,无法执行

select * from emp where empno=7369connect by prior   empno=empno;

一条记录

select * from empwhere empno=7369connectbyprior  empno=empno  and prior empnoisnull;

一条记录

select *from emp where empno=7369connectby nocycle prior empno=empno ;

OVER

分析函数 OVER (PARTITION BY …… ORDER BY ……)

PARTITION BY 分组

ORDER BY    排序

ROW_NUMBER ：返回有序组中一行的偏移量，从而可用于按特定标准排序的行号,排行值相同,也是显示不间断流水号

RANK  ：根据ORDER BY子句中表达式的值，从查询返回的每一行，计算它们与其它行的相对位置,如果排序值相同,rank()值相同

DENSE_RANK ：根据ORDER BY子句中表达式的值，从查询返回的每一行，计算它们与其它行的相对位置,与rank相似,只是不会跳号

SUM                           ：该函数计算组中表达式的累积和

MIN                   ：在一个组中的数据窗口中查找表达式的最小值

MAX                           ：在一个组中的数据窗口中查找表达式的最大值

AVG                   ：用于计算一个组和数据窗口内表达式的平均值。

COUNT             ：对一组内发生的事情进行累积计数

FIRST                 ：从DENSE_RANK返回的集合中取出排在最前面的一个值的行

LAST                           ：从DENSE_RANK返回的集合中取出排在最后面的一个值的行

FIRST_VALUE   ：返回组中数据窗口的第一个值

LAST_VALUE    ：返回组中数据窗口的最后一个值。

LAG                   ：可以访问结果集中的其它行而不用进行自连接, 进行锉行显示,向下锉行

LEAD                 ：LEAD与LAG相反，LEAD可以访问组中当前行之后的行

例:

select empno,sal,

row_number() over(order by sal) x,

rank()       over(order by sal) y,

dense_rank() over(order by sal) z

from emp where deptno=30;

select empno,ename,sal,deptno,

row_number()over(partitionby deptno orderby sal) x,

rank()      over(partitionby deptno orderby sal) y,

dense_rank()over(partitionby deptno orderby sal) z

from emp;

执行以下SQL,看看查询后的结果集

1.

select empno, ename, deptno, sal,

sum(sal) over (partition by deptno order by ename) x

from emp;

--注意PARTITION BY, ORDER BY

先按 deptno进行分组,然后在按ename排序后,累加 sal

2.

select empno, ename, deptno, sal,

sum(sal) over (partition by deptno order by ename

rows between unbounded preceding and current row) x

from emp;

--注意ROWS BETWEEN unbounded preceding AND current row

--是指第一行至当前行的汇总

--默认的分析函数的累加方式也是从第一行开始到当前行

3.

select empno, ename, deptno, sal,

sum(sal) over (partition by deptno order by ename

rows between current row and unbounded following) x

from emp;

--注意ROWS BETWEEN current row AND unbounded following

--是指当前行到最后一行的汇总

4.

select empno, ename, deptno, sal,

sum(sal) over (partition by deptno order by ename

rows between 1 preceding and current row) x

from emp;

--注意ROWS BETWEEN 1 preceding AND current row

--是指当前行的上一行(rownum-1)到当前行的汇总

5.

select empno, ename, deptno, sal,

sum(sal) over (partition by deptno order by ename

rows between 1 preceding and 2 following) x

from emp;

--注意ROWS BETWEEN 1 preceding AND 2 following

--是指当前行的上一行(rownum-1)到当前行的下辆行(rownum+2)的汇总

行列互换函数

行转列

Listagg

Listagg 函数是11g以上才出现的,针对行转列的函数(10g不支持改函数)

listagg函数的语法结构如下：
LISTAGG( [,]) WITHIN GROUP (ORDER BY ) [OVER (PARTITION BY )]

listagg虽然是聚合函数，但可以提供分析功能（比如可选的OVER()子句）。使用listagg中，下列中的元素是必须的：

需要聚合的列或者表达式

WITH GROUP 关键词

分组中的ORDER BY子句

listagg聚合的结果列大小限制在varchar2类型的最大值内 varchar2(4000)

select deptno,listagg(ename,',')withingroup(orderbynull )over(partitionby deptno) from emp;

从上面的结果集看,listagg并没有去掉重复的数据

select deptno, listagg(ename,',') within group(order bynull)

from emp

groupby deptno;

自定义聚合函数

针对 11g以下的数据库,不能使用 listagg这个函数,可以进行自定义聚合函数来替代此函数

oracle自定义聚集函数接口:

static function ODCIAggregateInitialize(sctx IN OUTstring_agg_type) return number

自定义聚集函数初始化设置,从这儿开始一个聚集函数

member function ODCIAggregateIterate(self IN OUT string_agg_type ,value IN varchar2)  return number

自定义聚集函数,最主要的步骤,这个函数定义我们的聚集函数具体做什么操作,后面的例子,是取最大值,最小值,平均值,还是做连接操作.self为当前聚集函数的指针,用来与前面的计算结果进行关联

member function ODCIAggregateMerge (self IN string_agg_type,returnValue OUT  varchar2,flags IN number)  return number

用来合并两个聚集函数的两个不同的指针对应的结果,用户合并不同结果结的数据,特别是处理并行(parallel)查询聚集函数的时候.

member function OCDIAggregateTerminate(self IN string_agg_type,returnValue OUT varchar2,flags IN number) return number

终止聚集函数的处理,返回聚集函数处理的结果.

下面代码是实现自定义函数的结果如下图所示

实现代码如下:

create or replace type cux_listagg as object (

--定义变量

result_string varchar2(4000),

--自定义聚集函数初始化设置,从这儿开始一个聚集函数

static function ODCIAggregateInitialize(cs_ctx In Out cux_listagg) return number,

--自定义聚集函数,最主要的步骤,这个函数定义我们的聚集函数具体做什么操作,后面的例子,是取最大值,最小值,平均值,还是做连接操作

--self 为当前聚集函数的指针,用来与前面的计算结果进行关联

member function ODCIAggregateIterate(self In Out cux_listagg,value in varchar2) return number,

-- 用来合并两个聚集函数的两个不同的指针对应的结果,用户合并不同结果结的数据,特别是处理并行(parallel)查询聚集函数的时候.

member function ODCIAggregateMerge(self In Out cux_listagg,ctx2 In Out cux_listagg) return number,

--终止聚集函数的处理,返回聚集函数处理的结果.

member function ODCIAggregateTerminate(self In Out cux_listagg,returnValue Out varchar2,flags in number) return number

)

/

create or replace type body cux_listagg is

--自定义聚集函数初始化设置,从这儿开始一个聚集函数

static function ODCIAggregateInitialize(cs_ctx IN OUT cux_listagg) return number

is

begin

cs_ctx := cux_listagg(null);

return ODCIConst.Success;

end;

--自定义聚集函数,最主要的步骤,这个函数定义我们的聚集函数具体做什么操作,后面的例子,是取最大值,最小值,平均值,还是做连接操作

--self 为当前聚集函数的指针,用来与前面的计算结果进行关联

member function ODCIAggregateIterate(self IN OUT cux_listagg,

value IN varchar2 )

return number

is

begin

self.result_string := self.result_string || ','|| value;

--此处用来处理聚合的数据逻辑,本例是进行字符串的拼连,

return ODCIConst.Success;

end;

--终止聚集函数的处理,返回聚集函数处理的结果.

member function ODCIAggregateTerminate(self IN Out cux_listagg,

returnValue OUT varchar2,

flags IN number)

return number

is

begin

returnValue := ltrim(rtrim(self.result_string,','),',');

return ODCIConst.Success;

end;

-- 用来合并两个聚集函数的两个不同的指针对应的结果,用户合并不同结果结的数据,特别是处理并行(parallel)查询聚集函数的时候.

member function ODCIAggregateMerge(self IN OUT cux_listagg,

ctx2 IN Out cux_listagg)

return number

is

begin

self.result_string := self.result_string || ',' || ctx2.result_string;

return ODCIConst.Success;

end;

end;

/

再对这个type进行函数的创建

CREATE or replace FUNCTION f_row_column(input varchar2 )

RETURN varchar2

PARALLEL_ENABLE AGGREGATE USING cux_listagg;

/

执行以下语句即可

select deptno, f_row_column(ename)from scott.emp

groupby deptno

其它函数

利用connect by+分析函数也可以完成行转列的功能

请参考如下SQL

with tas

(select deptno,

ename,

count(*)over(partitionby deptno) count_num,

row_number()over(partitionby deptno orderbynull) row_num

from emp)

select deptno, substr(sys_connect_by_path(ename,','),2) row_column

from t where count_num=row_num

connectbyprior t.row_num+1 = t.row_num and t.deptno =prior t.deptno

startwith t.row_num =1

条件说明:

connectbyprior t.row_num+1 = t.row_num and t.deptno =prior t.deptno

Prior t.row_num +1=t.row_num  进行自连接的层次构造

t.deptno= prior t.deptno       保证自连接的记录都在一个deptno里进行

另外很多人使用 wmsys.wm_concat这个函数进行行列互换这个函数是oracle非公布的函数,也就是说在以后的数据库版本中,不一定还会继续支持,所以尽量避免使用,最好使用公布的函数

列转行

REGEXP_SUBSTR

Regexp_substr 按照正则表达式的规则,将一个字符串按分隔符拆分成记录行

REGEXP_SUBSTR(srcstr, pattern, position, occurrence, modifier)

srcstr       ：检索字符串

pattern      ：匹配模式

position     ：搜索srcstr的起始位置（默认为1）

occurrence   ：搜索第几次出现匹配模式的字符串（默认为1）

modifier     ：检索模式('i'不区分大小写进行检索；'c'区分大小写进行检索。默认为'c'）

select regexp_substr('ALLEN,BLAKE,JAMES,MARTIN,TURNER,WARD',

'[^,]+',

1,

level)

from dual

connectby regexp_count('ALLEN,BLAKE,JAMES,MARTIN,TURNER,WARD','[^,]+') >=

level;

regexp_substr 中使用了正则表达式 '[^,]+',具体的正则表达式的含义,可以参考正则表达的语法

在不支持regexp_count的数据库环境下,可以使用 length ,  replace这两个函数来实现它的效果

Regexp_count   Regexp_like   Regexp_replace   Regexp_instr这些函数都可以使用正则表达式来完成特定模式的处理

交叉函数PIVOT & UNPIVOT

Pivot 、Unpivot这两个函数是11g版本后推出的,

pivot ( 聚合函数  for列名 in (列名的值))

unpiovt ( 伪列 for伪列 in (表中的字段名称 ) )

--表中的字段名称可以是多个,但必须是类型一致的字段

统计emp表中每个部门下的JOB有多少个员工,并以交叉报表的形式展现

select *from (

SELECT x.ename, x.deptno,x.job FROM emp x

)

pivot (count(ename)for jobin ('ANALYST','CLERK','MANAGER','PRESIDENT','SALESMAN') )

;

对不能使用pivot的函数我们可以通过其它方式展现,以下SQL是比较常用的产生交叉样式;

SELECT DEPTNO,SUM(DECODE(JOB,'ANALYST',1,0)) ANALYST

,SUM(DECODE(JOB,'CLERK',1,0)) CLERK

,SUM(DECODE(JOB,'MANAGER',1,0)) MANAGER

,SUM(DECODE(JOB,'PRESIDENT',1,0)) PRESIDENT

,SUM(DECODE(JOB,'SALESMAN',1,0)) SALESMAN

FROM EMP

GROUPBY DEPTNO;

Unpiovt :

select *  from emp

unpivot(

valuefor VALUE_TYPEin (ename,job)

);

Model

这个函数一般不太常见,但确是非常有用的一个函数,基本上model可以完成所有函数的功能
具体的官方资料可以参考   noname.htm

语法定义如下

--MODEL:MODEL语句的关键字，必须,后面可以跟  partition by

--DIMENSION BY:维度的意思,必须,而且必须是一个主键或者是组合主键。

--MEASURES:指定作为数组的列,可以定义出许多有规则的伪列

--RULES:对数组的各列进行各种操作规则的定义,特有的函数有 any,cv(),cv(维度字段)

先从简单的了解下model函数的特性:

自循环功能

selectkey, m_1 from dual

model

dimensionby(0key) --定义维度列名=key值等于0

measures(cast(nullasvarchar2(100)) m_1 )  --定义一个度量类型是 varchar2(100) 列名=m_1

rules--规则约束

iterate(5) --定义自循环次数 =5从 0开始循环

(m_1[0]=nvl(m_1 [0],'TEST')||'x'||'/'||iteration_number||'/')

利用model的循环来实现阶层的算法

当然,此处不是要真的实现阶乘的算法,只是为了理解model函数的用法,

再看看如下的SQL

目的:根据emp表的 mgr和empno的关系来显示上级的ename和job

最直接最常用的语法就是

select x.empno,x.ename,x.job,x.mgr,y.ename,y.jobfrom emp x,emp y

where x.mgr=y.empno(+)  ;

但这样的SQL的执行计划显示对EMP表进行了两次全表扫描

换成model函数执行下

select *from emp

model

dimensionby (empno)

measures ( ename,job,mgr

,cast(nullasvarchar2(20)) mgr_ename

,cast(nullasvarchar2(20)) mgr_job

)

rules (

mgr_ename[any]=ename[mgr[cv()]]

--cv()代表对当前行的维度值

--mgr[cv()]是获取当前维度下的mgr值 ,然后在对 mgr[cv()]进行维度的数据定位到度量ename也就是当前ename的上级ename

,mgr_job[any]=job[mgr[cv()]]

)

再看看它的执行计划,如下图:

执行以下SQL,看看结果集,理解model函数

--显示部门,年份,当前年份汇总sal,上年汇总sal

with tas (select deptno,to_char(emp.hiredate,'yyyy')year,sum(sal) salfrom empgroupby deptno,to_char(emp.hiredate,'yyyy'))

select deptno,year,sal,p_sal

from t

model

dimensionby (deptno,year)

measures (sal,0 p_sal)

rules

(

p_sal[any,any]=sal[cv(),cv(year)-1]

);

--分组 group by deptno合计

select  ename,sales from emp

modelpartitionby (deptno)

dimensionby (ename)

measures (sal sales)

rules

(

sales['合计']=sum(sales)[cv(ename)='合计']

);

-- x =sal

-- y 只给deptno=30的赋予当前sum(sal)

-- z 显示 sum(sal) where deptno=20

-- m 汇总个部门的sum(sal) 

select  deptno,ename,sales,x,y,z,m from emp

modelpartitionby (deptno)

dimensionby (ename,deptno dep)

measures (sal sales,0 x,0 y,0 z,0 m)

rules

(

x[any,any]=sum(sales)[cv(),cv()]

,y[any,any]=sales[cv(),30]--注意此处是 30可以不用sum,而不是 cv()=30,cv()=30存在多条记录

,z[any,any]=sum(sales) [any,cv()=20]

,m[any,any]=sum(sales) [any,any]

);

--部门号,年份,

--sum(sal) group by deptno,year

--sum(sal) group by deptno

--sum(sal) group by null

--sum(sal) group by year

--sum(sal) group by null

with tas (select deptno,to_char(emp.hiredate,'yyyy')year,sum(sal) salfrom empgroupby deptno,to_char(emp.hiredate,'yyyy'))

select deptno,year,sal,p_sal,x,y,m

from t

model

dimensionby (deptno,year)

measures (sal,0 p_sal ,0 x,0 y ,0 m)

rules

(

p_sal[any,any]=sum(sal)[cv(),cv()isnotnull ] --sum(sal) group by deptno

,x[any,any]=sum(sal)[any,cv()isnotnull ]     --sum(sal) group by null

,y[any,any]=sum(sal)[cv()isnotnull,cv()]     --sum(sal) group by year

,m[any,any]=sum(sal)[cv()isnotnull,any ]      --sum(sal) group by null

-- cv() 中如果没有null的记录那么 cv() is not null等价与 any

);

用model函数产生行转列

字符串='adfd,bere,cf234,4d54d'

select r,z

from dual

model

dimension by (0 x)

measures (cast ('adfd,bere,cf234,4d54d'asvarchar2(200)) y

,cast(nullasvarchar2(1000)) z

,cast(nullasvarchar2(1000)) r --显示字符串列

) --申明一个字符串的伪列

rulesiterate(10)--定义循环100次

--PRESENTV(cell,expr1,expr2)

--如果cell引用的记录在MODEL子句执行以前就存在，那么返回表达式expr1。如果这条记录不存在，则返回表达式expr2

until (presentv( y[instr(y[0],',',1,iteration_number+2)],0,1) = 0 )--循环退出的条件

(  --对字符串进行循环截取操作 y[iteration_number+1]=substr(y[iteration_number],instr(y[iteration_number],',',1)+1)

,r[any]=y[0]

,z[iteration_number]=nvl(substr(y[iteration_number],1,instr(y[iteration_number],',',1)-1),y[iteration_number])

,z[iteration_number+1]=y[iteration_number+1]

)

用model函数产生 列转行

with tas (

select'abc' xfrom dual

unionall

select'XTZ'from dual

unionall

select'IJM'from dual

unionall

select'KPI'from dual

)

select *from t

model

dimensionby (rownum sn)

measures(cast (x asvarchar2(1000)) x)

rules

iterate (100)

until (presentv( x[ iteration_number+1],1,0 )=0 )

(

x[0]=x[0]||','||x[iteration_number+1]

);

用model函数产生交叉表格

select DEPTNO,CLERK_JOB,ANALYST_JOB,MANAGER_JOB,PRESIDENT_JOB,SALESMAN_JOBfrom emp

modelpartitionby (deptno)

dimensionby (empno,job)

measures ( ename,cast(nullasvarchar2(1000)) CLERK_JOB

,cast(nullasvarchar2(1000)) ANALYST_JOB

,cast(nullasvarchar2(1000)) MANAGER_JOB

,cast(nullasvarchar2(1000)) PRESIDENT_JOB

,cast(nullasvarchar2(1000)) SALESMAN_JOB

)

rules(

CLERK_JOB[ANY,ANY]= (ENAME[CV(),'CLERK'])

,ANALYST_JOB[ANY,ANY]=(ENAME[CV(),'ANALYST'])

,MANAGER_JOB[ANY,ANY]=(ENAME[CV(),'MANAGER'])

,PRESIDENT_JOB[ANY,ANY]=(ENAME[CV(),'PRESIDENT'])

,SALESMAN_JOB[ANY,ANY]=(ENAME[CV(),'SALESMAN'])

);