MS SQL 监控数据/日志文件增长

    前几天,在所有数据库服务器部署了监控磁盘空间的存储过程和作业后（MS SQL 监控磁盘空间告警），今天突然收到了两封告警邮件，好吧，存储规划是一方面，但是，是不是要分析一下是什么原因造成磁盘空间不足的呢？会不会是因为突然暴增的日志文件，抑或是系统业务猛增导致数据量暴增，还是历史数据累计原因....分析总得有数据来支撑吧，但是现在只有那些数据文件的当前大小信息，没有数据文件的历史增长变化信息，所以，今天就想实现这么一个功能，每天（频率可以调整）去收集一下数据文件的信息，放到一个表里面，这样方便我们分析数据文件的增长演变例程，甚至你可以将数据文件的增长幅度和业务变化关联起来分析....

 

那么接下来就是我的设计思路和实现代码，目前只是简单实现，以后将继续优化,丰富一些功能。

首先我们创建一个表DiskCapacityHistory，用来保存数据库文件的历史增长变化信息：

USE  msdb;
GO
 
IF  EXISTS (SELECT 1 FROM dbo.sysobjects WHERE id = OBJECT_ID(N'') AND xtype='U')
    DROP TABLE DiskCapacityHistory;
GO
 
CREATE TABLE dbo.DiskCapacityHistory
(
    [Date_CD]            INT                     ,
    [DataBaseID]         INT                     ,
    [FileID]             INT                     ,
    [DataBaseName]       sysname                 ,
    [LogicalName]        VARCHAR(32)             ,
    [FileTypeDesc]       NVARCHAR(60)            ,
    [PhysicalName]       NVARCHAR(260)         　,
    [StateDesc]          NVARCHAR(60)         　 ,
    [MaxSize]            NVARCHAR(32)            ,
    [GrowthType]         NVARCHAR(8)             ,
    [IsReadOnly]         INT                     ,
    [IsPercentGrowth]    SMALLINT                ,
    [Size]               FLOAT                   ,
    [Growth_MOM_RAT]     FLOAT                   ,
    [Growth_YOY_RAT]     FLOAT                   ,
    CONSTRAINT PK_DiskCapacityHistory PRIMARY KEY(Date_CD, DataBaseID, FileID)
);

接下来，我们创建存储过程，负责来收集、统计这些数据库的文件的相关信息。关于环比/同比,正常情况一般是:

环比:  (指标当前值 - 指标值(上个月同一天))/ 指标值(上个月同一天) 。

同比:  (指标当前值 - 指标值(去年月同一天))/ 指标值(去年月同一天) 。

其实如果关注每天的数据文件变化情况，这个代码里面的环比、同比其实意义不大，其实我们可以这样定义环比、同比：

环比： （指标当前值 - 指标值（昨天）)/指标值（昨天）。

同比： （指标当前值 - 指标值 （上个月））/指标值（上个月）

当然，你也可以把这四个指标都加上，对比参考，侧重点不同而已。

存储过程

1. IF  OBJECT_ID(N'sp_diskcapacity_cal')IS NOT NULL
2. DROP PROCEDURE sp_diskcapacity_cal;
3. GO
4. CREATE PROCEDURE dbo.sp_diskcapacity_cal
5. AS
6. BEGIN
7. INSERT INTO dbo.DiskCapacityHistory
8. (
9. [Date_CD]           ,
10. [DataBaseID]        ,
11. [FileID]            ,
12. [DataBaseName]      ,
13. [LogicalName]       ,
14. [FileTypeDesc]      ,
15. [PhysicalName]      ,
16. [StateDesc]         ,
17. [MaxSize]           ,
18. [GrowthType]        ,
19. [IsReadOnly]        ,
20. [IsPercentGrowth]   ,
21. [Size]
22. )
23. SELECT CAST(REPLACE(CONVERT(varchar(10),GETDATE(),120),'-','') AS INT)
24. AS DateCD        ,
25. database_id                                                     AS DataBaseId    ,
26. file_id                                                         AS FileID        ,
27. DB_NAME(database_id)                                            AS DataBaseName  ,
28. name                                                            AS LogicalName   ,
29. type_desc                                                       AS FileTypeDesc  ,
30. physical_name                                                   AS PhysicalName  ,
31. state_desc                                                      AS StateDesc     ,
32. CASE WHEN max_size = 0 THEN N'不允许增长'
33. WHEN max_size = -1 THEN N'自动增长'
34. ELSE LTRIM(STR(max_size * 8.0 / 1024 / 1024, 14, 2)) + 'G'
35. END                                                             AS MaxSize       ,
36. CASE WHEN is_percent_growth = 1
37. THEN RTRIM(CAST(Growth AS CHAR(10))) + '%'
38. ELSE RTRIM(CAST(Growth AS CHAR(10))) + 'M'
39. END                                                             AS Growth        ,
40. Is_Read_Only AS IsReadOnly ,
41. Is_Percent_Growth AS IsPercentGrowth ,
42. CAST(size * 8.0 / 1024 / 1024 AS DECIMAL(8, 4))                 AS Size
43. FROM   sys.master_files;
44. MERGE INTO dbo.DiskCapacityHistory DM USING
45. (
46. SELECT M.Date_CD        ,
47. M.DataBaseID     ,
48. M.FileID         ,
49. CASE WHEN N.SIZE IS NULL OR N.SIZE = 0 THEN 0 ELSE
50. (M.SIZE - N.SIZE)/N.SIZE END AS Growth_MOM_RAT
51. FROM dbo.DiskCapacityHistory M
52. LEFT JOIN dbo.DiskCapacityHistory  N ON
53. CAST(CAST(M.Date_CD AS CHAR(8)) AS DATE) = DATEADD(MONTH, 1, CAST(CAST(N.Date_CD AS CHAR(8)) AS DATE))
54. AND M.DataBaseID = N.DataBaseID AND M.FileID = N.FileID
55. WHERE M.Date_CD =  CAST(REPLACE(CONVERT(varchar(10),GETDATE(),120),'-','') AS INT)
56. ) TMP
57. ON
58. (
59. DM.Date_CD       = TMP.Date_CD     AND
60. DM.DatabaseId    = TMP.DataBaseId  AND
61. DM.FileId        = TMP.FileId
62. )
63. WHEN MATCHED THEN UPDATE SET
64. DM.Growth_MOM_RAT = TMP.Growth_MOM_RAT;
65. END
66. GO

顺便吐槽一下：由于前两年一直使用ORACLE数据库，很少接触SQL SERVER，在实现上面功能的时候，我深深的体会到了ORACLE和SQL SERVER的巨大差距，如果用PL/SQL实现，那非常方便快捷，但是用T-SQL让我遇到了几个相当痛苦地方，下面顺便记录对比一下吧：

 

一：由于我采用INT来保存日期数据，那么需要在DATE类型和INT类型之间转换，我们来对比一下两者的差别吧：

 

 

1.1 DATE类型转换为整型:

 

T-SQL：

SELECT CAST(REPLACE(CONVERT(varchar(10),GETDATE(),120),'-','') AS INT);

PL/SQL：

 

SELECT TO_CHAR(Date_CD, 'YYYYMMDD') FROM DUAL;

 

1.2 整型转换为DATE类型（字段DATE_CD）

 

T-SQL：

   

    SELECT CAST(CAST(DATE_CD AS CHAR(8)) AS DATE) FROM TEST;

 

PL/SQL：

 

    SELECT TO_DATE(DATE_CD, 'YYYY-MM-DD') FROM TEST;

 

结论: 纯属个人感受,从上面的脚本的简单性,方便性上,感觉ORACLE完胜SQL SERVER

二：计算数据文件增长同比、环比值

 

  1：SQL SERVER 2005 没有MERGE语句功能，上面的脚本得改写成

Code Snippet

1. UPDATEdbo.DiskCapacityHistory
2. SET     GROWTH_MOM_RAT =( SELECTCASE WHEN N.SIZE IS NULL
3. OR N.SIZE = 0 THEN 0
4. ELSE ( dbo.DiskCapacityHistory.SIZE
5. - N.SIZE ) / N.SIZE
6. END AS Growth_MOM_RAT
7. FROM     dbo.DiskCapacityHistory N
8. WHERE    CAST(CAST(dbo.DiskCapacityHistory.Date_CD AS CHAR(8)) AS DATE) = DATEADD(MONTH,
9. 1,
10. CAST(CAST(N.Date_CD AS CHAR(8)) AS DATE))
11. AND dbo.DiskCapacityHistory.DataBaseID = N.DataBaseID
12. AND dbo.DiskCapacityHistory.FileID = N.FileID
13. )
14. WHEREdbo.DiskCapacityHistory.Date_CD = CAST(REPLACE(CONVERT(VARCHAR(10), GETDATE(), 120),
15. '-', '') AS INT)
16. UPDATEdbo.DiskCapacityHistory
17. SET     GROWTH_YOY_RAT =( SELECTCASE WHEN N.SIZE IS NULL
18. OR N.SIZE = 0 THEN 0
19. ELSE ( dbo.DiskCapacityHistory.SIZE
20. - N.SIZE ) / N.SIZE
21. END AS Growth_YOY_RAT
22. FROM     dbo.DiskCapacityHistory N
23. WHERE    CAST(CAST(dbo.DiskCapacityHistory.Date_CD AS CHAR(8)) AS DATE) = DATEADD(MONTH,
24. 12,
25. CAST(CAST(N.Date_CD AS CHAR(8)) AS DATE))
26. AND dbo.DiskCapacityHistory.DataBaseID = N.DataBaseID
27. AND dbo.DiskCapacityHistory.FileID = N.FileID
28. )
29. WHEREdbo.DiskCapacityHistory.Date_CD = CAST(REPLACE(CONVERT(VARCHAR(10), GETDATE(), 120),
30. '-', '') AS INT)

或

Code Snippet

1. CREATE TABLE #DiskCapacityHistory
2. (
3. DATE_CD INT ,
4. DataBaseID INT ,
5. FileID INT ,
6. Growth_MOM_RAT FLOAT
7. ) ;
8. INSERTINTO #DiskCapacityHistory
9. SELECT  M.DATE_CD ,
10. M.DataBaseID ,
11. M.FileID ,
12. CASE WHEN N.SIZE IS NULL
13. OR N.SIZE = 0 THEN 0
14. ELSE ( M.SIZE - N.SIZE ) / N.SIZE
15. END AS Growth_MOM_RAT
16. FROM    dbo.DiskCapacityHistory M ,
17. dbo.DiskCapacityHistory N
18. WHERE   CAST(CAST(M.Date_CD AS CHAR(8)) AS DATE) = DATEADD(MONTH, 1,
19. CAST(CAST(N.Date_CD AS CHAR(8)) AS DATE))
20. AND M.DataBaseID = N.DataBaseID
21. AND M.FileID = N.FileID
22. AND M.Date_CD = CAST(REPLACE(CONVERT(VARCHAR(10), GETDATE()
23. - 1, 120), '-', '') AS INT)
24. UPDATE dbo.DiskCapacityHistory
25. SET Growth_MOM_RAT = M.Growth_MOM_RAT
26. FROM #DiskCapacityHistory M
27. WHERE dbo.DiskCapacityHistory.DATE_CD = M.DATE_CD
28. AND dbo.DiskCapacityHistory.DataBaseID = M.DataBaseID
29. AND dbo.DiskCapacityHistory.FileID = M.FileID ;

2: 幸好SQL 2008还把ORACLE的MERGE的功能给模仿了过来，但是T-SQL缺少ORACLE数据库强大的分析函数LAG，如果有这个，我计算环比，同比就非常方便了，一个SQL就搞定了，下面是个例子，本想把ORACLE的SQL也做个例子展现，但是又要建表、造数，折腾起来比较麻烦。

Oracle Sample

1. MERGE INTO DM.TM_WGGBO_IDCTOBUSVOLDTL_DAY DM
2. USING    (
3. SELECT *
4. FROM (
5. SELECT    DATE_CD,
6. CITY_ID,
7. IDC_NODE,
8. VOL_TYPE,
9. LAG(IDC_VOL_RAT   ) OVER(PARTITION BY CITY_ID,IDC_NODE,VOL_TYPE,SUBSTR(DATE_CD,7,2) ORDER BY SUBSTR(DATE_CD,0,6)) AS IDC_MOM_RAT                ,
10. LAG(IDC_VOL_RAT   ) OVER(PARTITION BY CITY_ID,IDC_NODE,VOL_TYPE,SUBSTR(DATE_CD,5,4) ORDER BY SUBSTR(DATE_CD,0,4)) AS IDC_YOY_RAT                 ,
11. FROM DM.TM_WGGBO_IDCTOBUSVOLDTL_DAY
12. ) T
13. WHERE EXISTS(SELECT 1 FROM ETL.T_IDCVOL_DAY_${ssid} WHERE DATE_CD = T.DATE_CD)
14. ) TEMP
15. ON (
16. DM.DATE_CD     = TEMP.DATE_CD     AND
17. DM.CITY_ID     = TEMP.CITY_ID     AND
18. DM.IDC_NODE    = TEMP.IDC_NODE    AND
19. DM.VOL_TYPE    = TEMP.VOL_TYPE
20. )
21. WHEN MATCHED THEN
22. UPDATE
23. SET DM.IDC_MOM_RAT    =       TEMP.IDC_MOM_RAT                    ,
24. DM.IDC_YOY_RAT    =       TEMP.IDC_YOY_RAT
25. ;
26. COMMIT;