使用SQLServer 2008的CDC功能实现数据变更捕获
原文:使用SQLServer 2008的CDC功能实现数据变更捕获
最近由于工作需要,研究了一下2008 CDC功能,觉得还不错,下面整理了一下研究过程,虽然比较粗略,但是基本上能用了,如果有补充请大家回复,我视情况修改原帖,谢谢。
背景:
在SQLServer2008之前,对数据变更的捕获通常使用触发器、时间戳等低效高成本的功能来实现,所以很多系统都没有做数据变更或者仅仅对核心表做监控。
自从SQLServer2008引入了数据变更捕获功能(后面简称为CDC)后,解决了很多烦恼问题,如客户2个月前更改了一个数据,但是由于服务器空间不足,经常只能保留一个月的备份。此时客户为了逃避因为更改数据带来的较大负面影响,往往会把责任推给软件开发商或者运维商,如果此时有变更捕获的话,就有证据了,当然分析日志也能实现,但是比较痛苦。
适用环境:
仅在SQLServer2008(含)以后的企业版、开发版和评估版中可用。
详解:
CDC功能主要捕获SQLServer指定表的增删改操作,由于任何操作都会写日志(哪怕truncate),所以CDC的捕获来源于日志文件。日志文件会把更改应用到数据文件中,同时也会标记符合要求的数据标记为需要添加跟踪的项。然后通过一些配套函数,最后写入到数据仓库中。大概流程:
步骤:本文中以:AdventureWorks为例
第一步、对目标库显式启用CDC:
在当前库使用sys.sp_cdc_enable_db。返回0(成功)或1(失败)。注意,无法对系统数据库和分发数据库启用该功能。且执行者需要用sysadmin角色权限。
该存储过程的作用域是整个目标库。包含元数据、DDL触发器、cdc架构和cdc用户。
使用以下代码启用:
USE AdventureWorks GO EXECUTE GO |
在一开始直接执行时,出现了报错信息:
消息22830,级别16,状态1,过程sp_cdc_enable_db_internal,第193 行 无法更新元数据来指示已对数据库AdventureWorks 启用了变更数据捕获。执行命令'SetCDCTracked(Value = 1)' 时失败。返回的错误为15517: '无法作为数据库主体执行,因为主体"dbo" 不存在、无法模拟这种类型的主体,或您没有所需的权限。'。请使用此操作和错误来确定失败的原因并重新提交请求。 |
这里引出了另外一个知识点:错误号 15517 的错误
这种错误会在很多地方出现,如还原数据库的时候也会有可能出现。共同点是:某个/些存储过程使用了具有WITHEXECUTE AS 的选项。使其在当前库具有了某个架构,但是当在别的地方执行时,由于没有这个架构,所以就报错,解决方法:
ALTER AUTHORIZATION ON DATABASE::[AdventureWorks] TO [sa] |
经过检查,uspUpdateEmployeeHireInfo这个存储过程的确有:WITH EXECUTE AS CALLER |
使用sa的原因是即使sa被禁用,sa还是存在的。所以不会报错。
现在重新执行:
USE AdventureWorks GO EXECUTE sys.sp_cdc_enable_db; GO |
启用成功,然后通过以下语句检查是否成功:
SELECT FROM WHERE NAME |
创建成功后,将自动添加CDC用户和CDC架构。
创建这两个用户、架构的原因是因为CDC要求独占方式使用这两个架构,所以要单独创建。如果存在了非CDC功能创建的CDC用户、架构的话,则需要先删除该cdc命名的架构,才能开启。
第二步、对目标表启用CDC:
使用db_owner角色的成员执行sys.sp_cdc_enable_table为每个需要跟踪的表创建捕获实例。然后通过sys.tables目录视图中的is_tracked_by_cdc列来判断是否创建成功。
默认情况下会对表的全部列做捕获。如果只需要对某些列做捕获,可以使用@captured_column_list参数指定这些列。
如果要把更改表放到文件组里的话,最好创建单独的文件组(最起码与源表独立)。
如果不想控制访问角色,则@role_name必须显式设置为null。
sys.sp_cdc_enable_table [ @source_schema = ] 'source_schema', [ @source_name = ] 'source_name' , [ @role_name = ] 'role_name' [,[ @capture_instance = ] 'capture_instance' ] [,[ @supports_net_changes = ] supports_net_changes ] [,[ @index_name = ] 'index_name' ] [,[ @captured_column_list = ] 'captured_column_list' ] [,[ @filegroup_name = ] 'filegroup_name' ] [,[ @partition_switch = ] 'partition_switch' ] |
例子:
把HumanResources.Department 这个表开启变更捕获。
USE AdventureWorks GO EXEC sys.sp_cdc_enable_table@source_schema= @source_name |
然后查询是否成功:
SELECT is_tracked_by_cdc CASE ELSE END FROM WHERE OBJECT_ID= |
对表开启以后,可以在下图中看到多了很多cdc架构开头的表:
下面列出相关的存储过程:
Sys.sp_cdc_add_job |
|
Sys.sp_cdc_generate_wrapper_function |
|
Sys.sp_cdc_change_job |
|
Sys.sp_cdc_get_captured_columns |
|
Sys.sp_cdc_cleanup_change_table |
|
Sys.sp_cdc_get_ddl_history |
|
Sys.sp_cdc_disable_db |
说明及例子 建议先禁用表,再禁用库 |
Sys.sp_cdc_help_change_data_capture |
|
Sys.sp_cdc_disable_table |
|
Sys.sp_cdc_help_jobs |
|
Sys.sp_cdc_drop_job |
|
Sys.sp_cdc_scan |
|
Sys.sp_cdc_enable_db |
|
Sys.sp_cdc_start_job |
|
Sys.sp_cdc_enable_table |
|
Sys.sp_cdc_stop_job |
函数:
Cdc.fn_cdc_get_all_changes_<capture_instance> |
|
Sys.fn_cdc_has_column_changed |
|
Cdc.fn_cdc_get_net_changes_<capture_instance> |
|
Sys.fn_cdc_increment_lsn |
|
Sys.fn_cdc_decrement_lsn |
|
Sys.fn_cdc_is_bit_set |
|
Sys.fn_cdc_get_column_ordinal |
|
Sys.fn_cdc_map_lsn_to_time |
|
Sys.fn_cdc_get_max_lsn |
|
Sys.fn_cdc_map_time_to_lsn |
|
Sys.fn_cdc_get_min_lsn |
案例:
下面开始从头到尾做一个实际案例:
先检查原库的内容:可以看到系统表里面只有一个dbo.sysdiagrams表
然后看看SQLServer代理:可以看到也没有相关的作业
步骤二:对数据库启用CDC数据库级别功能。必须显式启用:
Step1、执行以下语句:
USE AdventureWorks GO EXEC sys.sp_cdc_enable_db GO |
某些数据库可能存在一些存储过程包含有:execute as 等语句,此时会报错:
文字描述:
消息22830,级别16,状态1,过程sp_cdc_enable_db_internal,第186 行 无法更新元数据来指示已对数据库AdventureWorks 启用了变更数据捕获。执行命令'SetCDCTracked(Value = 1)' 时失败。返回的错误为15517: '无法作为数据库主体执行,因为主体"dbo" 不存在、无法模拟这种类型的主体,或您没有所需的权限。'。请使用此操作和错误来确定失败的原因并重新提交请求。 消息266,级别16,状态2,过程sp_cdc_enable_db_internal,第0 行 EXECUTE 后的事务计数指示BEGIN 和COMMIT 语句的数目不匹配。上一计数= 0,当前计数= 1。 消息266,级别16,状态2,过程sp_cdc_enable_db,第0 行 EXECUTE 后的事务计数指示BEGIN 和COMMIT 语句的数目不匹配。上一计数= 0,当前计数= 1。 消息3998,级别16,状态1,第1 行 在批处理结束时检测到不可提交的事务。该事务将回滚。 |
如果出现这个错误,目前的解决方法是执行下面语句,原因已在开头说明,对于没有使用EXECUTE AS的库,一般不会有这样的问题:
ALTER AUTHORIZATION |
然后再次执行,就成功开启了:
USE AdventureWorks GO EXEC sys.sp_cdc_enable_db GO |
现在检查是否成功:
SELECT CASE ELSE END FROM WHERE |
现在检查表和作业:
作业没有改变
角色权限中多出了:
步骤三:对某些表开启捕获:
这里选择HumanResources.Department、Person.ADDRESS、Person.Contact
开启:
先来看开启之前的样子:
然后对该表开启:
USE AdventureWorks; GO EXECUTE @source_schema , @source_name , @role_name , @capture_instance=DEFAULT GO |
结果如图:
也可以看到多了一个角色CDC_ADMIN,是在上面语句中动态创建的:
按照上面步骤把另外两个表也开启了:
USE AdventureWorks; GO EXECUTE @source_schema , @source_name , @role_name , @capture_instance=DEFAULT GO EXECUTE @source_schema , @source_name , @role_name , @capture_instance=DEFAULT GO |
可以从系统表中看到:
了3个表,并且是刚才开启CDC功能的表。现在来检查是否开启成功:
SELECT is_tracked_by_cdc CASE ELSE END FROM WHERE OBJECT_ID('Person.ADDRESS'), OBJECT_ID('Person.Contact') |
结果如下:
步骤三:检验:
然后把表中的数据复制一份:
INSERT ( GroupName ModifiedDate ) SELECT GroupName GETDATE() FROM HumanResources.Department |
结果如下:
可以看到的确多了16条记录。这部分记录证明了,有16条数据从监控到目前为止做了改动,现在再来改动一下:
DELETE FROM |
再查询cdc表,可以看到又多了16条记录:
现在来做下update的实验:
UPDATE HumanResources.Department |
再查看:
现在来分析一下这个表:
可以在联机丛书上查看:cdc.<capture_instance>_CT 可以看到,这样命名的表,是用于记录源表更改的表。对于insert/delete操作,会有对应的一行记录,而对于update,会有两行记录。
对于__$operation列:1 = 删除、2= 插入、3= 更新(旧值)、4= 更新(新值)
对于__$start_lsn列:由于更改是来源与数据库的事务日志,所以这里会保存其事务日志的开始序列号(LSN)
但是微软不检查直接查询这类表,建议使用cdc.fn_cdc_get_all_changes_<捕获实例>
和cdc.fn_cdc_get_net_changes_<capture_instance>
来查询
下文开始,来熟悉各种函数、存储过程的使用,并尝试一些不正常的操作。
日常使用情景:
1、查询已经开启的捕获实例:
由于可能不记得或者不知道开启了什么表的捕获,所以可以使用以下语句来查找:
--返回所有表的变更捕获配置信息 EXECUTE GO |
可以看到以下截图:
查看对某个实例(即表)的哪些列做了捕获监控:
EXEC sys.sp_cdc_get_captured_columns @capture_instance = |
得到下图:
也可以从下面中查找配置信息:
SELECT * |
如图:
2、查看当前配置使用sp_cdc_help_jobs:
从上文可以看到,启用cdc之后会自动创建了两个作业,可以先使用以下语句来查看:
sp_cdc_help_jobs |
得到的结果:
对于一个大型的OLTP系统,由于数据更改会非常频繁,变更表中的数据会非常多,如果存放过久(最久可以存放100年),那对数据库空间是非常大的挑战。此时可以调整上图中cdc.AdventureWorks_cleanup
中retention(单位:分钟)。
3、修改配置:sp_cdc_change_job:
--显示原有配置: EXEC sp_cdc_help_jobs GO --更改数据保留时间为分钟 EXECUTE @job_type @retention=100 GO --停用作业 EXEC sys.sp_cdc_stop_jobN'cleanup' GO --启用作业 EXEC sys.sp_cdc_start_jobN'cleanup' GO --再次查看 EXEC sp_cdc_help_jobs GO |
得到以下结果:
4、停止/启用、删除/创建作业:
停止/开始作业,可以使用以下语句:
--停用作业 EXEC sys.sp_cdc_stop_jobN'cleanup' GO --启用作业 EXEC sys.sp_cdc_start_jobN'cleanup' GO |
删除作业:
EXEC sys.sp_cdc_drop_job@job_type GO --查看作业 EXEC sys.sp_cdc_help_jobs GO |
可以看到现在只剩下一个作业了:
创建作业:
EXEC sys.sp_cdc_add_job @job_type @start_job @retention --查看作业 EXEC sys.sp_cdc_help_jobs GO |
下面看到已经创建成功:
5、DDL变更捕获:
CDC除了捕获数据变更之外,还能捕获DDL操作的变化。前提是先要确保SQLServer 代理的启用,其实CDC功能都需要确保sql 代理正常运行,因为所有操作都通过代理中的两个作业来实现的。
现在先来对HumanResources.Department 表修改一下,把name的长度加长:
ALTER TABLE GO |
然后查询ddl记录表:
SELECT FROM cdc.ddl_history |
可以看到:
6、使用CDC的函数来获取更改:
A、使用cdc.fn_cdc_get_all_changes_HumanResources_Department 函数报告捕获实例HumanResources_Department 的当前所有可用更改:
DECLARE SET @from_lsn sys.fn_cdc_get_min_lsn('HumanResources_Department') SET @to_lsn SELECT * (@from_lsn, GO |
B、获取某个时间段的更改信息:
先根据日志序列号(logsequence number ,LSN)来获取跟踪变更数据:
Sys.fn_cdc_map_time_to_lsn获取变更范围内的最大、最小LSN值。可以使用:
Smallest greater than;smallest greater than orequal;largest less than;largest less than or equal.
如查询某个时间段插入的数据:
--插入数据 INSERT INTO VALUES('test','abc',GETDATE()) INSERT INTO VALUES('test1','abc1',GETDATE()) go --检查数据 DECLARE DECLARE SELECT DepartmentID,GroupName,Name FROM cdc.HumanResources_Department_CT WHERE [__$operation]=2 |
得到以下结果:
C、sys.fn_cdc_map_lsn_to_time 查询变更时间:
SELECT CASE WHEN 4 sys.fn_cdc_map_lsn_to_time([__$start_lsn]) name DepartmentID GroupName ModifiedDate FROM |
结果:
注意,由于该表刚好有一个modfieddate字段,所以和更改时间相同.
D、获取LSN边界:
SELECT sys.fn_cdc_get_max_lsn()[数据库级别的最大LSN], sys.fn_cdc_get_min_lsn('cdc.HumanResources_Department_CT')[捕获实例的lsn] |
结果如下:
使用SQLServer 2008的CDC功能实现数据变更捕获的更多相关文章
- 使用SQL Server 的CDC功能实现数据变更捕获
USE t; GO --开启某个数据库的CDC功能 exec sys.sp_cdc_enable_db GO --is_cdc_enabled栏位为1代表开启CDC功能了 SELECT is_cdc_ ...
- SqlServer Change Data Capture(CDC)数据变更捕获
最近在使用SqlServer2008r2数据库做系统的时候,在某些重要的.经常涉及到修改的表上,想加上一些恢复机制,一开始想找找看看有没有类似Oracle数据库闪回那样的功能,后来发现CDC的功能可以 ...
- 在SSIS 2012中使用CDC(数据变更捕获)
最新项目稍有空隙,开始研究SQL Server 2012和2014的一些BI特性,参照(Matt)的一个示例,我们开始体验SSIS中的CDC(Change Data Capture,变更数据捕获). ...
- SQLServer 2008快速导出架构和数据脚本
https://jingyan.baidu.com/article/454316ab715218f7a7c03a9d.html
- 数据库降级-从sqlserver 2008 降到 2005
前天遇到一个问题,是一个数据库是Sqlserver 2008的,而平台数据库库是2005的,需要把2008的数据库附加进来,试了很多办法,现在觉得最好的办法就是导出导入办法. 第一步 新建一个Sqls ...
- SQL数据同步到ELK(四)- 利用SQL SERVER Track Data相关功能同步数据(上)
一.相关文档 老规矩,为了避免我的解释误导大家,请大家务必通过官网了解一波SQL SERVER的相关功能. 文档地址: 整体介绍文档:https://docs.microsoft.com/en-us/ ...
- CDC+ETL实现数据集成方案
欢迎咨询,合作! weix:wonter 名词解释: CDC又称变更数据捕获(Change Data Capture),开启cdc的源表在插入INSERT.更新UPDATE和删除DELETE活动时会插 ...
- C#读取Visual FoxPro(*.dbf)数据并使用SqlBulkCopy插入到SqlServer 2008 R2数据表中
公司数据库从32位的SqlServer 2005升级到64位的SqlServer 2008 R2后,无法再像原来通过Link Server连接VFP同步数据,因此考虑用代码程序从VFP数据库中读取所需 ...
- (整理)SQL Server 2008 CDC 功能使用
最近某项目突然要增加数据的获取,但是不能改程序.也没有同步的只读库,只好使用CDC来进行尝试. CDC的启用和停止全部用SQL实现,在这里给出主要的SQL步骤: /****** Script for ...
随机推荐
- surfaceflinger中各个layer的排序
surfaceflinger的主要工作就是负责把上层传递下来的各个不同的layer进行composition. 这里,我们来讨论一下各个layer在surfaceflinger中的上下排序关系和相关的 ...
- 用KnockoutJS实现ToDoMVC代码分析
体验地址 Knockout 版todo web app在线体验 http://todomvc.com/examples/knockoutjs/ 源码地址 项目源码地址,此地址包含了各种JS框架实现的t ...
- Java EE (11) - 影响性能的因素
垂直层(Tier)影响性能的因素 资源层数据库性能通常考虑以下方面的优化(MySQL为例):--使用哪种存储引擎:MyISAM vs. InnoDB, MERGE, MEMORY, Federated ...
- POJ 3630 Phone List Trie题解
Trie的应用题目. 本题有两个难点了: 1 动态建立Trie会超时,须要静态建立数组,然后构造树 2 推断的时候注意两种情况: 1) Tire树有133,然后插入13333556的时候.2)插入顺序 ...
- HTML中<input>參数,以及文本输入框,文本域的解说
<form> <input type="text/password" name="名称" value="文本" /> ...
- centos 安装 使用本地图像文件来安装网络安装
有时很无奈,无盘,U它只有盘4G而一个centos该盘4.16G,如何将它安装了网络安装,对不起,你想用20M更多的带宽,并注意使用网络启动盘的方法 没有条件,应该创造条件: 网络安装,需要下载图片, ...
- 【Linux驱动】TQ2440 LED驱动程序
★整体介绍 LED驱动程序主要实现了TQ2440开发板上的4个LED灯的硬件驱动,实现了对引脚GPIOB5.GPIOB6.GPIOB7.GPIOB8的高低电平设置(common-smdk.c中已经实现 ...
- iOS 购物—个人中心界面
上一个QQ界面真实无心插柳,想不到一个新手的普通界面可以上首页推荐,在这谢谢那些csdn工作者对新手的支持,谢谢soledadzz 的特别推荐: 以下这个界面也是师傅锻炼我的题目主要是让我熟悉tab ...
- iOS Dev (55) 获得本年度、月、日本和其他信息
iOS Dev (55) 获得本年度.月.日本和其他信息 作者:大锐哥 博客:http://prevention.iteye.com - NSDate *now = [NSDate date]; NS ...
- C语言程序代写(qq:928900200)
1cs3157 – Advanced ProgrammingSummer 2014, Project 1, 150 pointsJune 17, 2014Follow these step-by-st ...