SQL Server 2016 快照代理过程分析
概述
快照代理准备已发布表的架构和初始数据文件以及其他对象、存储快照文件并记录分发数据库中的同步信息。 快照代理在分发服务器上运行;SQLServer2016版本对快照代理做了一些比较好的优化,接下来详细了解一下快照的执行过程。
一、快照代理文件
在执行快照作业是会在指定的快照目录生成4种类型的文件。
BCP文件:发布对象的数据文件。
IDX文件:索引创建脚本文件
PRE文件:复制快照脚本文件。
SCH文件:架构创建脚本文件
二、默认快照代理配置文件
-BcpBachSize:每一次执行bcp操作copy的最大记录行数,默认是10万行。
-HistoryVerboseLevel:指定在快照操作过程中记录的历史记录大小。
-LoginTimeout:登录超时前等待的秒数。 默认值为 15 秒。
-QueryTimeOut:查询超时前等待的秒数。默认值为 1800 秒
备注:通过右键快照代理-快照代理配置文件;可以配置快照代理。
三、对比不同版本快照代理
接下来测试对比2亿的记录表生成快照
1.bcp文件数量对比
2008R2
2016SP1
这里重点说一下BCP文件,因为应用快照到订阅服务器是以BCP文件为基本单位,也就是说不管你的BCP文件有多大都是一次性bulk到订阅服务器,所以BCP文件越大每次应用的时间就会越长。如果一个BCP文件太大可能会导致插入到订阅端失败。
从上图可以看到同样是2亿的记录,2008R2总共有8个BCP文件,而且最大的BCP文件大小将近1G其它的都才几兆;2016有16个BCP文件,并且前15个都是50M左右数据比较均匀。接下来看下图的每个BCP文件的记录对比。
2.快照生成详细过程对比
2008r2
2016SP1
从生成的BCP文件记录对比来看:
2008R2:前7个文件每个文件记录数大概70万左右,最后一个文件记录1.1亿。
2016:前15个文件每个文件记录700万左右,最后一个文件78万。
说明:
2008R2前7个文件每个文件大概存储的记录量是70万剩下的记录都会存储到最后一个文件,所以2008R2比较适合的表记录数是600万左右。
2016前15个文件每个文件大概存储的记录量是700万剩下的记录都会存储到最后一个文件,2016适合的表记录数1.2亿左右。
共同缺点:表记录超过“适合的复制表记录数”后剩下数据会全部存储到最后个bcp文件中。
3.分发对比
接下来看一下分发的详细过程
从2008R2分发记录过程中可以看到每次BULK都是以bcp文件为单位,复制最后一个bcp文件花费了大概22分钟,而前面的每个文件都是十几秒;还是由于我当前的表只有三个字段而且除了主键没有索引否则的时间就更长了。
四、快照生成过程
复制快照代理是一个可执行文件,用于准备快照文件(其中包含已发布表和数据库对象的架构及数据),然后将这些文件存储在快照文件夹中,并在分发数据库中记录同步作业。
从上图可以了解整个快照的生成过程。
五、语法
snapshot [ -?]
-Publisher server_name[\instance_name]
-Publication publication_name
[-70Subscribers]
[-BcpBatchSize bcp_batch_size]
[-DefinitionFile def_path_and_file_name]
[-Distributor server_name[\instance_name]]
[-DistributorDeadlockPriority [-||] ]
[-DistributorLogin distributor_login]
[-DistributorPassword distributor_password]
[-DistributorSecurityMode [|] ]
[-DynamicFilterHostName dynamic_filter_host_name]
[-DynamicFilterLogin dynamic_filter_login]
[-DynamicSnapshotLocation dynamic_snapshot_location]
[-EncryptionLevel [||]]
[-FieldDelimiter field_delimiter]
[-HistoryVerboseLevel [|||] ]
[-HRBcpBlocks number_of_blocks ]
[-HRBcpBlockSize block_size ]
[-HRBcpDynamicBlocks ]
[-KeepAliveMessageInterval keep_alive_interval]
[-LoginTimeOut login_time_out_seconds]
[-MaxBcpThreads number_of_threads ]
[-MaxNetworkOptimization [|]]
[-Output output_path_and_file_name]
[-OutputVerboseLevel [||] ]
[-PacketSize packet_size]
[-ProfileName profile_name]
[-PublisherDB publisher_database]
[-PublisherDeadlockPriority [-||] ]
[-PublisherFailoverPartner server_name[\instance_name] ]
[-PublisherLogin publisher_login]
[-PublisherPassword publisher_password]
[-PublisherSecurityMode [|] ]
[-QueryTimeOut query_time_out_seconds]
[-ReplicationType [|] ]
[-RowDelimiter row_delimiter]
[-StartQueueTimeout start_queue_timeout_seconds]
[-UsePerArticleContentsView use_per_article_contents_view]
参数
-?
输出所有可用的参数。
-Publisher server_name[\instance_name]
发布服务器的名称。 为该服务器上的 Microsoft SQL Server 默认实例指定 server_name。 为该服务器上的 server_name\instance_name instance_name SQL Server 默认实例指定 server_name。
-Publication 发布
发布的名称。 只有将发布设置为总是使快照可用于新订阅或重新初始化的订阅时,此参数才有效。
-70Subscribers
如果有任何订阅服务器在运行 SQL Server 7.0 版,则必须使用此参数。
-BcpBatchSize bcp batch\ size
在一次大容量复制操作中发送的行数。 执行 bcp in 操作时,批的大小为要作为一个事务发送到服务器的行数,并且也是分发代理记录 bcp 进度消息之前必须发送的行数。 当执行 bcp out 操作时,将使用固定批大小 1000。 值为 0 表示不记录任何消息。
-DefinitionFile def_path_and_file_name
代理定义文件的路径。 代理定义文件中包含该代理的命令行参数。 文件的内容被当作可执行文件进行分析。 使用双引号 (") 指定包含任意字符的参数值。
-Distributor server_name[\instance_name]
分发服务器名称。 为该服务器上的 默认实例指定 server_name SQL Server 。 为该服务器上的 server_name\instance_name instance_name SQL Server 默认实例指定 server_name。
-DistributorDeadlockPriority [-1|0|1]
死锁发生时快照代理连接到分发服务器的优先级。 指定此参数是为了解决快照生成期间在快照代理和用户应用程序之间发生的死锁问题。
DistributorDeadlockPriority 值 |
说明 |
-1 |
在分发服务器上发生死锁时,应用程序而非快照代理优先。 |
0 (默认值) |
未分配优先级。 |
1 |
在分发服务器上发生死锁时,快照代理优先。 |
-DistributorLogin distributor_login
使用 SQL Server 身份验证连接到分发服务器时所用的登录名。
-DistributorPassword distributor_password
使用 SQL Server 身份验证连接到分发服务器时使用的密码。 。
-DistributorSecurityMode [ 0| 1]
指定分发服务器的安全模式。 值 0 指示 SQL Server 身份验证模式(默认设置),值 1 指示 Windows 身份验证模式。
-DynamicFilterHostName dynamic_filter_host_name
在创建动态快照时,用来为筛选中的 HOST_NAME (Transact-SQL) 设置值。 例如,如果为项目指定了子集筛选器子句 rep_id =
HOST_NAME() ,并且在调用合并代理之前将 DynamicFilterHostName 属性设置为“FBJones”,则只会复制 rep_id 列中具有“FBJones”的行。
-DynamicFilterLogin dynamic_filter_login
在创建动态快照时,用来为筛选中的 SUSER_SNAME (Transact-SQL) 设置值。 例如,如果为项目指定了子集筛选器子句 user_id =
SUSER_SNAME() ,并且在调用 SQLSnapshot 对象的 Run 方法之前将 DynamicFilterLogin 属性设置为“rsmith”,则只将 user_id 列中具有“rsmith”的行包括在快照中。
-DynamicSnapshotLocation dynamic_snapshot_location
应生成动态快照的位置。
-EncryptionLevel [ 0 | 1 | 2 ]
建立连接时快照代理使用的安全套接字层 (SSL) 加密的等级。
EncryptionLevel 值 |
说明 |
0 |
指定不使用 SSL。 |
1 |
指定使用 SSL,但是代理不验证 SSL 服务器证书是否已由可信的颁发者进行签名。 |
2 |
指定使用 SSL,并验证证书。 |
-FieldDelimiter field_delimiter
在 SQL Server 大容量复制数据文件中用于标记字段末尾的字符或字符序列。 默认值为 \n<x$3>\n。
-HistoryVerboseLevel [ 1| 2| 3]
指定在快照操作过程中记录的历史记录大小。 选择 1可将历史日志记录对性能的影响减至最小。
HistoryVerboseLevel 值 |
说明 |
0 |
进度消息将写入控制台或输出文件。 不在分发数据库中记录历史记录。 |
1 |
总是更新具有相同状态(启动、进行中、成功等)的上一历史记录消息。 如果不存在状态相同的上一记录,将插入新记录。 |
2 (默认值) |
除非记录为空闲消息或长时间运行的作业消息等信息(此时将更新上一记录),否则插入新的历史记录。 |
3 |
始终插入新记录,除非它与空闲消息有关。 |
-HRBcpBlocks number_of_blocks
在编写器线程和读取器线程之间排队的 bcp 数据块的数量。 默认值为 50。 HRBcpBlocks 仅用于 Oracle 发布。
备注
此参数用于通过 Oracle 发布服务器优化 bcp 的性能。
-HRBcpBlockSizeblock_size
每个 bcp 数据块的大小(以 KB 为单位)。 默认值为 64 KB。 HRBcpBlocks 仅用于 Oracle 发布。
备注
此参数用于通过 Oracle 发布服务器优化 bcp 的性能。
-HRBcpDynamicBlocks
每个 bcp 数据块的大小是否可以动态增长。 HRBcpBlocks 仅用于 Oracle 发布。
备注
此参数用于通过 Oracle 发布服务器优化 bcp 的性能。
-KeepAliveMessageInterval keep_alive_interval
快照代理在向 MSsnapshot_history 表中记录“waiting for backend message”之前等待的时间(以秒为单位)。 默认值为 300 秒。
-LoginTimeOut login_time_out_seconds
登录超时前等待的秒数。 默认值为 15 秒。
-MaxBcpThreads number_of_threads
指定可以并行执行的大容量复制操作的数量。 同时存在的线程和 ODBC 连接的最大数量为 MaxBcpThreads 或显示在分发数据库中同步事务中的大容量复制请求数中较小的那一个。 MaxBcpThreads 的值必须大于 0 ,并且不存在任何硬编码的上限。 默认值为 1。
- MaxNetworkOptimization [ 0| 1]
是否将无关删除操作发送到订阅服务器。 无关删除操作是针对不属于订阅服务器分区的行发送到订阅服务器的 DELETE 命令。 无关删除操作不会影响数据的完整性或收敛,但它们会导致不必要的网络通信。 MaxNetworkOptimization 的默认值是 0。 将 MaxNetworkOptimization 设置为 1 可将不相关的删除操作发生的机会减至最小,从而减少网络通信,并最大程度地优化网络。如果存在多个级别的联接筛选器和复杂子集筛选器,则将此参数设置为 1 还会增加元数据的存储并导致发布服务器性能下降。 您应仔细评估您的复制拓扑,仅当无关删除操作导致的网络通信高到无法接受时才应将 MaxNetworkOptimization 设置为 1 。
备注
仅当合并发布的同步优化选项(sp_addmergepublication (Transact-SQL) 的 @keep_partition_changes 参数)设置为 true 时,将此参数设置为 1 才是有用的。
-Output output_path_and_file_name
代理输出文件的路径。 如果未提供文件名,则向控制台发送该输出。 如果指定的文件名已存在,会将输出追加到该文件。
-OutputVerboseLevel [ 0| 1| 2]
指定输出是否应提供详细内容。
OutputVerboseLevel 值 |
说明 |
0 |
仅输出错误消息。 |
1 (默认值) |
输出所有进度报告消息(默认值)。 |
2 |
输出所有错误消息和进度报告消息,这对于调试很有用。 |
-PacketSize packet_size
快照代理连接到 SQL Server时使用的数据包大小(以字节为单位)。 默认值为 8192 字节。
备注
除非您确信能够提高性能,否则不要更改数据包的大小。 对于大多数应用程序而言,默认数据包大小为最佳数值。
-ProfileName profile_name
指定用于代理参数的代理配置文件。 如果 ProfileName 为 NULL,则将禁用代理配置文件。 如果未指定 ProfileName ,则使用该代理类型的默认配置文件。
-PublisherDB publisher_database
发布数据库的名称。 Oracle 发布服务器不支持该参数。
-PublisherDeadlockPriority [-1|0|1]
死锁发生时快照代理连接到发布服务器的优先级。 指定此参数是为了解决快照生成期间在快照代理和用户应用程序之间发生的死锁问题。
PublisherDeadlockPriority 值 |
说明 |
-1 |
在发布服务器上发生死锁时,应用程序而非快照代理优先。 |
0 (默认值) |
未分配优先级。 |
1 |
在发布服务器上发生死锁时,快照代理优先。 |
-PublisherFailoverPartner server_name[\instance_name]
指定参加与发布数据库进行的数据库镜像会话的 SQL Server 故障转移伙伴实例。
-PublisherLogin publisher_login
使用 SQL Server 身份验证连接到发布服务器时所用的登录名。
-PublisherPassword publisher_password
使用 SQL Server 身份验证连接到发布服务器时使用的密码。 。
-PublisherSecurityMode [ 0| 1]
指定发布服务器的安全模式。 值 0 指示 SQL Server 身份验证(默认值),值 1 指示 Windows 身份验证模式。
-QueryTimeOut query_time_out_seconds
查询超时前等待的秒数。默认值为 1800 秒。
-ReplicationType [ 1| 2]
指定复制的类型。 值 1 指示事务复制,值 2 指示合并复制。
-RowDelimiter row_delimiter
在 SQL Server 大容量复制数据文件中用于标记行尾的字符或字符序列。 默认值为 \n<,@g>\n。
-StartQueueTimeout start_queue_timeout_seconds
当运行的并发动态快照进程数达到由 sp_addmergepublication (Transact-SQL) 的 @max_concurrent_dynamic_snapshots 属性设置的限制值时,快照代理等待的最大秒数。 如果在经过最大秒数之后快照代理仍在等待,快照代理将退出。 值 0 表示代理将无限期地等待,尽管可以将其取消。
- UsePerArticleContentsView use_per_article_contents_view
已不推荐使用此参数,支持它是为了能够向后兼容。
总结
由于在生成快照需要拥有对象的架构锁,所以在生成快照的过程中表对象是只读的。如果对大表生成快照千万不要选择在业务繁忙的时候否则有可能造成系统瘫痪,2016生成快照的时间比2008要快很多。通过对比可以发现2016的复制生成快照比2008性能提升了很多。但是从2014到2016BCP文件从32个变成16个不知道是出于什么原因。
备注: 作者:pursuer.chen 博客:http://www.cnblogs.com/chenmh 本站点所有随笔都是原创,欢迎大家转载;但转载时必须注明文章来源,且在文章开头明显处给明链接,否则保留追究责任的权利。 《欢迎交流讨论》 |
SQL Server 2016 快照代理过程分析的更多相关文章
- 超详细SQL SERVER 2016跨网段和局域网发布订阅配置图解和常见问题
原文:超详细SQL SERVER 2016跨网段和局域网发布订阅配置图解和常见问题 转载标明出处:http://blog.csdn.net/u012861467 前方高能,要有点耐心,图片较多,注意在 ...
- SQL Server 2016 SP1 标准版等同企业版?!
上周微软发布了SQL Server的历史性公告:SQL Server 标准版的SP1提供你和企业版一样得功能.你不信的话?可以点击这里. 这改变了整个关系数据库市场,重重打击了Oracle.在今天的文 ...
- SQL Server 2016 非域Aways On环境搭建
一.优点 aways on的优点,a. 构建主从数据库,分摊单点数据库压力.b.可以减少数据同步时间,提升用户体验.c.可以实现高可用,自动平滑切换. 二.缺点 及时同步最多只能提交3台,及时同步会导 ...
- 数据库技术丛书:SQL Server 2016 从入门到实战(视频教学版) PDF
1:书籍下载方式: SQL Server2016从入门到实战 PDF 下载 链接:https://pan.baidu.com/s/1sWZjdud4RosPyg8sUBaqsQ 密码:8z7w 学习 ...
- SQL Server 2016新特性:列存储索引新特性
SQL Server 2016新特性:列存储索引新特性 行存储表可以有一个可更新的列存储索引,之前非聚集的列存储索引是只读的. 非聚集的列存储索引支持筛选条件. 在内存优化表中可以有一个列存储索引,可 ...
- SQL Server 2016 —— 聚集列存储索引的功能增强
作者 Jonathan Allen,译者 邵思华 发布于 2015年6月14日 聚集列存储索引(CC Index)是SQL Server 2014中两大最引 ...
- sql server 2016 AlwaysOn实现无域高可用全教程
一.简介环境:小编使用的服务器是windows server 2016(系统服务器) + sql server 2016(数据库服务器)(windows server 2016 + sql serve ...
- 微软发布正式版SQL Server 2016
微软于今天在SQL 官方博客上宣布 SQL Server 数据库软件的正式发布版本(GA),历时一年多,微软为该软件发布了多个公共预览版和候选版本,而今天最终版本终于上线了.在博客中,微软数据集团的企 ...
- SQL Server 2016白皮书
随着SQL Server 2016正式版发布日临近,相关主要特性通过以下预览学习: Introducing Microsoft SQL Server 2016 e-bookSQL Server 201 ...
随机推荐
- Yii2之事件
众所周知,yii的三大特性是:属性.事件.行为,上一篇博文简单讲解了yii中的属性,本文接着讲讲yii的事件. 事件是代码解耦的一种方式,设计业务流程的一种模式.在yii2.0中,通过Yii\base ...
- Java常用类(五)之集合工具类Collections
前言 Java提供了一个操作Set.List和Map等集合的工具类:Collections,该工具类提供了大量方法对集合进行排序.查询和修改等操作, 还提供了将集合对象置为不可变.对集合对象实现同步控 ...
- 详解 $().css('width')和$().width()的区别
在本次项目开发中,经常用jquery获取高度和宽度并且动态加载,有时候用$().css('width')或$().width()这两个方法获取宽度并设置,但是有时候出现获取不到的情况,查阅资料后发现他 ...
- C Run-Time Error R6034问题的解决
1.问题描述 这两天一直在用vs2008编写一个小项目,需要在c++代码中通过命令行的方式调用cl.exe和link.exe,也就是给编译器cl和链接器link传递参数,然后编译链接生成可执行文件ex ...
- 实现基于lnmp的电子商务网站
今天带给大家的是一个实战项目,主要是让大家了解在我们接到一个项目时,我们该怎样做好这个项目,下面看具体内容: 技术说明 LNMP代表的就是:Linux系统下Nginx+MySQL+PHP这种网站服务器 ...
- addEventListener 的事件函数的传递【转载】
addEventListener 参数如下: addEventListener(type, listener[, useCapture]); type,事件名称 listener,事件处理器 useC ...
- JDBC连接数据库的几种方法
一. 最古老的方法(通过 Driver 接口直接连接数据库) 首先创建一个 Driver 实现类的对象 Driver dirver = new com.mysql.jdbc.Driver(); 准备连 ...
- 动态创建 script 实现跨域请求数据
动态创建script标签 (由事件触发) 在我们需要请求数据的时候我们就可以动态的创建 script 标签 src设置为我们需要请求数据的地址 另外我们可以附加参数 ?后面附加参数 例如 :?参数=1 ...
- stm32l053r8 nucelo板的串口实验
stm32cubel0的HAL驱动实例中,基于stm32l53R8 nucelo板的官方串口通讯例程,是使用USART1实现在两块stm32l053r8 nucelo板间通讯.而在实际中,笔者手中只 ...
- C#中获取当前系统中安装的所有字体及预定义颜色
需要引用命名空间using System.Drawing.Text;.... //获取系统字体:InstalledFontCollection fc = new InstalledFontCollec ...