随着公司业务的发展,数据量增长迅速,在解决Scale Out的同时,还要考虑到主从的复制延迟问题,尽量降到1s以内满足线上业务,如果不调整,SQL Server默认的配置可能平均要3s左右.生产的复制架构采用的是推送方式进行事务复制,发布服务器下面有4个从节点,两两指向同一虚拟IP,构成负载均衡,服务于不同的线上业务.对于4个节点,发布库和分法库的压力都很大,订阅库每秒I/O能达到5M,高峰时能达到数十兆.研究并试验了一些时间,给出一些优化建议: 1.硬件.数据库设计: 使用SSD磁盘,有钱…
测试数据表量1500w+,使用初始化默认的快照代理参数,复制的三个过程包括快照初始化,订阅初始化和数据修改复制,主要对快照代理.分发代理.日志读取代理分别作了参数优化,并给出优化前后的对照实验测试. 1.初始化快照 在复制监视器中找到快照代理位置,右键,选择代理配置文件:   查看默认配置:   初始化快照时间:   2.优化参数测试 新建一个快照代理配置文件,命名为"快照代理优化参数 " 查找这个代理配置文件的profile_id use msdb 或者 这里的agent_type注…
1.原理       我说的数据修改同步过程指的是在快照生成完毕,分发代理将快照应用于订阅服务器完成订阅服务器初始化后,发布服务器后续的更改同步到订阅服务器过程,这也就是我们常常关注的延迟.此过程主要涉及两个代理,分发代理和日志读取代理,因为我们使用的是推送订阅,所以这两个代理都工作在分发数据库上.首先,日志读取代理读取发布事务日志,并表示任何INSERT.UPDATE以及DELETE语句,然后将这些事务定时将批量复制到分发服务器的分发数据库中.分发库中存储着事务和命令,每个事务以多条命令组成.…
初始化订阅主要是由分发代理分发和应用快照代理之前生成的快照,所以优化的主体是分发代理. 1.初始化订阅 首先在本地创建一个订阅,发布服务器.分发服务器和订阅服务器都在同一台服务器上,仅为了测试生产环境不要这样做 分发服务器参数配置 初始化订阅运行时间 需要注意几点: 快照代理实际执行的是BCP程序,生成快照文件: 快照代理会在快照生成的初始阶段使用锁,虽然时间很短,但是影响范围较大. 在快照生成过程中,不能对表的结构进行更改. 2.优化参数测试 新建一个分发代理配置文件,命名为"分发代理优化参数…
2000现在用的估计不多了,把之前收集的一些复制问题整理发布出来.可能都是些很白很二的问题,但人总是由最初的无知不断成长●-● SQL Server 2000事务复制问题服务器A(发布) 服务器B(分发+订阅)1.创建发布时对表identity属性问题因为该发布不允许使用可更新的订阅,当 IDENTITY 列被传输到订阅服务器时,不会传输 IDENTITY 属性.(例如,在发布服务器上定义为 INT IDENTITY 的列在订阅服务器上将定义为 INT.)如果想将 IDENTITY 属性传输到订…
同事写了个程序用创建多个线程使用ado同时对同个数据库进行相同的查询,涉及2张数据表的联查.当线程数非常多的情况下,读取数据的效率就会变得很慢,例如50个线程同时查询大概3000条数据,查询完成后通过游标全部读取到本地需要大概30秒.单个线程可能就一两秒.这是由于数据库锁导致的. 同样的程序在我的机子上运行性能提高了1倍.主要原因由于我连接的sql server是企业版的,而同事那个连接的数据库是开发版的,企业版的sql server对并发访问做了一定的优化. 但是这个性能还是不够高.于是我尝试…
在这篇随笔中,我们的主要关注点在 Key-Range Lock.Key-Range Lock有 S-S.S-U.I-N.X-X几种情况.我们一个一个来说,力求明白.遗憾的是,这里可能会比较冗长,那么死锁分析只好依次顺延了. Range S-S锁的获取规则 MSDN 对 Range 锁的规则有部分描述,但是言简意赅,以下我们会将各种情况分解开来,理清MSDN中涉及的或者未涉及的规则,这些规则适用于SQL Server 2000/2005/2008/2008 R2.关于MSDN的描述,请参见:htt…
在这篇随笔中,我们的主要关注点在 Key-Range Lock.Key-Range Lock有 S-S.S-U.I-N.X-X几种情况.我们一个一个来说,力求明白.遗憾的是,这里可能会比较冗长,那么死锁分析只好依次顺延了. Range S-S锁的获取规则 MSDN 对 Range 锁的规则有部分描述,但是言简意赅,以下我们会将各种情况分解开来,理清MSDN中涉及的或者未涉及的规则,这些规则适用于SQL Server 2000/2005/2008/2008 R2.关于MSDN的描述,请参见:htt…
1.订阅服务器提示:作业失败.无法确定所有者 WIN-01Q6JB46CHV\Administrator(拥有作业XXX)是否有服务器访问权限(原因:无法获取有关 Windows NT 组/用户'WIN-01Q6JB46CHV\Administrator'的信息,错误代码 0x534)SQLServer 错误代码15404.[SQLSTATE 42000] (错误15404)). 解决方式:将该作业所有者修改成sa[看下图] 2.发布服务器和订阅服务器账号密码必须一样 3.设置SQL Serve…
原文:SQL Server 2005同步复制 以下实现复制步骤(以快照复制为例) 运行平台SQL SERVER 2005 一.准备工作: 1.建立一个 WINDOWS 用户,设置为管理员权限,并设置密码,作为发布快照文件的有效访问用户. 2.在SQL SERVER下实现发布服务器和订阅服务器的通信正常(即可以互访).打开1433端口,在防火墙中设特例 3.在发布服务器上建立一个共享目录,作为发布快照文件的存放目录.例如:在D盘根目录下建文件夹名为SqlCopy 4.设置SQL 代理(发布服务器和…