SQL Server 在Alwayson上使用内存表"踩坑"
200 ? "200px" : this.width)!important;}
-->
介绍
因为线上alwayson环境的一个数据库上使用内存表。经过大概一个星期监控程序发现了一个非常严重问题这个数据库的日志文件不会截断,已用空间一直在增加(存在定时的每个小时的日志备份),同时内存表数据库文件也无法删除,下面就介绍一下后面我的处理过程。
数据库:SQL Server2014 Enterprise Edition (64-bit)
删除文件
使用一个单独非alwayson环境的数据库测试。
一、创建内存表
- ---创建内存表文件组
- ALTER DATABASE [test] ADD FILEGROUP [test_ag] CONTAINS MEMORY_OPTIMIZED_DATA
- GO
- ----创建内存表数据库文件
- ALTER DATABASE [test]
- ADD FILE
- (
- NAME = 'test_memory',
- FILENAME ='D:\database\memory'
- )
- TO FILEGROUP [test_ag];
- GO
二、删除内存表数据库文件
- USE [test]
- GO
- ALTER DATABASE [test] REMOVE FILE [test_memory]
- GO
备注:此时还未创建表,创建完后数据库文件执行删除就无法删除,接下来试试在线文档的删除方法方法
三、官方相关的删除方法
即使已使用“DBCC SHRINKFILE”操作清空 FILESTREAM 容器,但出于各种系统维护原因,数据库可能仍然需要保留对已删除文件的引用。 sp_filestream_force_garbage_collection (TRANSACT-SQL)将运行 FILESTREAM 垃圾回收器删除这些文件时,则可以安全进行这些操作。 除非 FILESTREAM 垃圾回收器已从 FILESTREAM 容器中删除所有文件,否则 ALTER DATABASEREMOVE FILE 操作将无法删除 FILESTREAM 容器并返回错误。 建议使用以下过程删除 FILESTREAM 容器。
1.运行DBCC SHRINKFILE (TRANSACT-SQL)带有 EMPTYFILE 选项以将此容器的活动内容移动到其他容器。
- USE test;
- GO
- -- Create a data file and assume it contains data.
- ALTER DATABASE test
- ADD FILE (
- NAME = Test1data,
- FILENAME = 'D:\database\t1data.ndf',
- SIZE = 5MB
- );
- GO
- -- Empty the data file.
- DBCC SHRINKFILE (test_memory, EMPTYFILE);
- GO
2.确保已在 FULL 或 BULK_LOGGED 恢复模型中执行日志备份。
3.确保复制日志读取器作业已运行(如果相关)。
通过log_reuse_wait_desc的状态可以看到当前数据库已经无需日志备份,当然我已经执行过日志备份。
4.运行sp_filestream_force_garbage_collection (TRANSACT-SQL)强制垃圾回收器删除不再需要此容器中的任何文件。
- USE [test]
- GO
- EXEC sp_filestream_force_garbage_collection @dbname = N'test' @filename = N' test_memory ';
5.执行带有 REMOVE FILE 选项的 ALTER DATABASE,以删除此容器。
- USE [test]
- GO
- ALTER DATABASE [test] REMOVE FILE [test_memory]
- GO
还是无法删除!!!
四、问题分析
一开始是在alwayson的环境中删除,提示由于副本的原因无法删除。后面单独在一个非alwayson的环境下的数据库测试同样是无法删除,起初以为是创建了内存表的原因后面测试仅仅创建文件组和文件然后来删除文件同样是无法删除,个人猜测有可能是buffer的缘故;在buffer中一直存在内存表相关的文件存在,通过执行DBCC DROPCLEANBUFFERS命令也无法清空buffer中的内存表对象。使尽浑身解数还是无法将它删除掉,最后只能投降了!!!线上环境等不下去;只能使用最不愿使用的生成表结构导出数据的办法来重建新的数据库。
生成脚本重建数据库
创建一个新的数据库同时保证当前数据库可用(重命名当前的数据库,新创建的数据库使用之前的名称这样可以保证应用程序那边不需要改变),这样如果出现什么问题也可以及时的切换回来。
步骤如下(在允许停机维护的情况下进行):
1.禁用所有相关作业
2禁用应用程序登入用户
同时保证相关进程事务都已完成。
- ALTER LOGIN [test] DISABLE
- GO
- USE [master]
- GO
- ALTER DATABASE [test] SET SINGLE_USER WITH ROLLBACK IMMEDIATE;--将数据库设置成单用户并回滚当前连接
- USE [test];---保持连接操作,防止其它用户此时进行连接
- GO
3.执行checkpoint刷新所有脏页
- CHECKPOINT
- ---返回当前buffer中每个数据库所占的buffer大小和buffer中脏页的大小
- WITH CTE1
- AS ( SELECT COUNT(*) * 8 / 1024 AS dirty_cached_size_MB ,
- COUNT(*) AS dirty_pages,
- CASE database_id
- WHEN 32767 THEN 'ResourceDb'
- ELSE DB_NAME(database_id)
- END AS database_name
- FROM sys.dm_os_buffer_descriptors
- WHERE is_modified = 1
- GROUP BY DB_NAME(database_id),database_id
- ),
- CET2
- AS ( SELECT COUNT(*) * 8 / 1024 AS cached_size_MB ,
- COUNT(*) AS pages,
- CASE database_id
- WHEN 32767 THEN 'ResourceDb'
- ELSE DB_NAME(database_id)
- END AS database_name
- FROM sys.dm_os_buffer_descriptors
- GROUP BY DB_NAME(database_id),database_id
- )
- SELECT
- CET2.database_name,
- CET2.cached_size_MB,
- --CET2.pages,
- CTE1.dirty_cached_size_MB
- --CTE1.dirty_pages
- FROM CTE1 INNER JOIN CET2 ON CTE1.database_name = CET2.database_name
- ---将数据库选项改成多用户访问
- ALTER DATABASE [test]
- SET MULTI_USER;
4.生成数据库脚本
5.重命名旧的数据库
注意:如果数据库是在alwayson中,需要先从可用性数据库中删除,否则无法重命名数据库。
- /*
- 1.断开数据库所有连接同时禁止新的连接进来
- 2.比如禁止登入用户、将实例设为单用户模式等。
- */
- ----1.设置数据库脱机
- USE [master]
- ALTER DATABASE [test] SET OFFLINE WITH ROLLBACK IMMEDIATE;
- ----2.手动修改数据库物理文件名,例如将test.mdf改成test_old.mdf
- ----3.语句修改
- USE [master]
- ALTER DATABASE [test]
- MODIFY FILE (NAME = test, FILENAME = 'C:\Program Files\Microsoft SQL Server\MSSQL12.MSSQLSERVER\MSSQL\DATA\test_old.mdf');
- GO
- ALTER DATABASE [test]
- MODIFY FILE (NAME = test_log, FILENAME = 'C:\Program Files\Microsoft SQL Server\MSSQL12.MSSQLSERVER\MSSQL\DATA\test_old_log.ldf');
- GO
- ---4.设置数据库在线
- USE [master]
- ALTER DATABASE [test] SET ONLINE
- ----5.修改数据库逻辑文件名
- USE [test]
- GO
- ALTER DATABASE [test] MODIFY FILE (NAME=N'test', NEWNAME=N'test_old')
- GO
- USE [test]
- GO
- ALTER DATABASE [test] MODIFY FILE (NAME=N'test_log', NEWNAME=N'test_old_log')
- GO
- ----6.重命名数据库
- USE [master]
- EXEC sp_renamedb N'test', N'test_old';
- ----7.查询
- SELECT *
- FROM sys.master_files
- WHERE database_id = DB_ID('test_old');
6.创建新的数据库同时导入脚本到新的数据库
如果同时导出表结构和数据在ssms工具中执行可能会因为脚本过大无法执行,可以使用sqlcmd工具执行脚本导入,具体方法可以百度一下。当然还有其他方法就是只导出表结构然后通过“导出数据\导入数据”的方法同步数据。
注意:如果使用“导出数据\导入数据”的方法同步数据,注意勾选“启用标示插入”
7.其它
1.如果存在alwayson记得将新的数据库加入到可用性数据库组中。
2.将新的数据库加入到备份作业中。
3.对比新旧两个数据库的表数量是否相同。
4.配置登入用户新的数据库权限。
总结
内存表是2014新引入的功能所以对于新功能的第一个版本使用要比较慎重,特别是在线上环境。虽然在上线之前做过测试,但是显然备份这块的测试往往比较容易被忽略因为没有线上的这种环境。好在是这次影响的是一个新上的项目数据量和并发都很小且允许节假日停机维护;如果是非常大的系统对于需要导入导出数据肯定是非常头疼的事情关键还得看允许停机的时长。因为自己在生产环境踩了坑,写这篇文章希望后面的人可以避免踩坑。
备注:内存表在2014版本的alwayson中无法同步到辅助副本,这就导致了它的作用大打折扣,2016版本可以同步到辅助副本,建议有条件的直接上2016。
备注: 作者:pursuer.chen 博客:http://www.cnblogs.com/chenmh 本站点所有随笔都是原创,欢迎大家转载;但转载时必须注明文章来源,且在文章开头明显处给明链接。 《欢迎交流讨论》 |
SQL Server 在Alwayson上使用内存表"踩坑"的更多相关文章
- 对于SQL Server,我需要多少内存
经常被问到的一个问题:对于SQL Server,我需要多少内存?这个问题还是有同样的典型的“看情况而定”答案.在今天的文章里,我们来详细看下“看情况而定的”的不同方面. 全新SQL Server安装 ...
- SQL Server 2012 AlwaysOn集群配置指南
1. AlwaysOn介绍 AlwaysOn是SQL Server 2012提供的全新综合.灵活.高效经济的高可用性和灾难恢复解决方案.它整合了镜像和群集的功能,基于OS 故障转移群集(Windows ...
- [转]SQL Server 性能调优(内存)
存储引擎自调整 sql server 是如何分配内存的 32bit地址空间的限制 用户模式vas分配和virtualalloc 非boffer pool 分配内存(保留内存) VAS调整 AWE ...
- 服务器搭建域控与SQL Server的AlwaysOn环境过程(四)配置AlwaysOn
0 引言 这一篇才真正开始搭建AlwaysOn,前三篇是为搭建AlwaysOn 做准备的. 步骤 1.3 配置AlwaysOn 请先使用本地用户Administrator登录这两个集群节点并执行下面的 ...
- 干货 | RDS For SQL Server单库上云
数据库作为核心数据的重要存储,很多时候都会面临数据迁移的需求,例如:业务从本地迁移上云.数据中心故障需要切换至灾备中心.混合云或多云部署下的数据同步.流量突增导致数据库性能瓶颈需要拆分-- 本文将会一 ...
- SQL Server的AlwaysOn错误19456和41158
SQL Server的AlwaysOn错误19456和41158 最近在公司搞异地数据库容灾,使用AlwaysOn的异地节点进行数据同步,在搭建的过程中遇到了一些问题 软件版本 SQL Server2 ...
- 利用HAProxy代理SQL Server的AlwaysOn辅助副本
利用HAProxy代理SQL Server的AlwaysOn辅助副本 公司最近数据库升级到SQL Server2014 ,并部署了alwayson高可用集群 机房内有三套程序需要读取数据库 第一套:主 ...
- SQL SERVER 2012 AlwaysOn - 维护篇 03
搭建 AlwaysOn 是件非常繁琐的工作,需要从两方面考虑,操作系统层面和数据库层面,AlwaysOn 非常依赖于操作系统,域控,群集,节点等概念: DBA 不但要熟悉数据库也要熟悉操作系统的一些概 ...
- 从0开始搭建SQL Server 2012 AlwaysOn 第三篇(安装数据,配置AlwaysOn)
这一篇是从0开始搭建SQL Server 2012 AlwaysOn 的第三篇,这一篇才真正开始搭建AlwaysOn,前两篇是为搭建AlwaysOn 做准备的 操作步骤: 1.安装SQL server ...
随机推荐
- jdk动态代理与cglib代理、spring aop代理实现原理解析
原创声明:本博客来源为本人原创作品,绝非他处摘取,转摘请联系博主 代理(proxy)的定义:为某对象提供代理服务,拥有操作代理对象的功能,在某些情况下,当客户不想或者不能直接引用另一个对象,而代理对象 ...
- 【stm32】时钟树解析
有时候会突然忘了这个重要的时钟树,这里转载一个比较好的,以防忘记. STM32时钟系统 在STM32中,有五个时钟源,为HSI.HSE.LSI.LSE.PLL. ①HSI是高速内部时钟,RC振荡器,频 ...
- 实时Android语音对讲系统架构
本文属于Android局域网内的语音对讲项目系列,<通过UDP广播实现Android局域网Peer Discovering>实现了局域网内的广播及多播通信,本文将重点说明系统架构,音频信号 ...
- Map遍历四种常用方法
Map常用四种遍历方式 一: Map<String,String> map = new HashMap<String,String>(); for(String key:map ...
- session知识总结
0.什么是会话? - 简单理解:打开浏览器到关闭浏览器过程中的操作.请求. 1.Session是什么? - session是HttpSession的简称: - 用于保存会话状态: - 将会话状态保存在 ...
- python之基础中的基础(三)
1.类,类就像是负责特定项目的主管,交给主管干这件事情,主管可以让手下的人分别去完成自己该干的活,最后综合起来把结果交给主管传递出去,即完成任务. class Dog(): ""& ...
- django无法加载admin的静态内容的问题(Centos7+Nginx+uwsgi环境下)
Nginx静态资源无法加载,导致admin没有CSS样式: 这个问题,主要是要理解: 1.Django不会去解析静态内容(css,js,img)等,而是交给Nginx去处理,所以nginx.conf要 ...
- poj Layout 差分约束+SPFA
题目链接:http://poj.org/problem?id=3169 很好的差分约束入门题目,自己刚看时学呢 代码: #include<iostream> #include<cst ...
- Asp.net mvc 小试牛刀一:多语言支持
最近因为项目需要又从UWP开发转到了Asp.net mvc 开发,由于也不是什么老手,所以就将项目常见的一些技术问题记录一下自己的解决方案. 第一个需求:用户可以自由切换界面显示语言. 解决方案一:界 ...
- JAVA CyclicBarrier类详解
一个同步辅助类,它允许一组线程互相等待,直到到达某个公共屏障点 (common barrier point).在涉及一组固定大小的线程的程序中,这些线程必须不时地互相等待,此时CyclicBarrie ...