一:背景

1. 讲故事

上一篇写完了之后,马上就有朋友留言对记录行的 8060byte 限制的疑惑,因为他的表记录存储了大量的文章,存储文章的字段类型用的是 nvarchar(max),长度很显然是超过 8060byte 的,请问这个底层是怎么破掉 8060byte 的限制的?

说实话这是一个好问题,本质上来说 8060byte 的限制肯定是不能破掉的,如果让我处理的话肯定是将文章的数据分摊在多个数据页上, 那是不是如我所想呢? 我们观察一下就好。

二:观察大字段数据的布局

1. 对 nvarchar(max) 的理解

玩过 sqlserver 的朋友都知道,新一代的 sqlserver 版本已经用 varchar(max)nvarchar(max) 替代了早期的 textntext,理论上这种类型最大可存储 2 的 31 次方 - 1, 大概就是 2G,接下来我们像 nvarchar(max) 插入 1w 个字符,大概 20k 的数据,向上取整的话应该会用 3 个数据页来承载,测试代码如下:


USE MyTestDB
GO
CREATE TABLE t7 (a INT IDENTITY, b NVARCHAR(MAX))
GO INSERT INTO t7 VALUES(REPLICATE(CAST( 'x' AS NVARCHAR(max)),10000)) SELECT LEN(b) FROM t7; DBCC TRACEON(3604)
DBCC IND(MyTestDB,t7,-1)

从图中看居然有 4 个数据页,这就很奇怪了,等一会我们再解惑,先来简单看一下,一个是 In-row data,也叫做行内数据,是一个普通数据页,三个是 LOB data ,即大值数据( Large Object Data ),这是一种专门的LOB数据页,看样子这 1w 个 x 应该是分摊到这 3 个 LOB data 数据页上,是不是这样我们用 DBCC PAGE 把四个数据页的内容导出来看一看便知。


PAGE: (1:464) Page @0x00000175CBB46000 m_pageId = (1:464) m_headerVersion = 1 m_type = 1
m_typeFlagBits = 0x0 m_level = 0 m_flagBits = 0x8000
m_objId (AllocUnitId.idObj) = 202 m_indexId (AllocUnitId.idInd) = 256
Metadata: AllocUnitId = 72057594051166208
Metadata: PartitionId = 72057594044022784 Metadata: IndexId = 0
Metadata: ObjectId = 1637580872 m_prevPage = (0:0) m_nextPage = (0:0)
pminlen = 8 m_slotCnt = 1 m_freeCnt = 8031
m_freeData = 159 m_reservedCnt = 0 m_lsn = (38:2936:61)
m_xactReserved = 0 m_xdesId = (0:0) m_ghostRecCnt = 0
m_tornBits = 0 DB Frag ID = 1 DATA: 000000482E3F8000: 01010000 00800001 00000000 00000800 00000000 ....................
000000482E3F8014: 00000100 ca000000 5f1f9f00 d0010000 01000000 ........_...........
...
000000482E3F808C: 01000001 00000020 4e0000c8 01000001 00000000 ....... N...........
000000482E3F80A0: 00007800 78007800 78007800 78007800 78007800 ..x.x.x.x.x.x.x.x.x.
000000482E3F80B4: 78007800 78007800 78007800 78007800 78007800 x.x.x.x.x.x.x.x.x.x.
...
000000482E3F9FCC: 78007800 78007800 78000000 21212121 21212121 x.x.x.x.x...!!!!!!!!
000000482E3F9FE0: 21212121 21212121 21212121 21212121 21212121 !!!!!!!!!!!!!!!!!!!!
000000482E3F9FF4: 21212121 21212121 21216000 !!!!!!!!!!`. OFFSET TABLE: Row - Offset
0 (0x0) - 96 (0x60) PAGE: (1:456)
DATA:
Memory Dump @0x00000048355F8000 000000483A478000: 01030000 00800001 00000000 00000000 00000000 ....................
000000483A478014: 00000100 cb000000 4010be0f c8010000 01000000 ........@...........
000000483A478028: 26000000 780b0000 24000000 00000000 00000000 &...x...$...........
000000483A47803C: 00000000 01000000 00000000 00000000 00000000 ....................
000000483A478050: 00000000 00000000 00000000 00000000 08005e0f ..................^.
000000483A478064: 0000f306 00000000 03007800 78007800 78007800 ..........x.x.x.x.x.
...
000000483A479FA4: 00780078 00780078 00780000 00626262 62626262 .x.x.x.x.x...bbbbbbb
000000483A479FB8: 62626262 62626262 62626262 62626262 62626262 bbbbbbbbbbbbbbbbbbbb
000000483A479FCC: 62626262 62626262 62626262 62020000 00002121 bbbbbbbbbbbbb.....!!
000000483A479FE0: 21212121 21212121 21212121 21212121 21212121 !!!!!!!!!!!!!!!!!!!!
000000483A479FF4: 21212121 21212121 21216000 !!!!!!!!!!`. PAGE: (1:457)
DATA:
Memory Dump @0x000000483BA78000 000000483BA78000: 01030000 00800001 00000000 00000000 00000000 ....................
000000483BA78014: 00000100 cb000000 2800d61f c9010000 01000000 ........(...........
...
000000482EDF8050: 00000000 00000000 00000000 00000000 0800761f ..................v.
000000482EDF8064: 0000f306 00000000 03007800 78007800 78007800 ..........x.x.x.x.x.
000000483BA79FE0: 21212121 21212121 21212121 21212121 21212121 !!!!!!!!!!!!!!!!!!!!
000000483BA79FF4: 21212121 21212121 21216000 !!!!!!!!!!`. PAGE: (1:458)
DATA:
Memory Dump @0x000000483BA78000
...
000000483BA78050: 00000000 00000000 00000000 00000000 0800761f ..................v.
000000483BA78064: 0000f306 00000000 03007800 78007800 78007800 ..........x.x.x.x.x.
...
000000483BA79FCC: 78007800 78007800 78000000 21212121 21212121 x.x.x.x.x...!!!!!!!!
000000483BA79FE0: 21212121 21212121 21212121 21212121 21212121 !!!!!!!!!!!!!!!!!!!!
000000483BA79FF4: 21212121 21212121 21216000 !!!!!!!!!!`.

我相信有很多朋友很奇怪,为什么 464 号 数据页也有大量的 x, 其实这些 x 算是垃圾数据,可以从 m_freeCnt = 8031 上便知,这个字段表示当前数据页的 Free 空间,所以那 1w 个 x 都被 LOB 数据页吃掉了,这和文章开头的推测是一致的。

到这里算是解决了朋友的这个疑问,但你如果想打破沙锅问到底的话,肯定想知道这 4 个数据页在 内存中是如何组织的,或者说如何串联的? 接下来我们好好聊一聊。

2. 4 个数据页是如何组织的

观察 464号 数据页是如何与 LOB 数据页 发生关系的?这个就考验基础知识了,在真正的行数据之前记录了一个 FID : PID : SID 的内存存储,即:文件ID : 数据页ID : 槽位ID,可以用 WinDbg 来观察。


0:125> dp 000000482E3F8000+0x60+0x7
00000048`2e3f8067 803f0001`78000200 00000001`35000004
00000048`2e3f8077 00001f68`000006f3 00000001`000001c9
00000048`2e3f8087 000001ca`00003ed0 00004e20`00000001
00000048`2e3f8097 00000001`000001c8 78007800`78000000
00000048`2e3f80a7 78007800`78007800 78007800`78007800
00000048`2e3f80b7 78007800`78007800 78007800`78007800
00000048`2e3f80c7 78007800`78007800 78007800`78007800
00000048`2e3f80d7 78007800`78007800 78007800`78007800

简单解释一下: 000000482E3F8000 是数据页在内存中的首地址, 000000482E3F8000+0x60 是数据页内第一个记录的地址,再加上 +0x7 是为了内存地址对齐。

仔细观察内存地址 000000482e3f8097 上的内容是 00000001 000001c8,它就对应着 SID (2byte), FID (2byte) ,PID (4byte) ,那 PID=0x000001c8 是多少呢?可以用 WinDbg 算一下是 456 号 数据页。


0:125> ? 0x1c8
Evaluate expression: 456 = 00000000`000001c8

按照这个理论继续往前看内存地址,你会发现 00000001000001c900000001000001ca,对应着 457 号数据页458 号数据页

到这里脑子里就有了一张图,大概像下面这样。

三:总结

经过本篇的分析,大家知道了 SQLSERVER 会用专门的 LOB数据页 来存储这些大字段,由于数据被拆分到多个数据页上,这让 select 操作多了更多的逻辑,也会造成 C++ 代码多次在 LOB 数据页上游走,给查询性能增加了巨大的开销。

比如下面的 SQL 查询。


SET STATISTICS IO ON
SELECT * FROM t7;
SET STATISTICS IO OFF

可以发现在 LOB 数据页上游走了 7 次,再加 2 条数据观察下。


INSERT INTO t7 VALUES(REPLICATE(CAST( 'y' AS NVARCHAR(max)),10000))
INSERT INTO t7 VALUES(REPLICATE(CAST( 'z' AS NVARCHAR(max)),10000)) SET STATISTICS IO ON
SELECT * FROM t7;
SET STATISTICS IO OFF

这次由 7 次变成了 23 次,总的来说还是尽量不要将大字段存放在数据库吧。

再聊一下那 SQLSERVER 行不能跨页的事的更多相关文章

  1. Java 操作Word表格——创建嵌套表格、添加/复制表格行或列、设置表格是否禁止跨页断行

    本文将对如何在Java程序中操作Word表格作进一步介绍.操作要点包括 如何在Word中创建嵌套表格. 对已有表格添加行或者列 复制已有表格中的指定行或者列 对跨页的表格可设置是否禁止跨页断行 创建表 ...

  2. Office 2019 Word表格无法跨页重复标题行

    Office 2019 Word表格无法跨页重复标题行 今天使用Word设置表格枫叶重复标题行,死活无法实现 右键属性设置还是直接点击重复标题行设置,表格整个跳转到下一页去了 然后百度了解决方案是在[ ...

  3. C#/VB.NET 设置PDF跨页表格重复显示表头行

    在创建表格时,如果表格内容出现跨页显示的时候,默认情况下该表格的表头不会在下一页显示,在阅读体验上不是很好.下面分享一个方法如何在表格跨页时显示表格的表头内容,在C#中只需要简单使用方法grid.Re ...

  4. Java 设置PDF跨页表格重复显示表头行

    在创建表格时,如果表格内容出现跨页显示的时候,默认情况下该表格的表头不会在下一页显示,在阅读体验上不是很好.下面分享一个方法如何在表格跨页是显示表格的表头内容,这里只需要简单使用方法 grid.set ...

  5. 网页打印A4纸-----表格在跨页时自动换页打印的实现 (转)

    在最近所做的一个项目中,需要通过网页来打印不少的表单,但是又不想每个打印页签各占用一个页面,这样就需要生存很多不同的冗余页面,为了减少冗余,所有的表单通过jquery的页签tab来实现的. 一 :基本 ...

  6. 深入理解Sqlserver文件存储之页和应用 (转)

    我们每天都在使用数据库,我们部门使用最多的关系数据库有Sqlserver,Oracle,有没有想过这些数据库是怎么存放到操作系统的文件中的?有时候为了能够设计出最优的表结构,写出高性能的Sqlserv ...

  7. Candence下对“跨页连接器(off-page connector)”进行批量重命名的方法

    parts.ports.alias等等均可以在“属性编辑器(Property Editor)”中进行查看编辑,并通过复制到Excel等表格软件来进行批量修改.之后再粘贴回去的方法进行批量编辑.但是“跨 ...

  8. 解决SMARTFORMS 中table 控件单行跨页的问题

    在CX项目中,MM模块做了大量的的单据打印的工作,一个问题困扰了我好久,一直不能解决.当物料描述很长时,table控件在单元格中能自动换行,这样就有可能在换页处出现一行记录的一部分打在上一页,一部分记 ...

  9. A在SP.NET跨页多选

    在ASP.NET跨页多选 本文介绍怎样在ASP.NET中实现多页面选择的问题.其详细思路非常easy:用隐藏的INPUT记住每次选择的项目,在进行数据绑定时.检查保存的值,再在DataGrid中进行选 ...

  10. Bootstrap table 跨页全选

    此代码是针对于bootstrap table中分页的跨页全选. 以下是整个bootstrap的定义 <script type="text/javascript" src=&q ...

随机推荐

  1. 洛谷P1120 小木棍 (搜索+剪枝)

    搜索的经典题. 我们要求木根的最小长度,就要是木根的数量尽可能多,可以发现木根的长度一定可以整除所有小木棒的总长度,从小到大枚举这个可能的长度,第一次有解的就是答案. 关心的状态:当前正在拼哪根木棍, ...

  2. 记一次 .NET 某工控视觉软件 非托管泄漏分析

    一:背景 1.讲故事 最近分享了好几篇关于 非托管内存泄漏 的文章,有时候就是这么神奇,来求助的都是这类型的dump,一饮一啄,莫非前定.让我被迫加深对 NT堆, 页堆 的理解,这一篇就给大家再带来一 ...

  3. .NET周报【10月第1期 2022-10-11】

    本周精选 继C#实现await/async无栈协程几年后,davidwrighton实现了.NET绿色线程(有栈协程)的原型 https://github.com/dotnet/runtimelab/ ...

  4. 简读《ASP.NET Core技术内幕与项目实战》之3:配置

    特别说明:1.本系列内容主要基于杨中科老师的书籍<ASP.NET Core技术内幕与项目实战>及配套的B站视频视频教程,同时会增加极少部分的小知识点2.本系列教程主要目的是提炼知识点,追求 ...

  5. Java安全之Tomcat6 Filter内存马

    Java安全之Tomcat6 Filter内存马 回顾Tomcat8打法 先回顾下之前Tomcat789的打法 这里先抛开 7 8之间的区别, 在8中,最后add到filterchain的都是一个fi ...

  6. 关于网页实现串口或者TCP通讯的说明

    概述 最近经常有网页联系我,反馈为什么他按我说的方法,写的HTML代码,无法在chrome网页中运行.这里我统一做一个解释,我发现好多网页并没有理解我的意思. 其实,要实现在HTML中进行串口或者TC ...

  7. ES6 学习笔记(三)原始值与引用值

    总结: 1.原始值,表示单一的数据,如10,"abc",true等. 1.1. ES的6种原始值: Undefined.Null.Boolean.Number.String.Sym ...

  8. 小菜鸡学习---<正则表达式学习笔记2>

    正则表达式学习笔记2 一.修饰符 前面我们学习的都是用于匹配的基本的关键的一些表达式符号,现在我们来学习修饰符.修饰符不写在正则表达式里,修饰符位于表达式之外,比如/runoob/g,这个最后的g就是 ...

  9. 自动化利器 Ansible - 从了解到应用

    本文说明 本系列使用 ansible 2.9.27 版本来说明和汇总相关信息. # cat /etc/system-release Red Hat Enterprise Linux Server re ...

  10. 在 Tomcat 10.x 上部署 SpringMVC 5.x

    在Tomcat10.x 上部署 SpringMVC 5.x的时候,项目一直无法访问 运行截图 原因 Tomcat10基于Jakarta EE 9,其中api的包名已经从javax更改到jakarat ...