千万级SQL Server数据库表分区的实现
千万级SQL Server数据库表分区的实现
一般在千万级的数据压力下,分区是一种比较好的提升性能方法。本文将介绍SQL Server数据库表分区的实现。
最近使用SQL SERVER一个的缓存,数据量一天100w的速度增长,同时接受客户查询,速度由于数据量越来越大越来越慢,这里感谢 KillKill 和 邀约, 最近读了一套书不错,感兴趣的同学可以读读<<活法>>
回顾下经常使用的索引
一 .聚集索引
聚集索引的页级别包含了索引键,还包含数据页,因此,关于 除了键值以外聚集索引的叶级别还存放了什么的答案就是一切,也就是说,每行的所有字段都在叶级别种。
另一种说话是:数据本身也是聚集索引的一部分,聚集索引基于键值保持表中的数据有序。
SQL SERVER 中,所有的聚集索引都是唯一的,如果在创建聚集索引时没有指定UNIQUE 关键字,SQL SERVER 会在需要时通过往记录中添加一个唯一标识符(Uniqueifier)在内部保证索引的唯一性,该唯一标识符是一个4字节的值,作为附加在聚集索引键的字段添加到数据中,只有那些声明为索引键字段并拥有重复值的行才会被添加。
二 .非聚集索引
对于非聚集索引,叶级别不包含全部的数据。除了键值以外,每个叶级别(树的最低层)中的索引行包含了一个书签(bookmark),告诉SQL Server 可以在哪里找到与索引键相应的数据行。一个书签课能有两种格式。如果表上存在聚集索引,书签就是相应的数据行的聚集索引键。如果表是堆(heap)结构 ,就是没有聚集索引的情况下 ,书签就是一个行标识符 row identifier,rid ,以 文件号 页号 槽号 的格式来定位实际的行。
非聚集索引的存在与否并不影响数据分页的组织,因此每张表上并不像聚集索引那样只局限于拥有一个非聚集索引,SQL Server 2005 每张表能够包含249 个非聚集索引 SQL Server 2008 每张表能够包含999 个非聚集索引 ,但是实际上所用到的比这个数要少的多。
三 .包含索引
索引键字段数量限制是16个,总共900个字节大小 ,包含性列只在叶级别中出现而且不以任何方式控制索引行的排序。它们的目的是使叶级别能够包含更多的信息从而更大地发挥覆盖索引(Covering index)的索引调优能力.覆盖索引是一种非聚集索引,在其叶级别就可以找到满足查询的全部信息,这样sql server就根本没有必要访问数据分页了,在一些情况下 sql serer 会悄悄的为索引添加一个包含性列。这可能发生在索引建立于分区表 也就是我今天是发的博客 O(∩_∩)O (partitioned table )上没有指定 on filegroup 或者 no partition_scheme 的情况下。
一 .SQL SERVER 表分区介绍:
SQL Server 引入的表分区技术,让用户能够把数据分散存放到不同的物理磁盘中,提高这些磁盘的并行处理性能以优化查询性能……
二 .SQL SERVER 数据库表分区由三个步骤来完成:
1.创建分区函数
2.创建分区架构
3.对表进行分区
基于缓存更新机制,我使用时间来进行分区,这里大家根据业务的要求使用合适的字段来作为分区
创建数据库分区文件数量,这里存储一年的数据分成十二个分区,需要现在D盘建立好Data 的文件夹 里面包含Primary 文件夹和 FG1 FG2 FG3 FG4............
- IF EXISTS (SELECT name FROM sys.databases WHERE name = N'AirAvCache')
- DROP DATABASE [AirAvCache]
- GO
- CREATE DATABASE [AirAvCache]
- ON PRIMARY
- (NAME='Data Partition DB Primary FG',
- FILENAME=
- 'D:\Data\Primary\AirAvCache Primary FG.mdf',
- SIZE=5,
- MAXSIZE=500,
- FILEGROWTH=1 ),
- FILEGROUP [AirAvCache FG1]
- (NAME = 'AirAvCache FG1',
- FILENAME =
- 'D:\Data\FG1\AirAvCache FG1.ndf',
- SIZE = 5MB,
- MAXSIZE=500,
- FILEGROWTH=1 ),
- FILEGROUP [AirAvCache FG2]
- (NAME = 'AirAvCache FG2',
- FILENAME =
- 'D:\Data\FG2\AirAvCache FG2.ndf',
- SIZE = 5MB,
- MAXSIZE=500,
- FILEGROWTH=1 ),
- FILEGROUP [AirAvCache FG3]
- (NAME = 'AirAvCache FG3',
- FILENAME =
- 'D:\Data\FG3\AirAvCache FG3.ndf',
- SIZE = 5MB,
- MAXSIZE=500,
- FILEGROWTH=1 ),
- FILEGROUP [AirAvCache FG4]
- (NAME = 'AirAvCache FG4',
- FILENAME =
- 'D:\Data\FG4\AirAvCache FG4.ndf',
- SIZE = 5MB,
- MAXSIZE=500,
- FILEGROWTH=1 ),
- FILEGROUP [AirAvCache FG5]
- (NAME = 'AirAvCache FG5',
- FILENAME =
- 'D:\Data\FG5\AirAvCache FG5.ndf',
- SIZE = 5MB,
- MAXSIZE=500,
- FILEGROWTH=1 ),
- FILEGROUP [AirAvCache FG6]
- (NAME = 'AirAvCache FG6',
- FILENAME =
- 'D:\Data\FG6\AirAvCache FG6.ndf',
- SIZE = 5MB,
- MAXSIZE=500,
- FILEGROWTH=1 ),
- FILEGROUP [AirAvCache FG7]
- (NAME = 'AirAvCache FG7',
- FILENAME =
- 'D:\Data\FG7\AirAvCache FG7.ndf',
- SIZE = 5MB,
- MAXSIZE=500,
- FILEGROWTH=1 ),
- FILEGROUP [AirAvCache FG8]
- (NAME = 'AirAvCache FG8',
- FILENAME =
- 'D:\Data\FG8\AirAvCache FG8.ndf',
- SIZE = 5MB,
- MAXSIZE=500,
- FILEGROWTH=1 ),
- FILEGROUP [AirAvCache FG9]
- (NAME = 'AirAvCache FG9',
- FILENAME =
- 'D:\Data\FG9\AirAvCache FG9.ndf',
- SIZE = 5MB,
- MAXSIZE=500,
- FILEGROWTH=1 ),
- FILEGROUP [AirAvCache FG10]
- (NAME = 'AirAvCache FG10',
- FILENAME =
- 'D:\Data\FG10\AirAvCache FG10.ndf',
- SIZE = 5MB,
- MAXSIZE=500,
- FILEGROWTH=1 ),
- FILEGROUP [AirAvCache FG11]
- (NAME = 'AirAvCache FG11',
- FILENAME =
- 'D:\Data\FG11\AirAvCache FG11.ndf',
- SIZE = 5MB,
- MAXSIZE=500,
- FILEGROWTH=1 ),
- FILEGROUP [AirAvCache FG12]
- (NAME = 'AirAvCache FG12',
- FILENAME =
- 'D:\Data\FG12\AirAvCache FG12.ndf',
- SIZE = 5MB,
- MAXSIZE=500,
- FILEGROWTH=1 )
创建好后如图:
打开FG1 文件夹 看到多了AirAvCacheFG1.ndf 文件
创建分区函数
- USE AirAvCache
- GO
- -- 创建函数
- CREATE PARTITION FUNCTION [AirAvCache Partition Range](DATETIME)
- AS RANGE LEFT FOR VALUES ('2010-09-01','2010-10-01','2010-11-01',
- '2010-12-01','2011-01-01','2011-02-01','2011-03-01','2011-04-01',
- '2011-05-01','2011-06-01','2010-07-01');
创建分区架构
- CREATE PARTITION SCHEME [AirAvCache Partition Scheme]
- AS PARTITION [AirAvCache Partition Range]
- TO ([AirAvCache FG1], [AirAvCache FG2], [AirAvCache FG3],[AirAvCache FG4],[AirAvCache FG5],[AirAvCache FG6],[AirAvCache FG7],[AirAvCache FG8],
- [AirAvCache FG9],[AirAvCache FG10],[AirAvCache FG11],[AirAvCache FG12]);
创建一个使用AirAvCache Partitiion Scheme 架构的表
- CREATE TABLE [dbo].[AvCache](
- [CityPair] [varchar](6) NOT NULL,
- [FlightNo] [varchar](10) NULL,
- [FlightDate] [datetime] NOT NULL,
- [CacheTime] [datetime] NOT NULL DEFAULT (getdate()),
- [AVNote] [varchar](300) NULL
- ) ON [AirAvCache Partition Scheme] (FlightDate);
- --注意这里使用[AirAvCache Partition Scheme]架构,根据FlightDate 分区
查询分区情况
- -- 查看使用情况
- SELECT *, $PARTITION.[AirAvCache Partition Range](FlightDate)
- FROM dbo.AVCache
可以看到9 月和 10 月已经分开了。
千万级SQL Server数据库表分区的实现的更多相关文章
- SQL SERVER 数据库表同步复制 笔记
SQL SERVER 数据库表同步复制 笔记 同步复制可运行在不同版本的SQL Server服务之间 环境模拟需要两台数据库192.168.1.1(发布),192.168.1.10(订阅) 1.在发布 ...
- SQL Server 创建表分区
原文:SQL Server 创建表分区 先准备测试表 CREATE TABLE [dbo].[Employee] ( EmployeeNo ,) PRIMARY KEY, EmployeeName ) ...
- EF Core中,通过实体类向SQL Server数据库表中插入数据后,实体对象是如何得到数据库表中的默认值的
我们使用EF Core的实体类向SQL Server数据库表中插入数据后,如果数据库表中有自增列或默认值列,那么EF Core的实体对象也会返回插入到数据库表中的默认值. 下面我们通过例子来展示,EF ...
- 修改SQL Server数据库表的创建时间最简单最直接有效的方法
说明:这篇文章是几年前我发布在网易博客当中的原创文章,但由于网易博客现在要停止运营了,所以我就把这篇文章搬了过来,因为这种操作方式是通用的,即使是对现在最新的SQL Server数据库里面的操作也是一 ...
- SQL Server 数据库表的管理
上一篇文章简单梳理了一下SQL Server数据库的安装和基本操作,这篇文章主要讲述一下数据库表的管理 一.数据库的创建 有关数据库的创建有两种方式,一种是通过视图创建,第二种就是通过T-SQL语句来 ...
- 将文件导入到SQL server数据库表中的字段中
一.在要执行的sql server数据库a中执行如下脚本,创建存储过程sp_textcopy /* 将二进制文件导入.导出到数据库相应字段列中 */ CREATE PROCEDURE sp_textc ...
- SQL Server 2008 表分区的含义
https://www.cnblogs.com/knowledgesea/p/3696912.html 继续看这个文档 http://www.360doc.com/content/16/0104/11 ...
- SQL Server 当表分区遇上唯一约束(转载)
一.前言 我已经在高兴对服务器创建了表分区并且获得良好性能和自动化管理分区切换的时候,某一天,开发人员告诉我,某表的两个字段的数据不唯一,需要为这两个字段创建唯一索引的时候,这一切就变得不完美了.列的 ...
- SQL Server 数据库表的统计信息的更新
最近在调整基础信息数据时,新增了几个客户类型,意想不到的事情发生了,在使用新增的客户类型作为 查询条件查询报表时,居然出现了超时的现象,但是用其他以前的客户类型查询就没有问题,用一个 ...
随机推荐
- AngularJS学习笔记之directive—scope选项与绑定策略
From:http://www.linuxidc.com/Linux/2015-05/116924.htm scope:{}使指令与外界隔离开来,使其模板(template)处于non-inherit ...
- Java NIO之缓冲区Buffer
Java NIO的核心部件: Buffer Channel Selector Buffer 是一个数组,但具有内部状态.如下4个索引: capacity:总容量 position:下一个要读取/写入的 ...
- 【转】移动web页面支持弹性滚动的3个方案
传统 pc 端中,子容器高度超出父容器高度,通常使用 overflow:auto 可出现滚动条拖动显示溢出的内容,而移动web开发中,由于浏览器厂商的系统不同.版本不同,导致有部分机型不支持对弹性滚动 ...
- ACM 田忌赛马
田忌赛马 时间限制:3000 ms | 内存限制:65535 KB 难度:3 描述 Here is a famous story in Chinese history. "That ...
- leetcode Container With Most Water
Given n non-negative integers a1, a2, ..., an, where each represents a point at coordinate (i, ai). ...
- [知识点]网络流之Dinic算法
// 此博文为迁移而来,写于2015年2月6日,不代表本人现在的观点与看法.原始地址:http://blog.sina.com.cn/s/blog_6022c4720102vrg4.html ...
- URAL 1031. Railway Tickets(spfa)
题目链接 不知为何会在dp里呢...INF取小了,2Y. #include <cstring> #include <cstdio> #include <string> ...
- [LintCode] Roman to Integer 罗马数字转化成整数
Given a roman numeral, convert it to an integer. The answer is guaranteed to be within the range fro ...
- .net 实现Office文件预览,word文件在线预览、excel文件在线预览、ppt文件在线预览
转自源地址:http://www.cnblogs.com/GodIsBoy/p/4009252.html,有部分改动 使用Microsoft的Office组件将文件转换为PDF格式文件,然后再使用pd ...
- 面试之servlet、过滤器、监听器
servlet.过滤器.监听器servlet是Java中WEB请求和响应的容器servlet的运行需要在类似tomcat容器中,一个 Web 应用对应一个 Context 容器,也就是 Servlet ...