利用DB2表分区的功能对大数据量的表进行分区,可以优化查询。

表分区介绍:

表分区是一种数据组织方案,它根据一列或多列中的值把表数据划分为多个称为数据分区 的存储对象。

(我觉得表分区就类似于Windows系统的磁盘分区,通常我们将磁盘分区成:系统盘,娱乐盘,学习盘,工作盘。如果我想找一个《Thinking in java》的电子书,我们会直接去学习盘去搜索,相反,如果我们电脑只分一个区,那么我们必须要搜索整块硬盘。)

When需要进行表分区:

在数据仓库中,事实表或历史表的大小是摆在设计人员和管理员面前的一个挑战。这些表通常包含数亿行数据,有时候甚至包含数千亿行数据。对于这种规模的表,主要关心以下几点:

  • 查询性能
  • 将大量新数据插入到这些表中
  • 每月或每个季度删除大量过时的数据

(我觉得分区表主要用在记录型表中,表中数据按时间日期进行累计,记录的可利用性随时间的流逝逐渐变小,历史数据不会被使用或者被利用的可能性很小)

How建立表分区:

create table person1(

id varchar(32) NOT NULL,

p_name varchar(32),

p_age INTEGER,

birthday DATE,

job char(32)

) partition by range(birthday)(

starting  minvalue ending ‘9/1/2013’ exclusive,

starting  '9/1/2013' ending '9/1/2014’ exclusive every(1 months)

);

DB2使用partition by range对表字段进行分区,利用starting 开始时间 ending 结束时间指定分区范围。上面红色部分首先建立一个最小时间值到2013-9-1(exclusive表示不包括2313-9-1这一天)的一个分区,第二个starting是自动建立多个分区,建立一个从2013-9-1到2014-9-1时间范围每月建立一个分区,也就是12个分区。这里没有指定分区名称,系统默认提供分区名是PART0,PART1,PART2….

How添加一个分区:

ALTER TABLE DB2INST1.PERSON1 ADD PARTITION PART13 STARTING FROM ('2014-9-1') INCLUSIVE ENDING AT ('2014-10-1') EXCLUSIVE IN PERSON_SP2 ;

添加一个范围是2014-9-1到2014-10-1的PART13分区。

分区过多怎么办:

分区按时间进行,历史分区太过,想删除一些历史分区怎么办?DB2提供了一个拆离的功能,可以将历史分区数据从表中分离(滚出)出去,放在其他表中。

ALTER TABLE DB2INST1.PERSON1 DETACH PARTITION PART1 INTO TABLE DB2INST1.PERSON_HISTORY;

分离后再加入怎么办:

DB2有连接(滚入)功能,可以连接一张表,将制定表中的数据连接到一个分区中。

ALTER TABLE DB2INST1.PERSON1 ATTACH PARTITION PART1 STARTING FROM ('2013-9-1') INCLUSIVE ENDING AT ('2013-10-1') EXCLUSIVE FROM TABLE DB2INST1.PERSON_HISTORY;

报警表推荐方案:

报警表单日数据量部局可达10万级,建议采用两张表,一张为事实表,一张为历史表,事实表按天进行分区,历史表按年进行分区。

1、 初始化表建立一个月的分区,后每个月末建立下个月的分区;

2、 一年后拆离(滚出)上一年上半年的分区数据至历史表;

3、 为了加快查询速度,建议在查询条件主要字段上建立索引;

4、 报警表建立独立表空间。

DB2大数据量优化查询解决方案的更多相关文章

  1. mysql处理大数据量的查询速度究竟有多快和能优化到什么程度

    mysql处理大数据量的查询速度究竟有多快和能优化到什么程度 深圳-ftx(1433725026) 18:10:49  mysql有没有排名函数啊 横瓜(601069289) 18:13:06  无 ...

  2. MySQL大数据量分页查询方法及其优化

    MySQL大数据量分页查询方法及其优化   ---方法1: 直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N---适 ...

  3. J2EE综合:如何处理大数据量的查询

    在实际的任何一个系统中,查询都是必不可少的一个功能,而查询设计的好坏又影响到系统的响应时间和性能这两个要害指标,尤其是当数据量变得越来越大时,于是如何处理大数据量的查询成了每个系统架构设计时都必须面对 ...

  4. 【1】MySQL大数据量分页查询方法及其优化

    ---方法1: 直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N---适应场景: 适用于数据量较少的情况(元组百/千 ...

  5. MySQL分页查询大数据量优化方法

    方法1: 直接使用数据库提供的SQL语句 语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N适应场景: 适用于数据量较少的情况(元组百/千级)原因/缺点: ...

  6. Oracle大数据常见优化查询

    [转]http://www.cnblogs.com/myhappylife/p/5006774.html 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的 ...

  7. MySQL大数据量分页查询

    mysql大数据量使用limit分页,随着页码的增大,查询效率越低下. 测试实验 1.   直接用limit start, count分页语句, 也是我程序中用的方法: select * from p ...

  8. mysql的大数据量的查询

    mysql的大数据量查询分页应该用where 条件进行分页,limit 100000,100,mysql先查询100100数据量,查询完以后,将 这些100000数据量屏蔽去掉,用100的量,但是如果 ...

  9. 大数据量下的SQL Server数据库自身优化

    原文: http://www.d1net.com/bigdata/news/284983.html 1.1:增加次数据文件 从SQL SERVER 2005开始,数据库不默认生成NDF数据文件,一般情 ...

随机推荐

  1. :before和:after结合使用

    <div class="slider-block" id="block" style="left: 15.5px;" data=&qu ...

  2. 排序算法总结(C++)

    算法复杂度 稳定:如果a原本在b前面,而a=b,排序之后a仍然在b的前面. 不稳定:如果a原本在b的前面,而a=b,排序之后 a 可能会出现在 b 的后面. 时间复杂度:对排序数据的总的操作次数.反映 ...

  3. BZOJ 3744 Gty的妹子序列 (分块+树状数组+主席树)

    题面传送门 题目大意:给你一个序列,多次询问,每次取出一段连续的子序列$[l,r]$,询问这段子序列的逆序对个数,强制在线 很熟悉的分块套路啊,和很多可持久化01Trie的题目类似,用分块预处理出贡献 ...

  4. elasticsearch 分析器阅读笔记(五)

    倒排索引 可以查看这里得分词原理https://www.cnblogs.com/LQBlog/articles/5743991.html 分析器 分析器处理过程的3步骤 1.字符过滤器:去除字符的特殊 ...

  5. UVA 10187 From Dusk Till Dawn /PC 110907

    不吐槽.. #include <iostream> #include <map> #include <queue> //无语的水题.节哀吧.且这道题不严谨,因为没说 ...

  6. js为字符串编码

    js 提供了两组函数来进行字符串的编码与解码:escape()与unescape(). decodeURI()与encodeURI(); JavaScript escape() 函数 定义和使用方法 ...

  7. HDU 3579 Hello Kiki 中国剩余定理(合并方程

    题意: 给定方程 res % 14 = 5 res % 57 = 56 求res 中国剩余定理裸题 #include<stdio.h> #include<string.h> # ...

  8. 3.2 re--正則表達式操作(Regular expression operations)

    本模块提供了正則表達式的匹配操作,它的功能跟Perl语言里的功能一样. 不管是Unicode字符串还是单字节8位组成的字符串,都能够使用模式匹配和字符串查找的功能. 只是要注意的是Unicode字符串 ...

  9. Android之后台启动Activity

    在实际开发中.Activity须要启动但界面又不能显示出来,这时就须要后台启动.但又不是finish(),这时就要用到Activity中的moveTaskToBack函数,先看下官网 參数nonRoo ...

  10. C++实现顺序栈的基本功能

    栈是限定仅在表头进行插入和删除操作的线性表.有着先进后出的特点(FILO): 如今我来动手实现栈的基本本功能练练手: 定义栈的头文件例如以下: #ifndef CSTOCK_H_ #define CS ...