IEE版本:5.1.40

需求:由于目前的IEE版本并不支持分区表,且删除历史数据效率很低,删除部分数据后空间释放方面也不理想。

现采用按月分表存放数据。这样卸载历史数据时,直接删除历史表即可。

改造步骤:

  1. 原表重命名为“原表名_YYYYMM”
  2. 上传月表创建脚本到服务器
  3. 附:IEE月表创建脚本

1.原表重命名为“原表名_YYYYMM”

YYYYMM代表当前年月,例如201505.
IEE查询某业务用户下的表名:

  1. select table_name from information_schema.TABLES where table_type='BASE TABLE' and table_schema='db_name' ;

注:上面的db_name 替换为你实际的数据库名字.

原表重命名:

例如,原表是my_t1重命名my_t1_201505

IEE重命名表的语法示例:

  1. rename table my_t1 to my_t1_201505;

2.上传月表创建脚本到服务器

IEE按照月份来分表,不同月份数据入到不同的分月表中。

为了规范管理,统一将脚本上传到/root/get_ddl/路径下,

每月底在IEE服务器上执行get_ddl.sh脚本即可。

  1. 使用方法:
  2. 使用root用户
  3. # cd /root/get_ddl
  4. # sh get_ddl.sh
  5. 此脚本会自动获取本月相关表的表结构,在IEE库中建立下个月的表。如果新建表后有表结构修改,请在数据库中删除下月表后,重新执行脚本(请注意执行时间!)

附:IEE月表创建脚本

```
#!/bin/bash
#Usage: Create IEE Month Table, you can put this script in /root/get_ddl/.
#You need modify the IEE IP Address in the part of #1.1!
#ex: sh get_ddl.sh 2&> ./IEE_ddl.log
#Version: 2.0.0
#Author: O.o, Alfred Zhao
#Creation:2015-05-11

1. Define variable.

1.1 define your IEE IP Address.

host1="192.168.99.159"

pwd1="123321"

host2=""

pwd2=""

host3=""

pwd3=""

1.2 define other variable.

base=pwd

old_date=date +%Y%m

new_date=date +%Y%m --date='+1 month'

2. Create Folders

Directory: $base/tmp, $base/old_table_dir, $base/new_table_dir.

if [ -d tmp ]; then

echo 'go on'

else

echo 'mkdir tmp'

mkdir tmp

fi

if [ -d old_table_dir ]; then

echo 'go on'

else

echo 'mkdir old_table_dir'

mkdir old_table_dir

fi

if [ -d new_table_dir ]; then

echo 'go on'

else

echo 'mkdir new_table_dir'

mkdir new_table_dir

fi

3. Create tables

3.1 create parameter file table_name.

mysql-ib <$base/tmp/abc

select table_name from information_schema.TABLES where table_type='BASE TABLE' and table_schema='crnop' ;

exit

EOF

cat $base/tmp/abc|grep $old_date > $base/table_name

3.2 loop execute

while read Fileline

do

echo "use crnop;" > $base/tmp/$Fileline.sql

echo "show create table $Fileline" >> $base/tmp/$Fileline.sql

echo $Fileline > $base/tmp/Fileline

mysql-ib -N < $base/tmp/$Fileline.sql > $base/old_table_dir/tmp_$Fileline.sql

  1. old_table_name=`cat $base/old_table_dir/tmp_$Fileline.sql | awk '{print $1}'`
  2. sed 's/\\n//g' $base/old_table_dir/tmp_$Fileline.sql |awk '{$1="";print $0}' > $base/old_table_dir/old_$Fileline.sql
  3. new_table_name_part=`awk -F'_' 'OFS="_"{$NF="";print}' $base/tmp/Fileline`
  4. new_table_name=$new_table_name_part$new_date
  5. echo "Old table name is :$old_table_name"
  6. echo "New table name is :$new_table_name"
  7. echo "use crnop;" > $base/new_table_dir/$new_table_name.sql
  8. sed "s/$old_table_name/$new_table_name/g" $base/old_table_dir/old_$Fileline.sql >> $base/new_table_dir/$new_table_name.sql
  9. if [ "$host1" != "" ]; then
  10. echo "host1: $host1"
  11. mysql-ib -u root -p$pwd1 -h$host1 < $base/new_table_dir/$new_table_name.sql
  12. else
  13. echo "host1 $host1 doesn't exist."
  14. fi
  15. if [ "$host2" != "" ]; then
  16. echo "host2: $host2"
  17. mysql-ib -u root -p$pwd2 -h$host2 < $base/new_table_dir/$new_table_name.sql
  18. else
  19. echo "host2 $host2 doesn't exist."
  20. fi
  21. if [ "$host3" != "" ]; then
  22. echo "host3: $host3"
  23. mysql-ib -u root -p$pwd3 -h$host3 < $base/new_table_dir/$new_table_name.sql
  24. else
  25. echo "host3 $host3 doesn't exist."
  26. fi

done < $base/table_name

IEE分月表改造的更多相关文章

  1. 数据分表Mybatis Plus动态表名最优方案的探索

    一.应用场景 大家在使用Mybatis进行开发的时候,经常会遇到一种情况:按照月份month将数据放在不同的表里面,查询数据的时候需要跟不同的月份month去查询不同的表. 但是我们都知道,Mybat ...

  2. Nodejs之MEAN栈开发(七)---- 用Angular创建单页应用(下)

    上一节我们走通了基本的SPA基础结构,这一节会更彻底的将后端的视图.路由.控制器全部移到前端.篇幅比较长,主要分页面改造.使用AngularUI两大部分以及一些优化路由.使用Angular的其他指令的 ...

  3. mysql 案例 ~ 主从复制延迟之并行复制

    一 概念说明   1 模型 并行复制是典型的生产者.消费者模式,Coordinator作为生产者,worker线程作为消费者.   2 Waiting for preceding transactio ...

  4. 记一次企业级爬虫系统升级改造(二):基于AngleSharp实现的抓取服务

    爬虫系统升级改造正式启动: 在第一篇文章,博主主要介绍了本次改造的爬虫系统的业务背景与全局规划构思: 未来Support云系统,不仅仅是爬虫系统,是集爬取数据.数据建模处理统计分析.支持全文检索资源库 ...

  5. 四极耳机接线标准,N版耳机改造为i版耳机

    (本文提到的都是3.5mm的耳机,2.5mm的没做验证) 现在的手机,以及大多数笔记本都开始使用“四极耳机”,也就是耳机上插头上有四个极.为了叙述方便,将耳机插头上的四个极从插头顶端到靠近电线的塑胶部 ...

  6. 1018Mysql分表分库

    单库单表 单库单表是最常见的数据库设计,例如,有一张用户(user)表放在数据库db中,所有的用户都可以在db库中的user表中查到. 单库多表 随着用户数量的增加,user表的数据量会越来越大,当数 ...

  7. SOA架构改造简单记录

    前端支持PC.Mobile.H5三个平台 nginx做负载均衡,主备机,keepalived,检测脚本,master和slave切换时完成相关工作: web做集群,web仅仅是web,与后端服务模块采 ...

  8. 改造二叉树 (长乐一中模拟赛day2T1)

    1.改造二叉树 [题目描述] 小Y在学树论时看到了有关二叉树的介绍:在计算机科学中,二叉树是每个结点最多有两个子结点的有序树.通常子结点被称作“左孩子”和“右孩子”.二叉树被用作二叉搜索树和二叉堆.随 ...

  9. 数据库分库分表(sharding)系列【转】

    原文地址:http://www.uml.org.cn/sjjm/201211212.asp数据库分库分表(sharding)系列 目录; (一) 拆分实施策略和示例演示 (二) 全局主键生成策略 (三 ...

随机推荐

  1. Cocos2d-x3.x塔防游戏(保卫萝卜)从零开始(三)

    一.前提: 完成前一篇的内容. 具体参考:Cocos2d-x3.x塔防游戏(保卫萝卜)从零开始(二)篇 二.本篇目标: l  说说游戏中各种角色的动作.属性以及重构思路 l  进行代码重构让色狼大叔和 ...

  2. 一个简单的JavaScript Map

    用js写了一个Map,带遍历功能,请大家点评下啦. //map.js Array.prototype.remove = function(s) { for (var i = 0; i < thi ...

  3. [leetcode]Maximum Product Subarray @ Python

    原题地址:https://oj.leetcode.com/problems/maximum-product-subarray/ 解题思路:主要需要考虑负负得正这种情况,比如之前的最小值是一个负数,再乘 ...

  4. 向Spotify学习如何设计产品(转)

    导语:Spotify是瑞典的精益创业项目,同时保持着很棒的产品交付记录.一般在产品上线之后,开发者才知道人们喜不喜欢它.Spotify如何解决这个问题? 本文转自 kent.zhu's Blog,原文 ...

  5. Entity Framework Core 实现读写分离

    在之前的版本中我们可用构造函数实现,其实现在的版本也一样,之前来构造连接字符串,现在相似,构造DbContextOptions<T> 代码如下: public SContext(Maste ...

  6. Oracle 数据库表同步方法浅议

    总结一下Oracle数据库表级别的复制同步 一.通过触发器进行表的复制 原理,是监听表上都某一字段进行的DML操作,然后得到DML操作的数据,重新在另一个表上执行DML操作. 优点: 简单,编写一个触 ...

  7. javascript不用new关键字创建对象示例

    <!doctype html> <html> <head> <meta charset="utf-8"> <title> ...

  8. Swift 通用类型和通用函数 | Generic type and function

    如果你想交换两个变量的值: 1. 整型 func swapTwoInts(inout a: Int, inout b: Int) { let temporaryA = a a = b b = temp ...

  9. 通过Jni实现AES的CBC模式加密解密

    AES加密方式基本实现,出现一个问题就是代码的安全性.我们知道java层代码很容易被反编译,很有可能泄漏我们加密方式与密钥 内容,那我们该怎么办呢?我们可以使用c/c++实现加密,编译成So库的形式, ...

  10. Scala spark mongodb

    最好的参考是Mongo官网的地址 https://docs.mongodb.com/spark-connector/getting-started/ 需要截图所示的包 代码地址 https://git ...