http://heylinux.com/archives/2367.html
http://blog.csdn.net/ywh147/article/details/8996022
使用过MySQL的同学,刚开始接触最多的莫过于MyISAM表引擎了,这种引擎的数据库会分别创建三个文件:表结构、表索引、表数据空间。我们可以将某个数据库目录直接迁移到其他数据库也可以正常工作。
然而当你使用InnoDB的时候,一切都变了。InnoDB 默认会将所有的数据库InnoDB引擎的表数据存储在一个共享空间中:ibdata1,这样就感觉不爽,增删数据库的时候,ibdata1文件不会自动收缩,单个数据库的备份也将成为问题。通常只能将数据使用mysqldump 导出,然后再导入解决这个问题。
在mysql的配置文件[mysqld]部分,增加innodb_file_per_table参数,可以修改InnoDB为独立表空间模式,每个数据库的每个表都会生成一个数据空间。
独立表空间
优点:
1.每个表都有自已独立的表空间。
2.每个表的数据和索引都会存在自已的表空间中。
3.可以实现单表在不同的数据库中移动。
4.空间可以回收(drop/truncate table方式操作表空间不能自动回收)
5.对于使用独立表空间的表,不管怎么删除,表空间的碎片不会太严重的影响性能,而且还有机会处理。
缺点:
单表增加比共享空间方式更大。
结论:
共享表空间在Insert操作上有一些优势,但在其它都没独立表空间表现好。
当启用独立表空间时,请合理调整一下 innodb_open_files 参数。
下面,就是一次针对线上Zabbix的MySQL数据库history历史记录过多导致ibdata1文件过大的实战解决步骤
1.查看文件大小
$ sudo cd /var/lib/mysql
$ ls -lh
2 |
-rw-r--r-- 1 root root 0 Dec 1 14:31 debian-5.1.flag |
3 |
-rw-rw---- 1 mysql mysql 5.0M Jan 17 21:31 ib_logfile0 |
4 |
-rw-rw---- 1 mysql mysql 5.0M Jan 17 21:29 ib_logfile1 |
5 |
-rw-rw---- 1 mysql mysql 14G Jan 17 21:31 ibdata1 |
6 |
drwx------ 2 mysql root 4.0K Dec 1 14:31 mysql |
7 |
-rw-rw---- 1 root root 6 Dec 1 14:31 mysql_upgrade_info |
8 |
drwx------ 2 mysql mysql 4.0K Jan 17 21:29 zabbix |
共享表数据空间文件ibdata1大小已经达到了14G
登陆MySQL查看哪些表占用了空间
$ mysql -uroot -p
01 |
mysql > select table_name, (data_length+index_length)/1024/1024 as total_mb, table_rows from information_schema.tables where table_schema='zabbix'; |
03 |
+-----------------------+---------------+------------+ |
04 |
| table_name | total_mb | table_rows | |
05 |
+-----------------------+---------------+------------+ |
06 |
| acknowledges | 0.06250000 | 0 | |
08 |
| help_items | 0.04687500 | 103 | |
09 |
| history | 9678.00000000 | 123981681 | |
10 |
| history_log | 0.04687500 | 0 | |
12 |
| history_text | 0.04687500 | 0 | |
13 |
| history_uint | 5386.98437500 | 57990562 | |
14 |
| history_uint_sync | 0.04687500 | 0 | |
16 |
| timeperiods | 0.01562500 | 0 | |
17 |
| trends | 54.54687500 | 537680 | |
18 |
| trends_uint | 100.53125000 | 1035592 | |
20 |
103 rows in set (1.46 sec) |
可以看到,history表的记录已经达到了9G,123981681条,即1亿2千万条,同时history_unit也比较大,达到了5G,约6千万条;
另外就是trends,trends_uint中也存在一些数据。
由于数据量太大,按照普通的方式delete数据的话基本上不太可能。
因为我们每天会自动发送数据报表,所以决定直接采用truncate table的方式来快速清空这些表的数据,再使用mysqldump导出数据,删除共享表空间数据文件,重新导入数据。
2.停止相关服务,避免写入数据
$ sudo /etc/init.d/zabbix-server stop
$ sudo /etc/init.d/apache2 stop
3.清空历史数据
$ mysql -uroot -p
04 |
mysql > truncate table history; |
05 |
Query OK, 123981681 rows affected (0.23 sec) |
07 |
mysql > optimize table history; |
08 |
1 row in set (0.02 sec) |
10 |
mysql > truncate table history_uint; |
11 |
Query OK, 57990562 rows affected (0.12 sec) |
13 |
mysql > optimize table history_uint; |
14 |
1 row in set (0.03 sec) |
16 |
mysql > truncate table trends; |
17 |
Query OK, 537680 rows affected (0.04 sec) |
19 |
mysql > optimize table trends; |
20 |
1 row in set (0.02 sec) |
22 |
mysql > truncate table trends_uint; |
23 |
Query OK, 1035592 rows affected (0.02 sec) |
25 |
mysql > optimize table trends_uint; |
26 |
1 row in set (0.01 sec) |
4.备份数据
$ mysqldump -uroot -p zabbix > ~/zabbix.sql
5.停止数据库
$ sudo stop mysql
6.删除共享表空间数据文件
$ cd /var/lib/mysql
$ rm ib*
7.增加innodb_file_per_table参数
$ sudo vim /etc/mysql/my.cnf
在[mysqld]下设置
1 |
innodb_file_per_table=1 |
8.启动MySQL
$ sudo start mysql
9.查看参数是否生效
$ mysql -uroot -p
1 |
mysql> show variables like '%per_table%'; |
2 |
+-----------------------+-------+ |
3 |
| Variable_name | Value | |
4 |
+-----------------------+-------+ |
5 |
| innodb_file_per_table | ON | |
6 |
+-----------------------+-------+ |
7 |
1 row in set (0.00 sec) |
10.重新导入数据
$ mysql -uroot -p zabbix < ~/zabbix.sql
11.编写每天自动清理数据的脚本,保留30天的数据
$ sudo vim /etc/cron.daily/clean_zabbix_olddata.sh
02 |
DATE=`date -d "30 days ago"` |
03 |
CLOCK=`date +%s -d "${DATE}"` |
04 |
MYSQL="mysql -uroot -p zabbix" |
06 |
for TABLE in history trends |
08 |
$MYSQL -e "DELETE FROM ${TABLE} WHERE clock < ${CLOCK};" |
09 |
$MYSQL -e "OPTIMIZE TABLE ${TABLE};" |
10 |
$MYSQL -e "DELETE FROM ${TABLE}_uint WHERE clock < ${CLOCK};" |
11 |
$MYSQL -e "OPTIMIZE TABLE ${TABLE}_uint;" |
12.最后,恢复相关服务进程
$ sudo /etc/init.d/zabbix-server start
$ sudo /etc/init.d/apache2 start
- MySQL innodb表使用表空间物理文件复制或迁移表
MySQL InnoDB引擎的表通过拷贝物理文件来进行单表或指定表的复制,可以想到多种方式,今天测试其中2种: 将innodb引擎的表修改为Myisam引擎,然后拷贝物理文件 直接拷贝innodb的表 ...
- Mysql InnoDB表结构
索引组织表 在InnoDB存储引擎中,表都是根据主键顺序组织存放的,这种存储方式的表称为索引组织表(index organized table).在InnoDB存储引擎表中,每张表都有个主键(Prim ...
- MySQL InnoDB表--BTree基本数据结构
MySQL InnoDB表是索引组织表这一点应该是每一个学习MySQL的人都会首先学到的知识,这代表这表中的数据是按照主键顺序存储,也就是说BTree的叶子节点存储了所有该行的数据. 我最开始是搞Or ...
- MySQL InnoDB表压缩
MySQL InnoDB表压缩 文件大小减小(可达50%以上) ==> 查询速度变快(count * 约减少20%以上时间) 如何设置mysql innodb 表的压缩: 第一,mysql的版本 ...
- MySQL InnoDB表和索引之聚簇索引与第二索引
MySQL InnoDB表和索引之聚簇索引与第二索引 By:授客QQ:1033553122 每个InnoDB表都有一个称之为聚簇索引(clustered index)的特殊索引,存储记录行数据.通常, ...
- MySQL InnoDB表空间加密
从 MySQL5.7.11开始,MySQL对InnoDB支持存储在单独表空间中的表的数据加密 .此功能为物理表空间数据文件提供静态加密.该加密是在引擎内部数据页级别的加密手段,在数据页写入文件系统时加 ...
- MySQL Innodb表空间不足的处理方法
官方给出的解决方案: 添加和删除 InnoDB 数据和日志文件 这一节描述在InnoDB表空间耗尽空间之时,或者你想要改变日志文件大小之时,你可以做的一些事情. 最简单的,增加InnoDB表空间大小的 ...
- MySQL InnoDB表的碎片量化和整理(data free能否用来衡量碎片?)
网络上有很多MySQL表碎片整理的问题,大多数是通过demo一个表然后参考data free来进行碎片整理,这种方式对myisam引擎或者其他引擎可能有效(本人没有做详细的测试).对Innodb引擎是 ...
- Mysql Innodb 表碎片整理
一.为什么会产生碎片 简单的说,删除数据必然会在数据文件中造成不连续的空白空间,而当插入数据时,这些空白空间则会被利用起来.于是造成了数据的存储位置不连续,以及物理存储顺序与理论上的排序顺序不同,这种 ...
随机推荐
- Idea构建maven项目
Idea构建maven项目: 步骤一: 步骤二: 自动导入Maven项目: 步骤三:增加web 二:搭建spring项目结构: 结构图: 网上都是一大堆的:自己也可以去搜:ssm pom.xml ...
- 038、Docker 的两类存储资源(2019-02-27 周三)
参考https://www.cnblogs.com/CloudMan6/p/7127843.html Docker为容器提供了两种存放数据的资源: 1.由storage driver ...
- ****** 三十四 ******、软设笔记【存储器系统】-Cache存储器
Cache存储器 Cache(高速缓冲存储器) 高速缓冲存储器是位于主存与CPU之间的一级存储器,有静态存储芯片(SRAM)组成,容量比较小,速度比主存高得多,接近于CPU的速度,单位成本比内存高.C ...
- 【51nod 1785】数据流中的算法
Description 51nod近日上线了用户满意度检测工具,使用高级人工智能算法,通过用户访问时间.鼠标轨迹等特征计算用户对于网站的满意程度. 现有的统计工具只能统计某一个窗口中,用户的满意程 ...
- 机器学习等知识--- map/reduce, python 读json数据。。。
map/ reduce 了解: 简单介绍map/reduce 模式: http://www.csdn.net/article/2013-01-07/2813477-confused-about-map ...
- Java基础_0311: 数据表与简单Java类映射
数据表与简单Java类映射 现在假设有如下的关系表,现在要求实现如下的数据关联操作: 一个部门有多个雇员: 一个雇员有一个或零个领导 代码实现 class Dept { private int dep ...
- python 的基础 学习 第三天 编码的初始
1 编码的初始 计算机在存储数据和传输数据的时候,都是0101的二进制. ASCII(American Standard Code for Information Interchange,美国标准信 ...
- Leetcode#1.Two Sum(两数之和)
题目描述 给定一个整数数组和一个目标值,找出数组中和为目标值的两个数. 你可以假设每个输入只对应一种答案,且同样的元素不能被重复利用. 示例: 给定 nums = [2, 7, 11, 15], ta ...
- Angular4
1.安装node.js 官网下载安装 npm会跟着被自动安装 2.安装Angular工具(AngularCli) 1.使用npm安装 npm install -g @angular/cli 2使用cn ...
- #6278. 数列分块入门 2(询问区间内小于某个值 xx 的元素个数)
题目链接:https://loj.ac/problem/6278 题目大意:中文题目 具体思路:数列分块模板题,对于更新的时候,我们通过一个辅助数组来进行,对于原始的数组,我们只是用来加减,然后这个辅 ...