[转帖]TiDB 统计数据库占用大小的N种方法

TiDB之路2022-03-06

3896

前言

TiDB 如何统计数据库占用空间大小

四种方法

方法一

TiDB 统计数据库占用大小的第一种方法是监控。通过查看 {cluster-name} - Overview
，可以查看Current storage size
面板，获取当前集群已用数据库空间大小。这里显示占用15GB。
使用监控查看数据库大小有一个好处，它可以观测到历史的数据增长趋势。

方法二

第二种方法是根据统计信息来计算大小。使用tables
表中的AVG_ROW_LENGTH
和TABLE_ROWS
来进行计算，这个方法的缺点是很依赖于数据库统计信息的准确性。

mysql> select TABLE_SCHEMA,sum(AVG_ROW_LENGTH * TABLE_ROWS)/1024/1024/1024 from information_schema.tables group by TABLE_SCHEMA;
+--------------------+-------------------------------------------------+
| TABLE_SCHEMA       | sum(AVG_ROW_LENGTH * TABLE_ROWS)/1024/1024/1024 |
+--------------------+-------------------------------------------------+
| METRICS_SCHEMA     |                                  0.000000000000 |
| sbtest             |                                  8.280010784045 |
| PERFORMANCE_SCHEMA |                                  0.000000000000 |
| mysql              |                                  0.000000000000 |
| test               |                                  8.530541450717 |
| INFORMATION_SCHEMA |                                  0.000000000000 |
+--------------------+-------------------------------------------------+
6 rows in set (0.01 sec)

如果数据库的统计信息不准，则计算出来的大小就不准，很显然我这里计算是不准的。

方法三

第三种方法使用了tidb-ctl
工具，我们知道Tikv
会把region
信息上报给PD，因此可以使用该工具在 tidb 里面用 table 跟 region 的映射关系估算出 table 的大小。

我们来试一下，随便查询一张表。

tiup ctl:v5.1.3 tidb table disk-usage -d sbtest -t sbtest1
Starting component `ctl`: /root/.tiup/components/ctl/v5.1.3/ctl tidb table disk-usage -d sbtest -t sbtest1
2624

我写了一个shell脚本，遍历了 sbtest 这个schema。

tmp=`mysql -uroot -hxxx -P4000 -Ne "SELECT table_name FROM information_schema.tables where TABLE_SCHEMA='$1'"|while read a ;do echo "$a";done`
sum=0
for i in $tmp
do
tablename=`echo $i |cut -d: -f 1`
tablesize=`tiup ctl:v5.1.3 tidb table disk-usage -d $1 -t $tablename`
sum=$[sum+tablesize]
done
echo $sum

执行结果，显示的是12980，换算出来大概是12.7G。果然和我们从统计信息查出来的差异大。而统计test库显示出大概是1.4G。这样两个库统计出来的数据就是14.1G，接近图1的监控值。

方法四

第四种方法是查看TABLE_STORAGE_STATS
视图。

mysql> select TABLE_SIZE from TABLE_STORAGE_STATS where TABLE_NAME='sbtest1' and table_schema='sbtest';
+------------+
| TABLE_SIZE |
+------------+
|       2624 |
+------------+
1 row in set (0.00 sec)

mysql> select sum(TABLE_SIZE) from TABLE_STORAGE_STATS where table_schema='sbtest';
+-----------------+
| sum(TABLE_SIZE) |
+-----------------+
|           12980 |
+-----------------+
1 row in set (0.02 sec)

这个视图查出来的数据和tidb-ctl
查出来的结果一致。

一个小疑问

这里有个很有意思的地方，之前为了分析客户的高耗SQL问题，在test下面导入了客户的一张表和统计信息（没导入数据）。正好可以用来验证方法二和方法三和四的正确性。

这张pro_ssk
当时只导了表结构和统计信息，没导入任何数据。

mysql> select count(1) from pro_ssk;
+----------+
| count(1) |
+----------+
|        0 |
+----------+
1 row in set (0.01 sec)

mysql> select TABLE_SCHEMA,sum(AVG_ROW_LENGTH * TABLE_ROWS)/1024/1024/1024 from information_schema.tables where table_name='PRO_SSK' group by TABLE_SCHEMA;
+--------------+-------------------------------------------------+
| TABLE_SCHEMA | sum(AVG_ROW_LENGTH * TABLE_ROWS)/1024/1024/1024 |
+--------------+-------------------------------------------------+
| test         |                                  5.842046596110 |
+--------------+-------------------------------------------------+
1 row in set (0.01 sec)

[root@copy-of-vm-ee-centos76-v1 ~]# tiup ctl:v5.1.3 tidb  table disk-usage -d test -t PRO_SSK
Starting component `ctl`: /root/.tiup/components/ctl/v5.1.3/ctl tidb table disk-usage -d test -t PRO_SSK
134

mysql> select TABLE_SIZE from TABLE_STORAGE_STATS where TABLE_NAME='PRO_SSK' and table_schema='test';
+------------+
| TABLE_SIZE |
+------------+
|        134 |
+------------+
1 row in set (0.01 sec)

通过统计信息查询该表占用空间5.84GB。我们用tidb-ctl
和TABLE_STORAGE_STATS
视图查看都只有134MB。

疑问来了，为什么空表还占用了134MB ？

我们可以先查出表的region id
。

mysql> select distinct REGION_ID from TIKV_REGION_STATUS where DB_NAME='test' and TABLE_NAME='PRO_SSK';
+-----------+
| REGION_ID |
+-----------+
|     22001 |
+-----------+
1 row in set (0.01 sec)

然后使用 tikv-ctl
查看这个region的大小。

tiup ctl:v5.1.3 tikv --host 172.16.4.212:20160  size -r 22001

Starting component `ctl`: /root/.tiup/components/ctl/v5.1.3/ctl tikv --host 172.16.4.212:20160 size -r 22001
[2022/03/05 19:46:50.873 +08:00] [INFO] [<unknown>] ["Disabling AF_INET6 sockets because ::1 is not available."]
[2022/03/05 19:46:50.873 +08:00] [INFO] [<unknown>] ["TCP_USER_TIMEOUT is available. TCP_USER_TIMEOUT will be used thereafter"]
[2022/03/05 19:46:50.874 +08:00] [INFO] [<unknown>] ["New connected subchannel at 0x7ffae622e210 for subchannel 0x7ffae9210d80"]
region id: 22001
cf default region size: 0B
cf write region size: 134.060MiB
cf lock region size: 0B

KV 数据最终存储在默认 RocksDB 内部的 default、write、lock 3 个 CF 内。这里可以看到cf write
是134MB的。

根据官网介绍

write
CF 存储的是数据的版本信息 (MVCC) 以及索引相关的数据

但是我这个表真的是空表，也没有做过更新和删除的操作，所以不应该有MVCC和索引的数据。

mysql> select distinct TABLE_NAME from TIKV_REGION_STATUS where REGION_ID =22001;
+-----------------------+
| TABLE_NAME            |
+-----------------------+
| sbtest1               |
| aaa                   |
| a1                    |
| seq2                  |
| sbtest99              |
| PRO_SSK               |
| sbtest5               |
+-----------------------+
7 rows in set (0.01 sec)

再次查询region
的信息，发现这个region
并不是一张表在使用，它还有其他表也在用，所以这130MB有可能是其他数据表的MVCC或者索引信息。所以方法三和方法四这么来看也是不准的。但是相对统计信息来说，还是要准不少的。

后记

以上是TiDB
统计数据库大小的四种方法，看整体大小占用直接看监控就行。如果要看单张表，建议使用tidb-ctl
工具或者是查看TABLE_STORAGE_STATS
视图。

refenerce

https://asktug.com/t/topic/1318