postgres=# select * from pg_stat_user_tables where relname = 'test'; -[ RECORD 1 ]-------+------------------------------ relid | 23400 schemaname | public relname | test seq_scan | 12 seq_tup_read | 49290 idx_scan | idx_tup_fetch | n_tup_ins | 22916…

https://www.notion.so/blog/sharding-postgres-at-notion 今年(2021)早些时候,我们对 Notion 进行了五分钟的定期维护. 虽然我们的声明指向"提高稳定性和性能",但在幕后是数月专注.紧迫的团队合作的结果:将 Notion 的 PostgreSQL 整体分片成一个水平分区的数据库舰队. 分片命名法被认为起源于 MMORPG Ultima Online,当时游戏开发者需要一个宇宙解释来解释存在多个运行平行世界副本的游戏服务器.…

最近客户在使用我司开发的数据库时,报告了如下问题(也不能算是问题,就是疑惑吧),环境如下: OS : Red Hat Enterprise Linux Server release 6.7 (Santiago) Kernel : 2.6.32-573.el6.x86_64 PostgreSQL : PostgreSQL 9.6.2 执行准备工作: postgres=# create table test (id int, data text); CREATE TABLE postgres=# i…

引言 这一系列文章主要关注PostgreSQL中的索引. 可以从不同的角度考虑任何主题.我们将讨论那些使用DMBS的应用开发人员感兴趣的事项:有哪些可用的索引:为什么会有这么多不同的索引:以及如何使用索引来加速查询.这个主题可以之用寥寥数语就被涵盖,但是,在内心深处,我们希望那些充满好奇心.同时也对内部细节感兴趣的开发人员,特别是因为对这些细节的理解,不会只是听从别人的理解,而是形成自己的结论. 开发新类型的索引超出了范畴.这需要了解C编程语言,需要系统程序员而不是应用程序开发人员的专业知识.出…

1. 问题出现 晚上9点,现场报系统查询慢,运维查询zabbix后发现postgres最近几天的IOWait很大 2. 追踪问题 查询数据库,发现很多SQL堵住了 原因是真正创建index,导致表锁住了,其他所有操作都block住了. 将这个操作取消掉后,发现系统自动将这个表进行autovacuum,很多SQL又堵住了.手工将vacuum停掉后,系统好了一点点,但还是较之前慢. 其中一个SQL 执行的频率很高,但一直需要执行很长时间: 19014 | sxacc-devices | Access…

背景 Greenplum的日常监控点.评判标准,日常维护任务. 展示图层 由于一台主机可能跑多个实例,建议分层展示. 另外,即使是ON ECS虚拟机(一个虚拟机一个实例一对一的形态)的产品形态,实际上也建议分层展示,以示通用性. 主机级图层 1.全局 2.以集群分组 展示图形 1.饼图(正常.警告.严重错误.不可用,占比,数量) 2.热力图(每台主机一个点,颜色描绘正常.警告.严重错误.不可用) 3.列表(正常.警告.严重错误.不可用倒排,TOP 主机) 实例级图层 1.全局 2.以集群分组 展…

2020-06-09 19:31:01 一.疑问 前段时间:QQ群里有人对“这个表(0,4)这行数据我做了update操作,查看索引的page数据,看到索引一直指向(0,4),用ctid='(0,4)'查询业务表是查不到数据的:然后我做了表的vacuum,reindex甚至drop/create index,还是这样的”感到疑惑. 在PostgreSQL8.3实现了(heap only tuple)HOT特性.它存在的目的就是消除表非索引列更新对索引影响.但是它如何工作的呢? 二.解析 我们来模…

数据库表空间收缩之pg_squeeze,pg_repack 目录 数据库表空间收缩之pg_squeeze,pg_repack pg_squeeze1.2 原理 优点 安装 使用 pgstattuple 临时处理 监控方式 注意事项 squeeze1.2和低版本的区别 pg_repack 原理 安装 使用方法 测试 系统表 在线pg_repack repack数据库 repack模式 repack表和索引 repack所有索引 repack指定索引 pg_repack限制 总结 下半年一直忙于NP…

# su - postgres $ /usr/local/pgsql/bin/postgres --single -D /usr/local/pgsql/data [不能VACUUM的数据库] PostgreSQL stand-alone backend 8.3.6 backend> 执行VACUUM backend> VACUUM Ctrl + D退出单用户模式…

Update: Heikki’s slides are here! Heikki Linnakangas gave a presentation this past Sunday at FOSDEM about the improved free space map (FSM), which tracks unused space inside the database, and new visibility map, a bitmap which will indicate which dat…