GIN(Generalized Inverted Index, 通用倒排索引) 是一个存储对(key, posting list)集合的索引结构,其中key是一个键值,而posting list 是一组出现过key的位置。如(‘hello', '14:2 23:4')中,表示hello在14:2和23:4这两个元祖出现过,在PG中这些位置实际上就是元组的tid(行号,包括数据块ID(32bit),以及item point(16 bit) )。

对于表中的每一个属性,在建立对应 gin 索引时,都可能会被解析为多个键值,所以同一个元组的tid可能会出现在多个key的posting list中。

一、索引的逻辑结构

GIN索引在逻辑上可以看成一个relation,该relation有两种结构:

1. 只索引基表的一列的情况:

key value
Key1 Posting list( or posting tree)
Key2 Posting list( or posting tree)

2. 索引基表的多列(复合、多列索引):

column_id key value
Column1 num Key1 Posting list( or posting tree)
Column2 num Key1 Posting list( or posting tree)
Column3 num Key1 Posting list( or posting tree)
... ... ...

这种结构,对于基表中不同列的相同的key,在GIN索引中也会当作不同的key来处理。

二、索引的物理结构

GIN索引在物理存储上包含如下内容:
1. Entry:GIN索引中的一个元素,可以认为是一个词位,也可以理解为一个key
2. Entry tree:在Entry上构建的B树
3. posting list:一个Entry出现的物理位置(heap ctid, 堆表行号)的链表
4. posting tree:在一个Entry出现的物理位置链表(heap ctid, 堆表行号)上构建的B树,所以posting tree的KEY是ctid,而entry tree的KEY是被索引的列的值
5. pending list:索引元组的临时存储链表,用于fastupdate模式的插入操作

具体结构如下:

索引实际例子如下:

三、GIN索引使用例子

1、前后模糊查询

创建测试数据:

test=# create extension sys_trgm;
CREATE EXTENSION test=# create table t1_text(doc text);
CREATE TABLE
test=# insert into t1_text select short_desc from pg_settings;
INSERT 0 410 test=# create index ind_t1_text on t1_text using gin(doc gin_trgm_ops);
CREATE INDEX

查看执行计划:

test=# explain select * from t1_text where doc like '%mod%';
QUERY PLAN
---------------------------------------------------------------------------
Bitmap Heap Scan on t1_text (cost=12.06..17.16 rows=8 width=55)
Recheck Cond: (doc ~~ '%mod%'::text)
-> Bitmap Index Scan on ind_t1_text (cost=0.00..12.06 rows=8 width=0)
Index Cond: (doc ~~ '%mod%'::text)
(4 rows)

结论:可以看到,GIN 索引支持前后模糊查询。

注意:要使用gin索引,必须至少要有三个字符,如以上例子 mod 是三个字符。

2、全文检索

GIN 索引实际上更多的用于全文检索的情景。

准备数据:

alter table t1_text add (doc_ts tsvector);
update t1_text set doc_ts=to_tsvector(doc);
create index ind_t1_ts on t1_text using gin(doc_ts);

查看执行结果:

test=# explain select * from t1_text where doc_ts @@ to_tsquery('command');
QUERY PLAN
------------------------------------------------------------------------
Bitmap Heap Scan on t1_text (cost=8.32..25.71 rows=9 width=179)
Recheck Cond: (doc_ts @@ to_tsquery('command'::text))
-> Bitmap Index Scan on ind_t1_ts (cost=0.00..8.32 rows=9 width=0)
Index Cond: (doc_ts @@ to_tsquery('command'::text))
(4 rows) test=# select doc from t1_text where doc_ts @@ to_tsquery('command');
doc
---------------------------------------------------------------------------
Sets the shell command that will be executed at every restart point.
Sets the shell command that will be called to archive a WAL file.
Allows archiving of WAL files using archive_command.
Logs each replication command.
Sets the shell command that will be executed once at the end of recovery.
Sets the shell command that will retrieve an archived WAL file.
Command to obtain passphrases for SSL.
Also use ssl_passphrase_command during server reload.
Updates the process title to show the active SQL command.
(9 rows) test=# select doc from t1_text where doc_ts @@ to_tsquery('comman');
doc
-----
(0 rows)

四、gin 索引可用于超长的字段

test=# create table tab1(id1 text,id2 text );
CREATE TABLE test=# alter table tab1 alter column id2 set storage external;
ALTER TABLE

test=# insert into tab1 select *,repeat(id1,10000) from generate_series(1,10000) id1;
INSERT 0 10000

test=# create index ind_tab1 on tab1(id2);
ERROR: index row requires 10016 bytes, maximum size is 8191

test=# create index ind_tab1 on tab1 using gin(id2 gin_trgm_ops);
CREATE INDEX

gin 索引之所以支持超长数据,这是因为gin 索引的 key 是关键词位,而非整条记录。

GIN 索引的更多相关文章

  1. 浅谈postgresql的GIN索引(通用倒排索引)

    1.倒排索引原理 倒排索引来源于搜索引擎的技术,可以说是搜索引擎的基石.正是有了倒排索引技术,搜索引擎才能有效率的进行数据库查找.删除等操作.在详细说明倒排索引之前,我们说一下与之相关的正排索引并与之 ...

  2. postgresql 创建gin索引

    1.创建gin类型的索引 postgresql 创建gin索引遇到的问题:1.ERROR: operator class "gin_trgm_ops" does not exist ...

  3. gin索引优化实例1

    GIN(Generalized Inverted Index, 通用倒排索引) 是一个存储对(key, posting list)集合的索引结构,其中key是一个键值,而posting list 是一 ...

  4. postgresql gin索引使用

    由于属于老项目,postgresql使用版本9.6,主要解决‘%name%"查询无法使用索引问题.pg_trgm模块提供函数和操作符测定字母,数字,文本基于三元模型匹配的相似性, 还有支持快 ...

  5. GIN and RUM 索引性能比较

    gin索引字段entry构造的TREE,在末端posting tree|list 里面存储的是entry对应的行号. 别无其他信息.rum索引,与GIN类似,但是在posting list|tree的 ...

  6. psql-09表:视图和索引

    视图 由查询语句定义的虚拟表;从视图中看到的数据可能来自数据库中的一张或多张表,也可能来自外部; 使用视图的原因一般有: 使复制的查询易于理解和使用; 安全原因; 表一些函数返回的结果映射成视图; 一 ...

  7. PostgreSQL自学笔记:9 索引

    9 索引 9.1 索引简介 索引是对数据库表中一列或多列值进行排序的一种结构,使用 索引可提高数据库中特定数据的查询速度 9.1.1 索引的含义和特点 索引是一种单独的.存储在磁盘上的数据库结构,他们 ...

  8. PostgreSQL索引介绍

    h1, h2, h3, h4, h5, h6, p, blockquote { margin: 5px; padding: 5; } body { font-family: "Helveti ...

  9. postgres 索引

    索引是一种特殊的查询表,可以使用搜索引擎的数据库以加快数据检索.简单地说,索引是表中的数据的一个指针,在一个数据库中的索引是非常相似,如:一本书的目录. 例如,如果想在一本书中引用的所有页面讨论某个话 ...

随机推荐

  1. SAP OOALV 添加状态灯

    *&---------------------------------------------------------------------* INCLUDE <icon>. T ...

  2. docker安装Sentinel

    1.拉取镜像 docker pull bladex/sentinel-dashboard:latest 2.运行 docker run --name sentinel --restart=always ...

  3. 模电Multisim仿真Rb变化对Q点和电压放大倍数的影响

    一.目的 研究Rb变化对Q点和Au的影响. 二.方法描述 仿真电路如下所示.晶体管采用FMMT5179其参数BF=133,RB=5Ω. (1)分別测量Rb=3MΩ和3.2MΩ时得UCEQ和Au.由于信 ...

  4. JDBCToolsV2:利用ThreadLocal保证当前线程操作同一个数据库连接对象。

    JDBCToolsV2:     利用ThreadLocal保证当前线程操作同一个数据库连接对象. package com.dgd.test; import com.alibaba.druid.poo ...

  5. Map接口总结(如何使用默认方法)

    Map接口总结(如何使用默认方法) Map的基本使用 默认方法的问题,有什么坑 常用的默认方法应用场景 基本操作 get put(区别:Collection接口中添加为set) putAll remo ...

  6. Spring学习笔记(4)Spring 事件原理及其应用

    在 JDK 中已经提供相应的自定义事件发布功能的基础类: java.util.EventObject类 :自定义事件类型 java.util.EventListener接口:事件的监听器 首先了解几个 ...

  7. 看起来是线程池的BUG,但是我认为是源码设计不合理。

    你好呀,我是歪歪. 前几天看到一个 JDK 线程池的 BUG,我去了解了一下,摸清楚了它的症结所在之后,我觉得这个 BUG 是属于一种线程池方法设计不合理的地方,而且官方在知道这个 BUG 之后表示: ...

  8. Eolink 推出面向中小企业及初创企业支持计划,为企业赋能!

    2022,疫情持续蔓延,Eolink 作为一家初创公司,深切地感受到疫情下中小企业和初创企业的不易. Eolink 宣布正式推出「 Eolink 微光计划」,面向中小企业和初创企业,提供免费一年的私有 ...

  9. 2022-07-09 第六组 润土 CSS学习笔记

    HTML:用来描述网页的一种语言. 超文本语言.动画.音频.视频.特效.超链. 用标签定义网页 浏览器 流行浏览器: IE微软宣布永久关闭 firefox火狐 Chrom谷歌 Sarifi vscod ...

  10. MoCo V1:视觉领域也能自监督啦

    何凯明从 CVPR 2020 上发表的 MoCo V1(Momentum Contrast for Unsupervised Visual Representation Learning),到前几天挂 ...