Elaticsearch倒排索引

ES倒排索引基本原理

索引（index）可以分为正序索引（Forward Indexes）和倒排索引（Inverted Index）两种。在关系型数据库中使用索引可以避免数据检索走全表扫描，将检索的时间复杂度从O(n)降到了O(logn)。例如，一本字典在开篇几页记录了每个字和所在页码的映射关系，当我们需要查阅某个字的时候不需要从每一页开始搜索，通过这个映射关系就能快速找到需要搜索的词项。假设现在有三个文档：doc1, doc2, doc3

doc1: Welcome to Hotel California

doc2: Welcome to the heaven

doc3: the dog is very cute

在关系型数据库中存储这三个文档并且建立索引，文档在数据库中的存储结构大概如下所示

Doc ID	Doc Content
1	Welcome to Hotel California
2	Welcome to the heaven
3	the dog is very cute

通过建立这种文档id与文档内容的映射关系，在关系型数据库中可以快速查找到文档的具体位置，但是如果需要对文档中某些词项进行检索，则需要进行全表扫描，这个时候正序索引就失效了。

倒排索引的思想是建立文档中每个词项与文档的的映射关系，如下所示

Term	Doc Id
welcome	Doc1， Doc2
to	Doc1，Doc2
the	Doc2，Doc3
dog	Doc3
heaven	Doc2
....	...

可以看出通过倒排索引，搜索任意一个词项都能快速定位到所在位置。通过上述例子可以看出顺序索引是文档ID与文档内容和单词的关联，倒排索引是单词到文档ID的映射关系。

倒排索引核心组成

倒排索引主要包括两部分：单词词典和倒排列表。

• 单词词典：记录所有文档的单词，记录单词和倒排列表的关联关系
• 倒排列表：记录单词与对应文档集合，由倒排索引项组成
  • 倒排索引项：主要由文档ID，词频TF（单词在文档中出现的次数，用于相关性评分），位置(Position，单词在文档中分词的位置，用于语句搜索) ，偏移（Offset，记录单词的开始结束位置，用于实现高亮显示）

Elaticsearch的JSON文档中每个字段都有自己的倒排索引，可以对文档中不需要搜索的字段不做索引，这样可以节省存储空间