ElasticSearch权威指南学习（映射和分析）

概念

1. 映射(mapping)机制用于进行字段类型确认，将每个字段匹配为一种确定的数据类型(string, number, booleans, date等)。+
2. 分析(analysis)机制用于进行全文文本(Full Text)的分词，以建立供搜索用的反向索引。

数据类型差异

1. 在索引中有12个tweets，只有一个包含日期2014-09-15，但是我们看看下面查询中的total hits。

GET /_search?q=2014              # 12 个结果
GET /_search?q=2014-09-15        # 还是 12 个结果 !
GET /_search?q=date:2014-09-15   # 1  一个结果
GET /_search?q=date:2014         # 0  个结果 !

1. 解读我们的文档结构

GET /gb/_mapping/tweet

{
   "gb": {
      "mappings": {
         "tweet": {
            "properties": {
               "date": {
                  "type": "date",
                  "format": "dateOptionalTime"
               },
               "name": {
                  "type": "string"
               },
               "tweet": {
                  "type": "string"
               },
               "user_id": {
                  "type": "long"
               }
            }
         }
      }
   }
}

1. Elasticsearch为对字段类型进行猜测，动态生成了字段和类型的映射关系。返回的信息显示了date字段被识别为date类型。
2. date类型的字段和string类型的字段的索引方式是不同的，因此导致查询结果的不同

确切值(Exact values) vs. 全文文本(Full text)

1. Elasticsearch中的数据可以大致分为两种类型：确切值 及 全文文本。
2. 确切值是确定的。确切值"Foo"和"foo"就并不相同。确切值2014和2014-09-15也不相同。
3. 全文文本，从另一个角度来说是文本化的数据，比如一篇推文(Twitter的文章)或邮件正文。
4. 为了方便在全文文本字段中进行这些类型的查询，Elasticsearch首先对文本分析(analyzes)，然后使用结果建立一个倒排索引

倒排索引

1. Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表，以及对于每个单词在文档中的位置组成。
2. 我们有两个文档，每个文档content字段包含：

The quick brown fox jumped over the lazy dog
Quick brown foxes leap over lazy dogs in summer

1. 为了创建倒排索引，我们首先切分每个文档的content字段为单独的单词,我们把它们叫做词(terms)或者表征(tokens)
2. 把所有的唯一词放入列表并排序，结果是这个样子的

Term	Doc_1	Doc_2
Quick		X
The	X
brown	X	X
dog	X
dogs		X
fox	X
foxes		X
in	X
jumped	X
lazy	X	X
leap		X
over	X	X
quick	X
summer		X
the	X

1. 现在，如果我们想搜索"quick brown"，我们只需要找到每个词在哪个文档中出现即可：

Term	Doc_1	Doc_2
brown	X	X
quick	X
-----	-------	-----
Total	2	1

1. 两个文档都匹配，但是第一个比第二个有更多的匹配项。 如果我们加入简单的相似度算法(similarity algorithm)，计算匹配单词的数目，这样我们就可以说第一个文档比第二个匹配度更高——对于我们的查询具有更多相关性。

2. 但是这样我们仍旧查不到像Quick，Dog这样的词

3. 不过，如果我们使用相同的标准化规则处理查询字符串的content字段，查询将变成"+quick +fox"，这样就可以匹配到两个文档。

4. 这个标记化和标准化的过程叫做分析(analysis)

分析和分析器

1. 分析(analysis)是这样一个过程：

• 首先，标记化一个文本块为适用于倒排索引单独的词(term)
• 然后标准化这些词为标准形式，提高它们的“可搜索性”或“查全率”

1. 字符过滤器

   • 首先字符串经过字符过滤器(character filter)，它们的工作是在标记化前处理字符串。字符过滤器能够去除HTML标记，或者转换"&"为"and"。

2. 分词器

   • 下一步，分词器(tokenizer)被标记化成独立的词。一个简单的分词器(tokenizer)可以根据空格或逗号将单词分开

3. 标记过滤

   • 最后，每个词都通过所有标记过滤(token filters)，它可以修改词（例如将"Quick"转为小写），去掉词（例如停用词像"a"、"and"、"the"等等），或者增加词（例如同义词像"jump"和"leap"）

4. 内建的分析器

   • 下面我们列出了最重要的几个分析器，来演示这个字符串分词后的表现差异

   "Set the shape to semi-transparent by calling set_trans(5)"

   • 标准分析器

     • 它根据Unicode Consortium的定义的单词边界(word boundaries)来切分文本，然后去掉大部分标点符号。最后，把所有词转为小写。产生的结果为：

     set, the, shape, to, semi, transparent, by, calling, set_trans, 5

   • 简单分析器

     • 简单分析器将非单个字母的文本切分，然后把每个词转为小写。产生的结果为：

     set, the, shape, to, semi, transparent, by, calling, set, trans

   • 空格分析器

     • 空格分析器依据空格切分文本。它不转换小写。产生结果为：

     Set, the, shape, to, semi-transparent, by, calling, set_trans(5)

   • 语言分析器

     • 特定语言分析器适用于很多语言。它们能够考虑到特定语言的特性。
     • english分析器将会产生以下结果：

     set, shape, semi, transpar, call, set_tran, 5

   • 测试分析器

     • 为了更好的理解如何进行，你可以使用analyze API来查看文本是如何被分析的。在查询字符串参数中指定要使用的分析器，被分析的文本做为请求体：

     GET /_analyze?analyzer=standard&text=Text to analyze

     • 结果中每个节点在代表一个词：

     {
        "tokens": [
           {
              "token":        "text",
              "start_offset": 0,
              "end_offset":   4,
              "type":         "<ALPHANUM>",
              "position":     1
           },
           {
              "token":        "to",
              "start_offset": 5,
              "end_offset":   7,
              "type":         "<ALPHANUM>",
              "position":     2
           },
           {
              "token":        "analyze",
              "start_offset": 8,
              "end_offset":   15,
              "type":         "<ALPHANUM>",
              "position":     3
           }
        ]
     }
     

     • token是一个实际被存储在索引中的词。position指明词在原文本中是第几个出现的。start_offset和end_offset表示词在原文本中占据的位置。

映射

1. 为了能够把日期字段处理成日期，把数字字段处理成数字，把字符串字段处理成全文本（Full-text）或精确的字符串值，Elasticsearch需要知道每个字段里面都包含了什么类型。这些类型和字段的信息存储（包含）在映射（mapping）中。
2. 核心简单字段类型

类型	表示的数据类型
String	string
Whole number	byte, short, integer, long
Floating point	float, double
Boolean	boolean
Date	date

1. 当你索引一个包含新字段的文档——一个之前没有的字段——Elasticsearch将使用动态映射猜测字段类型，这类型来自于JSON的基本数据类型，使用以下规则：

JSON type	Field type
Boolean: true or false	"boolean"
Whole number: 123	"long"
Floating point: 123.45	"double"
String, valid date: "2014-09-15"	"date"
String: "foo bar"	"string"

1. 查看映射

   • 我们可以使用_mapping后缀来查看Elasticsearch中的映射。在本章开始我们已经找到索引gb类型tweet中的映射：

   GET /gb/_mapping/tweet
   

   • 字段的映射（叫做属性(properties)），这些映射是Elasticsearch在创建索引时动态生成的：

       {
      "gb": {
         "mappings": {
            "tweet": {
               "properties": {
                  "date": {
                     "type": "date",
                     "format": "strict_date_optional_time||epoch_millis"
                  },
                  "name": {
                     "type": "string"
                  },
                  "tweet": {
                     "type": "string"
                  },
                  "user_id": {
                     "type": "long"
                  }
               }
            }
         }
      }
   }
   

   • ps:错误的映射，例如把age字段映射为string类型而不是integer类型，会造成查询结果混乱。
     
     要检查映射类型，而不是假设它是正确的！

2. 自定义字段映射

   • 映射中最重要的字段参数是type

   {
       "number_of_clicks": {
           "type": "integer"
       }
   }
   

3. index

   • index参数控制字符串以何种方式被索引。它包含以下三个值当中的一个

   值	解释
   analyzed	首先分析这个字符串，然后索引。换言之，以全文形式索引此字段。
   not_analyzed	索引这个字段，使之可以被搜索，但是索引内容和指定值一样。不分析此字段。
   no	不索引这个字段。这个字段不能为搜索到。

   • 如果我们想映射字段为确切值，我们需要设置它为not_analyzed：

   {
       "tag": {
           "type":     "string",
           "index":    "not_analyzed"
       }
   }
   

4. 分析

   • 对于analyzed类型的字符串字段，使用analyzer参数来指定哪一种分析器将在搜索和索引的时候使用。默认的，Elasticsearch使用standard分析器，但是你可以通过指定一个内建的分析器来更改它，例如whitespace、simple或english。

   {
       "tweet": {
           "type":     "text",
           "analyzer": "english"
       }
   }
   

5. 更新映射

   • 你可以在第一次创建索引的时候指定映射的类型。此外，你也可以晚些时候为新类型添加映射
   • ps:你可以向已有映射中增加字段，但你不能修改它。如果一个字段在映射中已经存在，这可能意味着那个字段的数据已经被索引。如果你改变了字段映射，那已经被索引的数据将错误并且不能被正确的搜索到。
   • 创建一个新索引，指定tweet字段的分析器为english：

   PUT /gb
   {
     "mappings": {
       "tweet" : {
         "properties" : {
           "tweet" : {
             "type" :    "text",
             "analyzer": "english"
           },
           "date" : {
             "type" :   "date"
           },
           "name" : {
             "type" :   "text"
           },
           "user_id" : {
             "type" :   "long"
           }
         }
       }
     }
   }
   

   • 再后来，我们决定在tweet的映射中增加一个新的not_analyzed类型的文本字段，叫做tag，使用_mapping后缀:

   PUT /gb/_mapping/tweet
   {
     "properties" : {
       "tag" : {
         "type" :    "string",
         "index":    "not_analyzed"
       }
     }
   }
   

版本问题

1. 如果你发现报错

#! Deprecation: Expected a boolean [true/false] for property [index] but got [not_analyzed]

1. 原因：该版本以后index这个只能用true或者false了，如果想要不被分词就把数据类型设置为keyword，只能说优化了，使用更方便，更易理解了

复合核心字段类型

1. 多值字段

   • 我们可以索引一个标签数组来代替单一字符串：
   • { "tag": [ "search", "nosql" ]}
   • 对于数组不需要特殊的映射。任何一个字段可以包含零个、一个或多个值，同样对于全文字段将被分析并产生多个词。
   • 言外之意，这意味着数组中所有值必须为同一类型。你不能把日期和字符窜混合。如果你创建一个新字段，这个字段索引了一个数组，Elasticsearch将使用第一个值的类型来确定这个新字段的类型。

2. 空字段

   • 数组可以是空的。这等价于有零个值。事实上，Lucene没法存放null值，所以一个null值的字段被认为是空字段。
   • 这四个字段将被识别为空字段而不被索引：

   "empty_string":             "",
   "null_value":               null,
   "empty_array":              [],
   "array_with_null_value":    [ null ]
   

3. 多层对象

   • 内部对象(inner objects)经常用于在另一个对象中嵌入一个实体或对象。例如，做为在tweet文档中user_name和user_id的替代，我们可以这样写：

   {
       "tweet":            "Elasticsearch is very flexible",
       "user": {
           "id":           "@johnsmith",
           "gender":       "male",
           "age":          26,
           "name": {
               "full":     "John Smith",
               "first":    "John",
               "last":     "Smith"
           }
       }
   }
   

4. 内部对象的映射

   • Elasticsearch 会动态的检测新对象的字段，并且映射它们为 object 类型，将每个字段加到 properties 字段下

   {
     "gb": {
       "tweet": { //根对象
         "properties": {
           "tweet":            { "type": "string" },
           "user": { //内部对象
             "type":             "object",
             "properties": {
               "id":           { "type": "string" },
               "gender":       { "type": "string" },
               "age":          { "type": "long"   },
               "name":   { //内部对象
                 "type":         "object",
                 "properties": {
                   "full":     { "type": "string" },
                   "first":    { "type": "string" },
                   "last":     { "type": "string" }
                 }
               }
             }
           }
         }
       }
     }
   }
   

5. 内部对象是怎样被索引的

   • Lucene 并不了解内部对象。 一个 Lucene 文件包含一个键-值对应的扁平表单。 为了让 Elasticsearch 可以有效的索引内部对象，将文件转换为以下格式：

   {
       "tweet":            [elasticsearch, flexible, very],
       "user.id":          [@johnsmith],
       "user.gender":      [male],
       "user.age":         [26],
       "user.name.full":   [john, smith],
       "user.name.first":  [john],
       "user.name.last":   [smith]
   }
   

6. 对象-数组

   • 内部对象数组

   {
       "followers": [
           { "age": 35, "name": "Mary White"},
           { "age": 26, "name": "Alex Jones"},
           { "age": 19, "name": "Lisa Smith"}
       ]
   }
   

   • 此文件会如我们以上所说的被扁平化，但其结果会像如此

   {
       "followers.age":    [19, 26, 35],
       "followers.name":   [alex, jones, lisa, smith, mary, white]
   }
   

   • {age: 35}与{name: Mary White}之间的关联会消失，因每个多值的栏位会变成一个值集合，而非有序的阵列。