elasticsearch映射
前面讲到,无论是关系型数据库还是非关系型数据库,乃至elasticsearch这种事实上承担着一定储存作用的搜索引擎,数据类型都是非常重要而基础的概念。但elasticsearch与其它承担着数据存储的技术有着比较大的区别之一就是映射,和倒排索引。
映射是定义如何存储和编制文档及其包含的字段的过程。例如,使用映射来定义:
- 哪些字符串字段应被视为全文字段。
- 哪些字段包含数字,日期或地理位置。
- 文档中所有字段的值是否应该编入catch-all _all字段。
- 日期值的格式。
- 自定义规则来控制动态添加字段的映射。
很显然,对于一个搜索引擎来说,光有数据结构是远远不够的。映射是elasticsearch区别与数据库的重要特征之一。
映射可以看作是建表的过程。但与数据库不同的是,映射可以为一个字段建立不同的映射以满足不同的场景,可以对数据进行清洗,容错,建立倒排索引。
倒排索引
有两篇文章:
1 我是程序员
2 我热爱写程序
先分词
1 【我】【是】【程序】【程序员】
2【我】【热爱】【写】【程序】
前面文章对关键字,经倒排后变成关键字对文章
关键字 | 文章号 |
我 | 1,2 |
是 | 1 |
程序 | 1,2 |
程序员 | 1 |
热爱 | 2 |
写 | 2 |
为了快速定位和节省存储大小,还需要加上关键字出现频率和位置。
关键字 | 文章号(频率) | 位置 |
我 | 1(1) | 1 |
2(1) | 1 | |
是 | 1(1) | 2 |
程序 | 1(1) | 3 |
2(1) | 4 | |
程序员 | 1(1) | 4 |
热爱 | 1(1) | 1 |
写 | 1(1) | 3 |
映射的类型
元数据 Meta-fields
用于定制文档的相关元数据。元字段的示例包括文档的_index,_type,_id和_source字段。
索引标识 |
|
由_type和_id组成的复合字段。 |
|
文档的映射类型。一个索引当中可以具有多个type。查询的时候指定索引,再指定type. |
|
文档ID。 |
|
文档正文。是用户保存的真正的数据。 |
|
文档正文的大小。 |
|
_all字段是把其它字段拼接在一起的超级字段,所有的字段用空格分开,_all字段会被解析和索引,但是不存储。当你只想返回包含某个关键字的文档但是不明确地搜某个字段的时候就需要使用_all字段。 |
|
字段用来存储文档中的所有非空字段的名字,这个字段常用于exists查询。 |
|
用于创建两个映射类型之间的父子关系。 |
|
将文档路由到特定分片的自定义路由值。 |
_all
它将所有其他字段的值连接成一个大字符串,使用空格作为分隔符,然后对其进行分析和索引,但不存储。这意味着它可以被搜索,但不能被检索。 这段话的意思是,它是一个逻辑上的概念。它没有这个具体的健以及值。所以没有具体的存储。它没有一人常驻的物理存储。相当于对全部字段进行搜索。
PUT my_index/user/1
{
"first_name": "John",
"last_name": "Smith",
"date_of_birth": "1970-10-24"
} GET my_index/_search
{
"query": {
"match": {
"_all": "john smith 1970"
}
}
} // ["john"
,"smith"
,"1970"
,"10"
,"24"
]
_field_names
字段索引包含除null之外的任何值的文档中的每个字段的名称。该字段由存在的查询使用来查找特定字段具有或不具有任何非空值的文档。
PUT my_index/my_type/1
{
"title": "This is a document"
} PUT my_index/my_type/2?refresh=true
{
"title": "This is another document",
"body": "This document has a body"
} GET my_index/_search
{
"query": {
"terms": {
"_field_names": [ "title" ]
}
}
}
//返回两条数据,因为两条数据都包含titile字段
_routing
使用以下公式决定该文档路由到哪个shard
shard_num = hash(_routing) % num_primary_shards
用户定义字段
每个映射类型包含与该类型相关的字段或属性的列表。用户类型可能包含title,name和age字段,而blogpost类型可能包含title,body,user_id和已创建的字段。同一索引中不同映射类型中具有相同名称的字段必须具有相同的映射。
映射参数 Mapping parameters
analyzer
normalizer
boost
coerce
copy_to
doc_values
dynamic
enabled
fielddata
format
ignore_above
ignore_malformed
include_in_all
index_options
index
fields
norms
null_value
position_increment_gap
properties
search_analyzer
similarity
store
term_vector
analyzer
分词器。es有内置的分词器,也可以使用第三方的分词工具。如IK。
{
"mappings": {
"my_type": {
"properties": {
"content": {
"type": "text",
"analyzer": "ik_max_word",//写入时使用的分词器
"search_analyzer": "ik_max_word"//搜索时使用的分词器
}
}
}
}
}
normalizer
keyword类型的标准化解析器。我们知道keyword不能分词,可它也有标准化的需求,比如忽略大小写,比如统一去掉特殊字符。那么normalizer就是为此而准备的。
PUT index
{
"settings": {
"analysis": {
"normalizer": {
"my_normalizer": {
"type": "custom",
"char_filter": [],
"filter": ["lowercase", "asciifolding"]
}
}
}
},
"mappings": {
"type": {
"properties": {
"foo": {
"type": "keyword",
"normalizer": "my_normalizer"
}
}
}
}
} PUT index/type/1
{
"foo": "BÀR"
} PUT index/type/2
{
"foo": "bar"
} PUT index/type/3
{
"foo": "baz"
} POST index/_refresh GET index/_search
{
"query": {
"match": {
"foo": "BAR"
}
}
}
//返回前面两条记录
coerce
数据并不总是很干净。根据它的生成方式,一个数字可能会在JSON体中呈现为一个真正的JSON数字,例如5,但它也可以呈现为字符串,例如。 “5”。或者,可以将应该是整数的数字呈现为浮点,例如, 5.0或甚至“5.0”。
强制尝试清除脏值以适应字段的数据类型。例如:
字符串将被强制为数字。
对于整数值,浮点将被截断。
{
"mappings": {
"my_type": {
"properties": {
"number_one": {
"type": "integer"
},
"number_two": {
"type": "integer",
"coerce": false
}
}
}
}
} PUT my_index/my_type/1
{
"number_one": "10"
}
//成功 PUT my_index/my_type/2
{
"number_two": "10"
}
//失败
copy_to
允许将一个或者多个字段的值复制到某一个字段中。
{
"mappings": {
"my_type": {
"properties": {
"first_name": {
"type": "text",
"copy_to": "full_name"
},
"last_name": {
"type": "text",
"copy_to": "full_name"
},
"full_name": {
"type": "text"
}
}
}
}
} PUT my_index/my_type/1
{
"first_name": "John",
"last_name": "Smith"
} //full_name = ["John","Smith"]
doc_values
为了加快排序、聚合操作,在建立倒排索引的时候,额外增加一个列式存储映射,是一个空间换时间的做法。默认是开启的,对于确定不需要聚合或者排序的字段可以关闭。text类型没有doc_values。
{
"mappings": {
"my_type": {
"properties": {
"status_code": {
"type": "keyword"
},
"session_id": {
"type": "keyword",
"doc_values": false
}
}
}
}
}
dynamic
The dynamic
setting controls whether new fields can be added dynamically or not. It accepts three settings:
|
新检测的字段将添加到映射中。 (默认) |
|
新检测的字段将被忽略。这些字段将不会被索引,因此不会被搜索,但仍将显示在返回的匹配的_source字段中。这些字段将不会添加到映射中,必须显式添加新字段。 |
|
如果检测到新字段,将抛出异常并拒绝文档。新字段必须明确添加到映射中。 |
enabled
enabled默认为true,将搜索所有字段。如果设置为false,该字段将不会被搜索。但仍会随着_source返回。
fielddata
对非text类型的字段进行排序可以使用doc_value来进行加速。但是对于,text类型的字段,却不能进行分组排序。更何况加速。下面这个异常展示了,对text类型的字段进行分组排序的错误。
但是可以通过设置fielddata值来达到这一目的。
它将字段加载到内存中,因此第一次肯定会很慢。而且将占用内存。如果内存达到某一个值,将请求执行失败。这个值可以配置。
format
对字段进行格式化。
{
"mappings": {
"my_type": {
"properties": {
"date": {
"type": "date",
"format": "yyyy-MM-dd"
}
}
}
}
}
ignore_above
大小超过ignore_above设置的字符串不会被索引或存储。
ignore_malformed
尝试将错误的数据类型索引到字段中,默认情况下会引发异常,并拒绝整个文档。 ignore_malformed参数(如果设置为true)允许忽略该异常。格式不正确的字段未编入索引,但文档中的其他字段正常处理。
前面讲到,可以通过coerce来进行数据清洗。例如,interger类型的数据写入了一个“10”,这是可以处理的。但如果写入的是一个"顶替",那就没法处理了。如果,将该字段ignore_malformed参数设置为true,那么将忽略该字段。
include_in_all
include_in_all参数提供对_all字段中包含哪些字段的字段控制。它默认为true,除非index设置为false。
index_options
控制索引时存储哪些信息到倒排索引中,接受以下配置:
参数 | 作用 |
---|---|
docs | 只存储文档编号 |
freqs | 存储文档编号和词项频率 |
positions | 文档编号、词项频率、词项的位置被存储,偏移位置可用于临近搜索和短语查询 |
offsets | 文档编号、词项频率、词项的位置、词项开始和结束的字符位置都被存储,offsets设为true会使用Postings highlighter |
fields
可以为一个字段映射多个数据类型。比如,一个字符串,可以映射为text,满足全文搜索。同时可以映射为keyword,满足分组和排序。
{
"mappings": {
"my_type": {
"properties": {
"city": {
"type": "text",
"fields": {
"raw": {
"type": "keyword"
}
}
}
}
}
}
}
也可以使用多个分词器来对同一个字段进行分词。
{
"mappings": {
"my_type": {
"properties": {
"text": {
"type": "text",//标准分词器
"fields": {
"english": {
"type": "text",
"analyzer": "english" //英文分词器
}
}
}
}
}
}
}
norms
norms参数用于标准化文档,以便查询时计算文档的相关性。norms虽然对评分有用,但是会消耗较多的磁盘空间,如果不需要对某个字段进行评分,最好不要开启norms。
null_value
空值不能被索引或搜索。当一个字段设置为null(或一个空数组或一个空值数组)时,它被视为该字段没有值。
null_value参数允许您使用指定的值替换显式空值,以便对其进行索引和搜索。
position_increment_gap
不常用。忽略。
properties
当数据类型为object或者nested,有子节点的时候,可以使用properties来达到。
{
"mappings": {
"my_type": {
"properties": {
"manager": {
"properties": {
"age": { "type": "integer" },
"name": { "type": "text" }
}
},
"employees": {
"type": "nested",
"properties": {
"age": { "type": "integer" },
"name": { "type": "text" }
}
}
}
}
}
}
写入数据
{
"region": "US",
"manager": {
"name": "Alice White",
"age": 30
},
"employees": [
{
"name": "John Smith",
"age": 34
},
{
"name": "Peter Brown",
"age": 26
}
]
}
search_analyzer
大多数情况下索引和搜索的时候应该指定相同的分析器,确保query解析以后和索引中的词项一致。但是有时候也需要指定不同的分析器,例如使用edge_ngram过滤器实现自动补全。
{
"settings": {
"analysis": {
"filter": {
"autocomplete_filter": {
"type": "edge_ngram",
"min_gram": 1,
"max_gram": 20
}
},
"analyzer": {
"autocomplete": { //映射的时候使用autocomplete解析器
"type": "custom",
"tokenizer": "standard",
"filter": [
"lowercase",
"autocomplete_filter"
]
}
}
}
},
"mappings": {
"my_type": {
"properties": {
"text": {
"type": "text",
"analyzer": "autocomplete", //创建索引的时候,使用autocomplete解析器
"search_analyzer": "standard" //搜索的时候,使用standard解析器
}
}
}
}
} PUT my_index/my_type/1
{
"text": "Quick Brown Fox" //创建索引的时候,使用autocomplete解析器,[ q, qu, qui, quic, quick, b, br, bro, brow, brown, f, fo, fox ]
} GET my_index/_search
{
"query": {
"match": {
"text": {
"query": "Quick Br", //搜索的时候,使用标准解析器,[ quick, br ]
"operator": "and"
}
}
}
}
store
我们知道,_source字段存储了原始数据(默认)。当然可以通过设置其属性值来选择不存储。此外,还可以通过store选择是否额外存储某个字段。store属性默认为no,表示不存储。当设置为yes时,会在_source之外独立存储。此时,搜索时,会绕过_source,单独进行一次IO得到该字段的值。
store会严重影响搜索效率,尽管如此,在以下两种情况下,还是可以选择使用:
1:字段很长,每次检索_source代价很大。
2:需要单独对某些字段进行索引重建。
index
表示字段是否索引。接受true或false。老版的es接受三个值。分别是
analyzed 分词,索引。
not_analyzed 不分词,索引。
no 不索引。
动态映射
前面讲到的都是先映射后建立索引。但是,也可以,不先建立映射,直接写入数据;或者,加入没有映射的字段,es会根据数据的类型自动判断数据类型,创建索引。
default
可以使用default来作为基本映射。其它映射将继承默认的配置。
{
"mappings": {
"_default_": {
"_all": {
"enabled": false
}
},
"user": {},
"blogpost": {
"_all": {
"enabled": true
}
}
}
}
_default_将_all字段设置为disabled.user字段继承,也将_all字段disabled。而blogpost则重写了_all属性。
dynamic
动态添加字段。它有三个选项。前面已经讲到。
这里补充一点,动态添加字段,可能会出现一个问题。比如:
先出现一个值:2017-08-22,动态匹配为date类型。而此字段此后进来的值为非日期类型,匹配失败。为了避免这种情况出现,可以选择关闭日期匹配
{
"mappings": {
"my_type": {
"date_detection": false
}
}
}
dynamic templates
相当于使用模板模式匹配动态字段。
通过dynamic_templates
,你可以拥有对新字段的动态映射规则拥有完全的控制。你设置可以根据字段名称或者类型来使用一个不同的映射规则。
每个模板都有一个名字,可以用来描述这个模板做了什么。同时它有一个mapping
用来指定具体的映射信息,和至少一个参数(比如match
)用来规定对于什么字段需要使用该模板。
模板的匹配是有顺序的 - 第一个匹配的模板会被使用。比如我们可以为string
字段指定两个模板:
es
:以_es
结尾的字段应该使用spanish
解析器en
:其它所有字段使用english
解析器
我们需要将es
模板放在第一个,因为它相比能够匹配所有字符串字段的en
模板更加具体:
{
"mappings": {
"my_type": {
"dynamic_templates": [
{ "es": {
"match": "*_es",
"match_mapping_type": "string",
"mapping": {
"type": "string",
"analyzer": "spanish"
}
}},
{ "en": {
"match": "*",
"match_mapping_type": "string",
"mapping": {
"type": "string",
"analyzer": "english"
}
}}
]
}}}
match_mapping_type
允许你只对特定类型的字段使用模板,正如标准动态映射规则那样,比如string
,long
等。
match
参数只会匹配字段名,path_match
参数用于匹配对象中字段的完整路径,比如address.*.name
可以匹配如下字段:
{
"address":
"city":
"name": "New York"
}
}
}
unmatch
和path_unmatch
模式能够用来排除某些字段,没有被排除的字段则会被匹配。
总结
一。映射可以简单的理解为数据库建表的过程。但映射更为强大得多。
二。倒排索引。传统数据库索引的方式是,【表->字段】。而倒排索引的方式是先将字段进行分词,然后将单词跟文档进行关联,变为【文档->单词】,并将记录其它更为强大的信息(文档编号、词项频率、词项的位置、词项开始和结束的字符位置可以被存储)。倒排索引是elasticsearch区别于数据库的关键。
三。映射的字段包括元数据,就是默认的字段。以及用户自定义的字段。
1:元数据,一般以"_"开头。如下图。比较重要的字段有_index,_type,_id,_source,_routing。其它字段较为不重要。_all 6.0以后将移除该字段。可以忽略。
_index 索引名称。可以看作是数据库名称。
_type 可以看作是表名。
_id 可以看作是唯一标识。
_routing 是决定将该值保存在集群中哪个分片的值。
_source 存储原始数据的地方。es将原始数据存储在_source。另外还会保存倒排索引。另外,还可以将数据单独保存在_store。
点击其中一行数据:
2:用户自定义字段。
analyzer 首先一个字段进来,除了keyword类型的以外,都可以选择是否分词。
normalizer keyword类型的标准化解析器。我们知道keyword不能分词,可它也有标准化的需求,比如忽略大小写,比如统一去掉特殊字符。那么normalizer就是为此而准备的。
coerce 强制尝试清除脏值以适应字段的数据类型。与其说是数据清洗,不如说是数据适配。比如,该字段数据为整型,进来一个字段为 “10”,那么它会自动适配为 10。
doc_values 倒排索引加快了全文搜索的速度,但对于排序和聚合操作,很多时候还是显得有些力不从心。此字段,在倒排索引的基础上,再增加了一个列式存储。加快排序和聚合。默认开启。text因为一般存储字段比较长,没有此属性值。
dynamic 动态添加字段。在映射的时候没有考虑到的字段,后期数据出现了,es提供了三种选择方案。true,默认,添加,适配类型。false,忽略。存储原始值,但不会被添加到倒排索引。因此,不能搜索,但可以返回。strict,抛出异常。
需要注意的是,如果选择了true,那么es会根据首次进来的数据选择一个类型,如果后续的数据不符合这个类型 ,可能会抛出异常。如:先出现一个值:2017-08-22,动态匹配为date类型。而此字段此后进来的值为非日期类型,匹配失败。为了避免这种情况出现, 可以选择关闭日期匹配
enabled 这个字段可以设置在 _source中,也可以设置在自定义字段中,表示是否存储原始数据。
fielddata 对于text类型的字段,不能分组,但可以通过此字段来达到此目的。
format 对字段进行格式化。
ignore_above 对字段长度进行限制。
ignore_malformed 对字段类型进行限制。设置为true,在字段类型不匹配的情况下,忽略该异常。
index_options 对字段建立倒排索引的信息进行限制。信息分别为文档编号、词项频率、词项的位置、词项开始和结束的字符位置。
fields 一个字段映射为多个类型。
store store属性默认为no,表示不存储。当设置为yes时,会在_source之外独立存储。此时,搜索时,会绕过_source,单独进行一次IO得到该字段的值。
index 表示字段是否索引。接受true或false。
参考:
https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html
http://blog.csdn.net/liyantianmin/article/details/52531500
elasticsearch映射的更多相关文章
- Elasticsearch 映射操作
一.创建 语法: PUT /索引库名称/_mapping/类型名称 { "properties": { "字段名": { "type": 类 ...
- elasticsearch映射及分析-----3
首先我们看下不同的索引方式相同的字段指定字段类型与不指定字段类型es会怎么处理 1.不指定类型,直接创建索引及类型文档 我们看下他默认的索引映射 2.创建索引和类型时指定字段类型 这里创建了一个索引为 ...
- elasticsearch映射 mapping
mapping的格式个应用,主要是创建索引(数据库)的时候指明type 的field类型,然后elasticsearch可以自动解析
- elasticsearch 映射 dynamic用法
- elasticsearch的mapping映射
Mapping简述 Elasticsearch是一个schema-less的系统,但并不代表no shema,而是会尽量根据JSON源数据的基础类型猜测你想要的字段类型映射.Elasticsearch ...
- Elasticsearch(八)【NEST高级客户端--Mapping映射】
要使用NEST与Elasticsearch进行交互,我们需要能够将我们的解决方案中的POCO类型映射到存储在Elasticsearch中的反向索引中的JSON文档和字段.本节介绍NEST中可用的所有不 ...
- Python对elasticsearch的CRUD
一.官网提供的Elasticsearch的Python接口包 1.github地址:https://github.com/elastic/elasticsearch-dsl-py 2.安装:pip i ...
- Elasticsearch学习总结 (Centos7下Elasticsearch集群部署记录)
一. ElasticSearch简单介绍 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticse ...
- 【ElasticSearch】ElasticSearch-索引优化-自定义索引
ElasticSearch-索引优化-自定义索引 es 指定 索引 字段_百度搜索 [es]创建索引和映射 - 匡子语 - 博客园 reindex,增加字段,并新增数据 - Elastic中文社区 e ...
随机推荐
- js 监控iframe URL的变化
iframe的url可以前端任何地址,这样就可能出现漏洞,如果钓鱼网站通过js把src改成了危险地址,如果没有监控,就会有很大隐患.所以监控iframe的url变化就是必须要解决的问题了. 第一印象的 ...
- java constructor 在构造子类时,一定会调用到父类的构造方法 “ 私有属性被继承了?”问题
” Error:Implicit super constructor Pet() is undefined. Must explicitly invoke another constructor “ ...
- Execution failed for task':app;clean'
Execution failed for task':app;clean' >Unable to delete directory:f:xxxxxbuild\output\apk当程序出先这个错 ...
- Async(异步)(一)
在谈到异步的概念时,先要了解几个概念了. 什么是进程? 当一个程序开始运行时,它就是一个进程,进程包括运行中的程序和程序所使用到的内存和系统资源. 而一个进程又是由多个线程所组成的 什么是线程? 线程 ...
- 使用express, create-react-app, mongodb搭建react模拟数据开发环境
提要 最近刚刚完成了一个vue的项目,其中涉及的用户数有6000多个以及其他数据也比较多,为了在前端能够真实的进行数据模拟,所有把全量数据拷贝下来放到了api.json中.这样导致整个api.json ...
- Akka(14): 持久化模式:PersistentActor
Akka程序的特点之一就是高弹性或者强韧性(resilient)的,因为Actor具有自我修复的能力.当Actor模式的程序出现中断情况如:系统崩溃.人为终结等,系统在重启后有关Actor可以恢复之前 ...
- nyoj_762:第k个互质数
题目链接:http://acm.nyist.net/JudgeOnline/problem.php?pid=762 直接给代码好了,容斥原理具体看<组合数学> #include<bi ...
- jenkins - ssh Server Groups Center
- 【echart】学习笔记
1. x 轴 y轴 的max min 只能为5的倍数 2.
- OpenCV探索之路(二十一)如何生成能在无opencv环境下运行的exe
我们经常遇到这样的需求:我们在VS写好的程序,需要在一个没有装opencv甚至没有装vs的电脑下运行,跑出效果.比如,你在你的电脑用opencv+vs2015写出一个程序,然后老师叫你把程序发给他,他 ...