elasticsearch版本控制及mapping映射属性介绍

学习elasticsearch不仅只会操作，基本的运行原理我们还是需要进行了解，以下内容我讲对elasticsearch中的基本知识原理进行梳理，希望对大家有所帮助！

一、ES版本控制

1．Elasticsearch采用了乐观锁来保证数据的一致性，也就是说，当用户对document进行操作时，并不需要对该document做加锁和解锁的操作，只需要指定要操作的版本即可。当版本号一致时，elasticsearch会允许该操作顺利执行，而当版本号存在冲突时，elasticsearch会提示冲突并抛出异常（versionConfilctEngineException异常）。

2．Elasticsearch的版本号取值范围为1到2^63-1.

1、内部版本控制：

（1）使用的是_version 版本号要与文档的版本号一致

3．外部版本控制：elasticsearch在处理外部版本号时会对内部版本号的处理有些不同。他不在是检查_version是否与请求中指定的数值相同，而是检查当前的_version是否比指定的数值小。如果请求成功，那么外部的版本号就会被存储到文档中的_version中。

4．为保持_version与外部版本控制的数据一致，使用version_type=external

二、ES的mapping

1、核心数据类型（以下的数据类型与java的数据类型类似）

（1）字符型

①Text：被用来索引长文本，在建立索引前会将这项文本进行分词，转化为词的组合，建立索引。允许ES来检索这些词语。Text类型不能用来排序和聚合。

②Keyword：不需要进行分词，可以被用来检索过滤、排序和聚合。Keyword类型字段只能用本身来进行检索

（2）数字类型

①byte,short,integer,Long,double,float

（3）日期类型：date

（4）二进制类型：binary

2、Maping 支持的属性

"type" : "text", #是数据类型一般文本使用text(可分词进行模糊查询)；keyword无法被分词(不需要执行分词器)，用于精确查找

"analyzer" : "ik_max_word", #指定分词器，一般使用最大分词：ik_max_word

"normalizer" : "normalizer_name", #字段标准化规则；如把所有字符转为小写；具体如下举例

"boost" : 1.5, #字段权重；用于查询时评分，关键字段的权重就会高一些，默认都是1；另外查询时可临时指定权重

"coerce" : true, #清理脏数据：1，字符串会被强制转换为整数 2，浮点数被强制转换为整数；默认为true

"copy_to" : "field_name", #自定_all字段；指定某几个字段拼接成自定义；具体如下举例

"doc_values" : true, #加快排序、聚合操作，但需要额外存储空间；默认true，对于确定不需要排序和聚合的字段可false

"dynamic" : true, #新字段动态添加 true:无限制 false:数据可写入但该字段不保留 'strict':无法写入抛异常

"enabled" : true, #是否会被索引，但都会存储;可以针对一整个_doc

"fielddata" : false, #针对text字段加快排序和聚合（doc_values对text无效）；此项官网建议不开启，非常消耗内存

"eager_global_ordinals": true, #是否开启全局预加载,加快查询；此参数只支持text和keyword，keyword默认可用，而text需要设置fielddata属性

"format" : "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis" ,#格式化 此参数代表可接受的时间格式 3种都接受

"ignore_above" : 100, #指定字段索引和存储的长度最大值，超过最大值的会被忽略

"ignore_malformed" : false ,#插入文档时是否忽略类型 默认是false 类型不一致无法插入

"index_options" : "docs" ,

# 4个可选参数

# docs（索引文档号）,

# freqs（文档号 + 词频），

# positions（文档号 + 词频 + 位置，通常用来距离查询），

# offsets（文档号 + 词频 + 位置 + 偏移量，通常被使用在高亮字段）

# 分词字段默认是position，其他的默认是docs

"index" : true, #该字段是否会被索引和可查询 默认true

"fields": {"raw": {"type": "keyword"}} ,#可以对一个字段提供多种索引模式，使用text类型做全文检索，也可使用keyword类型做聚合和排序

"norms" : true, #用于标准化文档，以便查询时计算文档的相关性。建议不开启

"null_value" : "NULL", #可以让值为null的字段显式的可索引、可搜索

"position_increment_gap" : 0 ,#词组查询时可以跨词查询 既可变为分词查询 默认100

"properties" : {}, #嵌套属性，例如该字段是音乐，音乐还有歌词，类型，歌手等属性

"search_analyzer" : "ik_max_word" ,#查询分词器;一般情况和analyzer对应

"similarity" : "BM25",#用于指定文档评分模型，参数有三个：

# BM25 ：ES和Lucene默认的评分模型

# classic ：TF/IDF评分

# boolean：布尔模型评分

"store" : true, #默认情况false,其实并不是真没有存储，_source字段里会保存一份原始文档。

# 在某些情况下，store参数有意义，比如一个文档里面有title、date和超大的content字段，如果只想获取title和date

"term_vector" : "no" #默认不存储向量信息，

# 支持参数yes（term存储），

# with_positions（term + 位置）,

# with_offsets（term + 偏移量），

# with_positions_offsets(term + 位置 + 偏移量)

# 对快速高亮fast vector highlighter能提升性能，但开启又会加大索引体积，不适合大数据量用

 

3、复杂数据类型

（1）数组类型：数组类型不需要专门制定数组元素的type。例如：

①字符型数组：[“one”,”two”]

②整形数组:[1,2]

③数组型数组：[1,[2,3]]等价于[1,2,3]

④对象数组：[{“name”:”mary”,”age”:20},{“name”:”john”,”age”:10}]

（2）对象类型(Object datatype):_object_用于单个json对象

（3）嵌套类型(Nested datatype):_nested_ 用于json数组；

4、地理位置类型

（4）地理坐标类型（Geo-pint datatype）：_geo_point_ 用于经纬度坐标：

（5）地理形状类型（Geo-shape datatype）:_geo_shape_用于类似于多边形的复杂形状；

5、特定类型

（6）IPv4 类型（IPv4 datatype）：ip 用于IPv4 地址

（7）Completion 类型（Completion datatype）：completion 提供自动补全建议

（8）Token count 类型（Token count datatype）：token_count 用于统计做子标记的字段的index数目，该值会一直增加，不会因为过滤条件而减少

（9）mapper-murmur3 类型：通过插件，可以通过_murmur3_来计算index的哈希值

（10）附加类型（Attachment datatype）：采用mapper-attachments插件，可支持_attachments_索引，例如 Microsoft office 格式，Open Documnet 格式， ePub，HTML等

下篇博客本人将记录使用elasticsearch查询的知识。若大家对本篇博客有所疑问或不同见解，欢迎大家进行评论。本人博客首页地址:https://home.cnblogs.com/u/chenyuanbo/

技术在于沟通交流！