es对索引的一堆操作都是用restful api去进行的,参数时一堆json,一年前边查边写搞过一次,这回搞迁移,发现es都到6.0版本了,也变化了很多,写个小笔记记录一下。

创建一个es索引很简单,一个put请求。

  1. PUT /my_index
  2. {
  3. "settings": { ... any settings ... },
  4. "mappings": {
  5. "type_one": { ... any mappings ... },
  6. },
  7. "aliases" : {...}
  8. }

新建一个索引,包含settings mappings 和aliases。settings设置分片等一些参数,mappings设置如何处理索引的各个type,aliases以前没有用过,看上去我不太会用到,这边就不记录了。

settings

这边有非常多的参数可以设置,不过官方是不建议修改的。常见需要改的就俩

  • number_of_shards
    每个索引的主分片数,默认值是 5 。这个配置在索引创建后不能修改。
  • number_of_replicas
    每个主分片的副本数,默认值是 1 。对于活动的索引库,这个配置可以随时修改。
  1. PUT /my_temp_index
  2. {
  3. "settings": {
  4. "number_of_shards" : 3,
  5. "number_of_replicas" : 2
  6. }
  7. }

给索引设置settings值

  1. PUT /my_temp_index/_settings
  2. {
  3. "number_of_replicas": 1
  4. }

修改settings值

mappings

每个文档都有type,每种type都会有自己的mapping。mapping定义了type的field,每个field的数据类型,以及es如何处理这些field。

注意,一个mappings里边不建议有多个type,而且在es6之后的版本很有可能会不允许有多个type。

按照官方的计划,es7-es9会逐步去掉type

建议是每个index都只有一个type,原因是一个index中的各个type的字段并不是完全独立的,一个index中多个type会造成一些浪费。

可以通过/_mapping 来查看es中一个或多个索引中的一个或多个mapping。

数据类型 (field)

  • 字符串 string

    • text
    • keyword
  • 数字
    • long integer short byte double float half_float scaled_float
  • 布尔型 boolean
  • 日期 date
  • range
    • integer_range
    • float_range
    • long_range
    • double_range
    • date_range
  • array
  • object

还有很多我确定我不会用到的类型。

当索引一个包含新的field的文档时,es会使用<b>动态映射</b>,通过JSON中基本数据类型,尝试猜测field类型

一般情况下,默认映射就足够了。es会自动把如 123 映射为integer,123.123映射为double,但是很多情况下,我们都需要自定义映射,特别是string类型。

自定义映射可以做这些事:

  • 配置为全文字符串和精确字符串 (如name字段我更希望他不要分词,而desc字段更需要分词后搜索)
  • 使用特定语言分析器
  • 。。。

一个field最主要的属性是type,对于大部分field,一般只需要设置type就可以了:

  1. {
  2. "number_of_clicks": {
  3. "type": "integer"
  4. }
  5. }

range

  1. PUT range_index
  2. {
  3. "mappings": {
  4. "my_type": {
  5. "properties": {
  6. "expected_attendees": {
  7. "type": "integer_range"
  8. },
  9. "time_frame": {
  10. "type": "date_range",
  11. "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
  12. }
  13. }
  14. }
  15. }
  16. }

插入格式

  1. PUT range_index/my_type/1
  2. {
  3. "expected_attendees" : {
  4. "gte" : 10,
  5. "lte" : 20
  6. },
  7. "time_frame" : {
  8. "gte" : "2015-10-31 12:00:00",
  9. "lte" : "2015-11-01"
  10. }
  11. }

搜索格式

  1. POST range_index/_search
  2. {
  3. "query" : {
  4. "range" : {
  5. "time_frame" : {
  6. "gte" : "2015-10-31",
  7. "lte" : "2015-11-01",
  8. "relation" : "within"
  9. }
  10. }
  11. }
  12. }

这部分比较简单 不细致展开了

string

对于string类型,以前是只有string,现在分为了两种,keyword和text

text

text会先经过分析器,然后索引起来,类似desc这样的字段就需要使用text。有以下几个重要字段。

analyzer

分析器,可以指定如何处理这个string,比如我想先把所有html的标记全去掉,再分词,再删除无用的停顿次,然后把剩下的token索引起来。可以使用默认的standard分析器,也可以指定别的内置的分析器。也可以使用插件安装的第三份分析器,如ik,也可以自定义分析器。

分析器使用起来很简单

  1. {
  2. "desc": {
  3. "type": "string",
  4. "analyzer": "ik_smart"
  5. }
  6. }

其中,ik_smart是已经安装好的第三方分析器。

index

是否设置为可以搜索,boolean

norm

我理解是算分时是否进行一些标准化处理,需要额外的资源。

fields

这个字段很有趣.. 先看个例子

  1. "filename":{
  2. "type":"text",
  3. "norms":false,
  4. "fields":{
  5. "raw":{
  6. "type":"keyword",
  7. "ignore_above":256
  8. }
  9. }
  10. },

一个filename的字段,这边设置的是type是text,会分词搜索。但有时候我们需要精准匹配,就可以使用filename.raw。插入时只需要输入filename,保存在es里边的会有两份,filename和filename.raw。

keyword

和text不同,keyword不会经过分析器,搜索时会精确匹配。

index fields

这两个参数和text的相同

ignore_above

丢掉超过一定长度的字符串


映射操作
新建映射
  1. PUT /index_name
  2. {
  3. "mappings": {
  4. "person" : {
  5. "properties" : {
  6. "desc" : {
  7. "type" : "string",
  8. "analyzer": "ik_smart"
  9. },
  10. "birth" : {
  11. "type" : "date"
  12. },
  13. "name" : {
  14. "type" : "string",
  15. "index" : "not_analyzed"
  16. },
  17. "user_id" : {
  18. "type" : "long"
  19. }
  20. }
  21. }
  22. }
  23. }

新建一个index,desc字段用ik分词索引,birth设置为日志,name字段精确索引,user_id设置为long型。

更新映射
  1. PUT /index_name/_mapping/person
  2. {
  3. "properties" : {
  4. "tag" : {
  5. "type" : "string",
  6. "index": "not_analyzed"
  7. }
  8. }
  9. }

新增一个tag字段。

作者:辰辰沉沉沉
链接:https://www.jianshu.com/p/bd23b86848dd
来源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

es笔记---新建es索引的更多相关文章

  1. ES(ElasticSearch) 索引创建

    个人分类: ElasticSearchindex   环境:ES 6.2.2 os:Centos  7 kibana:6.2.2 1.创建新的索引(index) PUT indexTest001 结果 ...

  2. 白日梦的Elasticsearch实战笔记,ES账号免费借用、32个查询案例、15个聚合案例、7个查询优化技巧。

    目录 一.导读 二.福利:账号借用 三._search api 搜索api 3.1.什么是query string search? 3.2.什么是query dsl? 3.3.干货!32个查询案例! ...

  3. 白日梦的ES笔记三:万字长文 Elasticsearch基础概念统一扫盲

    目录 一.导读 二.彩蛋福利:账号借用 三.ES的Index.Shard及扩容机制 四.ES支持的核心数据类型 4.1.数字类型 4.2.日期类型 4.3.boolean类型 4.4.二进制类型 4. ...

  4. ES使用小结之索引Rollover

    Elasticsearch 使用小结之索引Rollover 索引名 一般而言,客户端将数据每天写入一个索引,比如直接写入YYYY-MM-HH格式的索引,那么我们只需要在写入的客户端里面获取时间,然后得 ...

  5. ES 文档与索引介绍

    在之前的文章中,介绍了 ES 整体的架构和内容,这篇主要针对 ES 最小的存储单位 - 文档以及由文档组成的索引进行详细介绍. 会涉及到如下的内容: 文档的 CURD 操作. Dynamic Mapp ...

  6. Mongodb Manual阅读笔记:CH7 索引

    7索引 Mongodb Manual阅读笔记:CH2 Mongodb CRUD 操作Mongodb Manual阅读笔记:CH3 数据模型(Data Models)Mongodb Manual阅读笔记 ...

  7. Mysql数据库学习笔记之数据库索引(index)

    什么是索引: SQL索引有两种,聚集索引和非聚集索引,索引主要目的是提高了SQL Server系统的性能,加快数据的查询速度与减少系统的响应时间. 聚集索引:该索引中键值的逻辑顺序决定了表中相应行的物 ...

  8. SQL反模式学习笔记13 使用索引

    目标:优化性能 改善性能最好的技术就是在数据库中合理地使用索引.  索引也是数据结构,它能使数据库将指定列中的某个值快速定位在相应的行. 反模式:无规划的使用索引 1.不使用索引或索引不足 2.使用了 ...

  9. SQL学习笔记之MySQL索引知识点

    0x00 概述 之前写过一篇Mysql B+树学习,简单的介绍了B+数以及MySql使用B+树的原因, 有了这些基础知识点,对MySql索引的类型以及索引使用的一些技巧,就比较容易理解了. 0x01 ...

随机推荐

  1. Codeforces Round #575 (Div. 3) B. Odd Sum Segments (构造,数学)

    B. Odd Sum Segments time limit per test3 seconds memory limit per test256 megabytes inputstandard in ...

  2. 洛谷P2401 不等数列 题解

    可食用的题目链接 题解: 有题目得:这个题有巧做法而不是暴力模拟.废话 这个题看着像一道dp,因为可以由前一种(数据更小的推出数据更大的)推出后一种. 我们设已经得到了n-1个数的总方法(1~n-1) ...

  3. Idea集成使用SVN教程

    第一步:下载svn的客户端,通俗一点来说就是小乌龟啦!官网下载地址:https://tortoisesvn.net/downloads.html 下载之后直接安装就好了,但是要注意这里,选择安装所有的 ...

  4. MongoDB实现增删查方法

    1.添加信息 public void addInfo(Infomation infomation) { try{ // TODO Auto-generated method stub //连接Mong ...

  5. centos6.5下修改系统的roo用户/非root用户的密码

    1.修改系统root用户的密码 [........~]# passwd然后输入新密码,若提示密码太简单,无需理会,直接敲回车: 然后再次输入新密码,即可修改成功. 2.修改系统非root用户的密码:e ...

  6. linux下yum安装python3

    linux下yum安装python3 linux下yum安装python3yum install python34 -ypython3 --version wget --no-check-certif ...

  7. 树莓派Zero W无键盘无屏幕初始化

    买了个树莓派Zero W,结果发现没mini hdmi线 淘宝了一根mini hdmi,等了5天,拿到手后发现zero还没地接键盘,这下脑袋大了 查了下资料,发现树莓的系统,可以这boot分区中加入一 ...

  8. 【NOIP2016提高A组五校联考1】道路规划

    题目 分析 我们考虑,当现在有一个合法的集合时,如何往里面增加一个点,使这个集合仍然合法. 假设现在有一个合法的集合, 那么当我们加入一个点,它的道路穿过来整个集合,那么 然后搞一遍最长下降子序列就可 ...

  9. 19.顺时针打印矩阵(python)

    题目描述 输入一个矩阵,按照从外向里以顺时针的顺序依次打印出每一个数字,例如,如果输入如下4 X 4矩阵: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 则依次打印出数 ...

  10. 如何使用dump文件进行调试

    转载[文尾出处链接] 1 简介第一次遇到程序崩溃的问题,之前为单位开发了一个插件程序,在本机运行没有出现问题,但把生成的可执行文件拷贝到服务器上一运行程序,刚进入插件代码,插件服务就崩溃了,当时被这个 ...