document的核心元数据

document的核心元数据有三个:_index、_type、_id

初始化数据:

  1. PUT test_index/test_type/
  2. {
  3. "test_content":"test test"
  4. }
  1. {
  2. "_index": "test_index",
  3. "_type": "test_type",
  4. "_id": "",
  5. "_version": ,
  6. "result": "created",
  7. "_shards": {
  8. "total": ,
  9. "successful": ,
  10. "failed":
  11. },
  12. "created": true
  13. }

查询数据:

  1. GET test_index/test_type/
  1. {
  2. "_index": "test_index",
  3. "_type": "test_type",
  4. "_id": "",
  5. "_version": ,
  6. "found": true,
  7. "_source": {
  8. "test_content": "test test"
  9. }
  10. }

_index元数据

  • 代表一个document存放在哪个index中
  • 类似的数据放在一个索引中,非类似的数据放在不同的索引中:product index(包含了所有的商品)、sales index(包含了所有的商品销售数据)、inventory index(包含了所有库存的相关数据)
  • index中包含了很多类似的document: 类似是什么意思呢,其实指的就是说,这些document的fields很大一部分是相同的,你说你放了3个document,每个document的fields都完全不一样,这就不是类似了,就不太适合放到一个index里面去了
  • 索引名称必须是小写,不能用下划线开头,不包含逗号

_type元数据

  • 代表document属于index的哪个类别
  • 一个索引通常会划分为多个type,逻辑上对index有些许不同的几类数据进行分类
  • type名称可以是大写或者小写,但是同时不能用下划线开头,不能包含逗号

_id元数据

  • 代表document的唯一标识,与_index和_type一起可以起唯一标识和定位一个document
  • 我们可以手动指定document的id,也可以不指定,由es自动为我们创建一个id

Id手动与自动生成

手动指定document id

根据应用情况来说,是否满足手动指定document id的前提:

一般来说,是从某些其他的系统中,导入一些数据到es时,会采取这种方式,就是使用系统中已有数据的唯一标识,作为es中document的id。举个例子,比如说,我们现在在开发一个电商网站,做搜索功能,或者是OA系统,做员工检索功能。这个时候,数据首先会在网站系统或者IT系统内部的数据库中,会先有一份,此时就肯定会有一个数据库的primary key(自增长,UUID,或者是业务编号)。如果将数据导入到es中,此时就比较适合采用数据在数据库中已有的primary key。

如果说,我们是在做一个系统,这个系统主要的数据存储就是es一种,也就是说,数据产生出来以后,可能就没有id,直接就放es一个存储,那么这个时候,可能就不太适合说手动指定document id的形式了,因为你也不知道id应该是什么,此时可以采取下面要讲解的让es自动生成id的方式。

语法:

  1. put /index/type/id
  2. {
  3. json
  4. }

示例:

  1. PUT /test_index/test_type/
  2. {
  3. "test_content": "my test"
  4. }

自动生成document id

语法:

  1. post /index/type
  2. {
  3. "json"
  4. }

示例:

  1. POST /test_index/test_type
  2. {
  3. "test_content": "my test"
  4. }
  1. {
  2. "_index": "test_index",
  3. "_type": "test_type",
  4. "_id": "AWypxxLYFCl_S-ox4wvd",
  5. "_version": ,
  6. "result": "created",
  7. "_shards": {
  8. "total": ,
  9. "successful": ,
  10. "failed":
  11. },
  12. "created": true
  13. }

自动生成的id,长度为20个字符,URL安全、base64编码、GUID、分布式系统并行生成时不可能发生冲突。

_source元数据以及定制返回结果解析

初始化数据:

  1. put /test_index/test_type/
  2. {
  3. "test_field1": "test field1",
  4. "test_field2": "test field2"
  5. }

查看数据:

  1. GET /test_index/test_type/
  1. {
  2. "_index": "test_index",
  3. "_type": "test_type",
  4. "_id": "",
  5. "_version": ,
  6. "found": true,
  7. "_source": {
  8. "test_field1": "test field1",
  9. "test_field2": "test field2"
  10. }
  11. }

_source元数据,就是说,我们在创建一个document的时候,使用的那个放在request body中的json串,默认情况下,在get的时候会原封不动的给我们返回。

定制返回结果

定制返回的结果,指定_source中,返回哪些field

  1. GET /test_index/test_type/?_source=test_field1,test_field2
  1. {
  2. "_index": "test_index",
  3. "_type": "test_type",
  4. "_id": "",
  5. "_version": ,
  6. "found": true,
  7. "_source": {
  8. "test_field1": "test field1",
  9. "test_field2": "test field2"
  10. }
  11. }

全量替换、强制创建以及删除

document的全量替换

数据准备:

  1. PUT test_index/test_type/
  2. {
  3. "test_field":"test test"
  4. }
  1. 语法与创建文档是一样的,如果document id不存在,那么就是创建;如果document id已经存在,那么就是全量替换操作,替换document的json串内容
  2. document是不可变的,如果要修改document的内容,第一种方式就是全量替换,直接对document重新建立索引,替换里面所有的内容
  3. es会将老的document标记为deleted,然后新增我们给定的一个document,当我们创建越来越多的document的时候,es会在适当的时机在后台自动删除标记为deleted的document

document的强制创建

创建文档与全量替换的语法是一样的,有时我们只是想新建文档,不想替换文档,如果强制进行创建呢?

语法:

  1. PUT /index/type/id?op_type=create
  2. 或者
  3. PUT /index/type/id/_create

document的删除

语法:

  1. DELETE /index/type/id

不会理解物理删除,只会将其标记为deleted,当数据越来越多的时候,在后台自动删除

Elasticsearch由浅入深(三)document的核心元数据、Id、_source元数据、全量替换、强制创建以及删除机制的更多相关文章

  1. document的全量替换、强制创建、删除

    1.document的全量替换(1)语法与创建文档是一样的,PUT /test_index/test_type/id ,如果document id不存在,那么就是创建:如果document id已经存 ...

  2. Logstash学习之路(四)使用Logstash将mysql数据导入elasticsearch(单表同步、多表同步、全量同步、增量同步)

    一.使用Logstash将mysql数据导入elasticsearch 1.在mysql中准备数据: mysql> show tables; +----------------+ | Table ...

  3. Elasticsearch由浅入深(六)批量操作:mget批量查询、bulk批量增删改、路由原理、增删改内部原理、document查询内部原理、bulk api的奇特json格式

    mget批量查询 批量查询的好处就是一条一条的查询,比如说要查询100条数据,那么就要发送100次网络请求,这个开销还是很大的如果进行批量查询的话,查询100条数据,就只要发送1次网络请求,网络请求的 ...

  4. Elasticsearch由浅入深(五)_version乐观锁、external version乐观锁、partial update、groovy脚本实现partial update

    基于_version进行乐观锁并发控制 先构造一条数据出来 PUT /test_index/test_type/ { "test_field": "test test&q ...

  5. Elasticsearch由浅入深(一)

    什么是Elasticsearch 什么是搜索 百度:我们比如说想找寻任何的信息的时候,就会上百度去搜索一下,比如说找一部自己喜欢的电影,或者说找一本喜欢的书,或者找一条感兴趣的新闻(提到搜索的第一印象 ...

  6. elasticsearch系列三:索引详解(分词器、文档管理、路由详解(集群))

    一.分词器 1. 认识分词器  1.1 Analyzer   分析器 在ES中一个Analyzer 由下面三种组件组合而成: character filter :字符过滤器,对文本进行字符过滤处理,如 ...

  7. Elasticsearch由浅入深(二)ES基础分布式架构、横向扩容、容错机制

    Elasticsearch的基础分布式架构 Elasticsearch对复杂分布式机制的透明隐藏特性 Elasticsearch是一套分布式系统,分布式是为了应对大数据量. Elasticsearch ...

  8. ElasticSearch第三步-中文分词

      ElasticSearch系列学习 ElasticSearch第一步-环境配置 ElasticSearch第二步-CRUD之Sense ElasticSearch第三步-中文分词 ElasticS ...

  9. ElasticSearch(三):通分词器(Analyzer)进行分词(Analysis)

    ElasticSearch(三):通过分词器(Analyzer)进行分词(Analysis) 学习课程链接<Elasticsearch核心技术与实战> Analysis与Analyzer ...

随机推荐

  1. 解锁云原生 AI 技能 - 开发你的机器学习工作流

    按照上篇文章<解锁云原生 AI 技能 | 在 Kubernetes 上构建机器学习系统>搭建了一套 Kubeflow Pipelines 之后,我们一起小试牛刀,用一个真实的案例,学习如何 ...

  2. Spring Cloud Eureka 服务注册中心(二)

    序言 Eureka 是 Netflix 开发的,一个基于 REST 服务的,服务注册与发现的组件 它主要包括两个组件:Eureka Server 和 Eureka Client Eureka Clie ...

  3. 阿里云(百度云)Linux系统挂载磁盘

    阿里云(百度云)Linux系统挂载磁盘

  4. Docker安装redis的使用

    1.Docker安装redis的使用. docker search redis检索redis的服务.先检索再拉取. 2.这里我们拉取官方的镜像,标签为5.0.5.[root@slaver4 ~]# d ...

  5. RSA加密方法

    /// <summary>        /// RSA加密        /// </summary>        /// <param name="dat ...

  6. Eureka获取服务列表源码解析

    在之前的文章:EurekaClient自动装配及启动流程解析中,我们提到了在类DiscoveryClient的构造方法中存在一个刷新线程和从服务端拉取注册信息的操作 这两个就是eureka获取服务列表 ...

  7. MQ选型对比ActiveMQ,RabbitMQ,RocketMQ,Kafka 消息队列框架选哪个?

    最近研究消息队列,发现好几个框架,搜罗一下进行对比,说一下选型说明: 1)中小型软件公司,建议选RabbitMQ.一方面,erlang语言天生具备高并发的特性,而且他的管理界面用起来十分方便.不考虑r ...

  8. uni-app学习(六)好用的插件4

    1. uni-app学习(六)好用的插件4 1.1. QQ音乐模板 点击这里 示例 1.2. 画廊(ynGallery)组件 点击这里 看起来不错的 示例 1.3. 评价模板 学到个动画用法 imag ...

  9. LeetCode学习_day1:原地算法

    原地算法:是一种使用小的,固定数量的额外之空间来转换资料的算法.当算法执行时,输入的资料通常会被要输出的部份覆盖掉. 范例:冒泡排序.选择排序.插入排序.希尔排序 (1)冒泡排序: 冒泡排序算法的原理 ...

  10. vlan技术简单了解

    VLAN(虚拟局域网)是对连接到的第二层交换机端口的网络用户的逻辑分段,不受网络用户的物理位置限制而根据用户需求进行网络分段.一个VLAN可以在一个交换机或者跨交换机实现.VLAN可以根据网络用户的位 ...