Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch 数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。

在上一篇文章linux安装elasticsearch中,已经介绍了在linux安装elasticsearch,这篇文章主要介绍介绍es的一些基础的入门教程、docker安装elasticsearch以及在springboot中整合elasticsearch。

v基础概念

1.0 Node与Cluster

Node:单个Elastic实例称为一个节点(node)

Cluster:一组节点构成一个集群(cluster)

当然,这也正是集群和节点最通俗的解释,这个解释适用于绝大部分,类似elasticsearch这种分布式架构。如之前讲过的《详解Redis Cluster集群》。你可以可以说node就是单个redis实例,这样的实例我们称为一个节点,多个这样的节点组成的集群。正因为如此,我们在设计架构的时候,需要考虑不同环境的不同节点的节点名注意不要重复,避免配置集群遇到尴尬。

1.1 Index

由一个和多个分片组成,通过索引的名字在集群内进行唯一标识。索引是具有某种相似特征的文档的集合,Elastic数据管理的顶层设计就叫做 Index(索引)。类似mysql中的database。

索引也分为名次索引和动词索引。

  • 索引(名词):如前所述,一个 索引 类似于传统关系数据库中的一个 数据库 ,是一个存储关系型文档的地方。 索引 (index) 的复数词为 indices 或 indexes 。
  • 索引(动词):索引一个文档 就是存储一个文档到一个 索引 (名词)中以便被检索和查询。这非常类似于 SQL 语句中的 INSERT 关键词,除了文档已存在时,新文档会替换旧文档情况之外。

这个也好理解,类似词组"表演",看她的表演,表演的很精彩。这是两个意思。

1.2 Document

Elasticsearch是面向文档的,意味着它存储整个对象或文档。文档是可以被索引的基本信息单元,文档用JSON表示。

例如:存储员工信息,那就是一个员工信息代表一个文档,多个文档组成一个index。类似于关系型数据库中的一条数据通过id在Type内进行唯一标识。

1.3 Type

类别,指索引内部的逻辑分区,通过type的名字在索引内进行唯一标识。在查询时如果没有该值,则表示在整个索引中查询。

例如:在员工表里,可以按照员工籍贯分组(北上、上海、广州),也可以按照员工工种分组(职能、产品、运营)。这种分组可以理解为type。

在7.x版会移除Type。Elasticsearch为何要在7.X版本中去除type

1.4 与关系型数据库对比

Relational DB Elasticsearch
数据库(database) 索引 index
表(tables) 类型 types
行(rows) 文档 documents
字段(columns) fields

1.5 Mapping

定义文档及其包含的字段是如何存储和索引的过程,类似于数据库中的表结构定义,主要作用如下:

  • 定义index下的字段名
  • 定义字段类型,比如数值型、浮点型、布尔型等
  • 定义倒排索引相关的设置,比如是否索引、记录position等

vdocker安装Elasticsearch

在上一篇文章中,已经详细介绍了linux安装elasticsearch,这篇文章讲解的elasticsearch主要围绕docker展开。

2.0 拉取镜像

docker pull docker.io/elasticsearch:版本号

版本号是可选的,默认使用latest

2.1 创建&运行容器

  1. docker run -d --name=es7 \
  2. -p 9200:9200 -p 9300:9300 \
  3. -e "discovery.type=single-node" elasticsearch:7.5.1

注意:若创建es持久化目录,则按下面的命令执行。

  1. mkdir -p /data/elasticsearch
  2. docker cp es7:/usr/share/elasticsearch/data /data/elasticsearch/
  3. docker cp es7:/usr/share/elasticsearch/logs /data/elasticsearch/
  4. docker rm -f es7
  5. docker run -d --name=es7 \
  6. --restart=always \
  7. -p 9200:9200 -p 9300:9300 \
  8. -e "discovery.type=single-node" \
  9. -v /data/elasticsearch/data:/usr/share/elasticsearch/data \
  10. -v /data/elasticsearch/logs:/usr/share/elasticsearch/logs \
  11. elasticsearch:7.5.1

注意:若es起不来,可能是容器没有宿主机挂载的目录的读写权限,那就需要赋予它读写权限: chmod 777 /data/elasticsearch

2.2 验证效果

输入ip + 端口号(9200)验证。

2.3 安装elasticsearch-head

docker pull mobz/elasticsearch-head:5

2.4 创建&运行head容器

docker run -d --name elasticsearch-head -p 9100:9100 mobz/elasticsearch-head:5

2.5 跨域问题

url访问http://toutou.com:9100之后发现无法连接http://toutou.com:9200,需要在es服务端做CORS的配置。

修改docker中es7的elasticsearch.yml文件

  1. [root@localhost data]# docker exec -it es7 /bin/bash
  2. [root@f1358d18c9be elasticsearch]# vi config/elasticsearch.yml

在elasticsearch.yml底部追加如下配置:

  1. http.cors.enabled: true
  2. http.cors.allow-origin: "*"

保存以后退出docker并重启docker实例。

  1. [root@f1358d18c9be elasticsearch]# exit
  2. exit
  3. [root@localhost data]# docker restart es7
  4. es7

2.6 验证elasticsearch-head

2.7 安装中文分词器ik

注意:ik分词器的版本需要和es的版本一致。

  1. docker exec -it es7 /bin/bash
  2. ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.5.1/elasticsearch-analysis-ik-7.5.1.zip
  3. -> Downloading https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.5.1/elasticsearch-analysis-ik-7.5.1.zip

进入plugins可以看到IK分词器已经安装成功,重启docker实例即可。

vRESTful API

任何语言都可以使用RESTful API通过9200端口(默认端口号)和Elasticsearch进行通信,也可以用web客户端(浏览器Sense插件、postman)访问 Elasticsearch ,甚至直接使用curl命令就可以和Elasticsearch交互。

Elasticsearch为很多语言(Groovy、JavaScript、.NET、 PHP、 Perl、 Python 和 Ruby)提供了官方客户端。详情:Elasticsearch Clients

3.0 Elasticsearch请求格式:

Elasticsearch请求和我们认识的其它HTTP请求一样,由多个部件组成,具体格式如下:

  1. curl -X<VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>' -d '<BODY>'

< > 标记的部件释义:

  • VERB:HTTP请求方法: GET、POST、PUT、DELETE、HEAD...

    1. GET:标识该操作是用于获取服务端的资源,可以理解为select操作
    2. POST:用于向服务端新增数据,常用于提交表单。可以理解为insert操作
    3. PUT:用于向服务端更新数据,与post的使用很相似。可以理解为update操作
    4. DELETE:标识该操作是:用于删除服务端的资源,可以理解为delete操作
    5. HEAD:只请求页面首部,响应报文中没有实体的主体部分(没有body体)

    点击查看几种http方法的区别...

  • PROTOCOL:http 或者 https

    1. 概念:
    2. HTTP:是互联网上应用最为广泛的一种网络协议,是一个客户端和服务器端请求和应答的标准(TCP),用于从WWW服务器传输超文本到本地浏览器的传输协议,它可以使浏览器更加高效,使网络传输减少。
    3. HTTPS:是以安全为目标的HTTP通道,简单讲是HTTP的安全版,即HTTP下加入SSL层,HTTPS的安全基础是SSL,因此加密的详细内容就需要SSL
    4. 区别:
    5. 1.https协议需要到ca申请证书,一般免费证书很少,需要交费。
    6. 2.http是超文本传输协议,信息是明文传输,https 则是具有安全性的ssl加密传输协议。
    7. 3.httphttps使用的是完全不同的连接方式,用的端口也不一样,前者是80,后者是443
    8. 4.http的连接很简单,是无状态的;HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议,比http协议安全。

    点击查看http和https的区别

  • HOST:Elasticsearch 集群中任意节点的主机名,或者用 localhost 代表本地机器上的节点。
  • PORT:服务的端口号,默认是9200。
  • PATH:API 的终端路径(例如 _count 将返回集群中文档数量)。Path可能包含多个组件,例如: _cluster/stats _nodes/stats/jvm
  • QUERY_STRING:任意可选的查询字符串参数 (例如 ?pretty 将格式化地输出JSON返回值,使其更容易阅读)
  • BODY:一个 JSON格式的请求体(如果请求需要的话)

3.1 计算集群中文档的数量

命令行格式: curl -XGET http://test.com:9200/_count?pretty

当然,也可以考虑使用其他工具,例如postman。

3.2 集群健康

Elasticsearch的集群监控信息中包含了许多的统计数据,其中最为重要的一项就是集群健康 , 它在 status 字段中展示为green、yellow或者red。

curl http://test.com:9200/_cluster/health

postman请求返回结果如下:

  1. {
  2. "cluster_name": "my-application",
  3. "status": "green",
  4. "timed_out": false,
  5. "number_of_nodes": 1,//集群节点数
  6. "number_of_data_nodes": 1,//数据节点数量
  7. "active_primary_shards": 0,//主分片数量
  8. "active_shards": 0,//可用的分片数量
  9. "relocating_shards": 0,//正在重新分配的分片数量,在新加或者减少节点的时候会发生
  10. "initializing_shards": 0,//正在初始化的分片数量,新建索引或者刚启动会存在,时间很短
  11. "unassigned_shards": 0,//没有分配的分片,一般就是那些名存实不存的副本分片
  12. "delayed_unassigned_shards": 0,
  13. "number_of_pending_tasks": 0,
  14. "number_of_in_flight_fetch": 0,
  15. "task_max_waiting_in_queue_millis": 0,
  16. "active_shards_percent_as_number": 100
  17. }

3.3 status三种状态值:

  • green:所有的主分片和副本分片都正常运行。
  • yellow:所有的主分片都正常运行,但不是所有的副本分片都正常运行。
  • red:有主分片没能正常运行。

更多参数介绍:

索引级别集群状态,可以细致查看到底是哪个索引引起集群的故障的

curl http://test.com:9200/_cluster/health?level=indices

分片级别集群状态,可以细致查看到底是哪个分片引起的集群故障

curl http://test.com:9200/_cluster/health?level=shards

阻塞查看集群状态,适用于自动化脚本。当状态变为指定状态或者更好就返回继续执行。

curl http://test.com:9200/_cluster/health?wait_for_status=yellow

v操作Elasticsearch

4.1 索引操作

4.1.1 查看索引是否存在

curl -i -XHEAD 'http://toutou.com:9200/city'

若索引存在:

  1. HTTP/1.1 200 OK
  2. content-type: application/json; charset=UTF-8
  3. content-length: 239

若索引不存在:

  1. HTTP/1.1 404 Not Found
  2. content-type: application/json; charset=UTF-8
  3. content-length: 395

4.1.2 创建Index

创建一个非结构化的索引,需要使用PUT请求。例如创建一个名为city的索引。

curl -X PUT '127.0.0.1:9200/city'

返回结果:

  1. {
  2. "acknowledged":true,"
  3. shards_acknowledged":true,
  4. "index":"city"
  5. }

acknowledged=true表示操作成功。

创建一个结构化的索引:

  1. {
  2. "settings":{
  3. "number_of_shards":3,
  4. "number_of_replicas":1
  5. },
  6. "mappings":{
  7. "properties":{
  8. "name":{
  9. "type":"text",
  10. "analyzer":"ik_max_word",
  11. "search_analyzer":"ik_max_word"
  12. },
  13. "level":{
  14. "type":"integer"
  15. },
  16. "address":{
  17. "type":"text",
  18. "analyzer":"ik_smart",
  19. "search_analyzer":"ik_smart"
  20. },
  21. "createTime":{
  22. "type":"date",
  23. "format":"yyyy-MM-dd HH:mm:ss || yyyy-MM-dd || epoch_millis"
  24. }
  25. }
  26. }
  27. }

number_of_shards表示分片个数,number_of_replicas表示备份个数。

注意:在上文中已经介绍了,在在7.x版会移除Type。所以这里不需要再指定type, 相反若指定type了的话会报错。 Root mapping definition has unsupported parameters

建议使用elasticsearch最新版本,若安装的是低于elasticsearch7版本的elasticsearch,可以使用下面的方式创建索引。

  1. {
  2. "settings":{
  3. "number_of_shards":3,
  4. "number_of_replicas":1
  5. },
  6. "mappings":{
  7. "hotel":{
  8. "properties":{
  9. "level":{
  10. "type":"integer"
  11. },
  12. "address":{
  13. "type":"text",
  14. "analyzer":"ik_max_word"
  15. },
  16. "createTime":{
  17. "type":"date",
  18. "format":"yyyy-MM-dd HH:mm:ss || yyyy-MM-dd || epoch_millis"
  19. }
  20. }
  21. },
  22. "restaurant":{
  23. "properties":{
  24. "type":{
  25. "type":"text",
  26. "analyzer":"ik_smart"
  27. },
  28. "price":{
  29. "type":"integer"
  30. }
  31. }
  32. }
  33. }
  34. }

4.1.3 删除Index

$ curl -X DELETE '127.0.0.1:9200/city'

返回结果:

{"acknowledged":true}

4.2 插入数据

4.2.1 插入指定id的数据

在 es 中,插入数据分为指定文档id插入和自动产生文档id插入

指定文档id插入,其中我们指定数据ID为1。

生成id=1的数据。

注意,在在7.x版会移除Type,所以插入数据的url需要加上 _doc ,即: http://toutou.com:9200/city/_doc/1 。具体规则可以看看这里

自动产生文档id插入。

4.3 修改数据

4.4 查询数据

4.4.1 ID查询GET

4.4.2 条件查询POST

查询5星级酒店。

4.5 删除数据

curl -X DELETE 'toutou.com:9200/city/_doc/2'

vSpringBoot整合Elasticsearch

spring-boot-starter-data-elasticsearch调试了很久,尝试的很多方法,始终报错: NoNodeAvailableException[None of the configured nodes are available: [{#transport#-1}{wlOJEdIeQqKrmiBiUuJVzQ}{toutou.com}{192.168.118.137:9300}]] 。看了一些相关介绍博客,Spring Data Elasticsearch和Elasticsearch还有Spring Boot的版本需要全部一一对应上,才能使用。感觉太麻烦,新项目还好说,线上项目谁有功夫去跟你协调这些版本统一啊,费老劲了。果断弃用了。如果有大佬这块有好上手的兼容办法,还请多多指点。

5.1 添加pom引用

  1. <dependency>
  2. <groupId>org.elasticsearch.client</groupId>
  3. <artifactId>elasticsearch-rest-high-level-client</artifactId>
  4. <!--<version>7.5.1</version>-->
  5. </dependency>

注意:如果是springboot程序的话, org.elasticsearch.client 引用的版本号 7.5.1 最好注释掉,不然会报下面这个错:

  1. org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'indexController': Unsatisfied dependency expressed through field 'cityEsService'; nested exception is org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'cityEsServiceImpl': Unsatisfied dependency expressed through field 'client'; nested exception is org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'client' defined in class path resource [learn/service/impl/EsConfig.class]: Post-processing of merged bean definition failed; nested exception is java.lang.IllegalStateException: Failed to introspect Class [org.elasticsearch.client.RestHighLevelClient] from ClassLoader [sun.misc.Launcher$AppClassLoader@18b4aac2]
  2. at org.springframework.beans.factory.annotation.AutowiredAnnotationBeanPostProcessor$AutowiredFieldElement.inject(AutowiredAnnotationBeanPostProcessor.java:596)
  3. at org.springframework.beans.factory.annotation.InjectionMetadata.inject(InjectionMetadata.java:90)
  4. at org.springframework.beans.factory.annotation.AutowiredAnnotationBeanPostProcessor.postProcessProperties(AutowiredAnnotationBeanPostProcessor.java:374)
  5. at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.populateBean(AbstractAutowireCapableBeanFactory.java:1411)
  6. at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:592)
  7. at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:515)
  8. at org.springframework.beans.factory.support.AbstractBeanFactory.lambda$doGetBean$0(AbstractBeanFactory.java:320)
  9. at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.getSingleton(DefaultSingletonBeanRegistry.java:222)
  10. at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:318)
  11. at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanFactory.java:199)
  12. at org.springframework.beans.factory.support.DefaultListableBeanFactory.preInstantiateSingletons(DefaultListableBeanFactory.java:845)
  13. at org.springframework.context.support.AbstractApplicationContext.finishBeanFactoryInitialization(AbstractApplicationContext.java:877)
  14. at org.springframework.context.support.AbstractApplicationContext.refresh(AbstractApplicationContext.java:549)
  15. at org.springframework.boot.web.servlet.context.ServletWebServerApplicationContext.refresh(ServletWebServerApplicationContext.java:140)
  16. at org.springframework.boot.SpringApplication.refresh(SpringApplication.java:742)
  17. at org.springframework.boot.SpringApplication.refreshContext(SpringApplication.java:389)
  18. at org.springframework.boot.SpringApplication.run(SpringApplication.java:311)
  19. at org.springframework.boot.SpringApplication.run(SpringApplication.java:1213)
  20. at org.springframework.boot.SpringApplication.run(SpringApplication.java:1202)
  21. at learn.web.Application.main(Application.java:18)
  22. Caused by: org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'cityEsServiceImpl': Unsatisfied dependency expressed through field 'client'; nested exception is org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'client' defined in class path resource [learn/service/impl/EsConfig.class]: Post-processing of merged bean definition failed; nested exception is java.lang.IllegalStateException: Failed to introspect Class [org.elasticsearch.client.RestHighLevelClient] from ClassLoader [sun.misc.Launcher$AppClassLoader@18b4aac2]
  23. at org.springframework.beans.factory.annotation.AutowiredAnnotationBeanPostProcessor$AutowiredFieldElement.inject(AutowiredAnnotationBeanPostProcessor.java:596)
  24. at org.springframework.beans.factory.annotation.InjectionMetadata.inject(InjectionMetadata.java:90)
  25. at org.springframework.beans.factory.annotation.AutowiredAnnotationBeanPostProcessor.postProcessProperties(AutowiredAnnotationBeanPostProcessor.java:374)
  26. at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.populateBean(AbstractAutowireCapableBeanFactory.java:1411)
  27. at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:592)
  28. at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:515)
  29. at org.springframework.beans.factory.support.AbstractBeanFactory.lambda$doGetBean$0(AbstractBeanFactory.java:320)
  30. at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.getSingleton(DefaultSingletonBeanRegistry.java:222)
  31. at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:318)
  32. at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanFactory.java:199)
  33. at org.springframework.beans.factory.config.DependencyDescriptor.resolveCandidate(DependencyDescriptor.java:277)
  34. at org.springframework.beans.factory.support.DefaultListableBeanFactory.doResolveDependency(DefaultListableBeanFactory.java:1251)
  35. at org.springframework.beans.factory.support.DefaultListableBeanFactory.resolveDependency(DefaultListableBeanFactory.java:1171)
  36. at org.springframework.beans.factory.annotation.AutowiredAnnotationBeanPostProcessor$AutowiredFieldElement.inject(AutowiredAnnotationBeanPostProcessor.java:593)
  37. ... 19 common frames omitted
  38. Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'client' defined in class path resource [learn/service/impl/EsConfig.class]: Post-processing of merged bean definition failed; nested exception is java.lang.IllegalStateException: Failed to introspect Class [org.elasticsearch.client.RestHighLevelClient] from ClassLoader [sun.misc.Launcher$AppClassLoader@18b4aac2]
  39. at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:570)
  40. at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:515)
  41. at org.springframework.beans.factory.support.AbstractBeanFactory.lambda$doGetBean$0(AbstractBeanFactory.java:320)
  42. at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.getSingleton(DefaultSingletonBeanRegistry.java:222)
  43. at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:318)
  44. at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanFactory.java:199)
  45. at org.springframework.beans.factory.config.DependencyDescriptor.resolveCandidate(DependencyDescriptor.java:277)
  46. at org.springframework.beans.factory.support.DefaultListableBeanFactory.doResolveDependency(DefaultListableBeanFactory.java:1251)
  47. at org.springframework.beans.factory.support.DefaultListableBeanFactory.resolveDependency(DefaultListableBeanFactory.java:1171)
  48. at org.springframework.beans.factory.annotation.AutowiredAnnotationBeanPostProcessor$AutowiredFieldElement.inject(AutowiredAnnotationBeanPostProcessor.java:593)
  49. ... 32 common frames omitted
  50. Caused by: java.lang.IllegalStateException: Failed to introspect Class [org.elasticsearch.client.RestHighLevelClient] from ClassLoader [sun.misc.Launcher$AppClassLoader@18b4aac2]
  51. at org.springframework.util.ReflectionUtils.getDeclaredMethods(ReflectionUtils.java:507)
  52. at org.springframework.util.ReflectionUtils.doWithLocalMethods(ReflectionUtils.java:367)
  53. at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor.buildLifecycleMetadata(InitDestroyAnnotationBeanPostProcessor.java:207)
  54. at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor.findLifecycleMetadata(InitDestroyAnnotationBeanPostProcessor.java:189)
  55. at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor.postProcessMergedBeanDefinition(InitDestroyAnnotationBeanPostProcessor.java:128)
  56. at org.springframework.context.annotation.CommonAnnotationBeanPostProcessor.postProcessMergedBeanDefinition(CommonAnnotationBeanPostProcessor.java:297)
  57. at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.applyMergedBeanDefinitionPostProcessors(AbstractAutowireCapableBeanFactory.java:1077)
  58. at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:567)
  59. ... 41 common frames omitted
  60. Caused by: java.lang.NoClassDefFoundError: org/elasticsearch/client/Cancellable
  61. at java.lang.Class.getDeclaredMethods0(Native Method)
  62. at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
  63. at java.lang.Class.getDeclaredMethods(Class.java:1975)
  64. at org.springframework.util.ReflectionUtils.getDeclaredMethods(ReflectionUtils.java:489)
  65. ... 48 common frames omitted
  66. Caused by: java.lang.ClassNotFoundException: org.elasticsearch.client.Cancellable
  67. at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
  68. at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
  69. at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
  70. at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
  71. ... 52 common frames omitted

因为就像上文提到的data与es version冲突似的, org.elasticsearch.client 也有版本之间的兼容性问题,把 org.elasticsearch.client 的版本号去掉由SpringBoot来管理依赖的版本即可。

5.2 添加EsConfig

  1. import com.google.gson.Gson;
  2. import org.apache.http.HttpHost;
  3. import org.elasticsearch.client.RestClient;
  4. import org.elasticsearch.client.RestHighLevelClient;
  5. import org.springframework.context.annotation.Bean;
  6. import org.springframework.context.annotation.Configuration;
  7.  
  8. /**
  9. * @author toutou
  10. * @date by 2021/02
  11. * @des
  12. */
  13. @Configuration
  14. public class EsConfig {
  15.  
  16. public Gson gson(){
  17. return new Gson();
  18. }
  19.  
  20. @Bean
  21. public RestHighLevelClient client(){
  22. RestHighLevelClient client=new RestHighLevelClient(
  23. RestClient.builder(
  24. // 本地demo快速实现效果,host等信息直接写成固定值了。
  25. new HttpHost("toutou.com",9200,"http")
  26. )
  27. );
  28. return client;
  29. }
  30. }

5.3 根据id查询城市酒店信息

5.3.1 添加Service

CityEsService:

  1. import java.util.Map;
  2.  
  3. /**
  4. * @author toutou
  5. * @date by 2021/02
  6. * @des
  7. */
  8. public interface CityEsService {
  9. Map<String,Object> getCityById(String id);
  10. }

iceCityEsService

CityEsServiceImpl:

  1. package learn.service.impl;
  2.  
  3. import learn.service.CityEsService;
  4. import org.elasticsearch.action.get.GetRequest;
  5. import org.elasticsearch.action.get.GetResponse;
  6. import org.elasticsearch.client.RequestOptions;
  7. import org.elasticsearch.client.RestHighLevelClient;
  8. import org.springframework.beans.factory.annotation.Autowired;
  9. import org.springframework.stereotype.Service;
  10.  
  11. import java.io.IOException;
  12. import java.util.HashMap;
  13. import java.util.Map;
  14.  
  15. /**
  16. * @author toutou
  17. * @date by 2021/02
  18. * @des
  19. */
  20. @Service
  21. public class CityEsServiceImpl implements CityEsService{
  22. @Autowired
  23. private RestHighLevelClient client;
  24.  
  25. @Override
  26. public Map<String,Object> getCityById(String id){
  27. GetRequest getRequest=new GetRequest("city","_doc",id);
  28. Map map=new HashMap();
  29. GetResponse response=null;
  30. try{
  31. response= client.get(getRequest, RequestOptions.DEFAULT);
  32. } catch (IOException e) {
  33. e.printStackTrace();
  34. }
  35. if(response.isExists()){
  36. // 本初为了方便演示,将id返回
  37. map.put("id", response.getId());
  38.  
  39. // 默认不返回id信息,若不需要id信息直接返回getSource结果即可。
  40. map.putAll(response.getSource());
  41. return map;
  42. }else{
  43. throw new RuntimeException("Is not exists.");
  44. }
  45. }
  46. }

5.3.2 添加Controller

  1. /**
  2. * @author toutou
  3. * @date by 2021/2
  4. * @des https://www.cnblogs.com/toutou
  5. */
  6. @Slf4j
  7. @RestController
  8. public class IndexController {
  9.  
  10. @Autowired
  11. private CityEsService cityEsService;
  12.  
  13. @GetMapping("es/search")
  14. public Result esSearch(@RequestParam("id") String id) {
  15. return Result.setSuccessResult(cityEsService.getCityById(id));
  16. }
  17. }

5.3.3 效果验证

由于service层和Controller大部分代码都是重复的,下面就只贴service层代码实现了,感兴趣的可以在文章底部的源码中查看更多细节。

5.4 根据id删除城市酒店信息

5.4.1 删除方法实现代码

  1. @Override
  2. public String delCityById(String id){
  3. try {
  4. DeleteRequest request=new DeleteRequest("city","_doc",id);
  5. DeleteResponse response= client.delete(request,RequestOptions.DEFAULT);
  6. return response.status().name();
  7. } catch (IOException e) {
  8. throw new RuntimeException("删除失败.");
  9. }
  10. }

5.4.2 效果验证

5.5 添加数据

  1. @Override
  2. public String addCityByInfo(String id, String name, Integer level, String address, String createTime){
  3. Map<String, Object> jsonMap = new HashMap<>();
  4. jsonMap.put("name", name);
  5. jsonMap.put("level", level);
  6. jsonMap.put("address", address);
  7. jsonMap.put("createTime", createTime);
  8.  
  9. // 若不需要创建指定id的数据,则不需要再IndexRequest的构造函数中传入id
  10. // IndexRequest indexRequest = new IndexRequest("city", "_doc");
  11. IndexRequest indexRequest = new IndexRequest("city", "_doc", id);
  12. indexRequest.source(jsonMap);
  13. try {
  14. IndexResponse rp = client.index(indexRequest);
  15. return rp.status().name();
  16. } catch (IOException e) {
  17. throw new RuntimeException("添加失败.");
  18. }
  19. }

5.6 修改数据

  1. @Override
  2. public String updateCityByInfo(String id, String name){
  3. UpdateRequest request=new UpdateRequest("city","_doc", id);
  4. Map<String, Object> jsonMap = new HashMap<>();
  5. jsonMap.put("name", name);
  6. request.doc(jsonMap);
  7. try {
  8. return client.update(request,RequestOptions.DEFAULT).status().name();
  9. } catch (IOException e) {
  10. throw new RuntimeException("修改失败.");
  11. }
  12. }

5.7 复合查询

  1. public List<Map<String, Object>> query(String name, Integer level, Integer index, Integer size){
  2. SearchRequest request = new SearchRequest("city");
  3. BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
  4. boolQueryBuilder.must(QueryBuilders.matchQuery("name", name));
  5. boolQueryBuilder.must(QueryBuilders.matchQuery("level", level));
  6. SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  7. //排序
  8. searchSourceBuilder.sort(SortBuilders.fieldSort("createTime").order(SortOrder.DESC));
  9. //分页
  10. searchSourceBuilder.from(index).size(size).query(boolQueryBuilder);
  11. request.searchType(SearchType.DEFAULT).source(searchSourceBuilder);
  12. List<Map<String, Object>> list = new ArrayList<>();
  13. try {
  14. SearchResponse rp = client.search(request, RequestOptions.DEFAULT);
  15. for (SearchHit item : rp.getHits().getHits()) {
  16. list.add(item.getSourceAsMap());
  17. }
  18. } catch (IOException e) {
  19. throw new RuntimeException("查询失败.");
  20. }
  21.  
  22. return list;
  23. }

其他参考资料:

v源码地址

https://github.com/toutouge/javademosecond/tree/master/hellospringboot

作  者:请叫我头头哥


出  处:http://www.cnblogs.com/toutou/


关于作者:专注于基础平台的项目开发。如有问题或建议,请多多赐教!


版权声明:本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接。


特此声明:所有评论和私信都会在第一时间回复。也欢迎园子的大大们指正错误,共同进步。或者直接私信


声援博主:如果您觉得文章对您有帮助,可以点击文章右下角推荐一下。您的鼓励是作者坚持原创和持续写作的最大动力!

#comment_body_3242240 { display: none }

SpringBoot进阶教程(七十三)整合elasticsearch的更多相关文章

  1. SpringBoot进阶教程(七十四)整合ELK

    在上一篇文章<SpringBoot进阶教程(七十三)整合elasticsearch >,已经详细介绍了关于elasticsearch的安装与使用,现在主要来看看关于ELK的定义.安装及使用 ...

  2. SpringBoot进阶教程(七十)SkyWalking

    流行的APM(Application Performance Management工具有很多,比如Cat.Zipkin.Pinpoint.SkyWalking.优秀的监控工具还有很多,其它比如还有za ...

  3. SpringBoot进阶教程(七十一)详解Prometheus+Grafana

    随着容器技术的迅速发展,Kubernetes已然成为大家追捧的容器集群管理系统.Prometheus作为生态圈Cloud Native Computing Foundation(简称:CNCF)中的重 ...

  4. SpringBoot进阶教程(二十七)整合Redis之分布式锁

    在之前的一篇文章(<Java分布式锁,搞懂分布式锁实现看这篇文章就对了>),已经介绍过几种java分布式锁,今天来个Redis分布式锁的demo.redis 现在已经成为系统缓存的必备组件 ...

  5. SpringBoot进阶教程(二十三)Linux部署Quartz

    在之前的一篇文章中<SpringBoot(九)定时任务Schedule>,已经详细介绍了关于schedule框架的配置和使用,有收到一些朋友关于部署的私信,所以抽时间整理一个linux部署 ...

  6. SpringBoot进阶教程(三十)整合Redis之Sentinel哨兵模式

    Redis-Sentinel是官方推荐的高可用解决方案,当redis在做master-slave的高可用方案时,假如master宕机了,redis本身(以及其很多客户端)都没有实现自动进行主备切换,而 ...

  7. SpringBoot进阶教程(六十三)Jasypt配置文件加密

    数据库密码直接明文写在配置中,对安全来说,是一个很大的挑战.一旦密码泄漏,将会带来很大的安全隐患.尤其在一些企业对安全性要求很高,因此我们就考虑如何对密码进行加密.本文着重介绍Jasypt对Sprin ...

  8. SpringBoot进阶教程(二十九)整合Redis 发布订阅

    SUBSCRIBE, UNSUBSCRIBE 和 PUBLISH 实现了 发布/订阅消息范例,发送者 (publishers) 不用编程就可以向特定的接受者发送消息 (subscribers). Ra ...

  9. SpringBoot进阶教程(五十九)整合Codis

    上一篇博文<详解Codis安装与部署>中,详细介绍了codis的安装与部署,这篇文章主要介绍介绍springboot整合codis.如果之前看过<SpringBoot进阶教程(五十二 ...

随机推荐

  1. strace -cp 诊断

    strace -c php do.php 各项含义如下: - % time:执行耗时占总时间百分比 - seconds:执行总时间 - usecs/call:单个命令执行时间 - calls:调用次数 ...

  2. python函数位置实参传参

    #!/usr/bin/python #coding=utf-8 #好好学习,天天向上 def describe_pet(type,name): print(f"i have a {type} ...

  3. hihoCoder挑战赛1 毁灭者问题

    题目链接:http://hihocoder.com/problemset/problem/1034 数据结构题,由于每个魔法单位有着不同的回复速度和上限,所以不能根据吸收时间点进行查询和更新.但是如果 ...

  4. Windows10关闭自动更新操作系统

    1:按下:win+r 2:输入services.msc,打开服务本地 3:停止windows update服务,并禁用,同时在恢复里,改为无操作.

  5. Android 动态申请权限问题【转】

    Android 动态申请权限问题 感谢大佬:https://www.jianshu.com/p/2324a2bdb3d4 感谢大佬:https://blog.csdn.net/weixin_42910 ...

  6. Guava学习之EventBus

    一.EventBus的使用案例 EventBus是Guava的事件处理机制,是设计模式中的观察者模式(生产/消费者编程模型)的优雅实现.对于事件监听和发布订阅模式,EventBus是一个非常优雅和简单 ...

  7. 异步回调实现- Guava Retryer

    为什么要使用重试利器Retryer 在实际开发中我们经常会遇到需要轮询查询一个接果,实现轮询的方式有很多种,我们经常要写许多代码,有时还会怕写出的代码有bug,如果已经有轮子了,我们就没必要重复造轮子 ...

  8. Java链式写法

    原创:转载需注明原创地址 https://www.cnblogs.com/fanerwei222/p/11613067.html Java 链式写法:详细看代码 package chain; /** ...

  9. 微信小程序音频播放 InnerAudioContext 的用法

    今天项目上涉及到了微信小程序播放音频功能,所以今天跟着一些教程做了个简单的播放器 1.实现思路 刚开始想着有没有现成的组件可以直接用,找到了微信的媒体组件 audio,奈何看着 1.6.0版本开始,该 ...

  10. git本地仓库关联多个远程仓库及取消关联

    关联 本地和远程仓库关联步骤: 在网站上(如gitee.github等,这里以gitee为例)首先添加好自己的ssh公钥 本地创建一个空的项目,即文件夹. 在文件夹下git init初始化仓库 在gi ...