Elasticsearch入门指南

好好学习，天天向上




本文已收录至我的Github仓库DayDayUP：github.com/RobodLee/DayDayUP，欢迎Star，更多文章请前往：目录导航

这篇文章主要是记录一下最近在学的Elasticsearch。没有什么复杂的原理，只是简单的使用。

简介

Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤，首先用户将数据提交到Elasticsearch 数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户。

环境搭建

这一小节主要介绍如何在docker下安装及配置Elasticsearch、IK分词器以及Kibana。

安装与配置Elasticsearch

我之所以选择在docker下安装是因为docker比较简单么，方便部署。怎么安装docker我就不说了，不知道的请自行百度。

docker pull elasticsearch:5.6.8		# 第一步肯定是要下载喽
# -d 后台运行 -i 交互式模式 9200外部访问端口http(Web管理平台端口) 9300容器端口tcp(服务默认端口)
# --name 给容器起个名字，这里叫elasticsearch
docker run -di --name=elasticsearch -p 9200:9200 -p 9300:9300 elasticsearch:5.6.8

在docker下安装就是这么简单，几行命令就搞定了。

可以看到，es可以正常访问了。但是光安装好还不行，从5.0版本开始es就默认关闭了远程连接，所以需要手动地开启远程连接。有可能我们会进行一些跨域的操作，所以还要进行跨域配置。

docker exec -it elasticsearch /bin/bash		# 进入到elasticsearch容器中
cd config 	# 切换到config目录下
# 如果使用vi命令时出现bash: vi: command not found的话，就安装一下vim
apt-get update
apt-get install vim
vi elasticsearch.yml	# 编辑配置文件，冒号后面是有一个空格的

这个时候，由于虚拟机配置的问题，可能导致ES运行不起来，所以需要把系统参数调大一点。这一步是在虚拟机下操作的，不是在es容器中操作的，如果是在容器中，先输入exit命令退出容器。

vi /etc/security/limits.conf      # 编辑limits.conf文件，添加两行内容

vi /etc/sysctl.conf  # 编辑sysctl.conf文件，添加一行内容

OK！现在就可以了。

sysctl -p	# 修改内核参数马上生效
docker update --restart=always elasticsearch  # 设置开机自启
docker restart elasticsearch    # 重启elasticsearch

安装IK分词器

Elasticsearch的标准分词器是不支持中文分词的。比如将“今天天气不错”进行分词，就会分成“今”，“天”，“天”，“气”，“不”，“错”。这显然是不对的，所以我们需要安装中文的分词器来支持中文。现在中文分词器用得最多的就是IK，那我们就来安装IK分词器。

从图中可以看出，5.x版本对应5.x版本的IK分词器。所以从https://github.com/medcl/elasticsearch-analysis-ik/releases里面找到和ES相同版本的IK，下载下来

下载完成之后，通过SecureFX等软件传到虚拟机里面，当然也可以敲命令发送，只不过麻烦点，位置随意，我放在了root目录下。传过之后

yum install -y unzip zip           # 如果没有安装upzip的话就先安装
unzip elasticsearch-analysis-ik-5.6.8.zip   # 解压，解压后的文件夹名为elasticsearch
mv elasticsearch ik   # 为了方便辨认，重命名为ik，当然，不重命名或是命名为其它的也是可以的
# 安装ik的方式很简单，只要复制到es的plugins文件夹下即可
docker cp ./ik elasticsearch:/usr/share/elasticsearch/plugins
docker restart elasticsearch    # 重启elasticsearch

现在分词器已经正常工作了，图中指定的分词模式为“ik_max_word”，IK还为我们提供了另外一种分词模式“ik_smart”，这种相较于前者分词粒度粗一些，前者更细。但是有可能这两种分词模式的分词结果都不是我们想要的，就可以添加自定义的词库。

docker exec -it elasticsearch /bin/bash		# 进入到elasticsearch容器中
cd plugins/ik/config		# 切换到ik的配置目录下
vi IKAnalyzer.cfg.xml 			# 编辑该文件

在这个文件中我们可以配置自定义词库以及停用词库。比如我们可以在my_dic.dic（在ik/config目录中）文件中添加分词

这样重启一下ES后就可以使用我们的自定义分词了。

Kibana

docker pull kibana:5.6.8   # 下载kibana的镜像
# 安装kibana
docker run -it -d -e ELASTICSEARCH_URL=http://192.168.31.168:9200 --name kibana --restart=always -p 5601:5601 kibana:5.6.8

然后通过http://192.168.31.168:5601就可以正常访问了。

基本概念

用过MySQL的都知道，我们是对表中的一行行数据进行增删查改操作，ES也是类似的，只不过我们是对文档进行增删查改操作。ES和MySQL的对应关系如下：

MySQL（数据库服务器）	Elasticsearch（搜索引擎）
Databases（数据库）	Indices（索引库）
Tables（表）	Types（类型）
Rows（一行行的数据）	Documents（文档）
Columns（字段）	Fields（字段）

• Index（索引）

Elasticsearch 数据管理的顶层单位就叫做索引，它是拥有几分相似特征的文档的集合。可以理解为MySQL中的数据库。

• Type（类型）

Type是索引的一个逻辑分区，就是将一些字段组合起来标识为一个Type。比如姓名、学号、班级、年级可以组合成一个Type叫做student。相当于MySQL中的数据表。

• Document（文档）

文档就是Index中真实存放数据的地方，是一个信息单元。比如user这个Type有姓名、年龄、号码这三个字段。那么“张三，25，18512345678”就是一个文档。相当于MySQL中数据表中的一条数据。

• Field（字段）

字段就是属性名。比如id、name、title、phone_number等。是Type的组成单位。

• 倒排索引

ES之所以能够实现快速，高效的搜索，是因为基于倒排索引的原理。如果我们想知道哪些网站有“腾讯老干妈”的新闻，在没有搜索引擎的帮助下我们只能一个网站一个网站找......这样拿着网站的网址（key）去找“腾讯老干妈”（value）的过程就叫做正排索引。但是平时我们百度一搜不就出来了吗。之所以我们可以这样做，是因为百度事先已经做好倒排索引了，就是把出现过“腾讯老干妈”的网站全部记录下来

腾讯	腾讯新闻，网易新闻，百度新闻，17173，哔哩哔哩...........
老干妈	腾讯新闻，网易新闻，百度新闻，豆果美食

我们搜索“腾讯老干妈”的时候，先分词，分成“腾讯”，“老干妈”，然后去倒排索引库里面查找出url，再求出交集返回给用户。这样拿着“腾讯老干妈”（value）去查找网站（key）的过程就叫做倒排索引。

基本操作

如果我们想操作ES，可以提供的Restful接口直接访问，也就是直接发送HTTP请求，或者是在kibana中使用DSL语句，这两种方式都是可以的。比如查询索引库

创建索引及Type

当安装好MySQL之后，我们需要在里面创建数据库，然后在数据库里面创建表，再为表添加一些字段，才可以使用。同样的，在ES中，先创建索引，然后再索引里面创建一个Type，Type里面再添加一些字段。

http://192.168.31.200:9200/user      # put请求 http://IP:Port/index_name
PUT /user   					   # DSL语句 PUT /index_name

使用上面两种方式都可以创建一个叫“user”的索引，但是现在索引里面还没有数据，相当于创建了数据库还没有创建表。所以现在来创建一个Type：

使用图中的方式就可以为user所以添加一个叫sutdent的Type，可以看到，使用HTTP或者DSL语句都是一样的，所以下面就不再演示HTTP请求的方式，只演示DSL。

当然，也可以在创建索引的同时添加一个或多个Type：

删除索引

DELETE index_name

添加文档

在MySQL中，我们添加数据是向表中添加一行行的数据，在ES中，这一条条的数据叫做Document。

POST index_name/type_name/document_id		# 这个document_id是文档的id不是id字段值
{
	json格式的数据
}

这样就成功添加了一条Document。

删除文档

DELETE index_name/type_name/document_id

修改文档

POST index_name/type_name/document_id

数据查询

和MySQL一样，查询的内容比增删改要多得多。

• 查询所有数据

GET _search						  # 查询所有索引中的数据
GET index_name/_search              # 查询一个索引下的所有数据
GET index_name/type_name/_search    # 查询一个索引下的一个Type下的所有数据

• 根据id查询数据

GET index_name/type_name/document_id

• 根据关键词查询

可以使用term、terms、prefix 、match和multi_match对关键词进行限制

# term是精确查询，查询过程中不会对搜索词进行分词，所以搜索词必须是文档分词集合中的一个
GET _search						       # 查询所有索引中的数据
或者  GET index_name/_search              # 查询一个索引下的所有数据
或者  GET index_name/type_name/_search    # 查询一个索引下的一个Type下的所有数据
{
  "query":{
    "term":{
      字段名:搜索词
    }
  }
}

# terms 允许多个Term，也不会分词
{
  "query":{
    "terms":{
      字段名:
        [
          字段值1,
          字段值2
        ]
    }
  }
}

#  prefix：前缀匹配，所有以特定搜索词开头的内容
GET _search
{
  "query": {
    "prefix": {
      字段名 : 搜索词
    }
  }
}

# match会对搜索词进行分词，然后对分词后的结果进行搜索
GET _search
{
  "query": {
    "match": {
      字段名: 搜索词
    }
  }
}

# multi_match查询允许你做match查询的基础上同时搜索多个字段
GET _search
{
  "query": {
    "multi_match": {
      "query": 搜索词,
      "fields": [
        字段1,
        字段2
        ……
      ]
    }
  }
}

• 范围搜索range

#过滤-range 范围过滤
#gt表示> gte表示=>
#lt表示< lte表示<=
GET _search
{
  "query":{
    "range": {
      字段名: {
        "gte": 30,
        "lte": 57
      }
    }
  }
}

• 查询哪些数据包含某个字段exists

GET _search
{
  "query": {
    "exists":{
      "field":要查询的字段名
    }
  }
}

• 合并多个过滤条件查询结果的布尔逻辑bool

# must : 多个查询条件的完全匹配,相当于 and。
# must_not : 多个查询条件的相反匹配，相当于 not。
# should : 至少有一个查询条件匹配, 相当于 or。
GET _search
{
  "query": {
    "bool": {
      must/must_not/should: [
        {
          "term"……
        },
        {
          "range"……
        }
        ……
      ]
    }
  }
}

• 对搜索结果排序sort

# 搜索排序
GET /user/_search
{
  "query":{
    …………
  },
  "sort":{
    字段名:{
      "order":"desc"    # asc升序 desc 降序
    }
  }
}

• 对搜索结果分页

# 分页实现
# 从下标为N的数据开始查询
# size:每页显示条数
GET /user/_search
{
  "query":{
    …………
  },
  "from": 0,
  "size": 2
}

总结

这篇文章并没有提什么很深奥的东西，就是对Elasticsearch的使用做了一个总结，包括怎么搭建ES的环境，介绍了倒排索引等几个概念，对索引和数据的操作。我一直认为学一项技术，一开始不用去理解其中的原理，只有先用起来才能更好地理解这项技术。所以我后期的文章再对ES会做一个更详细的介绍。

如果我的文章对你有些帮助，不要忘了点赞，收藏，转发，关注。要是有什么好的意见欢迎在下方留言。让我们下期再见！