一、安装配置

在官网下载Es,注意版本号,不同大版本号之间差异很大。我安装的是7.14.0版本

1.1 安装成服务

  cmd 进入bin目录下执行

elasticsearch-service.bat install

1.2 安装插件

  ik分词器,分词器的版本和ES版本需要一致

elasticsearch-plugin.bat install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.14.0/elasticsearch-analysis-ik-7.14.0.zip

1.3 配置账号密码

修改config目录下面的elasticsearch.yml文件,在里面添加如下内容,并重启。

xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true

执行:

elasticsearch-setup-passwords interactive

然后配置每个账户密码。

通过账号密码链接: http://username:password@127.0.0.1:9200

二、基础概念

2.1 文档元数据

节点

说明

_index

文档存储的地方,必须小写,不能以下划线开头,不能包含逗号

_type

文档代表的对象的类,命名可以是大写或者小写,但是不能以下划线或者句号开头,不应该包含逗号

_id

文档的唯一标识

2.2 索引

一个 索引 类似于传统关系数据库中的一个 数据库 ,是一个存储关系型文档的地方。事实上,我们的数据被存储在分片(shards)中,索引只是一个把一个或多个分片分组在一起的逻辑空间。

2.3 文档

文档指最顶层结构或根对象序列化的JSON数据(以唯一Id标识并存储于ES中),相当于关系数据的行。在版本7.0中已经没有文档了,统一为“_doc”。

三、数据的物理存储

  ES为什么能搜索和存储海量数据呢?是因为它的水平拓展,它内部分将整个数据进行分片,每个分片存储部分数据。

如图:将整个数据分为5片,每一片都有一个副本,5个主分片分别存储在不同节点。每个节点就是一个ElasticSearch实例。

3.1 数据是怎么存储到分片中的?

  在创建索引时,主分片的数量和其副本的数量已经确定了,当创建文档时,Es会根据文档的Id值选择一个主分片,可能这个主分片,在另一个节点。文档被发送到主分片和该主分片所有的副分片中。在新建一个文档的时候, Elasticsearch 如何知道一个文档应该存放到哪个分片中呢?首先这肯定不会是随机的,否则将来要获取文档的时候我们就不知道从何处寻找了。实际上,这个过程是根据下面这个公式决定的:

shard = hash(routing) % number_of_primary_shards

routing 是一个可变值,默认是文档的 _id ,也可以设置成一个自定义的值。这就解释了为什么我们要在创建索引的时候就确定好主分片的数量 并且永远不会改变这个数量:因为如果数量变化了,那么所有之前路由的值都会无效,文档也再也找不到了。

新建、索引、删除操作,必须在主分片上完成后才能被复制到相关副分片。

3.2 多个节点查询的过程

  当其中一个节点接收到搜索请求时,会将请求转发到其他节点,然后将每个节点的结果聚集返回。在默认情况下,搜索请求通过round-robin轮询机制选中主分片和副分片。

3.3 为什么ElasticSearch查询快?

  Es为了查询速度,使用的是倒排索引。假如存储的一个文档中Content字段值为:

  1:My nickname is Microheart.

  2:Hello Microheart

  为了创建倒排索引,我们首先将每个文档的 content 域拆分成单独的词(也就是tokens),创建一个包含所有不重复词条的排序列表,然后列出每个词条出现在哪个文档。

my

1

nickname

1

is

1

microheart

1,2

hello

2

 
 如果我们此时查询 microheart ,2个文档都会出现。但是文档而的长度短,搜索词条占比大,所以匹配度更高。倒排索引的特点就是不需要直接查询内容,根据词匹配,找到匹配文档的Id。

3.4 相关性

  上面的例子,提到了相关性,相关性主要根据下面三个有关:

  • 检索词频率:检索词在该字段出现的频率,出现频率越高,相关性也越高。 字段中出现过 5 次要比只出现过 1 次的相关性高。
  • 反向文档频率:每个检索词在索引中出现的频率,频率越高,相关性越低。检索词出现在多数文档中会比出现在少数文档中的权重更低。
  • 字段长度准则:字段的长度是多少?长度越长,相关性越低。 检索词出现在一个短的 title 要比同样的词出现在一个长的 content 字段权重更大。

3.5 映射

域映射:域最重要的属性是type,就是字段类型。对于非string的域,只需要设置type

string域映射有两个重要的属性 index和 analyzer

Index:控制怎样索引字符串

  • analyzed :首先分析字符串,然后索引它。换句话说,以全文索引这个域。
  • not_analyzed:索引这个域,所以它能够被搜索,但索引的是精确值。不会对它进行分析。
  • no:不索引这个域。这个域不会被搜索到。

analyzer:指定分词器

  上面的例子中,为什么会按照单词拆词呢?因为默认不指定分词器,就是standard分词器,它会按照英文单词拆词。分词器有:snowball、standard、keyword、ik_smart、ik_max_word。其中ik_smart和ik_max_word是中文的分词

ES 2.x版本中只有string类型,ES 5.x以后,只有text 和 keyword字段。

比如一篇博客,有标题和内容两个字段,指定为ik_smart。假如标题为 “.Net Core中使用ElasticSearch”,就会被拆词为 “net”、“core”、 "中"、“使用”、“elasticsearch”。如果用户搜索“.net core”,应该对用户的搜索词也进行拆词,拆分为 “net”、“core”,那么标题就会命中。

        /// <summary>
/// 标题
/// </summary>
[Text(Analyzer = "ik_smart")]
public string Title { get; set; } /// <summary>
/// 内容
/// </summary>
[Text(Analyzer = "ik_smart")]
public string Content { get; set; }

.Net Core中使用ElasticSearch(一)的更多相关文章

  1. .Net Core中使用ElasticSearch(二)

    .Net的ElasticSearch 有两个版本,Elasticsearch.Net(低级) 和 NEST(高级),推荐使用 NEST,低级版本的更灵活,水太深 把握不住.有个需要注意,使用的版本号必 ...

  2. ElasticSearch实战——.Net Core中的应用

    dll引用: NLog.Targets.ElasticSearch,版本:4.0.0-beta26 Nlog,版本:4.5.0-rc04 Microsoft.Extensions.Configurat ...

  3. 使用Logstash同步数据至Elasticsearch,Spring Boot中集成Elasticsearch实现搜索

    安装logstash.同步数据至ElasticSearch 为什么使用logstash来同步,CSDN上有一篇文章简要的分析了以下几种同步工具的优缺点:https://blog.csdn.net/la ...

  4. ELK系列(二):.net core中使用ELK

    ELK安装好后,我们现在.net Core中使用一下,大体思路就是结合NLog日志组件将数据写入ELK中,其它语言同理. ELK的安装还是有些复杂的,我们也可以在Docker中安装ELK:docker ...

  5. .net core中的那些常用的日志框架(Serilog篇)

    前言 上文说到Nlog日志框架,感觉它功能已经很强大,今天给大家介绍一个很不错的日志框架Serilog,根据我的了解,感觉它最大的优势是,结构化日志,它输出的日志是Json的格式,如果你使用的是Mon ...

  6. .NET Core 中的日志与分布式链路追踪

    目录 .NET Core 中的日志与分布式链路追踪 .NET Core 中的日志 控制台输出 非侵入式日志 Microsoft.Extensions.Logging ILoggerFactory IL ...

  7. 如何在 ASP.Net Core 中使用 Serilog

    记录日志的一个作用就是方便对应用程序进行跟踪和排错调查,在实际应用上都是引入 日志框架,但如果你的 日志文件 包含非结构化的数据,那么查询起来将是一个噩梦,所以需要在记录日志的时候采用结构化方式. 将 ...

  8. 如何在 ASP.Net Core 中实现 健康检查

    健康检查 常用于判断一个应用程序能否对 request 请求进行响应,ASP.Net Core 2.2 中引入了 健康检查 中间件用于报告应用程序的健康状态. ASP.Net Core 中的 健康检查 ...

  9. .NET Core中的认证管理解析

    .NET Core中的认证管理解析 0x00 问题来源 在新建.NET Core的Web项目时选择“使用个人用户账户”就可以创建一个带有用户和权限管理的项目,已经准备好了用户注册.登录等很多页面,也可 ...

随机推荐

  1. go语言调用everything的SDK接口

    介绍 官方SDK地址 本项目会将官方dll编译到可执行程序中,运行时无需考虑dll问题. 根据官方介绍,使用SDK前需要运行everything程序. 执行go build -tag ASCII时编译 ...

  2. K8s 系列(三) - 如何配置 etcd https 证书?

    在 K8s 中,kube-apiserver 使用 etcd 对 REST object 资源进行持久化存储,本文介绍如何配置生成自签 https 证书,搭建 etcd 集群给 apiserver 使 ...

  3. three+pixi 将二维和三维结合

    PIXI+THREE 使用 PIXI 和 THREE 将三维和二维渲染在同一个 canvas 下面 效果 思路 初始化 PIXI 的 Application, 作为 pixi 最重要的变量 const ...

  4. Asp.net MVC Vue Axios无刷新请求数据和响应数据

    Model层Region.cs using System; using System.Collections.Generic; using System.Linq; using System.Web; ...

  5. Java比较两个浮点数

    浮点数的基本数据类型不能用==比较,包装数据类型不能用 equals 比较 浮点数的表示 在计算机系统中,浮点数采用 符号+阶码+尾数 进行表示.在Java中,单精度浮点数float类型占32位,它的 ...

  6. open failed: EACCES (Permission denied)

    出现背景:调用系统相册进行图片展示,但是没有成功,是空白的,且检查权限无问题 解决方法

  7. Java Web实现登录验证码(Servlet+jsp)

    1.生成验证码图片(Servlet) import java.awt.Color; import java.awt.Font; import java.awt.Graphics2D; import j ...

  8. PHP设计模式之中介者模式

    上回说道,我们在外打工的经常会和一类人有很深的接触,那就是房产中介.大学毕业后马上就能在喜欢的城市买到房子的X二代不在我们的考虑范围内哈.既然需要长期的租房,那么因为工作或者生活的变动,不可避免的一两 ...

  9. azkaban3.90.0部署

    1.下载这个网友提供的编译包,自己编的老出错,没弄了 https://blog.csdn.net/logincheck/article/details/110119987 2.将 解压到 /opt/m ...

  10. eval(input())

    看到一段代码,判读输入的数字,用的是eval(input()),查了一下,原来input()会把所有输入值,包括数字,视为字符串,而eval()会去掉字符串最外层的引号,然后当做Python语句执行[ ...