更多内容参考:Elasticsearch学习总结 关于String类型--分词与不分词 在Elasticsearch中String是最基本的数据类型,如果不是数字或者标准格式的日期等这种很明显的类型,其他的一般都会优先默认存储成String.同样的数据类型,Elasticsearch也提供了多种存储与分词的模式,不同的模式应用于不同的场景. 很多人在初次使用Elasticsearch时,都会很纳闷... 为什么我存储的一句话,却查询不到? 为什么我输入了汉语单词,只能一个字一个字的匹配? 为什么…

IK简介 IK Analyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包.从2006年12月推出1.0版开始, IKAnalyzer已经推出了4个大版本.最初,它是以开源项目Luence为应用主体的,结合词典分词和文法分析算法的中文分词组件.从3.0版本开 始,IK发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现.在2012版本中,IK实现了简单的分词 歧义排除算法,标志着IK分词器从单纯的词典分词向模拟语义分词衍化. 二.安装I…

Jcseg是什么? Jcseg是基于mmseg算法的一个轻量级中文分词器,同时集成了关键字提取,关键短语提取,关键句子提取和文章自动摘要等功能,并且提供了一个基于Jetty的web服务器,方便各大语言直接http调用,同时提供了最新版本的lucene, solr, elasticsearch的分词接口!Jcseg自带了一个 jcseg.properties文件用于快速配置而得到适合不同场合的分词应用,例如:最大匹配词长,是否开启中文人名识别,是否追加拼音,是否追加同义词等! Jcseg核心功能:…

无论是内置的分析器(analyzer),还是自定义的分析器(analyzer),都由三种构件块组成的:character filters , tokenizers , token filters. 内置的analyzer将这些构建块预先打包到适合不同语言和文本类型的analyzer中. Character filters (字符过滤器) 字符过滤器以字符流的形式接收原始文本,并可以通过添加.删除或更改字符来转换该流. 举例来说,一个字符过滤器可以用来把阿拉伯数字(٠‎١٢٣٤٥٦٧٨‎٩)‎转成…

1. 下载和es配套的版本 git clone https://github.com/medcl/elasticsearch-analysis-ik 2. 编译 cd elasticsearch-analysis-ik/ mvn clean package 3. 将release下的zip包拷贝至es/plugins目录下解压,并命名为ik cd elasticsearch-6.1.1-node3/plugins/ tar zxvf elasticsearch-analysis-ik-6.1.1…

这周在做视频搜索的过程中遇到一个问题,就是用下面的查询表达式去Elasticsearch检索,检索不到想要的结果.查询语句如下: 而查询的字段的值为: "mergeVideoName": "奔跑吧兄弟“ 按照match_phrase的查询应该是能够查询到结果.可是事实就是查询结果为空.开始考虑是不是因为match_phrase的原因,于是将 match_phrase换成match还是查询不到结果.可是将查询中的奔跑换成奔跑吧以后就能够查询到结果.很是疑惑. 在网上找了很多资料…

什么是分词器? 分词器,是将用户输入的一段文本,分析成符合逻辑的一种工具.到目前为止呢,分词器没有办法做到完全的符合人们的要求.和我们有关的分词器有英文的和中文的.英文的分词器过程:输入文本-关键词切分-去停用词-形态还原-转为小写.中文的分词器分为:单字分词 例:中国人 分成中.国.人:二分法分词:例中国人:中国.国人:词典分词:有基本的语意来进行分词的,例:中国人分成中国,国人,中国人,现在用的是极易分词和庖丁分词. Elasticsearch中的分词器 ES中索引的建立和查询的时候,需要使…

前言: 最近在使用elasticSearch中发现有些数据查不出来,于是研究了一下,发现是分词导致的,现梳理并总结一下. ElasticSearch 5.0以后,string类型有重大变更,移除了string类型,string字段被拆分成两种新的数据类型: text用于全文搜索的,而keyword用于关键词搜索. ElasticSearch字符串将默认被同时映射成text和keyword类型,将会自动创建下面的动态映射(dynamic mappings): "relateId": {…

初次接触 Elasticsearch 的同学经常会遇到分词相关的难题,比如如下这些场景: 为什么明明有包含搜索关键词的文档,但结果里面就没有相关文档呢? 我存进去的文档到底被分成哪些词(term)了? 我得自定义分词规则,但感觉好麻烦呢,无从下手 如果你遇到过类似的问题,希望本文可以解决你的疑惑. 1. 上手 让我们从一个实例出发,如下创建一个文档: PUT test/doc/1 { "msg":"Eating an apple a day keeps doctor away…

这篇文章主要来介绍下什么是 Analysis ,什么是分词器,以及 ElasticSearch 自带的分词器是怎么工作的,最后会介绍下中文分词是怎么做的. 首先来说下什么是 Analysis: 什么是 Analysis? 顾名思义,文本分析就是把全文本转换成一系列单词(term/token)的过程,也叫分词.在 ES 中,Analysis 是通过分词器(Analyzer) 来实现的,可使用 ES 内置的分析器或者按需定制化分析器. 举一个分词简单的例子:比如你输入 Mastering Elast…