Elasticsearch结构化搜索与查询
Elasticsearch 的功能之一就是搜索,搜索主要分为两种类型,结构化搜索和全文搜索。结构化搜索是指有关查询那些具有内在结构数据的过程。比如日期、时间和数字都是结构化的:它们有精确的格式,我们可以对这些格式进行逻辑操作。比较常见的操作包括比较数字或时间的范围,或判定两个值的大小。
导入学习数据:
curl -XPOST 'http://hadoop01:9200/school/student/_bulk' -d '
{ "index": { "_id": 1 }}
{ "name" : "liubei", "age" : 20 , "sex": "boy", "birth": "1996-01-02" , "about": "i like diaocan he girl" }
{ "index": { "_id": 2 }}
{ "name" : "guanyu", "age" : 21 , "sex": "boy", "birth": "1995-01-02" , "about": "i like diaocan" }
{ "index": { "_id": 3 }}
{ "name" : "zhangfei", "age" : 18 , "sex": "boy", "birth": "1998-01-02" , "about": "i like trivel" }
{ "index": { "_id": 4 }}
{ "name" : "diaocan", "age" : 20 , "sex": "girl", "birth": "1996-01-02" , "about": "i like trivel and sport" }
{ "index": { "_id": 5 }}
{ "name" : "panjinlian", "age" : 25 , "sex": "girl", "birth": "1991-01-02" , "about": "i like trivel and wusong" }
{ "index": { "_id": 6 }}
{ "name" : "caocao", "age" : 30 , "sex": "boy", "birth": "1988-01-02" , "about": "i like xiaoqiao" }
{ "index": { "_id": 7 }}
{ "name" : "zhaoyun", "age" : 31 , "sex": "boy", "birth": "1997-01-02" , "about": "i like trivel and music" }
{ "index": { "_id": 8 }}
{ "name" : "xiaoqiao", "age" : 18 , "sex": "girl", "birth": "1998-01-02" , "about": "i like caocao" }
{ "index": { "_id": 9 }}
{ "name" : "daqiao", "age" : 20 , "sex": "girl", "birth": "1996-01-02" , "about": "i like trivel and history" }
'
1: 使用match_all做查询
curl -XGET 'hadoop01:9200/school/student/_search?pretty' -d '
{
"query": {
"match_all": {}
}
}'
问题:通过match_all匹配后,会把所有的数据检索出来,但是往往真正的业务需求并非要找全部的数据,而是检索出自己想要的;
并且对于es集群来说,直接检索全部的数据,很容易造成GC现象
所以,我们要学会如何进行高效的检索数据
2:通过关键字段进行查询
查询喜欢旅游的人:
curl -XGET 'hadoop01:9200/school/student/_search?pretty' -d '
{
"query": {
"match": {"about": "trivel"}
}
}'
如果此时想查询喜欢旅游的,并且不能是男孩的,怎么办?
curl -XGET 'hadoop01:9200/school/student/_search?pretty' -d '
{
"query": {
"match": {
"about": "trivel",
"sex": "girl"
}
}
}'
【这种方式是错误的,因为一个match下,不能出现多个字段值[match] query doesn't support multiple fields】,需要使用复合查询
3:bool的复合查询
当出现多个查询语句组合的时候,可以用bool来包含。bool包含:must,must_not或者should, should表示or的意思
例子:查询非男性中喜欢旅行的人
curl -XGET 'hadoop01:9200/school/student/_search?pretty' -d '
{
"query": {
"bool": {
"must": { "match": {"about": "trivel"}},
"must_not": {"match": {"sex": "boy"}}
}
}
}'
bool的复合查询中的should语句:
should表示可有可无的(如果should匹配到了就展示,否则就不展示)
例子:查询喜欢旅行的,如果有男性的则显示,否则不显示
curl -XGET 'hadoop01:9200/school/student/_search?pretty' -d '
{
"query": {
"bool": {
"must": { "match": {"about": "trivel"}},
"should": {"match": {"sex": "boy"}}
}
}
}'
4: term匹配
使用term进行精确匹配(比如数字,日期,布尔值或 not_analyzed的字符串(未经分析的文本数据类型))
语法
{ "term": { "age": 20 }}
{ "term": { "date": "2018-04-01" }}
{ "term": { "sex": “boy” }}
{ "term": { "about": "trivel" }}
例子:查询喜欢旅行的
curl -XGET 'hadoop01:9200/school/student/_search?pretty' -d '
{
"query": {
"bool": {
"must": { "term": {"about": "trivel"}},
"should": {"term": {"sex": "boy"}}
}}
}'
5:使用terms匹配多个值
curl -XGET 'hadoop01:9200/school/student/_search?pretty' -d '
{
"query": {
"bool": {
"must": { "terms": {"about": ["trivel","history"]}}
}
}
}'
term主要是用于精确的过滤比如说:”我爱你”
在match下面匹配可以为包含:我、爱、你、我爱等等的解析器
在term语法下面就精准匹配到:”我爱你”
例子:使用match方式,会匹配包含:and、history、and history
curl -XGET 'hadoop01:9200/school/student/_search?pretty' -d '
{
"query": {
"bool": {
"must": { "match": {"about": "and history"}}
}
}
}'
如果使用term进行精确匹配,那么会精确匹配and history:
curl -XGET 'hadoop01:9200/school/student/_search?pretty' -d '
{
"query": {
"bool": {
"must": { "term": {"about": "and history"}}
}
}
}'
返回结果:
{
"took" : 2,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits" : {
"total" : 0,
"max_score" : null,
"hits" : [ ]
}
}
如果直接查询history
curl -XGET 'hadoop01:9200/school/student/_search?pretty' -d '
{
"query": {
"bool": {
"must": { "term": {"about": "history"}}
}
}
}'
会返回结果,这就说明使用term查询,会精确匹配,如果没有这个词项,就匹配不到
6:Range过滤
Range过滤允许我们按照指定的范围查找一些数据:操作范围:gt::大于,gae::大于等于,lt::小于,lte::小于等于
例子:查找出大于20岁,小于等于25岁的学生
curl -XGET 'hadoop01:9200/school/student/_search?pretty' -d '
{
"query": {
"range": {
"age": {"gt":20,"lte":25}
}
}
}
}'
7:exists和 missing过滤
通过exists和missing过滤可以找到文档中是否包含某个字段或者是没有某个字段
例子:查找字段中包含age的文档
curl -XGET 'hadoop01:9200/school/student/_search?pretty' -d '
{
"query": {
"exists": {
"field": "age"
}
}
}
}'
8:bool的多条件过滤
用bool也可以像之前match一样来过滤多行条件:
must :: 多个查询条件的完全匹配,相当于 and 。
must_not :: 多个查询条件的相反匹配,相当于 not 。
should :: 至少有一个查询条件匹配, 相当于 or
例子:过滤出about字段包含trivel并且年龄大于20岁小于30岁的同学
curl -XGET 'hadoop01:9200/school/student/_search?pretty' -d '
{
"query": {
"bool": {
"must": { "term": {"about": "trivel"}},
"must": {"range": {"age": {"gt": 20,"lt":30}}}
}
}
}'
9:查询与过滤条件合并
通常复杂的查询语句,我们也要配合过滤语句来实现缓存,用filter语句就可以来实现
例子:查询出喜欢旅行的,并且年龄是20岁的文档
curl -XGET 'hadoop01:9200/school/student/_search?pretty' -d '
{
"query": {
"bool": {
"must": {"match": {"about": "trivel"}},
"filter": [{"term":{"age": 20}}]
}
}
}'
Elasticsearch结构化搜索与查询的更多相关文章
- Elasticsearch 结构化搜索、keyword、Term查询
前言 Elasticsearch 中的结构化搜索,即面向数值.日期.时间.布尔等类型数据的搜索,这些数据类型格式精确,通常使用基于词项的term精确匹配或者prefix前缀匹配.本文还将新版本的&qu ...
- ElasticSearch 结构化搜索
1.介绍 结构化搜索(Structured search) 是指有关探询那些具有内在结构数据的过程.比如日期.时间和数字都是结构化的:它们有精确的格式,我们可以对这些格式进行逻辑操作. 比较常见的操作 ...
- ElasticSearch 结构化搜索全文
1.介绍 上篇介绍了搜索结构化数据的简单应用示例,现在来探寻 全文搜索(full-text search) :怎样在全文字段中搜索到最相关的文档. 全文搜索两个最重要的方面是: 相关性(Relevan ...
- Elasticsearch结构化搜索_在案例中实战使用term filter来搜索数据
1.根据用户ID.是否隐藏.帖子ID.发帖日期来搜索帖子 (1)插入一些测试帖子数据 POST /forum/article/_bulk { "index": { "_i ...
- ElasticSearch 2 (13) - 深入搜索系列之结构化搜索
ElasticSearch 2 (13) - 深入搜索系列之结构化搜索 摘要 结构化查询指的是查询那些具有内在结构的数据,比如日期.时间.数字都是结构化的.它们都有精确的格式,我们可以对这些数据进行逻 ...
- ElasticSearch常用结构化搜索
最近,需要用到ES的一些常用的结构化搜索命令,因此,看了一些官方的文档,学习了一下.结构化查询指的是查询那些具有内在结构的数据,比如日期.时间.数字都是结构化的. 它们都有精确的格式,我们可以对这些数 ...
- ElasticStack学习(九):深入ElasticSearch搜索之词项、全文本、结构化搜索及相关性算分
一.基于词项与全文的搜索 1.词项 Term(词项)是表达语意的最小单位,搜索和利用统计语言模型进行自然语言处理都需要处理Term. Term的使用说明: 1)Term Level Query:Ter ...
- elasticsearch 深入 —— 结构化搜索
结构化搜索 结构化搜索(Structured search) 是指有关探询那些具有内在结构数据的过程.比如日期.时间和数字都是结构化的:它们有精确的格式,我们可以对这些格式进行逻辑操作.比较常见的操作 ...
- Elasticsearch系列---结构化搜索
概要 结构化搜索针对日期.时间.数字等结构化数据的搜索,它们有自己的格式,我们可以对它们进行范围,比较大小等逻辑操作,这些逻辑操作得到的结果非黑即白,要么符合条件在结果集里,要么不符合条件在结果集之外 ...
随机推荐
- Docker开启ssh服务
一.准备 apt-get update 更新环境 apt-get install vim 安装vim vim /etc/apt/source.list 更换软件源, 我 ...
- Sql server 执行计划详解
序言 本篇主要目的有二: 1.看懂t-sql的执行计划,明白执行计划中的一些常识. 2.能够分析执行计划,找到优化sql性能的思路或方案. 如果你对sql查询优化的理解或常识不是很深入,那么推荐几骗博 ...
- 关于this与e.target区别以及data-*属性
1 this与event.target 在编写事件函数时可以传入一个event参数,even参数可以使用一个target属性如even.target用以调用,其作用是指向返回事件的目标节点(触发该事件 ...
- P1536村村通
这是一个并查集的题,被洛谷评为提高—. 拿到这个题便看出了这是一个裸的并查集,于是就写了一个模板,结果发现连输入都输不进去,一看竟然是多组数据,,然后看到N==0结束,于是便加了一层while.之后提 ...
- BSP中uboot初体验
一. uboot源码获取 1.1. 从板级厂家获取开发板BSP级uboot(就是由开发板厂家提供的) 1.2. 从SOC厂家获取相同SOC的BSP级uboot 1.3. 从uboot官方下载 1.4. ...
- 【LGR-063】洛谷11月月赛 I & MtOI2019 Ex Div.2
[MtOI2019]黑蚊子多: 送分向水题,直接模拟即可. #include<iostream> #include<cstdio> #define N 1505 using n ...
- JavaScript的二维数组
二维数组的初始化: 实例① var arr = [[1,2],['a','b']]; console.log(arr[1][0]); //a 第2列第1行所在的元素 实例② var arr = new ...
- Scrapy 教程(九)-日志系统
最新版本的 scrapy 已经废弃了 scrapy.log 的使用,赞成显示调用python标准日志记录. Python 内建日志系统 import logging ### python 内建 log ...
- 深入理解 JavaScript中的变量、值、传参
1. demo 如果你对下面的代码没有任何疑问就能自信的回答出输出的内容,那么本篇文章就不值得你浪费时间了. var var1 = 1 var var2 = true var var3 = [1,2, ...
- iOS微信浏览器回退不刷新(监听浏览器回退事件)
兼容性:兼容全部ios系统 $(function(){ pushHistory(); }); function pushHistory(){ window.addEventListener(" ...