散仙在上篇文章中,介绍了关于ElasticSearch基本的增删改查的基本粒子,本篇呢,我们来学下稍微高级一点的知识:

(1)如何在ElasticSearch中批量提交索引 ? 
(2)如何使用高级查询(包括,检索,排序,过滤,分页) ? 
(3)如何组合多个查询 ? 
(4)如何使用翻页深度查询 ? 
(5)如何使用基本的聚合查询 ? 

(一)首先,我们思考下,为什么要使用批量添加,这个毫无疑问,因为效率问题,举个在生活中的例子,假如我们有50个人,要去美国旅游,不使用批处理的方式是,给每一个人派一架飞机送到美国,那么这就需要50次飞机的来回往来,假如使用了批处理,现在的情况就是一个飞机坐50个人,只需一次即可把所有人都送到美国,效率可想而知,生活也有很多实际的例子,大家可以自己想想。

在原生的lucene中,以及solr中,这个批处理方式,实质是控制commit的时机,比如多少个提交一次,或者超过ranbuffersize的大小后自动提交,es封装了lucene的api提供bulk的方式来批量添加,原理也是,聚集一定的数量doc,然后发送一次添加请求。

(二)只要我们使用了全文检索,我们的业务就会有各种各样的api操作,包括,任意维度的字段查询,过滤掉某些无效的信息,然后根据某个字段排序,再取topN的结果集返回,使用数据库的小伙伴们,相信大家都不陌生,在es中,这些操作都是支持的,而且还非常高效,它能满足我们大部分的需求

(三)在es中,我们可以查询多个index,以及多个type,这一点是非常灵活地,我们,我们可以一次组装两个毫无关系的查询,发送到es服务端进行检索,然后获取结果。

(四)es中,通过了scorll的方式,支持深度分页查询,在数据库里,我们使用的是一个cursor游标来记录读取的偏移量,同样的在es中也支持,这样的查询方式,它通过一个scrollid记录了上一次查询的状态,能轻而易举的实现深度翻页,本质上是对了Lucene的SearchAfter的封装。

(五)es中,也提供了对聚合函数的支持,比如一些max,min,avg,count,sum等支持,除此之外还支持group,facet等操作,这些功能,在电商中应用非常广泛,基于lucene的solr和es都有很好的支持。

下面截图看下散仙的测试数据值: 


源码demo如下:

    1. package com.dongliang.es;
    2. import java.util.Date;
    3. import java.util.Map;
    4. import java.util.Map.Entry;
    5. import org.apache.lucene.index.Terms;
    6. import org.elasticsearch.action.bulk.BulkRequestBuilder;
    7. import org.elasticsearch.action.bulk.BulkResponse;
    8. import org.elasticsearch.action.search.MultiSearchResponse;
    9. import org.elasticsearch.action.search.SearchRequestBuilder;
    10. import org.elasticsearch.action.search.SearchResponse;
    11. import org.elasticsearch.action.search.SearchType;
    12. import org.elasticsearch.client.Client;
    13. import org.elasticsearch.client.transport.TransportClient;
    14. import org.elasticsearch.common.transport.InetSocketTransportAddress;
    15. import org.elasticsearch.common.unit.TimeValue;
    16. import org.elasticsearch.common.xcontent.XContentBuilder;
    17. import org.elasticsearch.common.xcontent.XContentFactory;
    18. import org.elasticsearch.index.query.FilterBuilders;
    19. import org.elasticsearch.index.query.QueryBuilders;
    20. import org.elasticsearch.index.query.QueryStringQueryBuilder;
    21. import org.elasticsearch.search.SearchHit;
    22. import org.elasticsearch.search.aggregations.AggregationBuilders;
    23. import org.elasticsearch.search.aggregations.bucket.filters.InternalFilters.Bucket;
    24. import org.elasticsearch.search.sort.SortOrder;
    25. /**
    26. * @author 三劫散仙
    27. * 搜索技术交流群:324714439
    28. * 一个关于elasticsearch批量提交
    29. * 和search query的的例子
    30. * **/
    31. public class ElasticSearchDao {
    32. //es的客户端实例
    33. Client client=null;
    34. {
    35. //连接单台机器,注意ip和端口号,不能写错
    36. client=new TransportClient().
    37. addTransportAddress(new InetSocketTransportAddress("192.168.46.16", 9300));
    38. }
    39. public static void main(String[] args)throws Exception {
    40. ElasticSearchDao es=new ElasticSearchDao();
    41. //es.indexdata();//索引数据
    42. //es.queryComplex();
    43. es.querySimple();
    44. //es.scorllQuery();
    45. //es.mutilCombineQuery();
    46. //es.aggregationQuery();
    47. }
    48. /**组合分组查询*/
    49. public void aggregationQuery()throws Exception{
    50. SearchResponse sr = client.prepareSearch()
    51. .setQuery(QueryBuilders.matchAllQuery())
    52. .addAggregation(
    53. AggregationBuilders.terms("1").field("type")
    54. )
    55. //              .addAggregation(
    56. //                      AggregationBuilders.dateHistogram("agg2")
    57. //                              .field("birth")
    58. //                              .interval(DateHistogram.Interval.YEAR)
    59. //              )
    60. .execute().actionGet();
    61. // Get your facet results
    62. org.elasticsearch.search.aggregations.bucket.terms.Terms a = sr.getAggregations().get("1");
    63. for(org.elasticsearch.search.aggregations.bucket.terms.Terms.Bucket bk:a.getBuckets()){
    64. System.out.println("类型: "+bk.getKey()+"  分组统计数量 "+bk.getDocCount()+"  ");
    65. }
    66. System.out.println("聚合数量:"+a.getBuckets().size());
    67. //DateHistogram agg2 = sr.getAggregations().get("agg2");
    68. //结果:
    69. //          类型: 1  分组数量 2
    70. //          类型: 2  分组数量 1
    71. //          类型: 3  分组数量 1
    72. //          聚合数量:3
    73. }
    74. /**多个不一样的请求组装*/
    75. public void mutilCombineQuery(){
    76. //查询请求1
    77. SearchRequestBuilder srb1 =client.prepareSearch().setQuery(QueryBuilders.queryString("eng").field("address")).setSize(1);
    78. //查询请求2//matchQuery
    79. SearchRequestBuilder srb2 = client.prepareSearch().setQuery(QueryBuilders.matchQuery("title", "标题")).setSize(1);
    80. //组装查询
    81. MultiSearchResponse sr = client.prepareMultiSearch().add(srb1).add(srb2).execute().actionGet();
    82. // You will get all individual responses from MultiSearchResponse#getResponses()
    83. long nbHits = 0;
    84. for (MultiSearchResponse.Item item : sr.getResponses()) {
    85. SearchResponse response = item.getResponse();
    86. for(SearchHit hits:response.getHits().getHits()){
    87. String sourceAsString = hits.sourceAsString();//以字符串方式打印
    88. System.out.println(sourceAsString);
    89. }
    90. nbHits += response.getHits().getTotalHits();
    91. }
    92. System.out.println("命中数据量:"+nbHits);
    93. //输出:
    94. //      {"title":"我是标题","price":25.65,"type":1,"status":true,"address":"血落星域风阳星","createDate":"2015-03-16T09:56:20.440Z"}
    95. //      命中数据量:2
    96. client.close();
    97. }
    98. /**
    99. * 翻页查询
    100. * */
    101. public void scorllQuery()throws Exception{
    102. QueryStringQueryBuilder queryString = QueryBuilders.queryString("标题").field("title");
    103. //TermQueryBuilder qb=QueryBuilders.termQuery("title", "我是标题");
    104. SearchResponse scrollResp = client.prepareSearch("collection1")
    105. .setSearchType(SearchType.SCAN)
    106. .setScroll(new TimeValue(60000))
    107. .setQuery(queryString)
    108. .setSize(100).execute().actionGet(); //100 hits per shard will be returned for each scroll
    109. while (true) {
    110. for (SearchHit hit : scrollResp.getHits().getHits()) {
    111. //Handle the hit...
    112. String sourceAsString = hit.sourceAsString();//以字符串方式打印
    113. System.out.println(sourceAsString);
    114. }
    115. //通过scrollid来实现深度翻页
    116. scrollResp = client.prepareSearchScroll(scrollResp.getScrollId()).setScroll(new TimeValue(600000)).execute().actionGet();
    117. //Break condition: No hits are returned
    118. if (scrollResp.getHits().getHits().length == 0) {
    119. break;
    120. }
    121. }
    122. //输出
    123. //      {"title":"我是标题","price":25.65,"type":1,"status":true,"address":"血落星域风阳星","createDate":"2015-03-16T09:56:20.440Z"}
    124. //      {"title":"标题","price":251.65,"type":1,"status":true,"address":"美国东部","createDate":"2015-03-16T10:33:58.743Z"}
    125. client.close();
    126. }
    127. /**简单查询*/
    128. public void querySimple()throws Exception{
    129. SearchResponse sp = client.prepareSearch("collection1").execute().actionGet();
    130. for(SearchHit hits:sp.getHits().getHits()){
    131. String sourceAsString = hits.sourceAsString();//以字符串方式打印
    132. System.out.println(sourceAsString);
    133. }
    134. //结果
    135. //              {"title":"我是标题","price":25.65,"type":1,"status":true,"address":"血落星域风阳星","createDate":"2015-03-16T09:56:20.440Z"}
    136. //              {"title":"中国","price":205.65,"type":2,"status":true,"address":"河南洛阳","createDate":"2015-03-16T10:33:58.740Z"}
    137. //              {"title":"标题","price":251.65,"type":1,"status":true,"address":"美国东部","createDate":"2015-03-16T10:33:58.743Z"}
    138. //              {"title":"elasticsearch是一个搜索引擎","price":25.65,"type":3,"status":true,"address":"china","createDate":"2015-03-16T10:33:58.743Z"}
    139. }
    140. /**组合查询**/
    141. public void queryComplex()throws Exception{
    142. SearchResponse sp=client.prepareSearch("collection1")//检索的目录
    143. .setTypes("core1")//检索的索引
    144. .setSearchType(SearchType.DFS_QUERY_THEN_FETCH)//Query type
    145. .setQuery(QueryBuilders.termQuery("type", "1"))//查询--Query
    146. .setPostFilter(FilterBuilders.rangeFilter("price").from(10).to(550.23))//过滤 --Filter
    147. .addSort("price",SortOrder.DESC) //排序 -- sort
    148. .setFrom(0).setSize(20).setExplain(true)//topN方式
    149. .execute().actionGet();//执行
    150. System.out.println("本次查询命中条数: "+sp.getHits().getTotalHits());
    151. for(SearchHit hits:sp.getHits().getHits()){
    152. //String sourceAsString = hits.sourceAsString();//以字符串方式打印
    153. //System.out.println(sourceAsString);
    154. Map<String, Object> sourceAsMap = hits.sourceAsMap();
    155. for(Entry<String, Object> k:sourceAsMap.entrySet()){
    156. System.out.println("name: "+k.getKey()+"     value: "+k.getValue());
    157. }
    158. System.out.println("=============================================");
    159. }
    160. //结果
    161. //              本次查询命中条数: 2
    162. //              name: title     value: 标题
    163. //              name: price     value: 251.65
    164. //              name: address     value: 美国东部
    165. //              name: status     value: true
    166. //              name: createDate     value: 2015-03-16T10:33:58.743Z
    167. //              name: type     value: 1
    168. //              =============================================
    169. //              name: title     value: 我是标题
    170. //              name: price     value: 25.65
    171. //              name: address     value: 血落星域风阳星
    172. //              name: status     value: true
    173. //              name: createDate     value: 2015-03-16T09:56:20.440Z
    174. //              name: type     value: 1
    175. //              =============================================
    176. client.close();
    177. }
    178. /**索引数据*/
    179. public void indexdata()throws Exception{
    180. BulkRequestBuilder bulk=client.prepareBulk();
    181. XContentBuilder doc=XContentFactory.jsonBuilder()
    182. .startObject()
    183. .field("title","中国")
    184. .field("price",205.65)
    185. .field("type",2)
    186. .field("status",true)
    187. .field("address", "河南洛阳")
    188. .field("createDate", new Date()).endObject();
    189. //collection为索引库名,类似一个数据库,索引名为core,类似一个表
    190. //       client.prepareIndex("collection1", "core1").setSource(doc).execute().actionGet();
    191. //批处理添加
    192. bulk.add(client.prepareIndex("collection1", "core1").setSource(doc));
    193. doc=XContentFactory.jsonBuilder()
    194. .startObject()
    195. .field("title","标题")
    196. .field("price",251.65)
    197. .field("type",1)
    198. .field("status",true)
    199. .field("address", "美国东部")
    200. .field("createDate", new Date()).endObject();
    201. //collection为索引库名,类似一个数据库,索引名为core,类似一个表
    202. //      client.prepareIndex("collection1", "core1").setSource(doc).execute().actionGet();
    203. //批处理添加
    204. bulk.add(client.prepareIndex("collection1", "core1").setSource(doc));
    205. doc=XContentFactory.jsonBuilder()
    206. .startObject()
    207. .field("title","elasticsearch是一个搜索引擎")
    208. .field("price",25.65)
    209. .field("type",3)
    210. .field("status",true)
    211. .field("address", "china")
    212. .field("createDate", new Date()).endObject();
    213. //collection为索引库名,类似一个数据库,索引名为core,类似一个表
    214. //client.prepareIndex("collection1", "core1").setSource(doc).execute().actionGet();
    215. //批处理添加
    216. bulk.add(client.prepareIndex("collection1", "core1").setSource(doc));
    217. //发一次请求,提交所有数据
    218. BulkResponse bulkResponse = bulk.execute().actionGet();
    219. if (!bulkResponse.hasFailures()) {
    220. System.out.println("创建索引success!");
    221. } else {
    222. System.out.println("创建索引异常:"+bulkResponse.buildFailureMessage());
    223. }
    224. client.close();//释放资源
    225. //      System.out.println("索引成功!");
    226. }
    227. }

ElasticSearch入门之彼行我释(四)的更多相关文章

  1. ElasticSearch入门 第四篇:使用C#添加和更新文档

    这是ElasticSearch 2.4 版本系列的第四篇: ElasticSearch入门 第一篇:Windows下安装ElasticSearch ElasticSearch入门 第二篇:集群配置 E ...

  2. elasticsearch入门使用(四) 索引、安装IK分词器及增删改查数据

    一.查看.创建索引 创建一个名字为user索引: curl -X PUT 'localhost:9200/stu' {"acknowledged":true,"shard ...

  3. Elasticsearch入门教程(四):Elasticsearch文档CURD

    原文:Elasticsearch入门教程(四):Elasticsearch文档CURD 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接: ...

  4. 《读书报告 -- Elasticsearch入门 》--简单使用(2)

    <读书报告 – Elasticsearch入门 > ' 第四章 分布式文件存储 这章的主要内容是理解数据如何在分布式系统中存储. 4.1 路由文档到分片 创建一个新文档时,它是如何确定应该 ...

  5. ElasticSearch入门 第二篇:集群配置

    这是ElasticSearch 2.4 版本系列的第二篇: ElasticSearch入门 第一篇:Windows下安装ElasticSearch ElasticSearch入门 第二篇:集群配置 E ...

  6. ElasticSearch入门 第一篇:Windows下安装ElasticSearch

    这是ElasticSearch 2.4 版本系列的第一篇: ElasticSearch入门 第一篇:Windows下安装ElasticSearch ElasticSearch入门 第二篇:集群配置 E ...

  7. ElasticSearch入门 第三篇:索引

    这是ElasticSearch 2.4 版本系列的第三篇: ElasticSearch入门 第一篇:Windows下安装ElasticSearch ElasticSearch入门 第二篇:集群配置 E ...

  8. ElasticSearch入门 :Windows下安装ElasticSearch

    这是ElasticSearch 2.4 版本系列的第一篇: ElasticSearch入门 第一篇:Windows下安装ElasticSearch ElasticSearch入门 第二篇:集群配置 E ...

  9. ElasticSearch入门-搜索如此简单

    搜索引擎我也不是很熟悉,但是数据库还是比较了解.可以把搜索理解为数据库的like功能的替代品.因为like有以下几点不足: 第一.like的效率不行,在使用like时,一般都用不到索引,除非使用前缀匹 ...

随机推荐

  1. 查看网站pv

    PV(page view),即页面浏览量,或点击量:通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标.简单来解释PV,那就是一个访问者在24小时(0点到24点)内到底看了你网站多少个页面.这 ...

  2. latex 引用文献 bib

    study from : https://jingyan.baidu.com/article/925f8cb8bce1f0c0dce0564f.html 寻找文献 谷歌学术 from: https:/ ...

  3. String str = new String("abc"),这段代码一共生成了几个String对象?为什么?

    String str = new String("abc")创建了俩个对象,首先为创建一个String对象"abc",然后在调用String类的构造方法时 pu ...

  4. Java 基础 - 比较方式选择(什么类型用equals()比较,什么类型用==比较)

    ref: https://www.cnblogs.com/lori/p/8308671.html 在 java 中进行比较,我们需要根据比较的类型来选择合适的比较方式: 对象域,使用 equals 方 ...

  5. PL/SQL创建用户

    步骤一:新建 步骤二:填写信息 对应SQL代码 -- Create the user create user WENT identified by "longrise" defau ...

  6. The Preliminary Contest for ICPC Asia Nanjing 2019 C. Tsy's number 5

    https://nanti.jisuanke.com/t/41300 题意:求\(\sum_{i=1}^n\phi(i)\phi(j)2^{\phi(i)\phi(j)}\) \(f_i=\sum_{ ...

  7. (转)java源程序加密解决方案(基于Classloader解密)

    转:http://cjnetwork.iteye.com/blog/851544 源程序加密解决方案 1. 概述: Java源程序的加密,有如下两种: 1使用混淆器对源码进行混淆,降低反编译工具的作用 ...

  8. VC6 Release下,生成pdb文件

    1.Generate debug必须选上,否则没有调试信息 2.把优化disable,否则容易产生代码地址偏移: 3.用program database产生PDB文件: 4.将dll, exe, pd ...

  9. File、FileFilter、递归初步

    java.io.File 文件和目录 路径名的抽象表示形式 文件:File 存储数据的 目录:Directory 文件夹 用来存储文件 路径:Path 定位具有平台无关性 在任意平台都可以使用 Fil ...

  10. 矩阵连乘 /// 区间DP oj1900

    题目大意: 输入t :t为测试用例个数 接下来t个测试 每个测试用例 第一行输入n: n为矩阵个数 保证n个矩阵依序是可乘的 接下来n行 每行输入p,q:p为长度q为宽度 对给定的n个矩阵确定一个计算 ...