Elasticsearch 基础使用
使用 cURL 执行 REST 命令
可以对 Elasticsearch 发出 cURL 请求,这样很容易从命令行 shell 体验该框架。
“Elasticsearch 是无模式的。它可以接受您提供的任何命令,并处理它以供以后查询。 ”
Elasticsearch 是无模式的,这意味着它可以接受您提供的任何命令,并处理它以供以后查询。Elasticsearch 中的所有内容都被存储为文档,所以您的第一个练习是存储一个包含歌词的文档。首先创建一个索引,它是您的所有文档类型的容器 — 类似于 MySQL 等关系数据库中的数据库。然后,将一个文档插入该索引中,以便可以查询该文档的数据。
创建一个索引
Elasticsearch 命令的一般格式是:REST VERBHOST:9200/index/doc-type
— 其中 REST VERB
是 PUT
、GET
或 DELETE
。(使用 cURL -X
动词前缀来明确指定 HTTP 方法。)
要创建一个索引,可在您的 shell 中运行以下命令:
curl -XPUT "http://localhost:9200/music/"
模式可选
尽管 Elasticsearch 是无模式的,但它在幕后使用了 Lucene,后者使用了模式。不过 Elasticsearch 为您隐藏了这种复杂性。实际上,您可以将 Elasticsearch 文档类型简单地视为子索引或表名称。但是,如果您愿意,可以指定一个模式,所以您可以将它视为一种模式可选的数据存储。
插入一个文档
要在 /music
索引下创建一个类型,可插入一个文档。在第一个示例中,您的文档包含数据(包含一行)“Deck the Halls” 的歌词,这是一首最初由威尔士诗人 John Ceirog Hughes 于 1885 年编写的传统的圣诞歌曲。
要将包含 “Deck the Halls” 的文档插入索引中,可运行以下命令(将该命令和本教程的其他 cURL 命令都键入到一行中):
curl -XPUT "http://localhost:9200/music/songs/1" -d '
{ "name": "Deck the Halls", "year": 1885, "lyrics": "Fa la la la la" }'
前面的命令使用 PUT
动词将一个文档添加到 /songs
文档类型,并为该文档分配 ID 1。URL 路径显示为 index/doctype/ID。
查看文档
要查看该文档,可使用简单的 GET
命令:
curl -XGET "http://localhost:9200/music/songs/1"
Elasticsearch 使用您之前 PUT
进索引中的 JSON 内容作为响应:
{"_index":"music","_type":"songs","_id":"1","_version":1,"found":true,"_source":
{ "name": "Deck the Halls", "year": 1885, "lyrics": "Fa la la la la" }}
更新文档
如果您认识到日期写错了,并想将它更改为 1886 怎么办?可运行以下命令来更新文档:
curl -XPUT "http://localhost:9200/music/lyrics/1" -d '{ "name":
"Deck the Halls", "year": 1886, "lyrics": "Fa la la la la" }'
因为此命令使用了相同的唯一 ID 1,所以该文档会被更新。
删除文档(但暂时不要删除)
暂时不要删除该文档,知道如何删除它就行了:
curl -XDELETE "http://localhost:9200/music/lyrics/1"
从文件插入文档
这是另一个技巧。您可以使用一个文件的内容来从命令行插入文档。尝试此方法,添加另一首针对传统歌曲 “Ballad of Casey Jones” 的文档。将清单 1 复制到一个名为 caseyjones.json 的文件中;也可以使用示例代码包中的 caseyjones.json 文件(参见 下载)。将该文件放在任何方便对它运行 cURL 命令的地方。(在下载的代码中,该文件位于根目录中。)
清单 1. “Ballad of Casey Jones” 的 JSON 文档
{
"artist": "Wallace Saunders",
"year": 1909,
"styles": ["traditional"],
"album": "Unknown",
"name": "Ballad of Casey Jones",
"lyrics": "Come all you rounders if you want to hear
The story of a brave engineer
Casey Jones was the rounder's name....
Come all you rounders if you want to hear
The story of a brave engineer
Casey Jones was the rounder's name
On the six-eight wheeler, boys, he won his fame
The caller called Casey at half past four
He kissed his wife at the station door
He mounted to the cabin with the orders in his hand
And he took his farewell trip to that promis'd land Chorus:
Casey Jones--mounted to his cabin
Casey Jones--with his orders in his hand
Casey Jones--mounted to his cabin
And he took his... land"
}
运行以下命令,将此文档 PUT
到您的 music
索引中:
$ curl -XPUT "http://localhost:9200/music/lyrics/2" -d @caseyjones.json
在该索引中时,将清单 2 的内容(包含另一手民歌 “Walking Boss”)保存到 walking.json 文件中。
清单 2. “Walking Boss” JSON
{
"artist": "Clarence Ashley",
"year": 1920
"name": "Walking Boss",
"styles": ["folk","protest"],
"album": "Traditional",
"lyrics": "Walkin' boss
Walkin' boss
Walkin' boss
I don't belong to you I belong
I belong
I belong
To that steel driving crew Well you work one day
Work one day
Work one day
Then go lay around the shanty two"
}
将此文档推送到索引中:
$ curl -XPUT "http://localhost:9200/music/lyrics/3" -d @walking.json
搜索 REST API
是时候运行一次基本查询了,此查询比您运行来查找 “Get the Halls” 文档的简单 GET
要复杂一些。文档 URL 有一个内置的 _search
端点用于此用途。在歌词中找到所有包含单词 you 的歌曲:
curl -XGET "http://localhost:9200/music/lyrics/_search?q=lyrics:'you'"
q
参数表示一个查询。
响应是:
{"took":107,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":2,"max
_score":0.15625,"hits":[{"_index":"music","_type":"songs","_id":"2","_
score":0.15625,"_source":{"artist": "Wallace Saunders","year": 1909,"styles":
["traditional"],"album": "Unknown","name": "Ballad of Casey Jones","lyrics": "Come all you rounders
if you want to hear The story of a brave engineer Casey Jones was the rounder's name.... Come all
you rounders if you want to hear The story of a brave engineer Casey Jones was the rounder's name
On the six-eight wheeler, boys, he won his fame The caller called Casey at half past four He kissed
his wife at the station door He mounted to the cabin with the orders in his hand And he took his
farewell trip to that promis'd land Chorus: Casey Jones--mounted to his cabin Casey Jones--with his
orders in his hand Casey Jones--mounted to his cabin And he took his... land"
}},{"_index":"music","_type":"songs","_id":"3","_score":0.06780553,"_source":{"artist": "Clarence
Ashley","year": 1920,"name": "Walking Boss","styles": ["folk","protest"],"album":
"Traditional","lyrics": "Walkin' boss Walkin' boss Walkin' boss I don't belong to you I belong I
belong I belong To that steel driving crew Well you work one day Work one day Work one day Then go
lay around the shanty two"}}]}}
使用其他比较符
还有其他各种比较符可供使用。例如,找到所有 1900 年以前编写的歌曲:
curl -XGET "http://localhost:9200/music/lyrics/_search?q=year:<1900
此查询将返回完整的 “Casey Jones” 和 “Walking Boss” 文档。
限制字段
要限制您在结果中看到的字段,可将 fields
参数添加到您的查询中:
curl -XGET "http://localhost:9200/music/lyrics/_search?q=year:>1900&fields=year"
检查搜索返回对象
清单 3 给出了 Elasticsearch 从前面的查询返回的数据。
清单 3. 查询结果
{
"took": 6,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"failed": 0
},
"hits": {
"total": 2,
"max_score": 1.0,
"hits": [{
"_index": "music",
"_type": "lyrics",
"_id": "1",
"_score": 1.0,
"fields": {
"year": [1920]
}
}, {
"_index": "music",
"_type": "lyrics",
"_id": "3",
"_score": 1.0,
"fields": {
"year": [1909]
}
}]
}
}
在结果中,Elasticsearch 提供了多个 JSON 对象。第一个对象包含请求的元数据:看看该请求花了多少毫秒 (took
) 和它是否超时 (timed_out
)。_shards
字段需要考虑 Elasticsearch 是一个集群化服务的事实。甚至在这个单节点本地部署中,Elasticsearch 也在逻辑上被集群化为分片。
继续查看清单 3 中的搜索结果,可以观察到 hits
对象包含:
total
字段,它会告诉您获得了多少个结果max_score
,用于全文搜索- 实际结果
实际结果包含 fields
属性,因为您将 fields
参数添加到了查询中。否则,结果中会包含 source
,而且包含完整的匹配文档。_index
、_type
和 _id
的用途不言自明;_score
指的是全文搜索命中长度。这 4 个字段始终会在结果中返回。
使用 JSON 查询 DSL
基于查询字符串的搜索很快会变得很复杂。对于更高级的查询,Elasticsearch 提供了一种完全基于 JSON 的特定于领域的语言 (DSL)。例如,要搜索 album
值为 traditional
的每首歌曲,可创建一个包含以下内容的 query.json 文件:
{
"query" : {
"match" : {
"album" : "Traditional"
}
}
}
然后运行:
curl -XGET "http://localhost:9200/music/lyrics/_search" -d @query.json
从 Java 代码使用 Elasticsearch
“Elasticsearch 强大功能会在通过语言 API 使用它时体现出来。”
Elasticsearch 强大功能会在通过语言 API 使用它时体现出来。现在我将介绍 Java API,您将从一个应用程序执行搜索。请参见 下载 部分,获取相关的示例代码。该应用程序使用了 Spark 微型框架,所以可以很快设置它。
示例应用程序
为一个新项目创建一个目录,然后运行(将该命令键入到一行上):
mvn archetype:generate -DgroupId=com.dw -DartifactId=es-demo
-DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false
要生成一个项目来在 Eclipse 中使用,可通过 cd
进入 Maven 创建的项目目录,并运行 mvn eclipse:eclipse
。
在 Eclipse 中,选择 File > Import > Existing Project into Workspace。导航到您使用 Maven 的文件夹,选择该项目,单击 Finish
。
在 Eclipse 中,您可以看到一个基本的 Java 项目布局,包括根目录中的 pom.xml 文件和一个 com.dw.App.java 主要类文件。将您所需的依赖项添加到 pom.xml 文件中。清单 4 给出了完整的 pom.xml 文件。
清单 4. 完整的 pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.dw</groupId>
<artifactId>es-demo</artifactId>
<packaging>jar</packaging>
<version>1.0-SNAPSHOT</version>
<name>es-demo</name>
<url>http://maven.apache.org</url>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<compilerVersion>1.8</compilerVersion>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
</plugins>
</build>
<dependencies>
<dependency>
<groupId>com.sparkjava</groupId>
<artifactId>spark-core</artifactId>
<version>2.3</version>
</dependency>
<dependency>
<groupId>com.sparkjava</groupId>
<artifactId>spark-template-freemarker</artifactId>
<version>2.3</version>
</dependency>
<dependency>
<groupId>org.elasticsearch</groupId>
<artifactId>elasticsearch</artifactId>
<version>2.1.1</version>
</dependency>
</dependencies>
</project>
清单 4 中的依赖项获取 Spark 框架核心、Spark Freemarker 模板支持和 Elasticsearch。另请注意,我将 <source>
版本设置为 Java 8,Spark 需要该版本(因为它大量使用了 lambda)。
我不知道您的情况,但我不久前构建了许多 RESTful 应用程序,所以为了改变以下步调,您将为应用程序提供一个更加传统的 “提交和加载 (submit-and-load)” UI。
在 Eclipse 中,在导航器中右键单击项目,选择 Configure > Convert to Maven Project,以便 Eclipse 可以解析 Maven 依赖项。转到项目,右键单击该项目,然后选择 Maven > Update Project。
Java 客户端配置
Elasticsearch 的 Java 客户端非常强大;它可以建立一个嵌入式实例并在必要时运行管理任务。但我在这里将重点介绍如何运行针对您已运行的节点的应用程序任务。
运行一个 Java 应用程序和 Elasticsearch 时,有两种操作模式可供使用。该应用程序可在 Elasticsearch 集群中扮演更加主动或更加被动的角色。在更加主动的情况下(称为 Node Client),应用程序实例将从集群接收请求,确定哪个节点应处理该请求,就像正常节点所做的一样。(应用程序甚至可以托管索引和处理请求。)另一种模式称为 Transport Client,它将所有请求都转发到另一个 Elasticsearch 节点,由后者来确定最终目标。
获取 Transport Client
对于演示应用程序,(通过 App.java 中执行的初始化)选择 Transport Client,并保持 Elasticsearch 执行最低级别的处理:
Client client = TransportClient.builder().build()
.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("localhost"), 9300));
如果连接到一个 Elasticsearch 集群,构建器可以接受多个地址。(在本例中,您只有一个 localhost 节点。)连接到端口 9300,而不是像之前在 REST API 的 cURL 中一样连接到 9200。Java 客户端将会使用这个特殊端口,使用端口 9200 不起作用。(其他 Elasticsearch 客户端,Python 客户端就是其中之一,将会 使用 9200 来访问 REST API。)
在服务器启动时创建该客户端,并在整个请求处理过程中使用它。Spark 通过 Mustache 模板引擎的 Java 实现来呈现该页面,而且 Spark 定义了请求端点 — 但我不会太多地解释这些简单的用例。(请参见 参考资料,获取 Spark 的详细信息的链接。)
该应用程序的索引页面显示了 Java 客户端的功能:
UI:
- 呈现现有歌曲的列表
- 提供一个添加歌曲的按钮
- 实现按艺术家和歌词进行搜索
- 返回突出显示了匹配内容的结果
搜索和处理结果
在清单 5 中,根 URL /
被映射到 index.mustache 页面。
清单 5. 基本搜索
Spark.get("/", (request, response) -> {
SearchResponse searchResponse =
client.prepareSearch("music").setTypes("lyrics").execute().actionGet();
SearchHit[] hits = searchResponse.getHits().getHits(); Map<String, Object> attributes = new HashMap<>();
attributes.put("songs", hits); return new ModelAndView(attributes, "index.mustache");
}, new MustacheTemplateEngine());
清单 5 中的有趣部分始于:
SearchResponse searchResponse = client.prepareSearch("music").setTypes("lyrics").execute().actionGet();
这一行显示了搜索 API 的简单用法。使用 prepareSearch
方法指定一个索引(在本例中为 music
),然后执行查询。查询基本上显示为 “Give me all of the records in the music
index.”。另外,将文档类型设置为 lyrics
,但在这个简单用例中没有必要这么做,因为索引仅包含一种文档类型。在更大的应用程序,需要执行这种设置。这个 API 调用类似于您之前看到的 curl -XGET "http://localhost:9200/music/lyrics/_search"
调用。
SearchResponse
对象包含有趣的功能(例如命中数量和评分),但就目前而言,您只想要一个结果数组,可使用 searchResponse.getHits().getHits();
获得它。
最后,将结果数组添加到视图上下文中,并让 Mustache 呈现它。Mustache 模板如下所示:
清单 6. index.mustache
<html>
<body>
<form name="" action="/search">
<input type="text" name="artist" placeholder="Artist"></input>
<input type="text" name="query" placeholder="lyric"></input>
<button type="submit">Search</button>
</form>
<button onclick="window.location='/add'">Add</button>
<ul>
{{#songs}}
<li>{{id}} - {{getSource.name}} - {{getSource.year}}
{{#getHighlightFields}} -
{{#lyrics.getFragments}}
{{#.}}{{{.}}}{{/.}}
{{/lyrics.getFragments}}
{{/getHighlightFields}}
</li>
{{/songs}}
</ul> </body>
</html>
突出显示高级查询和匹配内容
要支持突出显示更高级的查询和匹配内容,可以使用 /search
,如下所示:
清单 7. 搜索和突出显示
Spark.get("/search", (request, response) -> {
SearchRequestBuilder srb = client.prepareSearch("music").setTypes("lyrics"); String lyricParam = request.queryParams("query");
QueryBuilder lyricQuery = null;
if (lyricParam != null && lyricParam.trim().length() > 0){
lyricQuery = QueryBuilders.matchQuery("lyrics", lyricParam);
}
String artistParam = request.queryParams("artist");
QueryBuilder artistQuery = null;
if (artistParam != null && artistParam.trim().length() > 0){
artistQuery = QueryBuilders.matchQuery("artist", artistParam);
} if (lyricQuery != null && artistQuery == null){
srb.setQuery(lyricQuery).addHighlightedField("lyrics", 0, 0);
} else if (lyricQuery == null && artistQuery != null){
srb.setQuery(artistQuery);
} else if (lyricQuery != null && artistQuery != null){
srb.setQuery(QueryBuilders.andQuery(artistQuery,
lyricQuery)).addHighlightedField("lyrics", 0, 0);
} SearchResponse searchResponse = srb.execute().actionGet(); SearchHit[] hits = searchResponse.getHits().getHits(); Map<String, Object> attributes = new HashMap<>();
attributes.put("songs", hits); return new ModelAndView(attributes, "index.mustache");
}, new MustacheTemplateEngine());
在清单 7 中,要注意的第一个有趣的 API 用法是 QueryBuilders.matchQuery("lyrics", lyricParam);
。这是您设置对 lyrics
字段的查询的地方。另外要注意的是 QueryBuilders.andQuery(artistQuery, lyricQuery)
,它是将查询的 artist
和 lyrics
部分合并到 AND 查询中的一种方法。
.addHighlightedField("lyrics", 0, 0);
调用告诉 Elasticsearch 生成 lyrics
字段上的搜索命中突出显示结果。第二和第三个参数分别指定无线大小的分段和无限数量的分段。
在呈现搜索结果时,将突出显示结果放入 HTML 中。使用 Elasticsearch 就能生成有效的 HTML,使用 <em>
标记来突出显示匹配字符串所在的位置。
插入文档
让我们来看看如何以编程方式将文档插入索引中。清单 8 给出了添加过程。
清单 8. 插入索引中
Spark.post("/save", (request, response) -> {
StringBuilder json = new StringBuilder("{");
json.append("\"name\":\""+request.raw().getParameter("name")+"\",");
json.append("\"artist\":\""+request.raw().getParameter("artist")+"\",");
json.append("\"year\":"+request.raw().getParameter("year")+",");
json.append("\"album\":\""+request.raw().getParameter("album")+"\",");
json.append("\"lyrics\":\""+request.raw().getParameter("lyrics")+"\"}"); IndexRequest indexRequest = new IndexRequest("music", "lyrics",
UUID.randomUUID().toString());
indexRequest.source(json.toString());
IndexResponse esResponse = client.index(indexRequest).actionGet(); Map<String, Object> attributes = new HashMap<>();
return new ModelAndView(attributes, "index.mustache");
}, new MustacheTemplateEngine());
使用 StringBuilder
直接生成一个 JSON 字符串来创建它。在生产应用程序中,可使用 Boon 或 Jackson 等库。
执行 Elasticsearch 工作的部分是:
IndexRequest indexRequest = new IndexRequest("music", "lyrics", UUID.randomUUID().toString());
在本例中,使用了 UUID 来生成 ID。
Elasticsearch 基础使用的更多相关文章
- ELK(elasticsearch+kibana+logstash)搜索引擎(二): elasticsearch基础教程
1.elasticsearch的结构 首先elasticsearch目前的结构为 /index/type/id id对应的就是存储的文档ID,elasticsearch一般将数据以JSON格式存储. ...
- Elasticsearch 基础入门
原文地址:Elasticsearch 基础入门 博客地址:http://www.extlight.com 一.什么是 ElasticSearch ElasticSearch是一个基于 Lucene 的 ...
- ElasticSearch 基础 1
ElasticSearch 基础=============================== 索引创建 ========================== 1. RESTFUL APIAPI 基本 ...
- Elasticsearch基础但非常有用的功能之二:模板
文章转载自: https://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ==&mid=2247484584&idx=1&sn=accfb65 ...
- 最完整的Elasticsearch 基础教程
翻译:潘飞(tinylambda@gmail.com) 基础概念 Elasticsearch有几个核心概念.从一开始理解这些概念会对整个学习过程有莫大的帮助. 接近实时(NRT) Ela ...
- ELK 之一:ElasticSearch 基础和集群搭建
一:需求及基础: 场景: 1.开发人员不能登录线上服务器查看详细日志 2.各个系统都有日志,日志数据分散难以查找 3.日志数据量大,查询速度慢,或者数据不够实时 4.一个调用会涉及到多个系统,难以在这 ...
- Elasticsearch基础教程
Reference: http://blog.csdn.net/cnweike/article/details/33736429 基础概念 Elasticsearch有几个核心概念.从一开始理解这些概 ...
- elasticsearch基础概念
接近实时(NRT) Elasticsearch是一个接近实时的搜索平台.这意味着,从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒). 集群(clu ...
- Elasticsearch基础知识分享
1. Elasticsearch背景介绍 Elasticsearch 是一个基于 Lucene 的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful web 接口.Elast ...
- Elasticsearch基础教程分享
基础及相关资料 首先我们先了解一下什么是Elastisearch,Elasticsearch(简称es)是一个基于Lucene库的搜索引擎.它提供了一个分布式.支持多租户的全文搜索引擎,具有HTTP ...
随机推荐
- Java I/O 笔记
1. Java常用I/O类概述 2. 文件I/O 你可以根据该文件是二进制文件还是文本文件来选择使用FileInputStream(FileOutputStream)或者FileReader(File ...
- 手动破解的 Linux下的Maltab 2014b
人人网上一个很不错的东东,转发全文如下: 好久没有写日志了,今天更新一篇. 承蒙 @刘慎修(263525031 )修哥分享的各种激励,发布一发我自创的黑科技. Maltab 2014b 发布了,但是只 ...
- 【转】Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
原文链接:http://dblab.xmu.edu.cn/blog/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单, ...
- 跨平台的EVENT事件 windows linux
#ifndef _HIK_EVENT_H_ #define _HIK_EVENT_H_ #ifdef _MSC_VER #include <Windows.h> #define hik_e ...
- BigDecimal 使用 静态方法总结
转自:http://myrecord.top/?post=18 -------------千位加, public static String getQs(String old){ boolean re ...
- Oracle sql例子
create database oracle1 )) select * from class ,'一班') ,'二班') ,'三班') --创建学生表 ),cid int ,constraint FK ...
- 【linux高级程序设计】(第十一章)System V进程间通信 3
信号量通信机制 可以看到,跟消息队列类似,也是包括两个结构. int semget (key_t __key, int __nsems, int __semflg) : 创建信号量集合 第一个参数:f ...
- MVC中路由器程序
MVC中路由器程序编写方式如下例子 把地址:/home/add?id=1 改写成:/home/add/1 把地址:/home/edit?id=1&sid=2 改写成:/home/edit/1_ ...
- Knockout 双向绑定的理解
今天做了个需求就是上传图片,然后在代码中通过jQuery给一个标签赋值,经过前台的debug,发现这个值赋值成功了,但是提交到后台的请求里就没了,然后经历了一顿度娘,结果中发现了问题. 既然knock ...
- CSS浮动属性,知道原理就很简单,灵活控制块级元素在一行内显示
在页面布局中,有两个非常常用的CSS属性.它们巧妙的控制着块级元素们之间的位置,灵活的让块级元素在一行内显示或者另起一行.说到这里,相信大家已经猜出来了,这两个属性就是控制块级元素浮动的属性.整个页面 ...