ELK-全文检索技术-kibana操作elasticsearch
前言:建议kibana语法一定要学好!
1 软件安装
1.1 ES的安装
第一步：解压压缩包，放到一个没有中文没有空格的位置
第二步：修改配置文件
1、 jvm.options 第22和23行
-Xms128m
-Xmx128m
2、 elasticsearch.yml 第33行和37行
path.data: D:\class96\elasticsearch-6.2.4\data
#
# Path to log files:
#
path.logs: D:\class96\elasticsearch-6.2.4\logs
第三步：直接双击批处理文件
效果如下：
两个端口号
9200 http协议的端口号
9300 tcp协议的端口号
使用http访问
1.2 安装操作ES的客户端软件Kibana
需要说明的是：
1、Kibana软件的版本一定要和ES的版本保持一致
2、Kibana需要依赖nodejs的环境
第一步：安装nodejs
双击安装
验证安装效果
Dos窗口中输入 node –v
第二步：安装kibana，解压
第三步：构建kibana和ES的关联关系
第21行
elasticsearch.url: http://localhost:9200
第四步：启动kibana
双击启动
1.3 安装IK分词器
第一步：解压
第二步：把改完名为ik的文件夹直接拷贝到es软件的plugins文件夹下
第三步：重启ES软件
第四步：在kibana中测试
IK分词器提供了两种分词效果
Ik_max_word
Ik_smart
2 了解几个概念
|
mysql数据库 |
ES |
|
Database |
Indices index的复数 |
|
Table |
Type 一般一个索引库中只有一个type |
|
数据 |
Document |
|
约束 列存储什么数据类型之类的 |
Mapping 规定字段什么数据类型、什么分词器 |
|
Column |
Field |
3 Kibana的操作
1.4 操作索引库index
创建索引库 heima代表一个索引库的名称
put heima
get heima
delete heima
1.5 操作映射和类型
比如：创建一个商品类型goods 有一下字段 goodsName price image
1、创建类型并且制定每个字段的属性（数据类型、是否存储、是否索引、哪种分词器）
put heima/_mapping/goods
{
"properties":{
"goodsName":{
"type":"text",
"analyzer":"ik_max_word",
"index":true,
"store":true
},
"price":{
"type":"double",
"index":true,
"store":true
},
"image":{
"type":"keyword",
"index":false,
"store":true
}
}
}
2、查看映射
get heima/_mapping[/goods]
3、 一起创建索引库和映射+类型
put heima2
{
"mappings": {
"goods": {
"properties": {
"goodsName": {
"type": "text",
"store": true,
"analyzer": "ik_max_word"
},
"image": {
"type": "keyword",
"index": false,
"store": true
},
"price": {
"type": "double",
"store": true
}
}
}
}
}
1.6 操作document
1.6.1 不指定id的新增
post heima/goods
{
"goodsName":"小米6X手机",
"price":1199,
"image":"http://image.im.com/123.jpg"
}
效果：
根据id查询文档
get heima/goods/MaZWNmwBTaoWGIHgAuHg
1.6.2 指定id的新增
1.6.3 修改
put heima/goods/2
{
"goodsName":"小米6X手机",
"price":1199,
"image":"http://image.im.com/123.jpg"
}
使用put和post是一样的效果 根据id修改，如果没有id就是新增
1.6.4 删除
DELETE heima/goods/MaZWNmwBTaoWGIHgAuHg
DELETE heima/goods/1
1.6.5 自定义模板（了解）
put heima3
{
"mappings": {
"goods": {
"properties": {
"goodsName": {
"type": "text",
"store": true,
"analyzer": "ik_max_word"
},
"image": {
"type": "keyword",
"index": false,
"store": true
},
"price": {
"type": "double",
"store": true
}
},
"dynamic_templates":[
{
"myString":{
"match_mapping_type":"string",
"mapping":{
"type":"keyword"
}
}
}
]
}
}
}
新增数据
get heima3/_mapping
{
"goodsName":"小米6X手机",
"price":1199,
"image":"http://image.im.com/123.jpg",
"brand":"小米"
}
查看brand的映射
2 查询（重点）
2.1 MatchAll
get heima/_search
{
"query":{
"match_all": {}
}
}
2.1 Term
get heima/_search
{
"query":{
"term": {
"goodsName":"小米"
}
}
}
2.2 分词match
get heima/_search
{
"query":{
"match": {
"goodsName": "小米手机"
}
}
}
2.3 Range范围查询
get heima/_search
{
"query":{
"range": {
"price": {
"gte": 100,
"lte": 1000
}
}
}
}
2.4 Fuzzy容错
get heima/_search
{
"query":{
"fuzzy": {
"goodsName": {
"value": "大米",
"fuzziness": 1
}
}
}
}
2.5 Bool组合查询
get heima/_search
{
"query":{
"bool":
{
"must": {"match":{"goodsName":"手机"}},
"must_not": {"range":{"price": {
"gte": 100,
"lte": 1000
}
}
}
}
}
}
3 过滤（重点）
3.1
、显示字段的过滤
get heima/_search
{
"_source":{
"excludes":["goodsName"] //排除
不显示goodsName
"includes":["goodsName"] //只显示goodsName
},
"query":{
"match_all": {}
}
}
}
3.2
、查询结果的过滤
get heima/_search
{
"query":{
"bool": {
"must":
{"term":{"goodsName":"手机"}},
"filter": {
"range": {
"price": {
"gte": 2000,
"lte": 5000
}
}
}
}
}
}
}
4
分页 和mysql分页一致的(重点)
get heima/_search
{
"query":{
"match_all": {}
},
"from":0, 起始位置 和mysql一样 （当前页-1）*size
"size":2
}
}
5
排序(重点)
get heima/_search
{
"query":{
"match_all": {}
},
"from":0,
"size":10,
"sort":{
"price":"desc"
}
}
}
6
高亮(重点)
get heima/_search
{
"query":{
"term": {
"goodsName": "小米"
}
},
"highlight":{
"pre_tags": "<font style='color:red'>",
"post_tags": "</font>",
"fields": {
"goodsName": {}
}
}
}
}
7
聚合（了解）
Min max count avg sum group by
桶： 就是group by 根据什么分组
度量：聚合函数的结果
3.3
创建测试数据
1、测试数据：
PUT /car
{
"mappings": {
"orders": {
"properties": {
"color": {
"type": "keyword"
},
"make": {
"type": "keyword"
}
}
}
}
}
POST /car/orders/_bulk
{ "index": {}}
{ "price" : 10000,
"color" : "红", "make" : "本田", "sold" : "2014-10-28" }
{ "index": {}}
{ "price" : 20000,
"color" : "红", "make" : "本田", "sold" : "2014-11-05" }
{ "index": {}}
{ "price" : 30000,
"color" : "绿", "make" : "福特", "sold" : "2014-05-18" }
{ "index": {}}
{ "price" : 15000,
"color" : "蓝", "make" : "丰田", "sold" : "2014-07-02" }
{ "index": {}}
{ "price" : 12000,
"color" : "绿", "make" : "丰田", "sold" : "2014-08-19" }
{ "index": {}}
{ "price" : 20000,
"color" : "红", "make" : "本田", "sold" : "2014-11-05" }
{ "index": {}}
{ "price" : 80000,
"color" : "红", "make" : "宝马", "sold" : "2014-01-01" }
{ "index": {}}
{ "price" : 25000,
"color" : "蓝", "make" : "福特", "sold" : "2014-02-12" }
Term的聚合：根据color分组
3.4
演示聚合
get /car/orders/_search
{
"size":0,
"aggs":{
"populor_color":{
"terms": {
"field": "color",
"size": 10
}
}
}
}
3.5
聚合中计算平均值
get /car/orders/_search
{
"size":0,
"aggs":{
"populor_color":{
"terms": {
"field": "color",
"size": 10
},
"aggs": {
"avg_price": {
"avg": {
"field": "price"
}
}
}
}
}
}
8
使用java操作ES
Java代码操作ES有三种方式
1、ES原生api
2、ES rest风格api
3、SpringDataElasticSearch框架操作ES
https://www.elastic.co/guide/en/elasticsearch/client/index.html
第一步：创建maven项目
导入两个依赖
<dependencies>
<dependency>
<groupId>org.elasticsearch.client</groupId>
<artifactId>transport</artifactId>
<version>6.2.4</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>1.2.35</version>
</dependency>
</dependencies>
第二步：在代码中准备client
public class EsManager {
private TransportClient
client = null;
@Before
public
void init() throws Exception{
client
= new PreBuiltTransportClient(Settings.EMPTY)
.addTransportAddress(new TransportAddress(InetAddress.getByName("127.0.0.1"), 9300));
}
@After
public
void end(){
client.close();
}
}
第三步：各种查询
@Test
public void queryTest()
throws Exception{
//
QueryBuilder queryBuilder = QueryBuilders.matchAllQuery();
// QueryBuilder queryBuilder =
QueryBuilders.matchQuery("goodsName","小米手机");
// QueryBuilder queryBuilder =
QueryBuilders.termQuery("goodsName","小米");
// FuzzyQueryBuilder queryBuilder
= QueryBuilders.fuzzyQuery("goodsName", "大米");
//
queryBuilder.fuzziness(Fuzziness.ONE);
// QueryBuilder queryBuilder =
QueryBuilders.rangeQuery("price").gte(1000).lte(2000);
BoolQueryBuilder
queryBuilder = QueryBuilders.boolQuery();
queryBuilder.must(QueryBuilders.rangeQuery("price").gte(1000).lte(8000));
queryBuilder.mustNot(QueryBuilders.termQuery("goodsName",
"华为"));
SearchResponse searchResponse = client.prepareSearch("heima").setQuery(queryBuilder).get();
SearchHits searchHits =
searchResponse.getHits();
long totalHits
= searchHits.getTotalHits();
System.out.println("总记录数："+totalHits);
SearchHit[] hits =
searchHits.getHits();
for (SearchHit
hit : hits) {
String sourceAsString =
hit.getSourceAsString();
Goods goods =
JSON.parseObject(sourceAsString, Goods.class);
System.out.println(goods);
}
}
ELK-全文检索技术-kibana操作elasticsearch的更多相关文章
- 使用kibana操作elasticsearch实现增删改查
本篇博客,本人写的是方法,大家将对应的字段放入对应的位置就可以了 注:elasticsearch中,索引相当于MySQL中的数据库,类型相当于数据库中的表,即索引名就为数据库库名,类型就为表名 1.创 ...
- Linux下,非Docker启动Elasticsearch 6.3.0,安装ik分词器插件,以及使用Kibana测试Elasticsearch,
Linux下,非Docker启动Elasticsearch 6.3.0 查看java版本,需要1.8版本 java -version yum -y install java 创建用户,因为elasti ...
- elk快速入门-在kibana中如何使用devtools操作elasticsearch
在kibana中如何使用devtools操作elasticsearch:前言: 首先需要安装elasticsearch,kibana ,下载地址 https://www.elastic.co/cn/d ...
- Es图形化软件使用之ElasticSearch-head、Kibana，Elasticsearch之-倒排索引操作、映射管理、文档增删改查
今日内容概要 ElasticSearch之-ElasticSearch-head ElasticSearch之-安装Kibana Elasticsearch之-倒排索引 Elasticsearch之- ...
- windows系统中 利用kibana创建elasticsearch索引等操作
elasticsearch之借用kibana平台创建索引 1.安装好kibana平台 确保kibana以及elasticsearch正常运行 2.打开kibana平台在Dev Tools 3.创建一个 ...
- Kibana基础之直接操作ElasticSearch
1.入门级别操作 Elasticsearch采用Rest风格API,其API就是一次http请求,你可以用任何工具发起http请求 创建索引的请求格式: 请求方式:PUT 请求路径:/索引库名 请求参 ...
- net平台下c#操作ElasticSearch详解
net平台下c#操作ElasticSearch详解 ElasticSearch系列学习 ElasticSearch第一步-环境配置 ElasticSearch第二步-CRUD之Sense Elasti ...
- java操作elasticsearch实现基本的增删改查操作
一.在进行java操作elasticsearch之前,请确认好集群的名称及对应的ES节点ip和端口 1.查看ES的集群名称 #进入elasticsearch.yml配置文件/opt/elasticse ...
- ElasticSearch-.net平台下c#操作ElasticSearch详解
ElasticSearch系列学习 ElasticSearch第一步-环境配置 ElasticSearch第二步-CRUD之Sense ElasticSearch第三步-中文分词 ElasticSea ...
随机推荐
- 桥接模式下，主机能ping通虚拟机，虚拟机ping不通主机
好像是防火墙阻止了什么东西而导致的无法ping通! 1.打开WIN7防火墙 2.选择高级设置 3.入站规则 4.找到配置文件类型为“公用”的“文件和打印共享(回显请求 – ICMPv4-In)”规则, ...
- 套接字之recv系统调用
recv系统调用对sys_recvfrom进行了简单的封装,只是其中不包含地址信息,其只需要从建立连接的另一端接收信息: /* * Receive a datagram from a socket. ...
- Springboot2.x使用redis作为缓存
一.Springboot2.x关于配置redis作为缓存. 基本配置如下: (1)在application.properties文件中 spring.redis.database=2 //第几个数据库 ...
- spark 笔记 12: Executor，task最后的归宿
spark的Executor是执行task的容器.和java的executor概念类似. ===================start executor runs task============ ...
- pom文件中的dependencyManagement和dependencies的区别
dependencies 子项目中,自动继承父项目中的相关依赖 dependencyManagement 只是声明依赖,并不实现引入,因此子项目中需要显示的声明需要用的依赖.如果不在子项目中声明依赖, ...
- MySQL 建表时 date 类型的默认值设置
在执行下面 SQL 语句时发现报错 CREATE TABLE `jc_site_access_pages` ( `access_date` date NOT NULL DEFAULT '0000-00 ...
- java多线程系列3：悲观锁和乐观锁
1.悲观锁和乐观锁的基本概念 悲观锁: 总是认为当前想要获取的资源存在竞争(很悲观的想法),因此获取资源后会立刻加锁,于是其他线程想要获取该资源的时候就会一直阻塞直到能够获取到锁: 在传统的关系型数据 ...
- 关于Oracle报表
1.存储过程中的WHEN OTHERS THEN是什么意思. 异常分很多种类,如NO_FOUND.OTHERS处本应该写异常名称,如果不想把异常分得那么细,可以笼统一点用OTHERS来捕获,即所有异常 ...
- 【转】How-to: Enable User Authentication and Authorization in Apache HBase
With the default Apache HBase configuration, everyone is allowed to read from and write to all table ...
- 关系/对象映射 多对多关系(@ManyToMany 注释)【重新认识】
old: @ManyToMany 注释:表示此类是多对多关系的一边, mappedBy 属性定义了此类为双向关系的维护端, 注意:mappedBy 属性的值为此关系的另一端的属性名. 例如,在Stud ...