0x00 概述 目前使用的ES版本为6.3.x,经过长时间的积累,ES内数据越来越多,需要删除指定日志之前的日志. 例如只要求保留60天的日志,那么就要删除60天之前的所有索引和日志. 0x01 ES删除XX天之前的索引和数据 #!/bin/sh # ES版本为6.3.x function delIndex() { #此处输入要删除的索引名字,例如要删除filebeat-xxx索引的日志,此处要输入‘filebeat-’ index_name=$1 # 此处输入要数据保留的天数,例如要保留最近6

环境: ubuntu16.04 安装: elasticsearch 5.22 1. 第一步,安装java apt-get install default-jre apt-get install default-jdk 2.第二步,安装elasticsearch.   5.22wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.2.debdpkg -i elasticsearch-5.2.2.deb

sqler 在10前发布了,2.2 添加了定时任务以及触发器(webhook),都是比较方便的功能, 同时我也修改了dockerfile, 做了构建,添加了功能支持,同时push 到了dockerhub 仓库 使用 docker-compose 文件 集成了一个测试webhook benthos   version: "3" services:  sqler:    image: dalongrong/sqler:2.2    volumes:    - "./config/

一.问题源起 数据情况 TableMeta, 保存table的元数据,通过fileId关联具体的GridFS文件: id name creator fileId 1 table1 mango f1 2 table2 mango f2 table内包含列名和具体的行数据: 不同类型的table,列的名字和数量都可能不同: from fport to toport location 192.168.1.1 11 192.168.1.12 11 chaoyang 192.168.1.2 22 192.

es支持下列简单的字段类型: String: string Whole number: byte, short, integer, long Floating point: float, double Boolean: boolean Date: date

1.问题 源自星球同学的提问:es如何与hive或mysql结合使用?es不支持事务有什么好的弥补方案吗? 2.事务的核心概念 如果一个数据库声称支持事务的操作,那么该数据库必须要具备以下ACID四个特性: 原子性(Atomicity) 原子性是指事务包含的所有操作要么全部成功,要么全部失败回滚, 一致性(Consistency) 一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态,也就是说一个事务执行之前和执行之后都必须处于一致性状态. 隔离性(Isolation) 隔离性是当多

Elasticsearch 是最近两年异军突起的一个兼有搜索引擎和NoSQL数据库功能的开源系统,基于Java/Lucene构建.Elasticsearch 看名字就能大概了解下它是一个弹性的搜索引擎.首先弹性隐含的意思是分布式,单机系统是没法弹起来的,然后加上灵活的伸缩机制,就是这里的 Elastic 包含的意思.它的搜索存储功能主要是 Lucene 提供的,Lucene 相当于其存储引擎,它在之上封装了索引,查询,以及分布式相关的接口. Elasticsearch 中的几个概念集群(Clus

本文探讨Elasticsearch的数据请求.路由和写入过程的原理,主要涉及ES的分布式存储架构.节点和副本的写入过程.近实时搜索的原因.持久化机制等. 4.1 ES存储架构 我们经常说,看一件事情千万不要直接陷入细节里,应该先鸟瞰全貌,这样才有助于从高维度理解问题.分析ES的索引原理和写入过程也是一样,首先需要了解ES的存储架构. 4.1.1 集群.节点.分片 ES天生就是分布式架构的.ES的底层是Lucene,而Lucene只是一个搜索引擎库,没有并发设计 ,没有分布式相关的设计,因此要想使

在ElasticSearch中,存入文档的内容类似于传统数据每个字段一样,都会有一个指定的属性,为了能够把日期字段处理成日期,把数字字段处理成数字,把字符串字段处理成字符串值,Elasticsearch需要知道每个字段里面都包含了什么类型.这些类型和字段的信息存储(包含)在映射(mapping)中. 核心简单字段类型 Elasticsearch支持以下简单字段类型: String:string(弃用), text, keyword(ElasticSearch 5.0开始支持,先以string介绍

Elasticsearch 的坑爹事 本文记录一次Elasticsearch mapping field修改过程 团队使用Elasticsearch做日志的分类检索分析服务,使用了类似如下的_mapping { "settings" : { "number_of_shards" : 20 }, "mappings" : { "client" : { "properties" : { "ip&quo

mysql 5.1以上支持定时任务. SHOW VARIABLES LIKE 'event_scheduler';   检查是否已开启该功能 开启计划任务功能: SET GLOBAL event_scheduler = 1;或SET GLOBAL event_scheduler = ON; 或者 my.ini or my.cnf 中的[mysqld]添加 event_scheduler=ON 先来看一下它的语法: CREATE EVENT [IF NOT EXISTS] event_name 

在正式学习 ElasticSearch 之前,首先看一下 ElasticSearch 中的基本概念. 这些概念将在以后的章节中出现多次,所以花15分钟理解一下是非常值得的. 英文好的同学,请直接移步官网:(http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/_basic_concepts.html) near realtime(nrt) : ElasticSearch 是一款“接近实时(nrt)”的搜索平台,

通过rest api添加检索数据,阅读官方文档可以发现,elasticsearch支持动态映射,但是其中有不少问题,且听慢慢详解. 本文主要讲述三点内容: 1 Elasticsearch常用的rest api 2 Elasticsearch使用bulk命令添加索引数据 ES REST API elasticsearch支持通过http请求响应服务,因此通过curl命令,可以发送http请求,并得到json返回内容. 常用的rest请求包括: 检查ES集群状态: curl localhost:92

Elasticsearch最常用的方法莫过于查询了.Es支持以URI请求参数或者请求体的方式进行查询. 查询范例 Elasticsearch支持对多索引以及多类型进行查询. 比如,下面对某个特定索引的所有类型执行查询,查询user为kimchy的所有类型的文档: $ curl -XGET 'http://localhost:9200/twitter/_search?q=user:kimchy' 也可以指定某个特定的类型: $ curl -XGET 'http://localhost:9200/t

Elasticsearch支持最直方图聚合,它在数字字段自动创建桶,并会扫描全部文档,把文档放入相应的桶中.这个数字字段既可以是文档中的某个字段,也可以通过脚本创建得出的. 桶的筛选规则 举个例子,有一个price字段,这个字段描述了商品的价格,现在想每隔5就创建一个桶,统计每隔区间都有多少个文档(商品). 如果有一个商品的价格为32,那么它会被放入30的桶中,计算的公式如下: rem = value % interval if (rem < 0) { rem += interval } buc

Elasticsearch支持很多查询方式,其中一种就是DSL,它是把请求写在JSON里面,然后进行相关的查询. 举个DSL例子 GET _search { "query": { "bool": { "must": [ { "match": { "title": "Search" }}, { "match": { "content": "

1.ElasticSearch是什么 ElasticSearch 是一个基于Lucene构建的开源.分布式,RESTful搜索引擎.它的服务是为具有数据库和Web前端的应用程序提供附加的组件(即可搜索的存储库).ElasticSearch为应用程序提供搜索算法和相关的基础架构,用户只需要将应用程序中的数据上载到ElasticSearch数据存储中,就可以通过RESTful URL与其交互.ElasticSearch的架构明显不同于它之前的其他搜索引擎架构,因为它是通过水平伸缩的方式来构建的.不同

elasticsearch支持两种协议: http协议. Native Elasticsearch binary protocol(本地elasticsearch二进制协议):elasticsearch自主研发的节点间通信的协议. 还可以通过使用插件来扩展支持的协议.有一些官方的插件. java之外的语言不推荐使用第二种方式,因为第二种方式需要很多自定义序列化. 支持的客户端 Transport Transport是连接到Elasticsearch的本地方法之一.它是官方Elasticsearc

Elasticsearch支持两种类型的查询:基本查询和复合查询. 基本查询,如词条查询用于查询实际数据. 复合查询,如布尔查询,可以合并多个查询, 然而,这不是全部.除了这两种类型的查询,你还可以用过滤查询,根据一定的条件缩小查询结果.不像其他查询,筛选查询不会影响得分,而且通常非常高效. 更加复杂的情况,查询可以包含其他查询.此外,一些查询可以包含过滤器,而其他查询可同时包含查询和过滤器.这并不是全部,但暂时先解释这些工作. 1.简单查询 这种查询方式很简单,但比较局限. 查询last_na

Elasticsearch支持很多查询方式,其中一种就是DSL,它是把请求写在JSON里面,然后进行相关的查询. Query DSL 与 Filter DSL DSL查询语言中存在两种:查询DSL(query DSL)和过滤DSL(filter DSL). 它们两个的区别如下图: query DSL 在查询上下文中,查询会回答这个问题--"这个文档匹不匹配这个查询,它的相关度高么?" 如何验证匹配很好理解,如何计算相关度呢?ES中索引的数据都会存储一个_score分值,分值越高就代表越

Elasticsearch教程 摘要: 参考资料Elasticsearch中文参考文档思维导图阅读全文 posted @ 2015-08-05 11:49 xingoo 阅读(18) | 评论 (0) 编辑   Elasticsearch使用REST API实现全文检索 摘要: 通过rest api添加检索数据,阅读官方文档可以发现,elasticsearch支持动态映射,但是其中有不少问题,且听慢慢详解.本文主要讲述三点内容:1 Elasticsearch常用的rest api2 Elasti