有的时候我们在使用ES时,由于资源有限或业务需求,我们只想保存最近一段时间的数据,所以有如下脚本可以定时删除数据 delete_es_by_day.sh #!/bin/sh # example: index_name=$ daycolumn=$ savedays=$ format_day=$ if [ ! -n "$savedays" ]; then echo "the args is not right,please input again...." exit f

前言 最近面试过程中遇到问Elasticsearch的问题不少,这次总结一下,然后顺便也了解一下Elasticsearch内部是一个什么样的结构,毕竟总不能就只了解个倒排索引吧.本文标题就是我遇到过的两个问题,所以此次基本上只是围绕着这两个问题来总结. ES写入数据 在介绍写入数据的过程时,先明确一下ES中的一些关键性的概念: Clouster:集群,由一到N个Elasticsearch服务节点组成. Node:节点,组成Elasticsearch集群的基本单元,单个集群内节点名称唯一.通常一个

使用hive访问elasticsearch的数据 1.配置 将elasticsearch-hadoop-2.1.1.jar拷贝到hive/lib hive -hiveconf hive.aux.jars.path=/usr/local/hive-1.2.1/lib/elasticsearch-hadoop-2.1.1.jar 或者配置: hive-site.xml <property> <name>hive.aux.jars.path</name> <value&

使用spark访问elasticsearch的数据,前提是spark能访问hive,hive能访问es http://blog.csdn.net/ggz631047367/article/details/50445832 1.配置 cp elasticsearch-hadoop-2.1.1/dist/elasticsearch-hadoop-2.1.1.jar /usr/local/spark-1.5.2/lib/ 2.修改配置文件/usr/local/spark/conf/hive-site.

一 更新整个文档 更新整个文档的方法和存放数据的方式是相同的,通过PUT 127.0.0.1/test/test/1  我们可以把test/test/1下的文档更新为新的文档 例: PUT 127.0.0.1:9200/test/test/1 参数 { "newdata":"yes" } 响应 { "_index": "test", "_type": "test", ", ,

Elasticseach目前作为查询搜索平台,的确非常实用方便.我们今天在这里要讨论的是如何做数据备份和type删除.我的ES的版本是2.4.1. ES的备份,可不像MySQL的mysqldump这么方便,需要一个插件进行数据的导出和导入进行备份和恢复操作.这里要说的插件是elasticdump. elasticdump的安装: [root@localhost ~]# yum install elasticdump 已加载插件:fastestmirror, product-id, subscri

Logstash作为一个数据处理管道,提供了丰富的插件,能够从不同数据源获取用户数据,进行处理后发送给各种各样的后台.这中间,最关键的就是要对数据的类型就行定义或映射. 本文讨论的 ELK 版本为 5.5.1. 为什么要定义数据 Elastisearch不仅是一个强大的全文检索引擎,它还能够对一些数据类型进行实时的统计运算,相关的结果可以通过Kibana的图表展现出来.如果数据类型没有正确的定义,那么Elasticsearch就无法进行运算了,因此,虽然数据类型的定义需要花一点时间,但你会收到意

Redis中数据清除可以分为两种方式 手动清除:指定要清除的key,通过delete命令即可清除 自动清除:使用Redis提供的数据过期策略 Redis数据过期策略      redis提供了非常灵活的数据自动清除策略,通过简单配置即可实现,以下是具体的策略: noeviction:达到内存限制时返回报错 allkeys-lru:对所有的key采用 (LRU) 算法移除. volatile-lru: 仅对设置过期时间的key采用(LRU)算法移除. allkeys-random: 对所有的key

1.整体分析 1.1.源代码先给出了,可以直接Copy. /** * 本应用数据清除管理器 */ public class DataCleanManager { /** * * 清除本应用内部缓存(/data/data/com.xxx.xxx/cache) * * * * @param context */ public static void cleanInternalCache(Context context) { deleteFilesByDirectory(context.getCach

ElasticSearch中有数据,Kibana查询不到数据 多数原因就是Linux的时区问题, 在linux输入date查看当前时间是否根本地相对应,不对应那么你就来对了, 解决方案一. 这个选择的时间根据自己Linux相差的日期进行选择 举例:比如我的和本地相差一天,我日志文件是今天上传到linux的logstash上面的,那么我选择this week或者更久即可. 解决方案二: 修改linux服务器时间和本地一致,重启系统即可 下面选择的是北京时间 [root@arebirth ~]# t

我主要是给出一些方向,很多地方没有详细说明.当时我学习的时候一直不知道怎么着手,花时间找入口点上比较多,你们可以直接顺着方向去找资源学习. 如果不是Spring Boot项目,那么根据Elasticsearch的版本选择对应版本的依赖即可. 例:Elasticsearch的版本为5.4.0,那么 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>transport<

章节 Elasticsearch 基本概念 Elasticsearch 安装 Elasticsearch 使用集群 Elasticsearch 健康检查 Elasticsearch 列出索引 Elasticsearch 创建索引 Elasticsearch 创建和查询文档 Elasticsearch 删除索引 Elasticsearch 修改数据 Elasticsearch 更新文档 Elasticsearch 删除文档 Elasticsearch 批处理 Elasticsearch 搜索数据

章节 Elasticsearch 基本概念 Elasticsearch 安装 Elasticsearch 使用集群 Elasticsearch 健康检查 Elasticsearch 列出索引 Elasticsearch 创建索引 Elasticsearch 创建和查询文档 Elasticsearch 删除索引 Elasticsearch 修改数据 Elasticsearch 更新文档 Elasticsearch 删除文档 Elasticsearch 批处理 Elasticsearch 搜索数据

Elasticsearch备份数据 1.建立备份目录 POST _snapshot/my_backup/ { "type": "fs", "settings": { "location": "/mount/backups/my_backup", "max_snapshot_bytes_per_sec" : "50mb", "max_restore_bytes

描述: 之前我已经完成了使用ElasticSearch.kibana.filebeat.三个工具完成分布式集群收集 分布在各个ip地址上的微服务日志,这样就可以统一的在一个服务器上查看了所有的微服务产生的日志了,避免了一个个通过工具远程linux服务器去查看日志,极大提高了日志查看分析的效率了.当时目前我只是完成收集和查看所有日志,那么时间一长我们就会遇到问题,日志一直发到elastic服务器上,日志越来越多,我就需要一个定时删除过期的日志数据的办法. 功能需求: 需要定时删除elasticSe

最近着手处理大批量数据的任务. 现状是这样的,一个数据采集程序承载大批量数据的存储和检索.后期可能需要对大批量数据进行统计. 数据分布情况 13个点定时生成采集结果到4个文件(小文件生成周期是5分钟) 名称 大小(b) gather_1_2014-02-27-14-50-0.txt 568497 gather_1_2014-02-27-14-50-1.txt 568665 gather_1_2014-02-27-14-50-2.txt 568172 gather_1_2014-02-27-14-

前言 最近 TL 分享了下 <Elasticsearch基础整理>https://www.jianshu.com/p/e8226138485d ,蹭着这个机会.写个小文巩固下,本文主要讲 ES -> Lucene 的底层结构,然后详细描述新数据写入 ES 和 Lucene 的流程和原理.这是基础理论知识,整理了一下,希望能对 Elasticsearch 感兴趣的同学有所帮助. 一.Elasticsearch & Lucene 是什么 什么是 Elasticsearch ? Ela

串口持续地接收不定长.不定时的数据,把每一帧数据缓存下来且灵活地利用内存空间,下面提供一种方式供参考.原理是利用串口空闲中断和DMA,每当对方发来一帧完整的数据后,串口接收开始空闲,触发中断,在中断处理中新建一个接收队列节点,把DMA缓存的数据copy到接收队列里.当需要的时候就从接收队列里提出数据.定期清理队列防止堆空间溢出. 话不多说,上代码. 定义数据结构: /*USART接收队列*/ typedef struct _USART_REC_Queue { u16 index; //序号 ch

Elasticsearch 写入流程及优化 一. 集群分片设置:ES一旦创建好索引后,就无法调整分片的设置,而在ES中,一个分片实际上对应一个lucene 索引,而lucene索引的读写会占用很多的系统资源,因此,分片数不能设置过大:所以,在创建索引时,合理配置分片数是非常重要的.一般来说,我们遵循一些原则:1. 控制每个分片占用的硬盘容量不超过ES的最大JVM的堆空间设置(一般设置不超过32G,参加上文的JVM设置原则),因此,如果索引的总容量在500G左右,那分片大小在16个左右即可:当然,

步骤 一.冷热分离集群配置 比如三个机器共六个node的es集群. 每个机器上各挂载一个ssd 和 一个sata.每个机器需要启动两个es进程.每个进程对应不同类型的磁盘. 关键配置: node.max_local_storage_nodes: 2   #允许每个机器启动两个es进程 path.data: /home/centos/es/elasticsearch-2.1.0/data/ssd   #需要显示指定es对应的数据目录 启动命令中需要指定node tag ./elasticsearc

最近在公司做统一日志收集处理平台,技术选型肯定要选择elasticsearch,因为可以快速检索系统日志,日志问题排查及功业务链调用可以被快速检索,公司各个应用的日志有些字段比如说content是不需要在es中作为存储的,当时考虑使用一种keyValue形式的数据库作存储,然后使用hbase的Rowkey作为es的docId,实现数据检索在es中,存储在hbase中,这样可以大大减轻es的存储压力. 什么是 Observer HBase 0.92 版本引入了协处理器(Coprocessor),可