es根据删除3个月前的数据

2024-10-05

ELK学习笔记之Elasticsearch删除指定日期的数据（脚本+定时任务）

0x00 概述目前使用的ES版本为6.3.x,经过长时间的积累,ES内数据越来越多,需要删除指定日志之前的日志. 例如只要求保留60天的日志,那么就要删除60天之前的所有索引和日志. 0x01 ES删除XX天之前的索引和数据 #!/bin/sh # ES版本为6.3.x function delIndex() { #此处输入要删除的索引名字,例如要删除filebeat-xxx索引的日志,此处要输入‘filebeat-’ index_name=$1 # 此处输入要数据保留的天数,例如要保留最近6

mysql定时删除6个月前的表

查看定时是否开启: 查看event是否开启 : SHOW VARIABLES LIKE '%event_sche%'; 将事件计划开启 : ; 将事件计划关闭 : ; 代码: BEGIN -- 保存表名 DECLARE v_tableName varchar() DEFAULT ; -- 时间 -- DECLARE v_datetime DATETIME; -- DECLARE v_datetime TIMESTAMP; -- 遍历结束标记 DECLARE done INT DEFAULT FA

[转]Java中一周前一个月前时间计算方法

Java中一周前一个月前时间计算方法在java语言中,用如下方法获取系统时间: Date date = new Date(); String year=new SimpleDateFormat("yyyy").format(date); String month=new SimpleDateFormat("MM").format(date); String day=new SimpleDateFormat("dd").format(date);

删除elasticsearch 30天前的所有索引

我的索引格式为 xxx-xxx-xxx-2019.06.27 xxx-xxxx-2019.06.27 脚本思路: 获取目前 es上所有索引,以日期进行拆分,然后用索引时间对比一个月前的日期,日期小于一个月的直接删除 #!/bin/bash # Remove the index of one month old in elasticserch CMD_ECHO='echo' SCRIPT_NAME=`` LOG_PRINT="eval $CMD_ECHO \"[$SCRIPT_NAME]

es定期删除数据

es定期删除数据 1.定期删除索引使用sentinl报警后,会产生大量如下索引,虽然不占空间,但时间久了也不好,故写个脚本定期删除脚本如下: 1 #!/bin/bash 2 #只保留5天内的日志索引 3 LAST_DATA=`date -d "-5 days" "+%Y.%m.%d"` 4 #删除上个月份所有的索引 5 curl -XDELETE 'http://10.139.xx.xx:9200/*-'${LAST_DATA}'' 再在设置一个定时策略即可 1

linux命令行删除N天前的数据的命令

命令: find . -mtime +N -type f -name "*.log.*" -exec rm -f {} \; 简单解释: find .查询 ; -mtime 规定时间的一个参数,固定格式; +N : N是指N天前; -type f :类型文件; -name: 名称; "*.log.*" :要删除的文件的后缀名称,如果是删除全部,可以写"*"; -exec rm -f {} \ :固定格式,递归删除前面条件约束下的文件; 举例

JavaScript时间处理之几个月前或几个月后的指定日期

在平常项目开发过程中,经常会遇到需要在JavaScript中处理时间的情况,无非两种(1,逻辑处理 2,格式转换处理).当然要说相关技术博,园子里闭着眼睛都能抓一把,但是我要做的是:既然有幸被我碰到了,就要尽可能的分析转化为自己最适合自己的东西,成为自己知识库的一部分:同时希望能帮助有需要的同学解决遇到的相关小问题. 时间逻辑处理此类型常用需求为:推算几个月后(前)的今天的日期. /** *获取几个月前的输入日期 *{param:DateTime} date 输入日期(YYYY-MM-D

iOS 刚刚，几分钟前，几小时前，几天前，几月前，几年前

- (NSString *)compareCurrentTime:(NSDate*) compareDate { NSTimeInterval timeInterval = [compareDate timeIntervalSinceNow]; timeInterval = -timeInterval; ; NSString *result; ) { result = @"刚刚"; } ) <){ result = [NSString stringWithFormat:@&quo

javascript 关于一周前一个月前的处理方法

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title></title> <sc

Java 求n天前的时间或者n月前的时间

时间格式化 public static String DEFAULT_FORMATDATE = "yyyy-MM-dd"; 1.n天前的日期 /** * luyanlong * 默认查询前几天的数据 */ public void formatTimeDay(int duringTime){ Calendar calendar=Calendar.getInstance(); String start=StringUtils.EMPTY; String end=StringUtils.EM

java 获取日期的几天前，几个月前和几年前

java 获取日期的几天前,几个月前和几年前. package bys.utils; import java.util.Date; /** * Created by toutou on 2015/3/23. */ public class DateHelper { public static final long ONE_MINUTE = 60000L; public static final long ONE_HOUR = 3600000L; public static final long

Oracle获取一周前，一个月前，一年前, 本周，本月，当年的日期

1.获取当前时间一周前的日期 ' day from dual 类似的 --当前时间减去7分钟的时间 ' MINUTE from dual --当前时间减去7小时的时间 ' hour from dual --当前时间减去7天的时间 ' day from dual --当前时间减去7月的时间 ' month from dual --当前时间减去7年的时间 ' year from dual --时间间隔乘以一个数字 ' hour from dual 2.获取当前时间一个月前的日期 ) from dua

SQLite的时间差判断--删除N天前的数据的两种写法

比如我有个用SQLite Studio创建的Sqlite3类型数据库,里面有个表名为StatisticsData的表结构是 : -- 表:StatisticsData CREATE TABLE "StatisticsData" ( "Id" TEXT NOT NULL, "MachineName" NVARCHAR, "SessionId" INTEGER, "ProcessId" INTEGER, &qu

python 获取几小时之前,几分钟前，几天前，几个月前，及几年前的具体时间

引入以下两个包: import datetime import arrow 具体代码 # import datetime # import arrow def getTime(self, flag,dayhourminute): ''' 获取几小时之前,几分钟前,几天前,几个月前,及几年前的具体时间 flag, 1:天:2:小时:3:分钟:4:月,5:年 :param flag: 1:天:2:小时:3:分钟:4:月,5:年 :param dayhourminute: 整数值 :return: 具

Calendar计算一个月前的日期,踩坑记录

错误示范:calendar.set(Calendar.MONTH, calendar.get(Calendar.MONTH) - 1);//获取一个月前的今天这种写法假设传入的日期为2019-03-31,得到的结果是2019-03-03,2月31号-->推到了3月3号正确写法: calendar.add(Calendar.MONTH, -1); 传入的日期为2019-03-31,得到的结果是2019-02-28,推荐使用

php获取一个月前的时间戳，获取三个月前的时间戳，获取一年前的时间戳

strtotime 非常强大的一个获取时间戳的函数 php获取一个月前的时间戳: strtotime("-0 year -1 month -0 day"); php获取三个月前的时间戳: strtotime("-0 year -3 month -0 day"); php获取六个月前的时间戳: strtotime("-0 year -6 month -0 day"); php获取一年前的时间戳: strtotime("-1 year -0

js根据当前日期求一个月前半年前一年前的日期

function p(s) { return s < 10 ? '0' + s: s;}getlastmonth() function getlastmonth() { var myDate = new Date(); var currentYear=myDate.getFullYear(); var currentMonth=myDate.getMonth()+1; var lastMonth=myDate.getMonth(); var cur

ElasticSearch 定时批量删除N天前的数据

描述: 之前我已经完成了使用ElasticSearch.kibana.filebeat.三个工具完成分布式集群收集分布在各个ip地址上的微服务日志,这样就可以统一的在一个服务器上查看了所有的微服务产生的日志了,避免了一个个通过工具远程linux服务器去查看日志,极大提高了日志查看分析的效率了.当时目前我只是完成收集和查看所有日志,那么时间一长我们就会遇到问题,日志一直发到elastic服务器上,日志越来越多,我就需要一个定时删除过期的日志数据的办法. 功能需求: 需要定时删除elasticSe

OAF_开发系列03_实现OAF如何在保存前判断数据是否存在变更（案例）

2014-06-26 Created By BaoXinjian

两种方法实现asp.net方案的前后端数据交互（aspx文件、html+ashx+ajax）

一个HTML页面只能显示HTML代码信息,不能与数据库进行数据的交互.asp.net方案提供了网页与数据库交互的方法,这里举出两种:①aspx文件 ②ashx文件+ajax技术一.创建数据库这里以SQL Server数据库为例,打开SSMS,创建一个数据库,注意数据库的保存路径,后面要将数据库复制到Visual Studio的工程项目中. 打开Visual Studio,创建一个基于.NET Framework的空项目(不创建.NET Core项目). 在右侧的Solution Explor

orcl 如何快速删除表中百万或千万数据

orcl 数据库表中数据达到上千万时,已经变的特别慢了,所以时不时需要清掉一部分数据. bqh8表中目前有10000000条数据,需要保留19条数据,其余全部清除掉. 以下为个人方法: 1.首先把需要保留的数据备份到temp1临时表中. create table temp1 as select * from bqh8 where id<20;select * from temp1; 2.然后再用truncate删除整个表的数据. truncate table bqh8;select * from

es根据删除3个月前的数据

热门专题