0x00 概述 目前使用的ES版本为6.3.x,经过长时间的积累,ES内数据越来越多,需要删除指定日志之前的日志. 例如只要求保留60天的日志,那么就要删除60天之前的所有索引和日志. 0x01 ES删除XX天之前的索引和数据 #!/bin/sh # ES版本为6.3.x function delIndex() { #此处输入要删除的索引名字,例如要删除filebeat-xxx索引的日志,此处要输入‘filebeat-’ index_name=$1 # 此处输入要数据保留的天数,例如要保留最近6

MySQL定时任务event,储存过程(定时删除指定时间前90天指定表的数据) 分类: MySql5.x2014-06-23 15:16 1266人阅读 评论(0) 收藏 举报 mysql数据库 <span style="font-family: 'Microsoft YaHei'; font-size: 14px;">MySQL定时任务event</span> 由于一些业务需求,我们可能需要定时清除数据库一些废弃的数据,可以使用mysql的存储过程和事件来完成

通过DELETE删除数据后相当于放入回收站,一般情况下可以找回:通过UPDATE更新数据后数据库也会保留数据快照.闪回就是恢复指定时间的数据快照以达到恢复数据的目的.根据步骤一查询出数据快照,恢复数据自行决定(之前的数据都有了,咋恢复还不会吗?) 一.查询指定时间的数据快照--1.查询执行过SQL语句,确定快照的时间SELECT R.FIRST_LOAD_TIME,R.SQL_TEXT,R.* FROM V$SQLAREA R WHERE R.SQL_TEXT LIKE '%ABOUT YOUR

1.查询指定时间区间的工作日 这个主要难点是法定节假日,国家的法定节假日每年都不一样,还涉及到调休,所以我们设计一个假日表.主要字段有年份,类型(是否调休),假期日期.如下: CREATE TABLE [dbo].[Holidays]( [ID] [int] IDENTITY(1,1) NOT NULL, [Holiday] [datetime2](7) NULL,--假期日期 [YearS] [char](4) NULL,--年份 [daytype] [int] NULL--类型 ) 添加好当

Elasticseach目前作为查询搜索平台,的确非常实用方便.我们今天在这里要讨论的是如何做数据备份和type删除.我的ES的版本是2.4.1. ES的备份,可不像MySQL的mysqldump这么方便,需要一个插件进行数据的导出和导入进行备份和恢复操作.这里要说的插件是elasticdump. elasticdump的安装: [root@localhost ~]# yum install elasticdump 已加载插件:fastestmirror, product-id, subscri

今天磁盘满了,想删掉一些老的日志文件.开始想写个python脚本,转念一想,可能shell脚本好点.结果发现,根本不用写脚本,一个find指令就可以解决问题了. 先上指令 -exec rm {} \; 解析: find 后面紧跟的是要查找的目录,. 表示当前目录 -type f:指定查找对象为文件 -name *.log:指定查找对象名称以.log结尾 -mtime +180: 查找180天以前的老文件 -exec rm {} \;  :执行删除命令,这句长得很奇怪,后面有个 {} \; 是必须

时间判定标准:文件创建时间 实例:删除 D:\backup 目录下(包括子文件夹),7天前 “.bak”后缀名的文件及30天前后缀名为 “*.log” 的文件 批处理: @echo off echo 删除n天前的备分文件和日志 forfiles /p /c /s "cmd /c del @path" forfiles /p /c /s "cmd /c del @path" echo 正在执行删除,请稍等…… pause echo 任务完成! 说明:/p 指定的路径/

import os import time import sys from xml.dom import minidom, Node from xml.dom.minidom import parse,parseString from stat import * import xml.etree.ElementTree as ET #删除1day前的日志 def DelLog(filepath): if not os.path.isdir(filepath) and not os.path.is

cat delbak.sh 1 #!/bin/sh 2 location="/root/sqlbak/" 3 find $location -mtime +30 -type f |xargs rm -f ps:location 是设置查找的目录--mtime +30 是设置时间为30天前-type f 这周查找的类型为文件 然后加入crontab定时来删除crontab -l10 4 1 * * /bin/sh /root/soft_shell/delbak.sh 设定为每个月1号晚上

为监管需求,需要保留时间非常长的数据库备份.存储代价太大.所以存在了,临时抱佛脚,伪造备份.. 以下脚本功能,在于根据一个备份,复制出一段时间的备份.并且更改备份的文件时间戳.可以用shell轻松写出.Python也方便.在此记录一下,方便有人需要. 由于此次为IO密集型操作.所以并发执行也并无明显加速效果,也就单进程执行.代码实在累赘,别介意. # -*- coding: utf-8 -*- # project: NewPCFirst# date: 2019/6/6# phone: 47598

〇.前言 因为elastiflow的数据量还是挺大的,接入了两台交换机的flow数据量已经开始有点大了.所以得写个脚本专门来清理索引 一.如何使用elastic的API 1.手动查询所有索引 在ELK 中加入了x-pack的 $ curl -XGET -u elastic:admins-1 'http://127.0.0.1:9200/_cat/indices?v' 没有加入x-pack的 $ curl -XGET 'http://127.0.0.1:9200/_cat/indices?v' 2

user_event :用户事件表 create_time :表中存储时间的字段 #获取当月数据 SELECT * FROM user_event WHERE DATE_FORMAT(create_time,'%Y-%m') = DATE_FORMAT(NOW(),'%Y-%m') #获取3月份数据 SELECT * FROM user_event WHERE DATE_FORMAT(create_time,'%Y-%m') = DATE_FORMAT('2016-03-01','%Y-%m')

示例1:给定起始日期和结束日期,如何得到中间的时间序列 import datetime def dateRange(beginDate, endDate): dates = [] dt = datetime.datetime.strptime(beginDate, "%Y%m%d%H") date = beginDate[:] while date <= endDate: dates.append(date) dt = dt + datetime.timedelta(hours=

find /root/demo -mmin +10 -type f -name '*.png' -exec rm -rf {} \; find 相关:http://man.linuxde.net/find

/*从数组中删除指定定数据var somearray = ["mon", "tue", "wed", "thur"]somearray.removeByValue("tue");//somearray will now have "mon", "wed", "thur"*/Array.prototype.removeByValue = functi

#region 在O(1)时间删除指定链表结点 /// <summary> /// 给定单向链表的头指针和一个结点指针,定义一个函数在O(1)时间删除该结点. /// </summary> /// <typeparam name="T"></typeparam> class MyList<T> where T:IComparable { private T _data; private MyList<T> _nex

uses   Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,   Dialogs, StdCtrls,DateUtils; ... //获取文件的创建时间 function GetFileCreationTime(const FileName: String): TDateTime; var   FileTime: TFileTime;   LocalFileTime: TFileTime;  

//$dir-文件地址,$files-存储返回数组,$type-查找文件类型组 public function read_dir($dir,&$files,$type) { if(!is_dir($dir)) { echo "no dir"; return false; } $handle = opendir($dir); if ($handle) { while ( ($f1 = readdir($handle)) !== false ) { $temp = $dir.DIR

有时我们需要批量删除一些hbase中符合某些条件的数据,本文提供一种简单的shell命令的方式批量删除hbase里的数据.思路就是,建立hive与hbase的关联表,通过hive sql查询出符合条件的数据rowkey导出到本地文件,然后通过hbase shell批量删除.示例如下: 1 创建hbase 表 #创建表名为"test:user_blacklist",列簇名为"user"的hbase表 #hbase 表 create 'test:user_blackli

在做项目的时候遇到过一个问题,用户需要获取当前月或者几个月的数据,但是有一个要求,如果已经存在一张单已经包含了这几个月的数据,那么就不能再提取到重复的数据. 其实这个问题,我做完了我的方式之后才发现,有两种方式. 第一种:在获取到的数据上添加标识位,如果有单据已经占用了该数据,就在提取的时候根据标识排除,这种方法要考虑到表的设计,业务的连续.(此种不举例) 第二种:根据时间来进行判断,判断的逻辑较为复杂,主要是考虑到再次想建立的时间区间不能包含或大于已存在的单(其中有一个逻辑,如果新建的单的开始