一.概述 使用elasticsearch收集日志进行处理,时间久了,很老的数据就没用了或者用途不是很大,这个时候就要对过期数据进行清理.这里介绍两种方式清理这种过期的数据. 1.curator 关于版本: 安装: https://www.elastic.co/guide/en/elasticsearch/client/curator/current/installation.html 我使用的是ubuntu系统,所以参考的是https://www.elastic.co/guide/en/elas

es定期删除数据 1.定期删除索引 使用sentinl报警后,会产生大量如下索引,虽然不占空间,但时间久了也不好,故写个脚本定期删除 脚本如下: 1 #!/bin/bash 2 #只保留5天内的日志索引 3 LAST_DATA=`date -d "-5 days" "+%Y.%m.%d"` 4 #删除上个月份所有的索引 5 curl -XDELETE 'http://10.139.xx.xx:9200/*-'${LAST_DATA}'' 再在设置一个定时策略即可 1

//实现:每天自动备份数据库,定期删除备份 //步骤:[开始]--[所有程序]--[Microsoft SQL Server 2005]--[SQL Server Management Studio]输入用户名密码登陆,如图(20110703-sql10) 20110703-sql10 [管理]--[维护计划]--右键[新建维护计划]--输入“计划名”(标志性,随便输入),如图(20110703-sql11) 20110703-sql11 拖入维护计划中的任务工具箱 的“备份数据库任务”到维护计

<Windows Azure Platform 系列文章目录> 本文介绍的是国内由世纪互联运维的Azure China. 本文是对笔者之前的文档Azure Backup (1) 将SQL Server 2012虚拟机中数据库备份到Azure Storage进行的补充. 希望笔者先阅读Azure Automation (1) 入门,对Azure Automation有基本的概念认识. 需求: 在之前的文档中Azure Backup (1) 将SQL Server 2012虚拟机中数据库备份到Az

在Windows上PHP默认的Session服务端文件存放在C:\WINDOWS\Temp下,如果说并发访问很大或者 session建立太多,目录下就会存在大量类似sess_xxxxxx的session文件,同一个目录下文件数过多会导致性能下降,并且可能导致受到 攻击最终出现文件系统错误.针对这样的情况,PHP本身体提供了比较好的解决办法. 打开 php.ini ,查找Session设置部分中以下一项: session.save_path = “N;/path” session.save_pat

tomcat日志切割和定期删除 在tomcat的软件环境中,如果我们任由日志文件无限增长,总有一天会将磁盘占满的(废话).特别是在日志文件增长速度很快的一些情况下,按日志切割日志文件并删除,就是一件很有必要的工作了,以下介绍了切割日志文件的方法. 第1章 系统环境 1.1 操作系统环境 [root@server1 ~]# cat /etc/redhat-release CentOS release 6.5 (Final) [root@server1 ~]# uname -r 2.6.32-431

tomcat日志切割和定期删除 在tomcat的软件环境中,如果我们任由日志文件无限增长,总有一天会将磁盘占满的(废话).特别是在日志文件增长速度很快的一些情况下,按日志切割日志文件并删除,就是一件很有必要的工作了,以下介绍了切割日志文件的方法. 第1章 系统环境 1.1 操作系统环境 1 2 3 4 5 6 [root@server1 ~]# cat /etc/redhat-release CentOS release 6.5 (Final) [root@server1 ~]# uname -

  前序: 由于公司业务需求,对于3个月前的过期数据需要进行删除动作,以释放空间和方便维护 本来想的是使用crontab写个脚本定时执行,但是看到Mongo本身就有自动删除过期数据的功能,所以还是用一下吧 这个方法就是使用TTL索引,后续我再写一个脚本定时删除的任务 介绍: TTL索引是MongoDB中一种特殊的索引, 可以支持文档在一定时间之后自动过期删除,目前TTL索引只能在单字段上建立, 并且字段类型必须是date类型或者包含有date类型的数组(如果数组中包含多个date类型字段,则取最

Elasticsearch的删除也是很灵活的,下次我再介绍,DeleteByQuery的方式.今天就先介绍一个根据ID删除.上代码. package com.sojson.core.elasticsearch.manager; import org.elasticsearch.action.delete.DeleteResponse; import com.sojson.common.model.SOBanggKey;import com.sojson.core.elasticsearch.ut

服务器中由于监控的需要会经常生成很多日志文件,比如IIS日志文件(C:\inetpub\logs\LogFiles),一个稍微有流量的网站,其日志每天可以达到上百兆,这些文件日积月累会严重的占用服务器磁盘空间.有必要对他们进行定期删除.dos批处理程序如下: :: 清理IIS日志文件 :: 备份MySql数据库 @echo off title 清理IIS日志文件 :: IIS日志文件目录 set log_dir="C:\inetpub\logs\LogFiles" :: 保留日志天数

tomcat的下的日志catalina.out 和 qc.log疯狂增长,以下是解决办法 我生产环境tomcat版本 Server version: Apache Tomcat/7.0.35 Server number:  7.0.35.0 OS Name:        Linux OS Version:     2.6.18-194.el5 Architecture:   amd64 JVM Version:    1.7.0_13-b20 一.catalina.out 1.修改日志输出级别

定期删除日志: 然后建立清除日志文件的shell脚本,文件名为clean_log只保留最近三天的日志     #! /bin/bashlogdir=/var/log/httpdcd ${logdir}declare -i filesum=`ls access_log.* | wc -l`declare -i delnum=$filesum-3if [ "${delnum}" -ge 1 ];thenrm -rf `ls -tr access_log.* | head -${delnum

下面是自定义的一个函数,参数分别为:文件夹名称.文件后缀.保存天数 逻辑是获取当前系统的时间,和文件创建时间去作差,如果结果大于保存天数,就删除它 /// <summary> /// 定期清除文件 /// </summary> /// <param name="fileDirect">文件夹</param> /// <param name="postFix">文件后缀</param> /// &

#!/bin/bashfind /data/elasticsearch/data/pro-kz-log/nodes/0/indices/ -type d -mtime +7 | awk -F"/" '{print $9}' | grep -v kibana | uniq > /home/wwwad/.sh/esindex.txtcat /home/wwwad/.sh/esindex.txt | while read linedoecho ${line}curl -XDELETE

脚本/scripts/delete-elk.log #!/bin/bash DATE=`date -d "1 days ago" +%Y.%m.%d` ip=`ifconfig ens33 | grep "\binet\b"|awk '{print $2}'` curl -s -XGET "http://$ip:9200/_cat/indices?v"| grep $DATE | awk -F '[ ]+' '{print $3}' >/t

1. #删除指定索引    # curl -XDELETE -u elastic:changeme http://localhost:9200/acc-apply-2018.08.09    {"acknowledged":true}    2.#删除多个指定索引,中间用逗号隔开    # curl -XDELETE -u elastic:changeme http://localhost:9200/acc-apply-2018.08.09,acc-apply-2018.08.10  

MySQL5.1.x版本中引入了一项新特性EVENT,定期执行某些事物,这可以帮助我们实现定期执行某个小功能,不在依赖代码去实现. 我现在有一张表,这张表中的数据有个特点,每天都会有大量数据插入,但是昨天的数据已经不存在一点价值.现在需要在mysql中创建 一个定时器,每天删除昨天之前的数据. 首选查看mysql事件开启情况 SHOW VARIABLES LIKE 'event_scheduler'; 默认情况下是关闭的,需要我们去打 SET GLOBAL event_scheduler = O

1.根据传入的参数,文件所在目录,匹配文件的正则表达式,过期天数进行删除,这些可写在配置文件del_file.conf. del_file3.py #!/usr/bin/env python # encoding: GBK import os import re import sys import time import datetime import logging import shutil #reload(sys) #sys.setdefaultencoding('utf-8') logg

需求: 1.日志表需要按天分区 2.只保留一个月数据 方案: 1.创建两个事件,一个事件生成未来需要的分区,另一个事件定期检查过期数据(移除分区) 2.创建事件每小时执行一次,删除事件每天执行一次 3.事件开始时需要先创建一个当前所需分区 全量方法: 1.先构造存储过程 create_partition_today :将表转化为分区表,并将历史数据归集到该分区,未来数据则按天放置: #alter table to partition table DELIMITER $$ USE `dc_log`

通过curl发送DELETE命令给elasticsearch服务器,进行日志删除操作.命令示例如下: curl -XDELETE *' curl -XDELETE 'http://192.168.10.181:9200/*-2018.10*' 我的index格式形如: 以上命令中, 第一个是删除所有包含字符串——“-2018.10.24” 的index(可以理解为删除10月24日当天的日志) 第二个是删除所有包含字符串——“-2018.10” 的index(可以理解为删除10月一整月的日志) 也

rpa 都是5.xx  ueba 分为2.0 或者5.0 上海吴工删除数据的方法 在许多项目中,用户提供的数据存储盘大小有限,在运行一段时间后,大小不够就需要删除历史的 Elasticsearch 数据.我们的 UEBA7.0 版本开始使用了 Elasticsearch5.x 版本,之前版本使用了 Elasticsearch2.X 版本,这 2 个版本在使用 delete_by_query 这个插件上是有区别的. ueba7.0 方法 如下 我自己用的ueba.7.0 安装以下方法 1 2 在g