1. 基本原理: 通过hadoop fs -ls *命令获取相关文件或目录的修改时间,然后与设定的过期时间进行比较,之后执行删除操作即可 2. 相关代码: #!/bin/bash source ~/.bashrc # HADOOP所在的bin目录 HADOOP_BIN_PATH=/home/hadoop/hadoop--cdh5.0.0/bin #待检测的HDFS目录 data1_file=/user/gas/data1data2_file=/user/gas/data2 #将待检测的目录(可以

MySQL定时任务event,储存过程(定时删除指定时间前90天指定表的数据) 分类: MySql5.x2014-06-23 15:16 1266人阅读 评论(0) 收藏 举报 mysql数据库 <span style="font-family: 'Microsoft YaHei'; font-size: 14px;">MySQL定时任务event</span> 由于一些业务需求,我们可能需要定时清除数据库一些废弃的数据,可以使用mysql的存储过程和事件来完成

mysql定时删除当前时间前分钟的数据 2013-01-31      0个评论       作者:上官车月 收藏    我要投稿 mysql定时删除当前时间前分钟的数据   Sql代码  www.2cto.com   SET GLOBAL event_scheduler = ON;   delimiter $$   drop event if exists e_wom_stat;   create event e_wom_stat   on schedule    EVERY 1 day  

描述: 之前我已经完成了使用ElasticSearch.kibana.filebeat.三个工具完成分布式集群收集 分布在各个ip地址上的微服务日志,这样就可以统一的在一个服务器上查看了所有的微服务产生的日志了,避免了一个个通过工具远程linux服务器去查看日志,极大提高了日志查看分析的效率了.当时目前我只是完成收集和查看所有日志,那么时间一长我们就会遇到问题,日志一直发到elastic服务器上,日志越来越多,我就需要一个定时删除过期的日志数据的办法. 功能需求: 需要定时删除elasticSe

比如我有个用SQLite Studio创建的Sqlite3类型数据库,里面有个表名为StatisticsData的表结构是 : -- 表:StatisticsData CREATE TABLE "StatisticsData" ( "Id" TEXT NOT NULL, "MachineName" NVARCHAR, "SessionId" INTEGER, "ProcessId" INTEGER, &qu

命令:  find . -mtime +N -type f -name "*.log.*" -exec rm -f {} \; 简单解释: find .查询  ; -mtime 规定时间的一个参数,固定格式; +N :  N是指N天前; -type f :类型文件; -name: 名称; "*.log.*" :要删除的文件的后缀名称,如果是删除全部,可以写"*"; -exec rm -f {} \ :固定格式,递归删除前面条件约束下的文件; 举例

点击进入:Linux shell crontab expdp 定时任务逻辑备份 定时删除旧文件 首先建一个备份数据库用批处理文件,内容如下: rem expdp sz set sz_file=SZ_%date:~0,4%%date:~5,2%%date:~8,2%.dmp set sz_logfile=SZ_%date:~0,4%%date:~5,2%%date:~8,2%.log expdp user/pwd schemas=user_schema directory=dump_dir DUM

不需要保留那么多,按公司要求只需要保留一个星期的即可. 1.那么有什么方法自动删除7天以前备份的*.log文件呢? 2.服务器过多,不可能一一手动创建,有没有自动完成这个创建计划任务的批处理呢? 首先要解决的是自动删除7天以前备份的log文件,然后创建一个可以自动创建一个每 周指定日期指定时间运行一次该自动删除的批处理 一:删除7天以前备份的文件 命令 FORFILES [/P pathname] [/M searchmask] [/S]         [/C command] [/D [+

说明 主要用在索引名为 xxxx-yyyy.MM.dd 这种,可以自定义修改下边的脚本 删除索引shell 创建 delete_es_indices_over_10_day.sh #!/bin/bash ################################### #删除早于十天的ES集群的索引 ################################### function delete_indices() { comp_date=`date -d "10 day ago&q

删除目录/P 表示目录/S 表示递归向下查询子目录/D 表示date -460 意思是460天以前 或者 -2018/11/9 表示这个日期以前的/C 开始执行命令 内部还有一个cmd @ISDIR==TRUE 表示判断是不是目录RD 表示删除目录(文件夹)/s 表示可以删除非空的文件夹 /q 安静模式,不需要停下来回应是否因该删除 示例: E:\data\bpt\log\ABC>FORFILES /P E:\data\bpt\log /S /D -460 /C "cmd /c if @I

有时数据没有实时备份恢复那么高的安全性需求,但每天 ,或者定期备份表结构 和数据依旧是很有必要的,介绍一种方法 在归档和非归档模式均可使用的自动备份方法. 预期效果是备份用户下的数据含表结构,备份文件在dmp文件下,每天晚上1点备份, 为了防止占用物理磁盘过大,自动删除两周前的旧数据,建议养成定时做备份数据有效性 检查(用导出的文件,导入空库测试). log文件夹下存放日志 1 .制作 备份bat @echo off echo 正在备份pyc_ORACLE 数据库 ,请稍等……exp useri

由于测试环境有张日志表没定时2分钟程序就狂插数据,导致不到1一个月时间,这张日志表就占用了6.7G的空间,但是日志刷新较快,有些日志就没什么作用,就写了个定时器,定期删除这张表的数据 首先先查看mysql是否开启定时任务开关 # SHOW VARIABLES LIKE 'event_scheduler'; --------------------- Value为ON则已打开,OFF则关闭 如果是OFF,就先打开: # SET GLOBAL event_scheduler = ON; 然后创建我们

删除三天前的数据的sql DELETE FROM table WHERE created_on < DATE_SUB(CURDATE(),INTERVAL 3 DAY); CURDATE() 返回当前日期 CURNOW() 返回当前datetime INTERVAL 是mysql间隔值,用法为INTERVAL expr unit.INTERVAL 3 DAY表示三天的间隔 DATE_SUB(start_date,INTERVAL expr unit); 写一个存储过程 存储过程相当于mysql的

点击进入:Window bat expdp 定时任务逻辑备份 定时删除N天前的旧文件 创建sh脚本 [oracle@localhost ~]$ vi logicbackup.sh 添加脚本内容 #!/bin/sh # ################################################################## # Powered by Ironfo # ####################################################

-----sqlserver 数据异地备份 默认删除 七天前的数据 -----该代码可配置成SQLServer作业里做调度,或者配置成任务计划进行执行 ----挂载异地盘符 exec master..xp_cmdshell 'net use w: "\\172.16.30.34\D$" "726" "/user:172.16.30.34\administrator"', no_output /*--说明: w: 是映射网络路径对应本机的盘符,与下

oracle定时备份数据库,以及删除7天前备份的数据. 1.创建存放备份目录: mkdir /home/oracle/data_backup mkdir /home/oracle/log_backup 2.编辑脚本oracle_backup.sh,内容如下: #!/bin/sh export ORACLE_BASE=/home/oracleexport ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1export ORACLE_SID=orclexport

一 简介:本文介绍创建自动删除数据的TTL索引 二 目的 定时删除数据三 创建方法   db.collection.createIndex(keys, options)   options:   expireAfterSeconds 指定多少秒或者包含日期值的数组 创建示例   db.eventlog.createIndex( { "lastModifiedDate": 1 }, { expireAfterSeconds: 3600 },{backgroup: true}) 四 何时失

#coding:utf-8import MySQLdb #方法1直接在Navicat中添加计划任务#DELETE FROM message2 where SEND_TIME < UNIX_TIMESTAMP(DATE_SUB(CURDATE(),INTERVAL 90 day)) #方法2conn= MySQLdb.connect( host='xxx.xxx.xxx.xxx', port = 3306, user='root', passwd='xxxx', db ='xxx', ) cur

有的时候我们在使用ES时,由于资源有限或业务需求,我们只想保存最近一段时间的数据,所以有如下脚本可以定时删除数据 delete_es_by_day.sh #!/bin/sh # example: index_name=$ daycolumn=$ savedays=$ format_day=$ if [ ! -n "$savedays" ]; then echo "the args is not right,please input again...." exit f

使用db2的时候,有时候需要对表数据进行删除,防止数据太多,造成数据库空间满了 以下是一个定时删除表tmp,tm1中id为1的数据的脚本 #!/bin/sh ##---------------------------------------------------------- ##--功能说明:定时删除数据 ##--开发公司:XXX ##--作者:qys ##--时间:2019-01-02 ##--输入参数:无 ##--版本维护 ## 版本: 更新日期: 更改人: 更改说明: ## -----

此为在网络上找来的,觉得很好! 实现目的: 对Mongodb数据库日志按天保存,并且只保留最近7天的日志记录. 具体操作: 使用Mongodb数据库自带的命令来切割日志 ps -def | grep mongod kill -SIGUSR1 <mongod process id> 1.创建Mongodb数据库日志切割脚本 vi /home/crontab/cut_mongodb_log.sh #编辑 #!/bin/sh datafile=/home/data/mongodb/mongodb_d