#/bin/bash #指定日期(3个月前) DATA=`date -d "3 month ago" +%Y.%m.%d` #当前日期 time=`date` #删除3个月前的日志 curl -XDELETE http://127.0.0.1:9200/*-${DATA} if [ $? -eq 0 ];then echo $time"-->del $DATA log success.." >> /data/elk/logs/es-index-cl…

原因: Kibana中关联ES索引需要手动操作,如果ES中索引较多(如每天生成),则工作量会比较大. 方法: 考虑使用Linux的cron定时器自动关联ES索引,原理是调用Kibana API接口自动关联ES索引(示例中ES索引按天生成) 需要了解的技术背景: 1.简单的shell脚本 2.Kibana手动关联过ES索引 3.Linux下的cron 流程: 1.创建脚本    a) 索引名称:demo-年-月-日(如demo-2019-01-01)    b) 脚本名称:today_index.…

设置定时自动清理归档日志脚本 root用户下 [root@localhost ~]# mkdir /nstg [root@localhost ~]# cd /nstg/ [root@localhost nstg]# mkdir bin log tmp [root@localhost nstg]# chown -R oracle:oinstall /nstg [root@localhost nstg]# su - oracle [oracle@localhost ~]$ cd /nstg/bin…

只保留三天 #!/usr/bin/env python3 # -*- coding:utf-8 -*- import os import datetime # 时间转化为字符串 now_time = datetime.datetime.now().strptime(datetime.datetime.now().strftime("%Y.%m.%d"),"%Y.%m.%d") os.system("curl -XGET http://127.0.0.1:9…

elasticsearch随着保存的数据越来越多,磁盘占用越来越大,有必要进行定期自动清理. 直接上脚本 cat es-index-clear.sh #/bin/bash #查看索引信息 #curl -XGET 'http://172.16.80.28:9200/_cat/indices/?v' #elasticsearch数据存放路径默认为/var/lib/elasticsearch/nodes//indices/ #指定日期(7天前) DATA=`date -d "1 week ago&qu…

hive在运行过程中,我们经常会发现 hdfs /tmp/hive/hive or hdfs 目录占用空间巨大,我这里已经清理过了所以,相对较小.但是初次使用hive的用户,一定会发现 随着时间的推移,/tmp/hive 目录一定会变的越来越庞大,这主要是hive在运行过程中会生产大量的中间会话在/tmp目录下,如果hive正常运行结束,临时会话会被自动清理掉, 但是如果中间出现hive中断,或者异常退出,这些中间会话就会一直保存在hdfs上,久而久之,越来越多,造成大量无用的积压文件.必须手动…

在做性能测试的时候,linux服务器时常会产生大量数据,如日志信息,图片信息,文件信息等,压测一段时间后,导致服务器磁盘空间暂满而崩溃,每天手动清理比较麻烦, 利用shell脚本自动清理,脚本如下 1.删除文件命令: find 对应目录 -mtime +天数 -name "文件名" -exec rm -rf {} \; 实例命令: find /home/weblogic/rc-server-tomcat-8081/logs -mtime +30 -name "*.txt&qu…

Elasticsearch之重要核心概念如下: 1.cluster 代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的.es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任何一个节点的通信和与整个es集群通信是等价的. 主节点的职责是负责管理集群状态,包括管理分片的状态和副本的状态,以及节点的发现和删除. 注意:主节点不负责对数据的增删改查请求进行处理,只负责维…

系统环境:windows server 2012 r2 IIS 版本:IIS8 操作实现清理IIS log File 脚本如下: @echo off ::自动清理IIS Log file set log_path=C:\inetpub\logs\LogFiles ::清理所有log 日志 for /f "delims=" %%i in ('dir /b /a-d /s %log_path%\"*.Log"') do ( del /S /F /Q %%i ) paus…

使用crontab定时每天自动清理系统内存 00 00 * * * /root/Cached.sh [root@localhost ~]# cat Cachec.sh #! /bin/bash# cache释放:# To free pagecache:syncsync#echo 1 > /proc/sys/vm/drop_caches# To free dentries and inodes:#echo 2 > /proc/sys/vm/drop_caches# To free pagecac…