#!/bin/sh ip='127.0.0.1' port=' day=`date -d "2 days ago" +%Y%m%d` #day=`date -d "5 hour ago" +%Y.%m.%d` echo "" echo "=================================================" echo `date +"%Y-%m-%d %H:%M.%S"` in…

索引这种格式 以下脚本加入crontab #每天清理es数据 0 1 * * * /data/sh/rm_esindex.sh >> /data/logs/crontab/rm_esindex.log #!/bin/sh ip='192.168.0.57' port='9200' day=`date -d "1 month ago" +%Y.%m.%d` echo "" echo `date` indexname=`curl -XGET -s $ip:$…

从去年搭建了日志系统后,就没有去管它了,最近发现大半年各种日志的index也蛮多的,就想着写个脚本定时清理一下,把一些太久的日志清理掉. 脚本思路:通过获取index的尾部时间与我们设定的过期时间进行对比,如果是属于过期时间那么就进行删除,并写入日志.如果不是则不进行处理. 完整的脚本:(今天准备写个,翻下笔记发现去年就已经写好了) #!/bin/bash ###################################################### # $Name: clean_…

sqlserver2008 如何定时清理索引碎片 查询索引引起的表垃圾碎片sql脚本:  SELECT object_name(a.object_id) [TableName] ,a.index_id ,name [IndexName] ,avg_fragmentation_in_percent From sys.dm_db_index_physical_stats ( DB_ID() , NULL , NULL, NULL, NULL ) As a JOIN sys.indexes AS b …

curl -XDELETE 'http://172.16.1.16:9200/logstash-2013.03.*' 清理掉了所有 3月份的索引文件,其中*是通配符 下面是主页上的详细介绍,其他部分可以自己看, http://www.elasticsearch.org/guide/reference/api/delete/ 参考地址:http://blog.51cto.com/storysky/1179906…

高效管理 Elasticsearch 中基于时间的索引 转自:http://stormluke.me/es-managing-time-based-indices-efficiently/ 用 Elasticsearch 来索引诸如日志事件等基于时间的数据的人可能已经习惯了“每日一索引”模式:使用以天为粒度的索引名字来存放当天的日志数据,一天过去后再建一个新索引.新索引的属性可以由索引模板来提前控制. 这种模式很容易理解并且易于实现,但是它粉饰了索引管理的一些复杂的地方: 为了达到较高的写入速度…

1:下载 ElasticSearch 镜像 docker pull docker.io/elasticsearch:5.6.8 2:创建 ElasticSearch 容器: 注意:5.0默认分配jvm空间大小为2g 5.0之前好像是1g docker run -di --name=my_es -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -p 9200:9200 -p 9300:9300 elasticsearch:5.6.8 启动成功后在浏览器地址栏输入:h…

linux是一个很能自动产生文件的系统,日志.邮件.备份等.虽然现在硬盘廉价,我们可以有很多硬盘空间供这些文件浪费,让系统定时清理一些不需要的文件很有一种爽快的事情.不用你去每天惦记着是否需要清理日志,不用每天收到硬盘空间不足的报警短信,想好好休息的话,让我们把这个事情交给机器定时去执行吧. 1.删除文件命令: find 对应目录 -mtime +天数 -name "文件名" -exec rm -rf {} \; 实例命令: find /opt/soft/log/ -mtime +30…

php session 运营想让用户登陆网站就能永久保持登陆会话,感觉这是扯淡,因为视频播放1小时,所以我设置了两小时过期. 但是用户过多,导致session文件大量存储.产生上百万千万.服务器空间很快就不足.死机. 所以,要做定时清理 编辑一个sh 脚本 vi a.sh cd /tmp; find -cmin +120 | xargs rm 加入计划任务 crontab -e 每两小时执行一次 0 */2 * * * /opt/home/ssh/clean.sh 保存 重启crontab…

最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作,花了些时间学习Elasticsearch的基础理论知识,整理了一下,希望能对Elasticsearch感兴趣/想了解的同学有所帮助. 同时也希望有发现内容不正确或者有疑问的地方,望指明,一起探讨,学习,进步. 介绍 Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsear…