cutlog.sh #!/bin/sh source /etc/profile D=$(date "+%Y%m%d%H%M%S") mv "/usr/local/Cellar/nginx/1.10.3/logs/access.log" "/usr/local/Cellar/nginx/1.10.3/logs/${D}.log" touch "/usr/local/Cellar/nginx/1.10.3/logs/access.log&q…

Nginx由于轻巧和高效的设计风格,去掉了一些额外的功能,所以它不像apache那样有自动切割日志. 建立一个脚本文件,并保证这个文件有可执行的权限:1.建立一个文件/root/log.nginx.sh(这里只是作为演示,实际上这个脚本文件你可以随意的放在哪个目录和给它取一个你喜欢的名字),在文件里面粘贴如下内容: #!/bin/bash declare logs_path="/var/log/nginx"; declare need_delete_path=${logs_path}/…

需求 由于nginx的日志会不停地增大,所以需要我们自己去切割日志,方便管理,需要达到以下的效果: 按日期自动切割日志,最小单位是天. 当日志总量超过一定量时,自动直接清理日志,限定总量不能超过1000MB. 写入crontab定时任务里. 分析 nginx日志目录下分别有access.log和error.log,按照日期自动切割日志则需要将每天的日志以”yyyymmdd_access/error.log”的格式保存下来,用mv重命名每一天的日志文件即可. 清理日志就简单了,只需要判断这个文件夹…

NG在默认情况下,是始终输出到一个日志文件中,日志文件在nginx.conf中 : access_log  logs/www.access.log  main;  一个文件中不是很方便查找,分析数据,因此需要按现实运维需要定时的对此文件进行切割. 1.准备个切割日志文件的脚本  vi  cut_nginx_log.sh 按每日规格来切割. mv /usr/local/nginx/logs/www.access.log /home/master/logs/nginx/access_$(date -…

在Unix和类Unix的操作系统之中,crontab命令常用于设置周期性被执行的指令,也可以理解为设置定时任务. crontab中的定时任务有时候没有成功执行,什么原因呢?这时就需要去日志里去分析一下了,那该如何查看crontab的日志记录呢? 1. linux 看 /var/log/cron.log这个文件就可以,可以用tail -f /var/log/cron.log观察 2. unix 在 /var/spool/cron/tmp文件中,有croutXXX001864的tmp文件,tail…

原文链接:http://www.cnblogs.com/benio/archive/2010/10/13/1849935.html  本文只节选部分内容 Nginx自己没有日志分割的功能,一旦时间过长,日志文件就会变得很大,在进行日志分析的时候就会变得很困难,因此分割日志很有必要. 本次讲解的是使用shell脚本来实现按天分割日志 #!/bin/bash # Nginx 日志文件所在的目录 LOGS_PATH=/usr/local/nginx/logs # 获取昨天的 yyyy-MM-dd YE…

nginx切割日志脚本 #!/bin/bash #cut nginx log #2018年9月26日14:26:44 #by jiajiezhao ################################### LOG_NAME=access.log LOG_DIR=/usr/local/nginx/logs LOG_PID=/usr/local/nginx/logs/nginx.pid DATE=`date +%F` mv $LOG_DIR/${LOG_NAME} $LOG_DIR/$…

Shell + crontab 实现日志压缩归档 crontab # archive the ats log days. */ * * * * root /bin/>& shell #!/bin/bash # Author : standby # Date : -- # Description : Archive the live log, keep the lastest days. logdir="/data/ats/logs" TODAY=`date -d &quo…

python 多线程日志切割+日志分析 05/27. 2014 楼主最近刚刚接触python,还是个小菜鸟,没有学习python之前可以说楼主的shell已经算是可以了,但用shell很多东西实现起来还是不可能的事情,例如最明显的一点大日志分析,由于楼主的公司,每天的日志量很大,用shell分析的会非常非常的慢. 通过学习python,楼主有了一种想法,想法如下 可不可以分割日志,把日志分割成很多的小块,利用多线程去分析日志,这个难点在哪,难点就在如何去分割日志,前几篇文件楼主写过日志分割的py…

1.linux 看 /var/log/cron这个文件就可以,可以用tail -f /var/log/cron观察 2.unix 在 /var/spool/cron/tmp文件中,有croutXXX001864的tmp文件,tail 这些文件就可以看到正在执行的任务了. 3.mail任务 在 /var/spool/mail/root 文件中,有crontab执行日志的记录,用tail -f /var/spool/mail/root 即可查看最近的crontab执行情况. 在线工具:https:/…

依据DailyRollingFileAppender和RollingFileAppender改编,支持按日期和文件大小切割日志.  源文件: package com.bao.logging; import java.io.File; import java.io.IOException; import java.io.Writer; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Dat…

通过TimedRotatingFileHandler按时间切割日志 线上跑了一个定时脚本,每天生成的日志文件都写在了一个文件中.但是日志信息不可能输出到单一的一个文件中. 原因有二:1.日志文件越来越大会影响系统的性能.2.日志文件格式不够清晰,比如我想看今天的日志,不太方便找到的今天的日志信息(即使对日志输出做了时间提示) 通过设置TimedRotatingFileHandler进行日志按周(W).天(D).时(H).分(M).秒(S)切割. 先看一个简单例子: import time imp…

在工作中需要切割日志我们项目中选择的系统自带的logrotate,如需要其他需求需要自己在百度一下或者参考: https://www.cnblogs.com/kevingrace/p/6307298.html #centos7 切割 /data/nginx/logs/access.log { su root root daily #指定转储周期为每天 missingok #如果日志丢失,不报错继续滚动下一个日志 rotate 360 #指定日志文件删除之前转储的次数,0 指没有备份,360指保留…

1.简介 logrotate 程序是一个日志文件管理工具.用来把旧的日志文件删除,并创建新的日志文件,我们把这个过程叫做“转储”.我们可以根据日志文件的大小,也可以根据其天数来转储,这个过程一般通过 cron 程序来执行,比如系统每天的定时任务会执行一次logrotate操作来完成系统日志的转储.logrotate 的默认配置文件是 /etc/logrotate.conf,一般自定义一个新的配置文件来完成相应日志切割管理. logrotate是一个日志管理程序,用来把旧的日志文件删除(备份),并…

一.Linux下Nginx的安装 1.去官网 http://nginx.org/download/下载对应的Nginx安装包,推荐使用稳定版本. 2.上传Nginx到Linux服务器. 3.安装依赖环境 (1)安装gcc环境 yum install gcc-c++ (2)安装PCRE库,用于解析正则表达式 yum install -y pcre pcre-devel (3)安装zlib压缩和解压缩依赖 yum install -y zlib zlib-devel (4)SSL安全的加密套接字协议…

一:日志切割步骤 命令都在root下进行 1.创建目录 mkdir -p /etc/opt/modules/bin ## 创建文件夹 2.上传cut 3.观察目录 4.修改的cut文件 5.检测 需要保证nginx已经开启 6.效果 7.定时 二:切割程序 1.脚本 #!/bin/bash # nginx日志存储的linux路径 LOGS_PATH="/usr/local/nginx/userlogs/" # 旧日志存储的linux路径 OLD_LOGS_PATH=${LOGS_PAT…

linux上定时执行某些脚本是管理服务器的时候比较常用的场景,比如定时检查进程是否存在,定时启动或关闭进程,定时检查日志删除日志等. 当我打开google百度crontab时长篇大论的一大堆,详细解释的一大堆,各种抄来抄去,现在觉得资源多了未必是好事. 假设是定时执行shell,来移动log文件 找到个网上的脚本: #!/bin/bash log_path="" #此处定义你的日志文件夹路径 expried_time= #此处定义你的日志过期时间,如7天 function mvLogs…

/var/log/cron 文件保存 cron 的任务执行记录 cd /var/log/ ls -l cron* 会发现每天都会有 cron 日志的变化 使用 tail -f cron 能够查看今天的 cron 的日志: 使用 cat /etc/crontab 可以看到 MAILTO=root 表示在执行某一个 crontab 命令或者任务的时候,都会生成一个记录信息发送给 root 用户 查看 root 的 mail [root@localhost cron]# cd /var/spool/m…

nginx每天日志量比较大的时候,最好每天自动切割,存储,这样可以方面以后的查询和分析 #!/bin/sh ################### #filename: nginx_log_rotate.sh #vsersion: 0.1v #1 0 * * * /bin/sh /home/project/monitor/nginx_log_rotate.sh >/dev/null 2>&1 ################### logs_path="/usr/local/…

一:日志切割步骤 命令都在root下进行 1.创建目录 mkdir -p /etc/opt/modules/bin ## 创建文件夹 2.上传cut 3.观察目录 4.修改的cut文件 5.检测 需要保证nginx已经开启 6.效果 7.定时 二:切割程序 1.脚本 #!/bin/bash # nginx日志存储的linux路径 LOGS_PATH="/usr/local/nginx/userlogs/" # 旧日志存储的linux路径 OLD_LOGS_PATH=${LOGS_PAT…

需求: 把日志按日志内容中的小时数做切割 {hostname=ali-beijing-msync-3512} 2017-05-17 23:17:52.694 [info] <0.27292.7053>@msync_c2s_lib:delete_pb_jid_entry:266 delete pb jid {'JID',<<"17zuoye">> {hostname=ali-beijing-msync-3513} 2017-05-17 23:17:52…

最近在交付项目的时候使用了docker,大家都知道日志是项目定位问题的重要依据,但如果一开始项目本身没有对日志进行合理切割那就会导致长时间运行的项目日志文件大得编辑器打不开的情况.这里使用大部分linux都有的logrotate对日志进行每日切割. 这里直接上dockerfile,可以配合备注进行查看 FROM alpine # 设置时区 RUN apk add tzdata && cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #…

#!/bin/bash ## Nginx 日志文件所在的目录 LOGS_PATH=/usr/local/nginx/logs ## 获取昨天的 yyyy-MM-dd YESTERDAY=$(date -d ”yesterday” +%Y-%m-%d) ## 移动文件 mv ${LOGS_PATH}/access.log ${LOGS_PATH}/access_${YESTERDAY}.log ## 向 Nginx 主进程发送 USR1 信号.USR1 信号是重新打开日志文件 kill -USR1…

#!/bin/bash set -e source /etc/bashrc cd `dirname $` linenum=`wc -l userinfolist.txt | awk '{print $1}'` n1= file= while [ $n1 -lt $linenum ] do n2=`expr $n1 + ` sed -n "${n1}, ${n2}p" userinfolist.txt>/home/jideyue/logs/userdir/file_$file.lo…

windows下tomcat默认不会把应用的日志信息输出在日志文件中的,只会在控制台打印. 解决方法: 1,下载工具cronolog-1.6.1-win32.zip,并解压. 2,把cronolog.exe放在tomcat的bin目录下 3,修改tomcat的startup.bat文件 把start换成run call "%EXECUTABLE%" start %CMD_LINE_ARGS% 换成 call "%EXECUTABLE%" run %CMD_LINE_…

1.日志介绍 2.日志清理  (以下达到清理效果) du -sh * //查看日志大小 * 1 * * * cat /dev/null > /var/log/message 解释/dev/null 代表是一个黑洞文件,也就是一个空文件 cat /dev/null 使用cat输出一个空,将这个空重定向到/var/log/message,实现将message文件清空操作 3.编写sh文件(> 重定向) 在root目录下新建sh文件 vim /root/clean_log.sh 重启使任务生效…

安装cronolog git clone https://github.com/fordmason/cronolog ./configure make && make install 创建管道文件 mkfifo /app/logs/access.log 修改日志写入路径 # 以nginx举例 vim nginx/conf/nginx.conf access_log /app/logs/access.log main; 启动cronolog nohup cronolog /app/logs/…

实现功能     info debug 级别的日志输出到 /path/log/demo.log     warn error .... 级别的日志输出到 /path/log/demo_error.log     日志自动按小时分割 最多保留7天的日志 依赖的第三方包github地址     https://github.com/uber-go/zap     https://github.com/lestrrat-go/file-rotatelogs ​    zap提供日志分级,打点key-v…

可以修改的:1.日志存放目录:logdir='/data/logs/'2.每个类型日志保留个数:savefiles=30 #!/bin/bashnum=$(date -d"+1 day ago" +%Y%m%d%H%M%S)logdir='/data/logs/'savefiles=15 function cutfile(){ /bin/mv -f ${logdir}${1} ${logdir}${1%.log}_${num}.log} function delfile(){ nowf…

1.vim log.sh,将文件复制进去#!/bin/sh LOG_PATH=/home/tomcat/apache-tomcat-7.0.56/logs/ LOG_NAME=catalina.out LOG_NEW_NAME=catalina-`date +%Y-%m-%d`.log cp ${LOG_PATH}${LOG_NAME} ${LOG_PATH}${LOG_NEW_NAME} cat /dev/null >${LOG_PATH}${LOG_NAME} echo "tomcat…