在Linux下,日志会不停的增长,为了防止日志文件过大,导致我们无法在日志中快速找到想要的信息,我们会定时对日志文件进行切割.在这里我将使用logrotate切割日志. (1).logrotate的配置文件 logrotate配置文件主要在两个地方:/etc/logrotate.conf以及/etc/logrotate.d/下的明细配置文件. 其中/etc/logrotate.conf文件是主配置文件,/etc/logrotate.d/下的明细配置文件都会被读入/etc/logrotate.co

一.用cronolog分割tomcat的catalina.out文件 1.编译安装cronologwget http://cronolog.org/download/cronolog-1.6.2.tar.gz tar zxvf cronolog-1.6.2.tar.gz cd cronolog-1.6.2./configure make && make install 2.查看cronolog安装后所在目录(验证安装是否成功) which cronolog一般情况下显示为:/usr/loc

 1.了解日志文件    linux的日志文件可以说是最有用的了,日志文件可以让我们了解系统所处的状态,比如能查出哪些用户有登入,这也涉及相关的安全问题.如果我们不懂得分析日志,可能我们都不知道有些用户曾经登入过我们的系统.另外系统出了什么问题,我们也要查看系统日志,比如我们经常会进入不了Xwindows,我们要查看系统日志类似XFree86.0.log等文件,再来详细的说一下,如果我们运行过系统显示属性方面的设置[理论上应该叫XFree86.setup],我以Redhat 8.0来说一下这个问

日志系统有三部分组成:一.使用什么工具记录系统产生的日志信息?      syslog服务脚本管理的两个进程: syslogd.klogd 来记录系统产生的日志信息:      klogd     进程是专门为内核产生的日志信息服务的.      syslogd  进程是专门为应用程序服务(除了内核)产生的日志信息服务的:       只有调用了 logger 接口,应用程序才可以调用 syslogd工具帮助记录日志信息. 二.只要系统服务在运行,就会产生日志信息,我们使用专门的工具把它记录到磁

需求 Jenkins日志打印内容很长,或者并发编译导致,日志内容不容易查看. 对于具体业务失败, 开发者希望看到具体业务自身的日志内容. 解法 tee 命令能够保证, shell命令执行的内容,即往控制台输出,又往文件输出,满足了第一个要求,业务日志单独输出. https://blog.csdn.net/liu_zhen_wei/article/details/18010709 echo "ABCD" | tee temp.txt temp02.txt 将输出内容"ABCD&

以下介绍的是20个位于/var/log/ 目录之下的日志文件.其中一些只有特定版本采用,如dpkg.log只能在基于Debian的系统中看到./var/log/messages — 包括整体系统信息,其中也包含系统启动期间的日志.此外,mail,cron,daemon,kern和auth等内容也记录在var/log/messages日志中./var/log/dmesg — 包含内核缓冲信息(kernel ring buffer).在系统启动时,会在屏幕上显示许多与硬件有关的信息.可以用dmesg

anaconda/* 包含至少5个日志文件:anaccmda.log用于保存一般安装消息:anaconda.packaging.log用于保存包安装消息:anaconda.programJog用于调用外部程序:anaconda.storage.log用于保存存储设备配置消息和分区消息:anacmida.ifcfg.log用于保存网络适配器初始化消息:有时,syslog用于保存内核消息:anaconda.xlog用于保存GUI服务器首次启动时的消息 audit/ 包含audit.log文件,它收集

在CentOS7中,系统的日志消息由两个服务负责处理:system-journald和rsyslog. (1).常见的日志及作用 /var/log目录里存放了一些特定于系统和服务的日志文件,由rsyslog维护.下面介绍一些改目录下的常用日志文件及其总用 日志文件 作用 /var/log/message 大多数系统日志消息记录都在此处.但不包括与身份验证,电子邮件处理相关的定期作业任务等 /var/log/secure 安全和身份验证相关的信息以及登录失败的日志文件.主要ssh远程连接产生的日志

项目中,有时候需要对系统中已处理的一些业务数据日志进行提取分析,通常log4j默认提供的日志级别可能不够用,这时候我们就需要对日志级别进行扩展,以满足我们的需求. 本文就简单介绍一下log4j2的日志级别扩展,直接上代码: import org.apache.logging.log4j.Level; import org.apache.logging.log4j.LogManager; import org.apache.logging.log4j.Logger; import org.apac

Centos系统各种日志存储路径和详细介绍 Linux常见的日志文件详述如下 1./var/log/boot.log(自检过程) 2./var/log/cron (crontab守护进程crond所派生的子进程的动作) 3./var/log/maillog (发送到系统或从系统发出的电子邮件的活动) 4./var/log/syslog (它只记录警告信息,常常是系统出问题的信息,所以更应该关注该文件) 5./usr/local/apache/logs/error_log(它是记录apache的日

tomcat默认日志文件为catalina.out,随着系统运行时间的增加,该日志文件大小会不断增大,甚至增大到G级.不仅会导致我们无法使用常规工具查找系统问题,而且会影响tomcat性能(比如我在维护中遇到的出现web页面文件上传<swfupload>错误:404). 采用cronlolog工具对日志拆分的方式处理该问题 1.下载cronolog工具,我下载的版本是cronolog-1.6.2 2.将下载好的文件解压,tar xvzf cronolog-1.6.2.tar.gz 3.切换到解

Linux系统日志主要有三类:连接时间日志.进程统计日志和错误日志 连接时间日志 连接时间日志由多个程序执行,把记录写入到/var/og/wtmp和/var/run/utmp.ogin等程序更新wtmp和utmp文件,使系统管理员能够跟踪谁在何时登录到系统. 进程统计日志 进程统计日志由系统内核执行.当一个进程终止时,为每个进程往进程统计文件(pacct或acct)中写一个记录.进程统计的目的是为系统中的基本服务提供命令使用统计. 错误日志 错误日志由sysogd(8)执行.各种系统守护进程.用

在分析服务器运行情况和业务数据时,nginx日志是非常可靠的数据来源,而掌握常用的nginx日志分析命令的应用技巧则有着事半功倍的作用,可以快速进行定位和统计. 1)Nginx日志的标准格式(可参考:http://www.cnblogs.com/kevingrace/p/5893499.html) 1 2 3 log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '               '

在分析服务器运行情况和业务数据时,nginx日志是非常可靠的数据来源,而掌握常用的nginx日志分析命令的应用技巧则有着事半功倍的作用,可以快速进行定位和统计. 1)Nginx日志的标准格式(可参考:http://www.cnblogs.com/kevingrace/p/5893499.html) log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_se

1. 利用grep ,wc命令统计某个请求或字符串出现的次数 比如统计GET /app/kevinContent接口在某天的调用次数,则可以使用如下命令: [root@Fastdfs_storage_s1 ~]# cat /usr/local/nginx/logs/access.log | grep 'GET /app/kevinContent' | wc -l 其中cat用来读取日志内容,grep进行匹配的文本搜索,wc则进行最终的统计. 当然只用grep也能实现上述功能: [root@Fas

前一篇文章介绍了log4j2 扩展日志级别,支持将系统日志与业务处理日志拆分,现在介绍一下通过日志级别将系统日志与业务日志分类,要达到这个目的很容易,只需要配置一下log4j的xml文件: <?xml version="1.0" encoding="UTF-8"?> <configuration status="OFF"> <Properties> <property name="log_pat

1. 利用grep ,wc命令统计某个请求或字符串出现的次数 比如统计GET /app/kevinContent接口在某天的调用次数,则可以使用如下命令: cat /usr/local/nginx/logs/access.log | grep 'GET /app/kevinContent' | wc -l 其中cat用来读取日志内容,grep进行匹配的文本搜索,wc则进行最终的统计. 当然只用grep也能实现上述功能: grep 'GET /app/kevinContent'  /usr/loc

开发过程中,经常需要对GC的垃圾收集器参数不断的进行动态调整,从而更充分的压榨机器性能,提升应用效率.本文将从常见的Parallel/G1垃圾收集器的GC日志着手,分析GC日志的具体含义,以及示范如何根据GC日志调整参数. 1. 准备工作 (1) VM Options 应用程序需要设置如下参数,以便将GC信息数值至gc.log文件中,供后续分析. -XX:+DisableExplicitGC -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=./l

1.相关环境 centos7 hadoop2.6.5 zookeeper3.4.9 jdk1.8 hbase1.2.4 本篇文章仅涉及hbase集群的搭建,关于hadoop与zookeeper的相关部署参见上篇文章http://www.cnblogs.com/learn21cn/p/6184490.html 目标如下: master 192.1.68.1.215 HMaster data1 192.168.1.218 HMaster备用 HRegionServer data2 192.168.1

官网地址 本文内容 语法 测试数据 可配置选项 参考资料 date 插件是日期插件,这个插件,常用而重要. 如果不用 date 插件,那么 Logstash 将处理时间作为时间戳.时间戳字段是 Logstash 自己添加的内置字段 @timestamp,在ES中关于时间的相关查询,必须使用该字段,你当然也可以修改该字段的值. 语法 该插件必须是用 date 包裹,如下所示: date { } 可用的配置选项如下表所示: 设置 输入类型 是否为必填 默认值 add_field hash No {}

官网地址 本文内容 语法 测试数据 可选配置项 mutate 插件可以在字段上执行变换,包括重命名.删除.替换和修改.这个插件相当常用. 比如: 你已经根据 Grok 表达式将 Tomcat 日志的内容放到各个字段中,想把状态码.字节大小或是响应时间,转换成整型: 你已经根据正则表达式将日志内容放到各个字段中,但是字段的值,大小写都有,这对于 Elasticsearch 的全文检索来说,显然用处不大,那么可以用该插件,将字段内容全部转换成小写. 语法 该插件必须是用 mutate 包裹,如下所示