Fluentd+MongoDB,用以实时收集半结构化数据. 背景知识 日志接入Fluentd后,会以json的格式在Fluentd内部进行路由.这就决定了Fluentd处理日志的方式是非常灵活的,它将日志视为半结构化数据,可以方便地修改其结构. 相应地,日志的最终存储数据库也应该擅长处理这样的半结构或者非结构化数据.这样整个系统搭配起来才更协调和高效. 而MongoDB恰好也是以类json的方式来处理内部数据的,非常适合作为Fluentd的目标存储. 实现机制 通常以下列架构来组合Fluentd…

Fluentd是一个日志收集系统,它的特点在于其各部分均是可定制化的,你可以通过简单的配置,将日志收集到不同的地方. 目前开源社区已经贡献了下面一些存储插件:MongoDB, Redis, CouchDB,Amazon S3, Amazon SQS, Scribe, 0MQ, AMQP, Delayed, Growl 等等. 本文要介绍的是在Fluentd的最新版中已经内置的MongoDB支持.主要通过一个收集Apache日志的例子来说明其使用方法: 机制图解 安装 为了完成相关的测试,需要安装…

preface 说道分析日志,我们知道的采集方式有2种: 通过grok在logstash的filter里面过滤匹配. logstash --> redis --> python(py脚本过滤匹配) --> ES 第一种方式是不怎么推荐使用的,除非是在日志量比较小的场景才推荐使用.因为grok非常影响性能的,且不够灵活,除非你很懂ruby. 第二种方式是 我们一直推荐使用的架构,讲究松耦合关系. 下面我们还是说说第一种方式,然后再说第二种方式. grok模块是作用在filter里面的,它是…

preface 说道分析日志,我们知道的采集方式有2种: 通过grok在logstash的filter里面过滤匹配. logstash --> redis --> python(py脚本过滤匹配) --> ES 第一种方式是不怎么推荐使用的,除非是在日志量比较小的场景才推荐使用.因为grok非常影响性能的,且不够灵活,除非你很懂ruby.第二种方式是 我们一直推荐使用的架构,讲究松耦合关系. 下面我们还是说说第一种方式,然后再说第二种方式. grok模块是作用在filter里面的,它是个…

版本信息 CentOS: Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux JDK: Oracle jdk1.8.0_241 , https://www.oracle.com/java/technologies/javase-jdk8-downloads.html Hadoop : hadoop-3.2.1.tar…

logresolve是一个解析Apache访问日志中IP地址的后处理程序. 为了使对名称服务器的影响降到最低,logresolve拥有极为自主的内部散列表缓存, 使每个IP值仅仅在第一次从日志文件中读出时才被解析一次. 此程序从标准输入设备上获得需要解析的Apache日志文件, 其中,IP地址必须在每行的开始处,行中其余信息必须以空格分隔. 概要 logresolve [ -s filename ] [ -c ] < access_log > access_log.new 选项 -s file…

Apache日志统计举例 加些来了解一下如何统计Apache的访问日志,一般可以用tail命令来实时查看日志文件变化,但是各种的应用系统中的日志会非常复杂,一堆长度超过你浏览极限的日志出现在你眼前时,你会觉得非常无奈,怎么办呢?这时可以用grep.sed.awk和sort等筛选工具帮助你解决这个问题.下面总结了几个常见分析方法. (1)查看IP($1代表IP) #cataccess_log | awk '{print $1}' (2)对IP排序 #cataccess_log | awk '{pr…

统计apache日志文件里访问量前十的ip并按从多到少排列 五月 31, 2012 by FandLR   Filed under Linux Leave a comment 解法1: cat access_log | awk  '{print $1}' | sort | uniq -c | sort -n -r | head -10 解法2:cat access_log | awk -F "- -" '{print $1}' | sort -t . | uniq -c | sort…

Apache日志按时间分段记录 在apache的配置文件httpd.conf中找到ErrorLog logs/error_log及CustomLog logs/access_log common Linux系统配置方法: 将其改为ErrorLog “| /usr/local/apache/bin/rotatelogs /home/logs/www/%Y_%m_%d_error_log 86400 480″ CustomLog “| /usr/local/apache/bin/rotatelogs…

logs/error_logCustomLog logs/access_log common--默认为以上部分 修改为如下: ErrorLog "|/usr/sbin/rotatelogs /var/log/httpd/10.70.25.143:10002.errorlog.%Y%m%d%H 7200 480"CustomLog "|/usr/sbin/rotatelogs /var/log/httpd/10.70.25.143:10002.accesslog.%Y%m%d%…