本文章将会继承上一篇文章,主要讲通过工具来进行日志的收集与发送,《ELK系列~NLog.Targets.Fluentd到达如何通过tcp发到fluentd

Nxlog是一个日志收集工具,它将系统日志,或者指定的日志文件,统配符文件找到,然后加工,最后发送到目标位置。而目标位置有很多种,如文件系统,fluentd系统等,下面我们介绍一个使用场景,也是经常涉及到的场景。

  1. log4产生日期,日期文件名,统一后缀,按日志级别命名
  2. nxlog工具,配置,启动,发送数据
  3. fluentd配置,接受数据,打印数据

一 log4产生日期,日期文件名,统一后缀,按日志级别命名

<?xml version="1.0"?>
<configuration>
<configSections>
  <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler,log4net" />
</configSections>
<system.web>
<compilation debug="true" targetFramework="4.0" />
</system.web> <log4net>
<logger name="ErrorLog">
<level value="ERROR"></level>
<appender-ref ref="ErrorLog"></appender-ref>
</logger>
<appender name="ErrorLog" type="log4net.Appender.RollingFileAppender">
<param name="File" value="logs\\" />
<param name="AppendToFile" value="true" />
<param name="StaticLogFileName" value="false" />
<rollingStyle value="Date" />
<datePattern value="yyyyMMdd&quot;Error.log&quot;" />
<layout type="log4net.Layout.PatternLayout">
</layout>
</appender> <logger name="InfoLog">
<level value="INFO"></level>
<appender-ref ref="InfoLog"></appender-ref>
</logger>
<appender name="InfoLog" type="log4net.Appender.RollingFileAppender">
<param name="File" value="logs\\" />
<param name="AppendToFile" value="true" />
<param name="StaticLogFileName" value="false" />
<rollingStyle value="Date" />
<datePattern value="yyyyMMdd&quot;Info.log&quot;" />
<layout type="log4net.Layout.PatternLayout">
</layout>
</appender> <logger name="WarnLog">
<level value="Warn"></level>
<appender-ref ref="WarnLog"></appender-ref>
</logger>
<appender name="WarnLog" type="log4net.Appender.RollingFileAppender">
<param name="File" value="logs\\" />
<param name="AppendToFile" value="true" />
<param name="StaticLogFileName" value="false" />
<rollingStyle value="Date" />
<datePattern value="yyyyMMdd&quot;Warn.log&quot;" />
<layout type="log4net.Layout.PatternLayout">
</layout>
</appender> <logger name="FatalLog">
<level value="Fatal"></level>
<appender-ref ref="FatalLog"></appender-ref>
</logger>
<appender name="FatalLog" type="log4net.Appender.RollingFileAppender">
<param name="File" value="logs\\" />
<param name="AppendToFile" value="true" />
<param name="StaticLogFileName" value="false" />
<rollingStyle value="Date" />
<datePattern value="yyyyMMdd&quot;Fatal.log&quot;" />
<layout type="log4net.Layout.PatternLayout">
</layout>
</appender>
</log4net>
</configuration>

产生日志的方法如下

            log4net.Config.XmlConfigurator.Configure(new FileInfo("log4.config"));
for (int i = ; i < ; i++)
{
LogHelper.Info("test");
}
Console.WriteLine("end");

上面代码将会产生日志文件,命名比较固定,方法日志的收集工作。

二 nxlog工具,配置,启动,发送数据

安装:https://docs.fluentd.org/v0.12/articles/windows

配置:去掉了log4产生日志每行后面的\r标记,如果不进行处理,在json转换时会有问题

## This is a sample configuration file. See the nxlog reference manual about the
## configuration options. It should be installed locally and is also available
## online at http://nxlog.org/docs/ ## Please set the ROOT to the folder your nxlog was installed into,
## otherwise it will not start. #define ROOT C:\Program Files\nxlog
define ROOT C:\Program Files (x86)\nxlog Moduledir %ROOT%\modules
CacheDir %ROOT%\data
Pidfile %ROOT%\data\nxlog.pid
SpoolDir %ROOT%\data
LogFile %ROOT%\data\nxlog.log <Extension json>
Module xm_json
</Extension>
<Extension _syslog>
Module xm_syslog
</Extension> <Input in>
Module im_file
File "c:\dotnet\20*.log"
Exec $raw_event = replace($raw_event, "\r\n", " ");
Exec $raw_event = replace($raw_event, "\r", " ");
Exec $raw_event = replace($raw_event, "\n", " ");
Exec $raw_event = replace($raw_event, "0x0A", " ");
Exec $raw_event = replace($raw_event, "0x0DA", " ");
Exec $raw_event = replace($raw_event, "0x0D", " "); </Input>
<Output out>
Module om_tcp
Host 192.168.200.214
Port
Exec $raw_event =$raw_event + "\n";
</Output> <Route >
Path in => out
</Route>

启动:nxlog -f -c conf/nxlog.conf

查看:打开fluentd端,查看它的日志,发现我们的日志已经过来了

这个东西,我在google上找了好久,最后总算是功夫不负有心人,让我找对了!当然也证明了最初的猜想是正确的,即在output中对字符进行过滤!

三 fluentd配置,接受数据,打印数据

1 运行脚本,升级需要的文件夹和文件

mkdir /scripts/fluentd -p
cd /scripts/fluentd cat > Dockerfile << 'EOF'
FROM fluent/fluentd:v0.-onbuild ENV TZ=Asia/Shanghai
RUN echo "http://mirrors.aliyun.com/alpine/v3.5/main" >/etc/apk/repositories \
&& echo "http://mirrors.aliyun.com/alpine/v3.5/community" >>/etc/apk/repositories \
&& apk add --update tzdata \
&& apk add curl \
&& ln -snf /usr/share/zoneinfo/$TZ /etc/localtime \
&& echo $TZ > /etc/timezone RUN apk add --virtual .build-deps \
sudo build-base ruby-dev \
&& sudo gem sources --clear-all \
&& apk del .build-deps \
&& rm -rf /var/cache/apk/* \
/home/fluent/.gem/ruby/2.3.0/cache/*.gem
EOF mkdir plugins -p
mkdir -p /srv/volume/fluentd/ cat > /scripts/fluentd/fluent.conf << 'EOF'
<source>
@type forward
port 24224
bind 0.0.0.0
</source> <match **>
 @type stdout
</match>
EOF

2 生成镜像

docker build --no-cache --pull -t pilipa/tools/fluentd ./

2 docker上直接运行

docker run --privileged=true -v /scripts/fluentd/fluent.conf:/fluentd/etc/fluent.conf pilipa/tools/fluentd
启动后出现了配置和日志相关的输出信息
日志收集总算可以告一段落了!
感谢各位的阅读!1024节日快乐!

ELK系列~Nxlog日志收集加转发(解决log4日志换行导致json转换失败问题)的更多相关文章

  1. ELK系列~nxlog实现多位置文件的收集

    前几天我写了几篇关于ELK日志收集,存储和分析的文章: ELK系列~NLog.Targets.Fluentd到达如何通过tcp发到fluentd ELK系列~Nxlog日志收集加转发(解决log4日志 ...

  2. 004-linux下配置rsyslog日志收集服务器案例 rsyslog+loganalyzer日志服务器,无法添加报表模板解决

    centos6系统 client1:192.168.1.33 centos7系统 client2:192.168.1.44 centos7系统 master:192.168.1.55 配置服务端mas ...

  3. ELK系列~log4-nxlog-Fluentd-elasticsearch写json数据需要注意的几点

    经验与实践 前两篇文章里我们介绍了nxlog的日志收集和转发<ELK系列~Nxlog日志收集加转发(解决log4日志换行导致json转换失败问题)>,今天我们主要总结一下,在与log4和f ...

  4. SpringBoot入门系列(十二)统一日志收集

    前面介绍了Spring Boot 异常处理,不清楚的朋友可以看看之前的文章:https://www.cnblogs.com/zhangweizhong/category/1657780.html. 今 ...

  5. ELK 经典用法—企业自定义日志收集切割和mysql模块

    本文收录在Linux运维企业架构实战系列 一.收集切割公司自定义的日志 很多公司的日志并不是和服务默认的日志格式一致,因此,就需要我们来进行切割了. 1.需切割的日志示例 2018-02-24 11: ...

  6. 日志收集系统elk

    目录 elk简介 官方帮助 rsyslog rsyslog日志采集介绍与使用 综合实验 案例一: 单机ELK部署 案例二. JAVA环境配置,部署 filebeat+Elasticsearch apa ...

  7. NET Core微服务之路:简单谈谈对ELK,Splunk,Exceptionless统一日志收集中心的心得体会

    前言 日志,一直以来都是开发人员和运维人员最关心的问题.开发人员可通过日志记录来协助问题定位,运维人员可通过日志发现系统隐患,故障等定位问题.如果你的系统中没有日志,就像一个断了线的风筝,你永远不知道 ...

  8. ELK系列~对fluentd参数的理解

    这段时候一直在研究ELK框架,主要集成在对fluentd和nxlog的研究上,国内文章不多,主要看了一下官方的API,配合自己的理解,总结了一下,希望可以帮到刚入行的朋友们! Fluentd(日志收集 ...

  9. 14.2-ELK 经典用法—企业自定义日志收集切割和mysql模块

    本文收录在Linux运维企业架构实战系列 一.收集切割公司自定义的日志 很多公司的日志并不是和服务默认的日志格式一致,因此,就需要我们来进行切割了. 1.需切割的日志示例 2018-02-24 11: ...

随机推荐

  1. [转载]请教各位高手光盘版或者U盘版的BT保存配置的问题

    这样安装的bt4默认是不能保存配置的,每次你更改了设置,下次重启又没有了.在网上下载一个叫做"saveFile.rar"的压缩包,大小40K左右,这个是bt4能够保存配置关键,当然 ...

  2. Sublime Text 2 -Sidebar 背景色调整为黑色

    Sublime Text 2 编辑器: Ctrl+` 输入安装代码,安装package control 插件 ctrl+shift+P : Package install 为什么装不上了呢?出现了什么 ...

  3. 201521123092《java程序设计》第十周学习总结

    1. 本周学习总结 1.1 以你喜欢的方式(思维导图或其他)归纳总结异常与多线程相关内容. 2. 书面作业 本次PTA作业题集异常.多线程 1.finally 题目4-2 1.1 截图你的提交结果(出 ...

  4. Windbg调试(关于句柄表的获取,32位)

    今天利用Windbg(x86)进行了获得句柄表的调试,从中获益良多,对调试步骤和按键又一次进行了熟悉,对于句柄表页的概念更是得到了进一步的清晰认识.windbg调试和句柄表不熟悉的朋友可以借鉴我的调试 ...

  5. AJAX二级下拉联动【XML方式】

    AJAX二级下拉联动案例 我们在购物的时候,常常需要我们来选择自己的收货地址,先选择省份,再选择城市- 有没有发现:当我们选择完省份的时候,出现的城市全部都是根据省份来给我们选择的.这是怎么做到的呢? ...

  6. 自定义BaseServlet利用反射

    比较完美一点的BaseServlet package com.yangwei.mvc.servlet; import java.io.IOException; import java.lang.ref ...

  7. HIbernate实体类注解配置

    一.类级别注解 1.@Entity(name="EntityName") 必须 name为可选,对应数据库中一的个表 2.@Table(name="",cata ...

  8. Java编程 “提高性能” 应尽力做到

    除了新增机器内存外,还应该好好review一下我们的代码,有很多代码编写过于随意化,这些不好的习惯或对程序语言的不了解是应该好好打压打压了. 下面是参考网络资源总结的一些在Java编程中尽可能要做到的 ...

  9. Python迭代器,生成器--精华中的精华

    1. 迭代器 迭代器是访问集合元素的一种方式.迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束.迭代器只能往前不会后退,不过这也没什么,因为人们很少在迭代途中往后退.另外,迭代器的一大 ...

  10. Java虚拟中内存分块

    Java虚拟机JVM(Java Virtual Machine)中内存分块 JAVA中通常分为5个区域虚拟机栈.堆.方法区.程序计数器.本地方法区.我们一般讲的是Java虚拟机管理的四个区域虚拟机栈. ...