Fluentd的全局配置项,诸如开启RPC.使用多worker模式等.可在配置文件中通过<system>进行配置,或通过命令行进行配置. 参数 workers:指定worker进程数,默认为1 root_dir:配置root目录 log_level:设置日志级别,可选值为trace.debug.info.warn.error和fatal.默认为info suppress_repeated_stacktrace:是否禁用重复的栈跟踪 emit_error_log_interval:发送错误日志间…

如果你的日志请求达到了5000条/秒,这里描述的技术点可用于调优. 检查操作系统配置 在安装Fluentd之前,进行操作系统参数优化. 通过top查看系统瓶颈 如果发现Fluentd运行效率不佳,可先查看一下当前系统瓶颈在哪里:CPU?内存?磁盘IO? 避免额外运算 不要在Fluentd中执行过多的额外运算.这其实也是一个通用的使用建议.虽然Fluentd可以进行各种过滤.格式化等操作,但是过于复杂的配置难于理解和维护,也会降低其性能和健壮性.配置文件应保持尽可能的简单. 使用flush_thr…

对于高访问量的web站点或者服务,可以采用Fluentd的高可用配置模式. 消息分发语义 Fluentd设计初衷主要是用作事件日志分发系统的.这类系统支持几种不同的分发模式: 至多一次.消息被立即发送,若传输成功,该消息不会再被发送.发送失败,则会导致消息丢失.现实环境下会有很多情况导致发送失败,比如网络暂时不可用. 至少一次.消息至少会被发送一次,若发送失败,消息会被重发.这保证了消息不会被丢失,但可能导致接收端收到重复的消息. 精确只发一次.消息刚好发送一次,能确保送达且不会重复.这是大家所…

Fluentd系统配置项 https://www.cnblogs.com/sanduzxcvbnm/p/13920972.html Fluentd自身日志 https://www.cnblogs.com/sanduzxcvbnm/p/13921045.html 几种监控Fluentd的方法 https://www.cnblogs.com/sanduzxcvbnm/p/13921103.html Fluentd的高可用配置 https://www.cnblogs.com/sanduzxcvbnm/…

介绍一下排查Fluentd运行时错误的几种方法. 查看日志 如果感觉Fluentd运行异常,请先查看日志.td-agent安装后,默认日志存放在/var/log/td-agent/td-agent.log. 开启详细日志 Fluentd日志支持多个级别,打开详细的日志有助于发现问题.有以下几种方法可以开启详细日志: 2.1 通过配置文件的log_level项进行设置,具体可参考Fluentd日志. 2.2 使用systemd用户级文件 添加或修改配置文件/etc/systemd/system/t…

介绍如何使用Fluentd的多worker模式处理高访问量的日志事件.此模式会运行多个worker进程以最大利用多核CPU. 原理 默认情况下,一个Fluentd实例会运行一个监控进程和一个工作进程.工作进程包含了Input/Filter/Output各类插件. 多worker模式就是一个实例中启动了多个工作进程,这些工作进程负责处理日志事件,接受监控进程的管理和调度.如下图所示: Fluentd提供了一些特性以支持多worker模式,我们通过配置就能方便地使用这些特性. 配置 2.1 work…

监控的目的是确保日志采集能稳定高效运行. Fluentd内部运行指标 Fluentd内部保存着一些运行指标,这些指标可通过REST api直接获取,也支持通过第三方工具,如Prometheus,来访问.Prometheus是官方推荐的监控工具. 进程监控 Fluentd运行后会产生两个ruby进程,需要确保这两个进程运行正常.对于td-agent,会是如下两个进程: /opt/td-agent/bin/ruby /opt/td-agent/bin/fluentd --log /var/log/t…

Fluentd是用来处理其他系统产生的日志的,它本身也会产生一些运行时日志.Fluentd包含两个日志层:全局日志和插件级日志.每个层次的日志都可以进行单独配置. 日志级别 Fluentd的日志包含6个级别:fatal.error.warn.info.debug和trace.级别依次递增,高级别的日志包含低级别的日志.默认为info,所以默认情况下,日志中包含info.warn.error.fatal这4个级别的日志. 全局日志 Fluentd内核使用全局日志配置,若插件没有单独设置自己的日志配…

EFK介绍 EFK,全称Elasticsearch Fluentd Kibana ,是kubernetes中比较常用的日志收集方案,也是官方比较推荐的方案. 通过EFK,可以把集群的所有日志收集到Elasticsearch中,然后可以对日志做分析.一般用于故障排查,数据分析等... 数据流示意图 官方项目 https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch 小技巧,如果…

## 基于Docker和Kubernetes的企业级DevOps实践训练营 ### 课程准备 1. 离线镜像包 百度:https://pan.baidu.com/s/1N1AYGCYftYGn6L0QPMWIMw 提取码:ev2h 天翼云:https://cloud.189.cn/t/ENjUbmRR7FNz 3. CentOS7.4版本以上 虚拟机3台(4C+8G+50G),内网互通,可连外网 3. 课件文档 - <训练营课件> - <安装手册> 4. git仓库 https:/…