------------恢复内容开始------------

介绍flink在本地运行和on yarn运行时的日志配置。

很多现代框架都是用门面模式进行日志输出,例如使用Slf4j中的接口输出日志,具体实现类需要由log4j,log4j2,logback等日志框架进行实现。

Flink 中的日志记录就是使用slf4j日志接口实现的。

Slf4j简要说明

slf4j全名Simple Logging Facade for Java,为java提供的简单日志Facade。Facade门面说白了就是接口。它允许用户以自己的喜好,在工程中通过slf4j接入不同的日志系统。slf4j入口就是众多接口的集合,它不负责具体的日志实现,只在编译时负责寻找合适的日志系统进行绑定。具体有哪些接口,全部都定义在slf4j-api中。查看slf4j-api源码就可以发现,里面除了public final class LoggerFactory类之外,都是接口定义。因此slf4j-api本质就是一个接口定义。要想使用slf4j日志门面,需要引入以下依赖:

 <dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.25</version>
</dependency>

这个包只有日志的接口,并没有实现,所以如果要使用就得再给它提供一个实现了些接口的日志框架包,比如:log4j,log4j2,logback等日志框架包,但是这些日志实现又不能通过接口直接调用,实现上他们根本就和slf4j-api不一致,因此slf4j和日志框架之间又增加了一层桥接器来转换各日志实现包的使用,比如slf4j-log4j12,log4j-slf4j-impl等。

接下来从本地运行和on yarn部署来说明下日志的使用配置方式。

Flink本地idea运行的日志配置

在我们编写Flink代码的时候,官方推荐的最佳实践也是使用Slf4j。Slf4j 的 logger 通过调用 LoggerFactorygetLogger()方法创建,然后使用logger对象输出日志。

接下来,我们就使用slf4j来打印日志。

使用slf4j

依赖

 <dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.25</version>
</dependency>

实现代码

package com.upupfeng;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory; /**
* @author mawf
*/
public class Main { // 创建Logger对象
private static final Logger log = LoggerFactory.getLogger(Main.class); public static void main(String[] args) throws Exception {
// 打印日志
log.info("-----------------> start");
} }

光有上述的代码,运行起来是打印不出来日志的。还需要我们导入对应的日志实现的依赖(log4j或log4j2),以及进行相关的配置。

接下里再分别说一下log4j和log4j2的依赖和配置。

log4j1

pom依赖

        <dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.25</version>
</dependency> <dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.21</version>
<scope>test</scope>
</dependency> <!-- https://mvnrepository.com/artifact/log4j/log4j -->
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>

log4j.properties配置

log4j.rootLogger=info,console  

log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.Threshold=INFO
log4j.appender.console.ImmediateFlush=true
log4j.appender.console.Target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n

添加完pom和配置后,就可以使用log4j输出日志了。

log4j2

pom依赖

        <dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.25</version>
</dependency> <dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-slf4j-impl</artifactId>
<version>2.9.1</version>
</dependency> <dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-api</artifactId>
<version>2.9.1</version>
</dependency> <dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>2.9.1</version>
</dependency>

log4j2.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration monitorInterval="5">
<Properties>
<property name="LOG_PATTERN" value="%date{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n" />
<property name="LOG_LEVEL" value="INFO" />
</Properties> <appenders>
<console name="Console" target="SYSTEM_OUT">
<PatternLayout pattern="${LOG_PATTERN}"/>
<ThresholdFilter level="${LOG_LEVEL}" onMatch="ACCEPT" onMismatch="DENY"/>
</console>
</appenders> <loggers>
<root level="${LOG_LEVEL}">
<appender-ref ref="Console"/>
</root>
</loggers> </configuration>

添加完pom和配置后,就可以使用log4j2输出日志了。

在实际使用中,还是推荐使用log4j2。其他的不说,占位符就比log4j的自己拼字符串好很多了。

Flink on Yarn的日志配置

说明

Flink有多种部署运行方式,我这里采用的是on yarn的运行方式,以per-job的形式提交任务到yarn。

# 以这种方式提交
flink run \
-d \
-m yarn-cluster \

我使用的flink版本是1.11.3。

官方的二进制运行包中就自带了slf4j和log4j2的jar包:

flink-dist_2.11-1.11.3.jar
log4j-1.2-api-2.12.1.jar
log4j-api-2.12.1.jar
log4j-core-2.12.1.jar
log4j-slf4j-impl-2.12.1.jar

flink-dist包中包含了slf4j的包,带log4j的是log4j2的包。

如果我们要使用log4j2的话,就必须保证我们自己打的jar包中没有log的相关依赖,不然会出现各种奇怪的问题。这点很重要,我最开始没有排除,遇到了很多问题。

maven打包时排除log依赖

我这里是使用shade插件打包,然后排除依赖的。

shade插件的配置如下:

<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>3.1.0</version>
<configuration>
<artifactSet>
<excludes>
<exclude>org.slf4j:*</exclude>
<exclude>log4j:*</exclude>
<exclude>ch.qos.logback:*</exclude>
</excludes>
</artifactSet>
</configuration>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
</configuration>
</execution>
</executions>
</plugin>

日志的配置

Flink附带了默认的日志配置文件:

  • log4j-cli.properties:由 Flink 命令行客户端使用(例如 flink run)(不包括在集群上执行的代码)。这个文件是我们使用flink run提交任务时,任务提交到集群前打印的日志所需的配置。
  • log4j-session.properties:Flink 命令行客户端在启动 YARN 或 Kubernetes session 时使用(yarn-session.shkubernetes-session.sh)。
  • log4j.properties:作为 JobManager/TaskManager 日志配置使用(standalone 和 YARN 两种模式下皆使用)

所以使用flink run这种方式提交任务,会自动去FLINK_HOME下的conf目录下找log4j.properties的文件作为jobmanager和taskmanager的日志配置。

官方说使用 -Dlog4j.configurationFile= 参数可以传递日志文件,但是我试了几次都不可以。

所以如果要对日志级别、模板进行修改的话,就直接改这个log4j.properties文件就好了。

滚动日志的配置

默认的日志配置文件不是滚动的,所以日志文件很大的话,会暂用较多的资源,我们需要修改为滚动日志。

滚动日志的配置内容

rootLogger.level = INFO
rootLogger.appenderRef.rolling.ref = RollingFileAppender logger.akka.name = akka
logger.akka.level = INFO
logger.kafka.name= org.apache.kafka
logger.kafka.level = INFO
logger.hadoop.name = org.apache.hadoop
logger.hadoop.level = INFO
logger.zookeeper.name = org.apache.zookeeper
logger.zookeeper.level = INFO logger.upupfeng.name = com.upupfeng
logger.upupfeng.level = INFO
logger.upupfeng.additivity = false
logger.upupfeng.appenderRef.rolling.ref = RollingFileAppender appender.rolling.name = RollingFileAppender
appender.rolling.type = RollingFile
appender.rolling.fileName = ${sys:log.file}
appender.rolling.filePattern = ${sys:log.file}.%i
appender.rolling.layout.type = PatternLayout
appender.rolling.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
appender.rolling.policies.type = Policies
appender.rolling.policies.size.type = SizeBasedTriggeringPolicy
appender.rolling.policies.size.size=100MB
appender.rolling.strategy.type = DefaultRolloverStrategy
appender.rolling.strategy.max = 10 logger.netty.name = org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline
logger.netty.level = OFF

效果

提交任务后,就会生成如下的滚动日志了。

-rw-r--r-- 1 yarn yarn  30112705 Mar  6 09:49 taskmanager.log
-rw-r--r-- 1 yarn yarn 104857827 Mar 6 09:48 taskmanager.log.1
-rw-r--r-- 1 yarn yarn 104857687 Mar 6 09:49 taskmanager.log.10
-rw-r--r-- 1 yarn yarn 104857649 Mar 6 09:48 taskmanager.log.2
-rw-r--r-- 1 yarn yarn 104857692 Mar 6 09:48 taskmanager.log.3
-rw-r--r-- 1 yarn yarn 104857693 Mar 6 09:48 taskmanager.log.4
-rw-r--r-- 1 yarn yarn 104857831 Mar 6 09:49 taskmanager.log.5
-rw-r--r-- 1 yarn yarn 104857707 Mar 6 09:49 taskmanager.log.6
-rw-r--r-- 1 yarn yarn 104857649 Mar 6 09:49 taskmanager.log.7
-rw-r--r-- 1 yarn yarn 104857659 Mar 6 09:49 taskmanager.log.8
-rw-r--r-- 1 yarn yarn 104857646 Mar 6 09:49 taskmanager.log.9

参考

Flink原理:Flink中的日志框架配置 https://www.codenong.com/cs106739594/

Flink官网:如何使用日志记录 https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/deployment/advanced/logging.html

slf4j-api和slf4j-simple https://blog.csdn.net/u011179993/article/details/52490013

slf4j-api、slf4j-log4j12、log4j之间关系 https://www.cnblogs.com/lujiango/p/8573411.html

------------恢复内容结束------------

Flink的日志配置的更多相关文章

  1. django 1.8 日志配置

    django 1.8 日志配置 以下为setings配置logging代码片段 BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(_ ...

  2. nginx日志配置

    nginx日志配置 http://www.ttlsa.com/linux/the-nginx-log-configuration/ 日志对于统计排错来说非常有利的.本文总结了nginx日志相关的配置如 ...

  3. 日志配置logback

    在选择项目日志框架时,发现log4j的作者开发了新的日志框架,据说性能提高不少,那就选它了,不过,除了配置上有点不习惯外,最重要的一点 ,打印线程号这个功能依然没有(打印线程名这个东西是在是个鸡肋). ...

  4. 服务器是windows时tomcat无法打印所有日志配置修改

    Tomcat运行仅一天磁盘空间突然就增加了很多,发现是日志文件太大了,修改tomcat的日志配置即可. 查看目录所占空间大小: ? 1 [root@XXX webapps]du -sh 清理方法: ? ...

  5. [译]Stairway to Integration Services Level 12 - 高级日志配置

    介绍 本文中,我们将结合之前学习的时间冒泡,日志记录,以及复制模型.建立一个自定义的SSIS包日志模型. SSIS Task事件回顾    Reviewing SSIS Task Events 在做实 ...

  6. [译]Stairway to Integration Services Level 11 - 日志配置

    介绍 在前一个章节我们讨论了事先行为,分享了如何操作默认的行为和时间冒泡,并且介绍了父子模型. 本文中,我们会配置SSIS日志. 进行简单及高级日志配置,存储,和检索的实验.并且生成自定义日志信息. ...

  7. Nginx日志配置及日志切割

    日志配置 日志对于统计排错来说非常有利的.本文总结了nginx日志相关的配置如access_log.log_format.open_log_file_cache.log_not_found.log_s ...

  8. SpringBoot之简单日志配置

    我的目的指定一个文件夹输出:(不采用指定文件的原因是一个文件的大小时间长了会很大,不利于处理) logging: level: root: INFO org.sselab: controller: I ...

  9. springboot 入门六-多环境日志配置

    在应用项目开发阶段,需要对日志进入很详细的输出便于排查问题原因,上线发布之后又只需要输出核心的日志信息的场景.springboot也提供多环境的日志配置.使用springProfile属性来标识使用那 ...

随机推荐

  1. hdu2157 How many ways??

    Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others) Total Submission ...

  2. WPF 无法对元素“TextBox”设置 Name 特性值“TB2”

    错误信息 无法对元素"TextBox"设置 Name 特性值"TB2"."TextBox"在元素"UserControl1&quo ...

  3. haut-1282 ykc想吃好吃的

    1282: ykc想吃好吃的 时间限制: 1 秒  内存限制: 128 MB提交: 706  解决: 89提交 状态 题目描述 一天,ykc在学校闲的无聊,于是决定上街买点吃的,ykc很懒,本来就不是 ...

  4. 牛客多校第六场G Is Today Friday?(吉姆拉尔森/蔡勒公式 + 思维)题解

    题意: 给你\(A-J\)的字母组成的日期,形式为\(yyyy/mm/dd\).现给你\(n\)个这样的串\((n<=1e5)\),问你把字母映射成数字,并且使得所有日期合法且为星期五的最小字典 ...

  5. docker镜像拉取、运行、删除

    1.拉取hello-world镜像并运行 docker pull hello-world 拉取hello-world镜像Using default tag: latestlatest: Pulling ...

  6. Commons Collections2分析

    0x01.POC分析 //创建一个CtClass对象的容器 ClassPool classPool=ClassPool.getDefault(); //添加AbstractTranslet的搜索路径 ...

  7. js camelCase formatter

    js camelCase formatter 驼峰命名 转换器 'A'.charCodeAt(); // 65 'Z'.charCodeAt(); // 90 'a'.charCodeAt(); // ...

  8. c++ 动态设置函数

    #include <iostream> #include <Windows.h> #include <TlHelp32.h> using namespace std ...

  9. VAST上线后,如何提升NGK算力生态的收益和流动性?

    自比特币诞生以来,"挖矿"一词就成功地步入了大众的视野,也成为了加密货币领域最重要的组成部分之一.无论是早前基于比特币和以太坊为主的算力挖矿,还是逐步进入大众视野的质押挖矿,亦或是 ...

  10. NGK公链:在规则明确的环境下运行超级节点机制

    首先要跟大家明确的一点是,21个超级节点是投票选举出来的,并不是系统在创立之初就已经确定好了的.那么相信大家也一定很好奇,这21个超级节点是通过什么方式产生? NGK.IO对分布式超级节点使用了一个自 ...