使用flink-1.9.0进行的测试，在不同的并行度下，Flink对事件时间的处理逻辑不同。包括1.1在并行度为1的本地模式分析和1.2在多并行度的本地模式分析两部分。通过理论结合源码进行验证，得到具有说服力的结论。

一、使用并行度为1的本地模式测试

1.1、Flink时间时间窗口代码，使用SocketSource：

 package com.mengyao.flink.stream.window;

 import java.text.SimpleDateFormat;

 import java.util.ArrayList;

 import java.util.List;

 import org.apache.flink.api.common.restartstrategy.RestartStrategies;

 import org.apache.flink.api.common.typeinfo.Types;

 import org.apache.flink.api.java.tuple.Tuple;

 import org.apache.flink.api.java.tuple.Tuple4;

 import org.apache.flink.configuration.ConfigConstants;

 import org.apache.flink.configuration.Configuration;

 import org.apache.flink.configuration.RestOptions;

 import org.apache.flink.streaming.api.TimeCharacteristic;

 import org.apache.flink.streaming.api.datastream.DataStream;

 import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

 import org.apache.flink.streaming.api.functions.AssignerWithPeriodicWatermarks;

 import org.apache.flink.streaming.api.functions.windowing.WindowFunction;

 import org.apache.flink.streaming.api.watermark.Watermark;

 import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;

 import org.apache.flink.streaming.api.windowing.time.Time;

 import org.apache.flink.streaming.api.windowing.windows.TimeWindow;

 import org.apache.flink.util.Collector;

 import com.mengyao.flink.stream.utils.DateUtil;

 /**

  * 启动netcat：nc -L -p 9999 -v

  *

  * Created by: mengyao

  * 2019年10月15日

  */

 public class SocketEventTimeWindowApp {

     private static String jobName = SocketEventTimeWindowApp.class.getSimpleName();

     public static void main(String[] args) throws Exception {

         Configuration conf = new Configuration();

         conf.setBoolean(ConfigConstants.LOCAL_START_WEBSERVER, true);

         conf.setInteger(RestOptions.PORT, RestOptions.PORT.defaultValue());

         final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment(1, conf);

         // 设置重启策略，5次尝试，每次尝试的间隔为30秒

         env.setRestartStrategy(RestartStrategies.fixedDelayRestart(5, 30000));

         // 使用事件时间

         env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

         // 数据处理

         DataStream<Tuple4<String, String, String, Long>> inputDS = env.socketTextStream("localhost", 9999)

             .map(line -> {

                 String[] fields = line.split(",",3);

                 return Tuple4.of(fields[0], fields[1], fields[2], DateUtil.FMT05.get().parse((fields[2])).getTime());

             })

             .returns(Types.TUPLE(Types.STRING, Types.STRING, Types.STRING, Types.LONG))

             .assignTimestampsAndWatermarks(new AssignerWithPeriodicWatermarks<Tuple4<String, String, String, Long>>() {// 分配时间戳并定期生成水印

                 private static final long serialVersionUID = -4195773369390603522L;

                 private SimpleDateFormat formatter = DateUtil.FMT15.get();

                 long currentMaxTimestamp = 0L;

                 long maxOutOfOrderness = 0L;//允许最大的乱序时间是0秒

                 @Override

                 public long extractTimestamp(Tuple4<String, String, String, Long> ele, long prevEleTs) {

                     long timestamp = ele.f3;

                     currentMaxTimestamp = Math.max(timestamp, currentMaxTimestamp);

                     System.out.println("事件: "+ele+", 最大时间戳："+DateUtil.ts2DateStr(currentMaxTimestamp, formatter)+", 水印时间戳："+DateUtil.ts2DateStr(getCurrentWatermark().getTimestamp(), formatter));

                     return timestamp;

                 }

                 @Override

                 public Watermark getCurrentWatermark() {return new Watermark(currentMaxTimestamp - maxOutOfOrderness);}

             });

         inputDS

             .keyBy(0)

             .window(TumblingEventTimeWindows.of(Time.seconds(2)))// 使用滚动窗口

             .apply(new WindowFunction<Tuple4<String,String,String,Long>, String, Tuple, TimeWindow>() {

                 private static final long serialVersionUID = -4990083905742822422L;

                 private SimpleDateFormat formatter = DateUtil.FMT15.get();

                 @Override

                 public void apply(Tuple key, TimeWindow window, Iterable<Tuple4<String, String, String, Long>> input,

                         Collector<String> out) throws Exception {

                     // 按照事件时间升序排序

                     List<Tuple4<String, String, String, Long>> list = new ArrayList<>();

                     input.forEach(t4->list.add(t4));

                     list.sort((e1,e2)->e1.f3.compareTo(e2.f3));

                     System.out.println("==== "+key+", 窗口开始："+DateUtil.ts2DateStr(window.getStart(), formatter)+"，窗口结束："+DateUtil.ts2DateStr(window.getEnd(), formatter)+"; 窗口内的数据："+list);

                 }

             })

             .print();

         env.execute(jobName);

     }

 }

1.2、使用netcat启动SocketServer，发送数据到FlinkStreaming中（数据是有序的情况下）

C:\Users\mengyao>nc -l -p 9999 -v

listening on [any] 9999 ...

connect to [127.0.0.1] from DESKTOP-H7J35OJ [127.0.0.1] 63187

1,1,20190101090000000

1,1,20190101090001000

1,1,20190101090001999

1,1,20190101090002000

1,1,20190101090003000

1,1,20190101090004000

1,1,20190101090005000

1,1,20190101090005500

1,1,20190101090007000

1.3、程序控制台输出：

log4j:WARN No appenders could be found for logger (org.apache.flink.api.java.ClosureCleaner).
  log4j:WARN Please initialize the log4j system properly.
  log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
  事件: (1,1,20190101090000000,1546304400000), 最大时间戳：2019-01-01 09:00:00.000, 水印时间戳：2019-01-01 09:00:00.000
  事件: (1,1,20190101090001000,1546304401000), 最大时间戳：2019-01-01 09:00:01.000, 水印时间戳：2019-01-01 09:00:01.000
  事件: (1,1,20190101090001999,1546304401999), 最大时间戳：2019-01-01 09:00:01.999, 水印时间戳：2019-01-01 09:00:01.999
  ==== (1), 窗口开始：2019-01-01 09:00:00.000，窗口结束：2019-01-01 09:00:02.000; 窗口内的数据：[(1,1,20190101090000000,1546304400000), (1,1,20190101090001000,1546304401000), (1,1,20190101090001999,1546304401999)]
  事件: (1,1,20190101090002000,1546304402000), 最大时间戳：2019-01-01 09:00:02.000, 水印时间戳：2019-01-01 09:00:02.000
  事件: (1,1,20190101090003000,1546304403000), 最大时间戳：2019-01-01 09:00:03.000, 水印时间戳：2019-01-01 09:00:03.000
  事件: (1,1,20190101090004000,1546304404000), 最大时间戳：2019-01-01 09:00:04.000, 水印时间戳：2019-01-01 09:00:04.000
  ==== (1), 窗口开始：2019-01-01 09:00:02.000，窗口结束：2019-01-01 09:00:04.000; 窗口内的数据：[(1,1,20190101090002000,1546304402000), (1,1,20190101090003000,1546304403000)]
  事件: (1,1,20190101090005000,1546304405000), 最大时间戳：2019-01-01 09:00:05.000, 水印时间戳：2019-01-01 09:00:05.000
  事件: (1,1,20190101090005500,1546304405500), 最大时间戳：2019-01-01 09:00:05.500, 水印时间戳：2019-01-01 09:00:05.500
  事件: (1,1,20190101090007000,1546304407000), 最大时间戳：2019-01-01 09:00:07.000, 水印时间戳：2019-01-01 09:00:07.000
  ==== (1), 窗口开始：2019-01-01 09:00:04.000，窗口结束：2019-01-01 09:00:06.000; 窗口内的数据：[(1,1,20190101090004000,1546304404000), (1,1,20190101090005000,1546304405000), (1,1,20190101090005500,1546304405500)]

1.4、滚动窗口分析：

 

控制台打印如下：
第1次触发窗口 （水印时间戳：2019-01-01 09:00:01.999）
==== (1), 窗口开始：2019-01-01 09:00:00.000，窗口结束：2019-01-01 09:00:02.000; 窗口内的数据：[(1,1,20190101090000000,1546304400000), (1,1,20190101090001000,1546304401000), (1,1,20190101090001999,1546304401999)]
 
解释：
 
窗口的开始时间：2019-01-01 09:00:00.000
 
窗口开始时间由事件数据决定，即接收到第一条事件数据是：(1,1,20190101090000000,1546304400000)，所以窗口开始时间为：20190101090000000。
结论是：
　　窗口的开始时间 = 第一条事件数据的时间。
 
窗口的结束时间：2019-01-01 09:00:02.000
 
窗口开始时间是2019-01-01 09:00:00.000，窗口长度是2秒，那窗口结束时间 = 窗口开始时间+2秒 = 2019-01-01 09:00:02.000。
结论是：
　　窗口的结束时间 = 窗口开始时间+2秒 = 2019-01-01 09:00:02.000。
 
窗口的长度：2秒
 
在1.1代码的72行：window(TumblingEventTimeWindows.of(Time.seconds(2)))。使用滚动窗口，且窗口长度为2秒。
结论是：
　　窗口长度 = window(TumblingEventTimeWindows.of(Time.seconds(2)))代码中设置的2秒。
 
进入窗口的数据：[
　　　　　　　　　　(1,1,20190101090000000,1546304400000), 
　　　　　　　　　　(1,1,20190101090001000,1546304401000), 
　　　　　　　　　　(1,1,20190101090001999,1546304401999)
　　　　　　　　]
 
因为窗口属于左闭右开（包前不包后），所以这个窗口的时间范围是从2019-01-01 09:00:00.000 到 2019-01-01 09:00:02.000 - 1。只要数据的事件时间属于该区间就会落在这个窗口中。
窗口结束条件的源码如下：

结论是：
　　当数据的事件时间 >= 窗口开始时间 && <=窗口结束时间-1时，都会落在窗口内。
   窗口的水印时间：因延迟时间为0，所以水印时间 = 事件时间。 
在1.1代码的67行，public Watermark getCurrentWatermark() {return new Watermark(currentMaxTimestamp - maxOutOfOrderness);}
currentMaxTimestamp是事件数据Tuple3（id,count,time）的时间f3字段,也就是事件时间。
maxOutOfOrderness是允许最大乱序延迟时间，该值=0。
所以，currentMaxTimestamp - maxOutOfOrderness 即 currentMaxTimestamp - 0。
结论是：
　　如果最大允许的乱序时间是0， 则：水印时间 = 事件时间。
   窗口的触发时机：窗口结束时间-1 
源码如下（TriggerResult枚举类的FIRE状态表示将窗口求值并发出结果，不清除窗口数据，会保留所有元素）。
触发窗口计算的源码：

触发器的触发状态定义源码：

结论是：
　　1. 当事件时间 = 水印时间的情况下：
　　　　1.1、水印时间（最后一条事件数据的事件时间） = 窗口结束时间-1，会触发窗口计算；【因为最后一条数据的事件时间是20190101090001999满足窗口结束时间-1毫秒】
　　　　1.2、水印时间（最后一条事件数据的事件时间 = 窗口结束时间）， 会触发计算；
　　　　1.3、水印时间（最后一条事件数据的事件时间 > 窗口结束时间）， 会触发计算；
 

　　

　　






第二次触发窗口计算
控制台打印如下：
第2次触发窗口 （水印时间戳：2019-01-01 09:00:04.000）
==== (1), 窗口开始：2019-01-01 09:00:02.000，窗口结束：2019-01-01 09:00:04.000; 窗口内的数据：[(1,1,20190101090002000,1546304402000), (1,1,20190101090003000,1546304403000)]
 
解释：
 
窗口的开始时间：2019-01-01 09:00:02.000
 
窗口开始时间由事件数据决定，即接收到第一条事件数据是：(1,1,20190101090002000,1546304402000)，所以窗口开始时间为：20190101090002000。
结论是：
　　窗口的开始时间 = 大于或等于前一个窗口结束时间的数据。
 
窗口的结束时间：2019-01-01 09:00:04.000
 
窗口开始时间是2019-01-01 09:00:02.000，窗口长度是2秒，那窗口结束时间 = 窗口开始时间+2秒 = 2019-01-01 09:00:04.000。
结论是：
　　窗口的结束时间 = 窗口开始时间+2秒 = 2019-01-01 09:00:04.000。
 
窗口的长度：2秒
 
在1.1代码的72行：window(TumblingEventTimeWindows.of(Time.seconds(2)))。使用滚动窗口，且窗口长度为2秒。
结论是：
　　窗口长度 = window(TumblingEventTimeWindows.of(Time.seconds(2)))代码中设置的2秒。
 
进入窗口的数据：[
　　　　　　　　　　(1,1,20190101090002000,1546304402000), 
　　　　　　　　　　(1,1,20190101090003000,1546304403000)
　　　　　　　　]
 
因为窗口属于左闭右开（包前不包后），所以这个窗口的时间范围是从2019-01-01 09:00:02.000 到 2019-01-01 09:00:04.000 - 1。只要数据的事件时间属于该区间就会落在这个窗口中。
窗口结束条件的源码如下：

结论是：
　　当数据的事件时间 >= 窗口开始时间 && <=窗口结束时间-1时，都会落在窗口内。
   窗口的水印时间：因延迟时间为0，所以事件时间 = 水印时间。 
在1.1代码的67行，public Watermark getCurrentWatermark() {return new Watermark(currentMaxTimestamp - maxOutOfOrderness);}
currentMaxTimestamp是事件数据Tuple3（id,count,time）的时间f3字段,也就是事件时间。
maxOutOfOrderness是允许最大乱序延迟时间，该值=0。
所以，currentMaxTimestamp - maxOutOfOrderness 即 currentMaxTimestamp - 0。
结论是：
　　如果最大允许的乱序时间是0， 则：水印时间 = 事件时间。
   窗口的触发时机：窗口结束时间-1 
源码如下（TriggerResult枚举类的FIRE状态表示将窗口求值并发出结果，不清除窗口数据，会保留所有元素）。
触发窗口计算的源码：

触发器的触发状态定义源码：

结论是：
　　1. 当事件时间 = 水印时间的情况下：
　　　　1.1、水印时间（最后一条事件数据的事件时间） = 窗口结束时间-1，会触发窗口计算；
　　　　1.2、水印时间（最后一条事件数据的事件时间 = 窗口结束时间）， 会触发窗口计算；【因为最后一条数据的事件时间是20190101090003000小于窗口结束时间无法触发，而下一条数据20190101090004000等于窗口结束时间，所以触发计算】
　　　　1.3、水印时间（最后一条事件数据的事件时间 > 窗口结束时间）， 会触发窗口计算；
 


第三次触发窗口计算：
控制台打印如下：
第3次触发窗口 （水印时间戳：2019-01-01 09:00:07.000）
==== (1), 窗口开始：2019-01-01 09:00:04.000，窗口结束：2019-01-01 09:00:06.000; 窗口内的数据：[(1,1,20190101090004000,1546304404000), (1,1,20190101090005000,1546304405000), (1,1,20190101090005500,1546304405500)]
 
解释：
 
窗口的开始时间：2019-01-01 09:00:04.000
 
窗口开始时间由事件数据决定，即接收到第一条事件数据是：(1,1,20190101090004000,1546304404000)，所以窗口开始时间为：20190101090004000。
结论是：
　　窗口的开始时间 = 大于或等于前一个窗口的数据。
 
窗口的结束时间：2019-01-01 09:00:06.000
 
窗口开始时间是2019-01-01 09:00:04.000，窗口长度是2秒，那窗口结束时间 = 窗口开始时间+2秒 = 2019-01-01 09:00:06.000。
结论是：
　　窗口的结束时间 = 窗口开始时间+2秒 = 2019-01-01 09:00:06.000。
 
窗口的长度：2秒
 
在1.1代码的72行：window(TumblingEventTimeWindows.of(Time.seconds(2)))。使用滚动窗口，且窗口长度为2秒。
结论是：
　　窗口长度 = window(TumblingEventTimeWindows.of(Time.seconds(2)))代码中设置的2秒。
 
进入窗口的数据：[
　　　　　　　　　　(1,1,20190101090004000,1546304404000), 
　　　　　　　　　　(1,1,20190101090005000,1546304405000),
　　　　　　　　　　(1,1,20190101090005500,1546304405500)
　　　　　　　　]
 
因为窗口属于左闭右开（包前不包后），所以这个窗口的时间范围是从2019-01-01 09:00:04.000 到 2019-01-01 09:00:06.000 - 1。只要数据的事件时间属于该区间就会落在这个窗口中。
窗口结束条件的源码如下：

结论是：
　　当数据的事件时间 >= 窗口开始时间 && <=窗口结束时间-1时，都会落在窗口内。
   窗口的水印时间：因延迟时间为0，所以事件时间 = 水印时间。 
在1.1代码的67行，public Watermark getCurrentWatermark() {return new Watermark(currentMaxTimestamp - maxOutOfOrderness);}
currentMaxTimestamp是事件数据Tuple3（id,count,time）的时间f3字段,也就是事件时间。
maxOutOfOrderness是允许最大乱序延迟时间，该值=0。
所以，currentMaxTimestamp - maxOutOfOrderness 即 currentMaxTimestamp - 0。
结论是：
　　如果最大允许的乱序时间是0， 则：水印时间 = 事件时间。
   窗口的触发时机：窗口结束时间-1 
源码如下（TriggerResult枚举类的FIRE状态表示将窗口求值并发出结果，不清除窗口数据，会保留所有元素）。
触发窗口计算的源码：

触发器的触发状态定义源码：

结论是：
　　1. 当事件时间 = 水印时间的情况下：
　　　　1.1、水印时间（最后一条事件数据的事件时间） = 窗口结束时间-1，会触发窗口计算；
　　　　1.2、水印时间（最后一条事件数据的事件时间 = 窗口结束时间）， 会触发窗口计算；
　　　　1.3、水印时间（最后一条事件数据的事件时间 > 窗口结束时间）， 会触发窗口计算；【因为窗口3最后一条数据的事件时间是20190101090005500小于窗口结束时间无法触发，而下一条数据20190101090007000大于窗口结束时间，所以触发计算】
 



总结：
　　先上图

=================================================
这3个窗口的规律总结为：
　　1、水印时间：事件时间 - 允许的最大乱序时间0秒，即每个水印时间落后于事件时间0秒，代码：new Watermark(currentMaxTimestamp - maxOutOfOrderness)。
　　2、窗口的开始时间：基于事件时间的滚动窗口下，是以（第一条数据的事件时间 or 事件时间大于等于前一个窗口的数据）作为窗口的开始时间，而不是算子所处节点的系统时钟。
　　3、窗口的结束时间：基于事件时间的滚动窗口下，窗口结束时间 = 窗口开始时间 + 窗口的长度即TumblingEventTimeWindows.of(Time.seconds(2))。
　　4、窗口的计算时机：数据的水印时间 >= 窗口结束时间 or 数据的水印时间 = 窗口结束时间-1毫秒时，就触发了窗口的计算。
　　5、落入窗口内的数据：窗口属于左闭右开，即数据的事件时间 >= 窗口起始时间 并且 < 窗口的结束时间。

二、使用并行度为4（多并行度）的本地模式测试

2.1、Flink时间时间窗口代码，使用SocketSource：

package com.mengyao.flink.stream.window;

import java.text.SimpleDateFormat;

import java.util.ArrayList;

import java.util.List;

import org.apache.flink.api.common.restartstrategy.RestartStrategies;

import org.apache.flink.api.common.typeinfo.Types;

import org.apache.flink.api.java.tuple.Tuple;

import org.apache.flink.api.java.tuple.Tuple4;

import org.apache.flink.configuration.ConfigConstants;

import org.apache.flink.configuration.Configuration;

import org.apache.flink.configuration.RestOptions;

import org.apache.flink.streaming.api.TimeCharacteristic;

import org.apache.flink.streaming.api.datastream.DataStream;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import org.apache.flink.streaming.api.functions.AssignerWithPeriodicWatermarks;

import org.apache.flink.streaming.api.functions.windowing.WindowFunction;

import org.apache.flink.streaming.api.watermark.Watermark;

import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;

import org.apache.flink.streaming.api.windowing.time.Time;

import org.apache.flink.streaming.api.windowing.windows.TimeWindow;

import org.apache.flink.util.Collector;

import com.mengyao.flink.stream.utils.DateUtil;

/**

 * 启动netcat：nc -L -p 9999 -v

 * 验证多并行度时的事件时间窗口。

 * Created by: mengyao

 * 2019年10月15日

 */

public class MultipleParallelismSocketEventTimeWindowApp {

    private static String jobName = MultipleParallelismSocketEventTimeWindowApp.class.getSimpleName();

    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();

        conf.setBoolean(ConfigConstants.LOCAL_START_WEBSERVER, true);

        conf.setInteger(RestOptions.PORT, RestOptions.PORT.defaultValue());

        final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment(4, conf);

        // 设置重启策略，5次尝试，每次尝试的间隔为30秒

        env.setRestartStrategy(RestartStrategies.fixedDelayRestart(5, 30000));

        // 使用事件时间

        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

        // 数据处理

        DataStream<Tuple4<String, String, String, Long>> inputDS = env.socketTextStream("localhost", 9999)

            .map(line -> {

                String[] fields = line.split(",",3);

                return Tuple4.of(fields[0], fields[1], fields[2], DateUtil.FMT05.get().parse((fields[2])).getTime());

            })

            .returns(Types.TUPLE(Types.STRING, Types.STRING, Types.STRING, Types.LONG))

            .assignTimestampsAndWatermarks(new AssignerWithPeriodicWatermarks<Tuple4<String, String, String, Long>>() {// 分配时间戳并定期生成水印

                private static final long serialVersionUID = -4195773369390603522L;

                private SimpleDateFormat formatter = DateUtil.FMT15.get();

                long currentMaxTimestamp = 0L;

                long maxOutOfOrderness = 000L;//允许最大的乱序时间是5秒

                @Override

                public long extractTimestamp(Tuple4<String, String, String, Long> ele, long prevEleTs) {

                    long timestamp = ele.f3;

                    currentMaxTimestamp = Math.max(timestamp, currentMaxTimestamp);

                    long tId = Thread.currentThread().getId();

                    System.out.println("线程ID："+tId+", 事件: "+ele+", 最大时间戳："+DateUtil.ts2DateStr(currentMaxTimestamp, formatter)+", 水印时间戳："+DateUtil.ts2DateStr(getCurrentWatermark().getTimestamp(), formatter));

                    return timestamp;

                }

                @Override

                public Watermark getCurrentWatermark() {return new Watermark(currentMaxTimestamp - maxOutOfOrderness);}

            });

        inputDS

            .keyBy(0)

            .window(TumblingEventTimeWindows.of(Time.seconds(2)))// 使用滚动窗口

            .apply(new WindowFunction<Tuple4<String,String,String,Long>, String, Tuple, TimeWindow>() {

                private static final long serialVersionUID = -4990083905742822422L;

                private SimpleDateFormat formatter = DateUtil.FMT15.get();

                @Override

                public void apply(Tuple key, TimeWindow window, Iterable<Tuple4<String, String, String, Long>> input,

                        Collector<String> out) throws Exception {

                    // 按照事件时间升序排序

                    List<Tuple4<String, String, String, Long>> list = new ArrayList<>();

                    input.forEach(t4->list.add(t4));

                    list.sort((e1,e2)->e1.f3.compareTo(e2.f3));

                    long tId = Thread.currentThread().getId();

                    System.out.println("==== 线程ID："+tId+"，key="+key+", 窗口开始："+DateUtil.ts2DateStr(window.getStart(), formatter)+"，窗口结束："+DateUtil.ts2DateStr(window.getEnd(), formatter)+"; 窗口内的数据："+list);

                }

            })

            .print();

        env.execute(jobName);

    }

}

2.2、使用netcat启动SocketServer，发送数据到FlinkStreaming中

listening on [127.0.0.1] 9999 ...

connect to [127.0.0.1] from DESKTOP-H7J35OJ [127.0.0.1] 59356

1,1,20190101090000000

1,1,20190101090000500

1,1,20190101090001000

1,1,20190101090001999

1,1,20190101090002000

1,1,20190101090002500

1,1,20190101090001999

1,1,20190101090002300

1,1,20190101090003000

1,1,20190101090003999

1,1,20190101090004000

1,1,20190101090004500

1,1,20190101090003999
1,1,20190101090005999
1,1,20190101090005999
1,1,20190101090005999
1,1,20190101090005999

2.3、程序控制台输出：

线程ID：63, 事件: (1,1,20190101090000000,1546304400000), 最大时间戳：2019-01-01 09:00:00.000, 水印时间戳：2019-01-01 09:00:00.000

线程ID：64, 事件: (1,1,20190101090000500,1546304400500), 最大时间戳：2019-01-01 09:00:00.500, 水印时间戳：2019-01-01 09:00:00.500

线程ID：65, 事件: (1,1,20190101090001000,1546304401000), 最大时间戳：2019-01-01 09:00:01.000, 水印时间戳：2019-01-01 09:00:01.000

线程ID：66, 事件: (1,1,20190101090001999,1546304401999), 最大时间戳：2019-01-01 09:00:01.999, 水印时间戳：2019-01-01 09:00:01.999

线程ID：63, 事件: (1,1,20190101090002000,1546304402000), 最大时间戳：2019-01-01 09:00:02.000, 水印时间戳：2019-01-01 09:00:02.000

线程ID：64, 事件: (1,1,20190101090002500,1546304402500), 最大时间戳：2019-01-01 09:00:02.500, 水印时间戳：2019-01-01 09:00:02.500

线程ID：65, 事件: (1,1,20190101090001999,1546304401999), 最大时间戳：2019-01-01 09:00:01.999, 水印时间戳：2019-01-01 09:00:01.999

==== 线程ID：72，key=(1), 窗口开始：2019-01-01 09:00:00.000，窗口结束：2019-01-01 09:00:02.000; 窗口内的数据：[(1,1,20190101090000000,1546304400000), (1,1,20190101090000500,1546304400500), (1,1,20190101090001000,1546304401000), (1,1,20190101090001999,1546304401999), (1,1,20190101090001999,1546304401999)]

线程ID：66, 事件: (1,1,20190101090002300,1546304402300), 最大时间戳：2019-01-01 09:00:02.300, 水印时间戳：2019-01-01 09:00:02.300

线程ID：63, 事件: (1,1,20190101090003000,1546304403000), 最大时间戳：2019-01-01 09:00:03.000, 水印时间戳：2019-01-01 09:00:03.000

线程ID：64, 事件: (1,1,20190101090003999,1546304403999), 最大时间戳：2019-01-01 09:00:03.999, 水印时间戳：2019-01-01 09:00:03.999

线程ID：65, 事件: (1,1,20190101090004000,1546304404000), 最大时间戳：2019-01-01 09:00:04.000, 水印时间戳：2019-01-01 09:00:04.000

线程ID：66, 事件: (1,1,20190101090004500,1546304404500), 最大时间戳：2019-01-01 09:00:04.500, 水印时间戳：2019-01-01 09:00:04.500

线程ID：63, 事件: (1,1,20190101090003999,1546304403999), 最大时间戳：2019-01-01 09:00:03.999, 水印时间戳：2019-01-01 09:00:03.999

==== 线程ID：72，key=(1), 窗口开始：2019-01-01 09:00:02.000，窗口结束：2019-01-01 09:00:04.000; 窗口内的数据：[(1,1,20190101090002000,1546304402000), (1,1,20190101090002300,1546304402300), (1,1,20190101090002500,1546304402500), (1,1,20190101090003000,1546304403000), (1,1,20190101090003999,1546304403999), (1,1,20190101090003999,1546304403999)]

线程ID：64, 事件: (1,1,20190101090005999,1546304405999), 最大时间戳：2019-01-01 09:00:05.999, 水印时间戳：2019-01-01 09:00:05.999

线程ID：65, 事件: (1,1,20190101090005999,1546304405999), 最大时间戳：2019-01-01 09:00:05.999, 水印时间戳：2019-01-01 09:00:05.999

线程ID：66, 事件: (1,1,20190101090005999,1546304405999), 最大时间戳：2019-01-01 09:00:05.999, 水印时间戳：2019-01-01 09:00:05.999

线程ID：63, 事件: (1,1,20190101090005999,1546304405999), 最大时间戳：2019-01-01 09:00:05.999, 水印时间戳：2019-01-01 09:00:05.999

==== 线程ID：72，key=(1), 窗口开始：2019-01-01 09:00:04.000，窗口结束：2019-01-01 09:00:06.000; 窗口内的数据：[(1,1,20190101090004000,1546304404000), (1,1,20190101090004500,1546304404500), (1,1,20190101090005999,1546304405999), (1,1,20190101090005999,1546304405999), (1,1,20190101090005999,1546304405999), (1,1,20190101090005999,1546304405999)]

2.4、滚动窗口分析：

第一次窗口触发（水印时间：2019-01-01 09:00:01.999）
　　控制台打印如下：
　　　　==== 线程ID：72，key=(1), 窗口开始：2019-01-01 09:00:00.000，窗口结束：2019-01-01 09:00:02.000; 窗口内的数据：[(1,1,20190101090000000,1546304400000), (1,1,20190101090000500,1546304400500), (1,1,20190101090001000,1546304401000), (1,1,20190101090001999,1546304401999), (1,1,20190101090001999,1546304401999)]
　　解释：
　　　　当每一个线程中最新的水印时间都  > =  窗口结束时间 / 窗口结束时间-1毫秒时，就会触发窗口的计算。
第二次窗口触发（水印时间：2019-01-01 09:00:03.999）
　　控制台打印如下：
　　　　==== 线程ID：72，key=(1), 窗口开始：2019-01-01 09:00:02.000，窗口结束：2019-01-01 09:00:04.000; 窗口内的数据：[(1,1,20190101090002000,1546304402000), (1,1,20190101090002300,1546304402300), (1,1,20190101090002500,1546304402500), (1,1,20190101090003000,1546304403000), (1,1,20190101090003999,1546304403999), (1,1,20190101090003999,1546304403999)]
　　解释：
　　　　当每一个线程中最新的水印时间都  > =  窗口结束时间 / 窗口结束时间-1毫秒时，就会触发窗口的计算。
第三次窗口触发（水印时间：2019-01-01 09:00:05.999）
　　控制台打印如下：
　　　　==== 线程ID：72，key=(1), 窗口开始：2019-01-01 09:00:04.000，窗口结束：2019-01-01 09:00:06.000; 窗口内的数据：[(1,1,20190101090004000,1546304404000), (1,1,20190101090004500,1546304404500), (1,1,20190101090005999,1546304405999), (1,1,20190101090005999,1546304405999), (1,1,20190101090005999,1546304405999), (1,1,20190101090005999,1546304405999)]
　　解释：
　　　　当每一个线程中最新的水印时间都  > = 窗口结束时间 / 窗口结束时间-1毫秒时，就会触发窗口的计算。
多并行度下事件时间窗口总结：
　　1、当所有线程内的最新水印时间 >= 窗口结束时间 / 窗口结束时间-1。 就会触发窗口的计算。
　　

Flink Streaming基于滚动窗口的事件时间分析的更多相关文章

  1. Apache Flink -Streaming(DataStream API)

    综述: 在Flink中DataStream程序是在数据流上实现了转换的常规程序. 1.示范程序 import org.apache.flink.api.common.functions.FlatMap ...

  2. 【源码解析】Flink 是如何基于事件时间生成Timestamp和Watermark

    生成Timestamp和Watermark 的三个重载方法介绍可参见上一篇博客: Flink assignAscendingTimestamps 生成水印的三个重载方法 之前想研究下Flink是怎么处 ...

  3. 「Flink」事件时间与水印

    我们先来以滚动时间窗口为例,来看一下窗口的几个时间参数与Flink流处理系统时间特性的关系. 获取窗口开始时间Flink源代码 获取窗口的开始时间为以下代码: org.apache.flink.str ...

  4. Flink架构（三）- 事件-时间（Event-Time）处理

    3. 事件-时间(Event-Time)处理 在“时间语义”中,我们强调了在流处理应用中时间语义的重要性,并解释了处理时间与事件时间的不同点.处理时间较好理解,因为它基于本地机器的时间,它产生的是有点 ...

  5. 2，StructuredStreaming的事件时间和窗口操作

    推荐阅读:1,StructuredStreaming简介 使用Structured Streaming基于事件时间的滑动窗口的聚合操作是很简单的,很像分组聚合.在一个分组聚合操作中,聚合值被唯一保存在 ...

  6. js进阶 12-6 监听鼠标滚动事件和窗口改变事件怎么写

    js进阶 12-6 监听鼠标滚动事件和窗口改变事件怎么写 一.总结 一句话总结:滚动事件scroll(),浏览器窗口调整监听resize(),思考好监听对象. 1.滚动事件scroll()的监听对象是 ...

  7. 事件时间(event time)与水印(watermark)

    事件时间和水印诞生的背景 在实际的流式计算中数据到来的顺序对计算结果的正确性有至关重要的影响 比如:某数据源中的某些数据由于某种原因(如:网络原因,外部存储自身原因)会有2秒的延时,也就是在实际时间的 ...

  8. 纯c++实现之滚动窗口

    别在MFC了,先分析下,上图 我们以左上角为坐标原点,用position_width和position_height来保存当前显示坐标. 根据msdn说明,滚动条默认情况下的值在0~100之间. 根据 ...

  9. Atitit事件代理机制原理 基于css class的事件代理

    Atitit事件代理机制原理 基于css class的事件代理 1.1. 在javasript中delegate这个词经常出现,看字面的意思,代理.委托1 1.2. 事件代理1 1.3. 代理标准化规 ...

随机推荐

  1. [LeetCode] 88. Merge Sorted Array 合并有序数组

    Given two sorted integer arrays nums1 and nums2, merge nums2 into nums1 as one sorted array. Note: T ...

  2. chrome/firefox如何设置很色背景

    firefox 菜单栏设置黑色 自带黑色主题,直接Enabled 页面背景设置黑色 下载扩展Extensions:Dark Reader chrome 菜单栏设置黑色 下载主题Theme:Just b ...

  3. kubernetes-subpath用法（把文件挂载在已存在的目录下，不覆盖原目录）

    以ngxin的配置文件为例子: nginx-deployment.yaml : apiVersion: v1 kind: ConfigMap metadata: name: nginx-cm data ...

  4. 【神经网络与深度学习】【计算机视觉】图解YOLO

    图解YOLO 晓雷 3 个月前 YOLO核心思想:从R-CNN到Fast R-CNN一直采用的思路是proposal+分类 (proposal 提供位置信息, 分类提供类别信息)精度已经很高,但是速度 ...

  5. Oracle Spatial分区应用研究之三：县市省不同分区粒度的效率比较

    在<Oracle Spatial分区应用研究之一:分区与分表查询性能对比>中已经说明:按县分区+全局空间索引效率要优于按县分区+本地空间索引,因此在该实验报告中,将不再考虑按县分区+本地空 ...

  6. Python代码编码规范

    目录 1. Introduction 介绍 2. A Foolish Consistency is the Hobgoblin of Little Minds 尽信书,则不如无书 3. Code la ...

  7. TZOJ5255: C++实验：三角形面积

    #include<iostream> #include<iomanip> #include<math.h> #include<cmath> using ...

  8. springboot打成jar包后无法解压

    springboot打成jar包后无法解压 Springboot打出来的jar,用压缩工具解压报错.Why? 先说解决办法. 1.解决办法 executable属性导致的,属性改成false后重新打包 ...

  9. 转：深入浅出Java垃圾回收机制

    原文链接:http://www.importnew.com/1993.html 对于Java开发人员来说,了解垃圾回收机制(GC)有哪些好处呢?首先可以满足作为一名软件工程师的求知欲,其次,深入了解G ...

  10. .Net Core-类库中创建CodeFirst

    本文仅用来学习记录. 搭建项目架构的时候,需要在类库中进行CodeFirst数据迁移   1.在项目的解决方案中,添加类库ERPFrame.Model 2.在类库项目中 添加实体模型和数据上下文 其中 ...