Flink的Watermark简单理解

: 定义

Watermark 是一种衡量 Event Time 进展的机制。

Watermark 是用于处理乱序事件的，而正确的处理乱序事件，通常用 Watermark 机制结合 window 来实现。

数据流中的 Watermark 用于表示 timestamp 小于 Watermark 的数据，都已经 到达了，因此，window 的执行也是由 Watermark 触发的。

Watermark 可以理解成一个延迟触发机制，我们可以设置 Watermark 的延时 时长 t，每次系统会校验已经到达的数据中最大的maxEventTime，然后认定 eventTime 小于 maxEventTime - t 的所有数据都已经到达，如果有窗口的停止时间等于 maxEventTime – t，那么这个窗口被触发执行。

设置watermark为2s

.assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor[SensorReading](Time.seconds(2)) {
      ............
    })

设置滚动窗口为5s

.timeWindow(Time.seconds(5))

添加允许处理迟到的数据10s，添加，将迟到的数据放入侧输出流

.allowedLateness(Time.seconds(10))
.sideOutputLateData(lateTag)