什么是Watermaker?
Watermaker 是和 event_time相匹配的。
Watermaker就是基于event_time 给消息再额外的加的一个时间列
也就是Watermaker是个时间戳!
如何计算Watermaker?
Watermaker = 当前窗口的最大的事件时间 - 最大允许的延迟时间或乱序时间
Watermaker水位线会一直上升(变大),不会下降
Watermaker有什么用?
Watermaker是用来触发窗口计算的!
Watermaker如何触发窗口计算的?
窗口计算的触发条件为:
1.窗口中有数据
2.Watermaker >= 窗口的结束时间
3.当前窗口的最大的事件时间 >= 窗口的结束时间 + 最大允许的延迟时间或乱序时间
因为前面说到
Watermaker = 当前窗口的最大的事件时间 - 最大允许的延迟时间或乱序时间
也就是说只要不断有数据来,就可以保证Watermaker水位线是会一直上升/变大的,不会下降/减小的
所以最终一定是会触发窗口计算的。
两个案例分析:
case 1:
某个窗口期内,如果event_time存在为空的情况,Watermaker = 当前窗口的最大的事件时间 - 最大允许的延迟时间或乱序时间,这个时候watermark为空,即是无穷大,那应该是到窗口结束的时候才会触发计算。例如,tumble(time_pt,interval 1 day,interval 10 second), 需要直到 tumble_end时刻才触发计算。
case 2:
某个窗口期内,如果event_time存在是未来时间的情况,这个时候水位线是未来时间,那么event_time为未来时间的消息进入本周期窗口里面时,就会立刻触发计算,实际上可能还没有到窗口计算时间,导致算少了。
case3:
某个窗口期内,如果event_time一直是小于窗口结束时间,这个时候水位线一直是小于窗口结束时间,是否一直不触发窗口计算 ?那应该是到窗口结束的时候才会触发计算 ? 例如,tumble(time_pt,interval 1 day,interval 10 second), 需要直到 tumble_end时刻才触发计算 ?



