栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

flink的watermark关键要点

flink的watermark关键要点

什么是Watermaker?
Watermaker 是和 event_time相匹配的。
Watermaker就是基于event_time 给消息再额外的加的一个时间列
也就是Watermaker是个时间戳!

如何计算Watermaker?
Watermaker = 当前窗口的最大的事件时间 - 最大允许的延迟时间或乱序时间
Watermaker水位线会一直上升(变大),不会下降

Watermaker有什么用?
Watermaker是用来触发窗口计算的!

Watermaker如何触发窗口计算的?
窗口计算的触发条件为:
1.窗口中有数据
2.Watermaker >= 窗口的结束时间
3.当前窗口的最大的事件时间 >= 窗口的结束时间 + 最大允许的延迟时间或乱序时间

因为前面说到
Watermaker = 当前窗口的最大的事件时间 - 最大允许的延迟时间或乱序时间
也就是说只要不断有数据来,就可以保证Watermaker水位线是会一直上升/变大的,不会下降/减小的
所以最终一定是会触发窗口计算的。

两个案例分析:
case 1:
某个窗口期内,如果event_time存在为空的情况,Watermaker = 当前窗口的最大的事件时间 - 最大允许的延迟时间或乱序时间,这个时候watermark为空,即是无穷大,那应该是到窗口结束的时候才会触发计算。例如,tumble(time_pt,interval 1 day,interval 10 second), 需要直到 tumble_end时刻才触发计算。

case 2:
某个窗口期内,如果event_time存在是未来时间的情况,这个时候水位线是未来时间,那么event_time为未来时间的消息进入本周期窗口里面时,就会立刻触发计算,实际上可能还没有到窗口计算时间,导致算少了。

case3:
某个窗口期内,如果event_time一直是小于窗口结束时间,这个时候水位线一直是小于窗口结束时间,是否一直不触发窗口计算 ?那应该是到窗口结束的时候才会触发计算 ? 例如,tumble(time_pt,interval 1 day,interval 10 second), 需要直到 tumble_end时刻才触发计算 ?

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/663662.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号