栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

【FLINK】浅谈Flink中WaterMark在分布式环境下的传递

【FLINK】浅谈Flink中WaterMark在分布式环境下的传递

我们大多数的工作环境所搭建的都是分布式集群模式,那么从上一篇中我们了解了WaterMark的原理。

现在在分布式的并行处理下,两个Task同时处理数据时他们所在Task的WaterMark是不相同的,Flink是如何保证WaterMark正常运行的呢。

    定义数据流及并行任务的数据流向,这里的延迟我们依然设置成3秒

    第一次处理数据

    第二次处理数据

    Watermark是用于处理乱序事件的,而正确的处理乱序事件,通常用Watermark机制结合window来实现。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/752410.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号