栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink - 窗口

Flink - 窗口

窗口(Window)就是将无限流切割为有限流的一种方式,

它会将流数据分发到有限大小的桶(bucket)中进行分析

时间窗口(Time Window)

滚动时间窗口

将数据依据固定的窗口长度对数据进行切分

时间对齐,窗口长度固定,没有重叠

滑动时间窗口会话窗口(只有Flink 支持) 计数窗口(Count Window)

滚动计数窗口滑动计数窗口

窗口分配器——window() 方法

处理时间窗口

window(TumblingProcessingTimeWindows.of(Time.seconds(5)))

事件时间窗口

window(TumblingEventTimeWindows.of(Time.seconds(5)))

窗口聚合函数定义了要对窗口中收集的数据做的计算操作

可以分为两类

增量聚合函数(不可以访问窗口信息)

每条数据到来就进行计算,只保存一个简单的状态(累加器)

ReduceFunction, AggregateFunction

当窗口闭合的时候,增量聚合完成

处理时间:当机器时间超过窗口结束时间的时候,窗口闭合

全窗口聚合函数

先把窗口所有数据收集起来,等到计算的时候会遍历所有数据

ProcessWindowFunction

增量聚合和全窗口聚合结合使用

可以访问窗口信息不需要收集窗口中的所有元素,只需要维护一个累加器,节省内存 其他参数解释:

trigger() ——触发器定义窗口什么时候关闭,触发计算并输出结果.evictor() ——移除器定义移除某些数据的逻辑.allowedLateness() ——允许处理迟到的数据.sideOutputLateData() ——将迟到的数据放入侧输出流.getSideOutput() ——获取侧输出流

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/710883.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号