栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

FLINK

FLINK

Flink:有状态的流。 stateful computation

state:keyed state 和 operator state。keyed state:一个key是一个state。operator state:一个task是一个state。

offset:偏移量。流从哪里读取数据

checkpoint:检查点。checkpoint定期触发,产生快照,快照中记录了:

  • 当前检查点开始时数据源(例如Kafka)中消息的offset。
  • 记录了所有有状态的operator当前的状态信息(例如sum中的数值)。

Flink中CheckPoint详细_Felix_阳的博客-CSDN博客 Flink提供了Exactly once特性,是依赖于带有barrier的分布式快照+可部分重发的数据源功能实现的。而分布式快照中,就保存了operator的状态信息。  Flink的失败恢复依赖于检查点机制+可部分重发的数据源。  检查点机制机制:checkpoint定期触发,产生快照,快照中记录了:当前检查点开始时数据源(例如Kafka)中消息的offset。记录了所有...https://blog.csdn.net/aa1215018028/article/details/93159049浅谈Flink的checkpoint - 知乎https://zhuanlan.zhihu.com/p/28272609

keyby:数据按照key进行分组。

https://blog.csdn.net/vincent_duan/article/details/100880838https://blog.csdn.net/vincent_duan/article/details/100880838

flatMap:将嵌套集合转换并平铺成非嵌套集合。

flink学习之七-map、fliter、flatmap - 简书https://www.jianshu.com/p/7bbf14996d39

深度解析Flink flatMap算子的自定义方法(附代码例子)_皮皮鲁的AI星球-CSDN博客https://blog.csdn.net/qq_42596142/article/details/103785798

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/350074.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号