栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink 检查点 保存点

Flink 检查点 保存点

检查点(checkpoint)

支持带有事件时间的窗口 (Window) 操作

支持有状态计算的 Exactly-once语义 (依靠以下两点保证)

1.flink的checkpoint特性,Flink 检查点算法(Chandy-Lamport 算法的变种)2.是两阶段提交 检查点算法的种类

一种简单的想法(同步的思想)

暂停应用,保存状态到检查点,再重新恢复应用(SparkStreaming)

Flink 的改进实现(异步的思想)

基于Chandy-Lamport 算法的分布式快照算法将检查点的保存和数据处理分离开,不暂停整个应用

检查点分界线(Checkpoint Barrier,检查点屏障)

分界线对齐:barrier 向下游传递,sum 任务会等待所有输入

分区的barrier 到达

对于barrier 已经到达的分区,继续到达的数据会被缓存而barrier 尚未到达的分区,数据会被正常处理 保存点(savepoints)

保存点和检查点的区别

原则上,创建保存点使用的算法与检查点完全相同,因此保存点可以认为就是具有一些额外元数据的检查点Flink 不会自动创建保存点,因此用户(或者外部调度程序)必须明确地触发创建操作,savepoint 是手动执行的保存点是一个强大的功能。除了故障恢复外,保存点可以用于:有计划的手动备份,更新应用程序,版本迁移,暂停和重启应用,等等

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/714333.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号