栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink checkpoint机制

Flink checkpoint机制

目录

1. checkpoint的用途

2. checkpoint的生成机制

3. checkpoint的状态存储

4. job的重启策略

5. 参考资料


可保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保证应用流图状态的一致性。

1. checkpoint的用途

某个算子故障,保证整个应用流图状态,恢复到之前的某一个状态。


2. checkpoint的生成机制

checkpoint 协调器,控制这每一次checkpoint的生成,将barrier从source、算子、sink依次广播,每个算子收到barrier后都会暂停处理数据然后制作chekpoint。每个算子挨个去生成各自的checkpoint。都完成后向协调器汇报,这样本次cp就生成了


3. checkpoint的状态存储

memRocksDBStateBackend

fsRocksDBStateBackend

RocksDBStateBackend


4. job的重启策略

no restart

fixed-delay


5. 参考资料

Flink可靠性的基石-checkpoint机制详细解析

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/712643.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号