栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

flink checkpoint和savepoint对kafka offset影响

flink checkpoint和savepoint对kafka offset影响

环境:
(1) flink1.13.3
(2) flink on yarn
(3) CheckpointingMode为EXACTLY_ONCE模式

1、 每次checkpoint成功完成才会向kafka提交offset,但是两次checkpoint期间的流数据仍然会被程序处理。 如果此时程序宕掉,则从最后一次成功的checkpoint处开始消费,因此最后一次成功checkpoint到程序宕掉期间的数据会被重复消费,需要sink端做幂等处理来保证整条链的EXACTLY_ONCE。
2、 在停止任务时进行savepoint可触发向kafka提交offset
使用flink stop -p [:targetDirectory] :jobId -yid :yarnAppId
需注意: 使用上述命令时yarn client机器必须配置在hosts里,不然无法使用,会报错,如下图。当然在程序run时如果分配到未在hosts里的机器就会报错,但是不影响运行。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/651593.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号