栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

kafka 重复消费问题

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

kafka 重复消费问题

使用kafka版本 0.10.0.0 进行消息消费时发现每隔一天会出现重复消费,经查阅与offsets.retention.minutes配置有关

在kafka 新版本中官方文档对该配置的解释为:

After a consumer group loses all its consumers (i.e. becomes empty) its offsets will be kept for this retention period before getting discarded. For standalone consumers (using manual assignment), offsets will be expired after the time of last commit plus this retention period.

意思是消费组所有消费者都下线kafka会对消费位移记录保持 offsets.retention.minutes 配置的值的时间,此时间后会删除消费位移记录,此时消费者重新上线进行消费会从最开始的记录开始消费出现重复消费

但在0.10.0.0版本该值的官方解释为:

Log retention window in minutes for offsets topic 

经测试该版本的该值的表现与新版本存在差异

测试发现就算消费组中消费者在线,但是持续 offsets.retention.minutes没有新数据消费,kafka定期(offsets.retention.check.interval.ms)会去删除过期位移,此时会删除最新的消费位移记录,若此时发生分区balance 会导致数据重新消费

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/684095.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号