栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink对接Kafka的topic数据消费offset设置参数

Flink对接Kafka的topic数据消费offset设置参数

开始阅读位置 #

config 选项scan.startup.mode指定 Kafka 消费者的启动模式。有效的枚举是:

  • `group-offsets`:从特定消费者组的 ZK / Kafka 代理中的已提交偏移量开始。
  • `earliest-offset`:从可能的最早偏移量开始。
  • `latest-offset`:从最新的偏移量开始。
  • `timestamp`:从用户提供的每个分区的时间戳开始。
  • `specific-offsets`:从用户提供的每个分区的特定偏移量开始。

默认选项值group-offsets表示从 ZK / Kafka 代理中最后提交的偏移量开始消费。

如果timestamp指定,scan.startup.timestamp-millis则需要另一个配置选项来指定自 1970 年 1 月 1 日 00:00:00.000 GMT 以来的以毫秒为单位的特定启动时间戳。

如果specific-offsets被指定,另一个配置选项scan.startup.specific-offsets需要为每个分区指定特定的启动偏移,例如一个选项值partition:0,offset:42;partition:1,offset:300表示偏移42为分区0和偏移300为分区1。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/600987.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号