栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

Kafka如何存储每个主题的偏移量?

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Kafka如何存储每个主题的偏移量?

Kafka如何存储每个主题的偏移量?

卡夫卡已将抵销存储从动物园管理员转移到卡夫卡经纪人。原因如下:

Zookeeper不是服务于高写入负载(例如偏移量更新)的好方法,因为Zookeeper会将每个写入路由到每个节点,因此无法分区或扩展写入。
我们一直都知道这一点,但是由于已经依赖zk,因此选择此实现作为一种“方便婚姻”。

Kafka将偏移量提交存储在主题中,当使用者提交偏移量时,kafka将提交偏移量消息发布到“ commit-
log”主题,并保留将组/主题/分区映射到最新偏移量的内存结构,以便快速检索。可以在此页面中找到有关偏移管理的更多设计信息。

现在,我要设置要从每个主题读取的偏移量,而无需在一个主题的每个seek()和poll()之后重新订阅。

kafka管理工具有一个新功能可重置偏移量。

kafka-consumer-group.sh --bootstrap-server 127.0.0.1:9092 --group      your-consumer-group **--reset-offsets** --to-offset 1 --all-topics --execute

还有,你可以使用更多的选择。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/414415.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号