栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Kafka消费者拉取记录数配置

Kafka消费者拉取记录数配置

问题描述:

提示:这里描述项目中遇到的问题:
消费者从Kafka里取数据,存入数据库中。Kafka中还有大量数据没有消费,在消费者中配置的max.poll.records参数是300。但是消费者每次只拉取五六十条数据,为何不是拉取300条数据呢?


原因分析:

提示:这里填写问题的分析:
消费者一次poll拉取多少数据,除了受max.poll.records参数影响外,还受fetch.max.bytes参数影响,即一次反馈数据量大小是多少。每次拉取不够300条,说明已经查过了fetch.max.bytes的限制。


解决方案:

提示:这里填写该问题的具体解决方案:
需要根据实际业务场景合理配置fetch.max.bytes和max.poll.records。从日志中看,每次拉取回来的数据都要处理几十秒钟,说明这个处理能力已经不是太高效了,所以这俩参数都不应该再往上提高了。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/422362.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号