栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

[Kafka]消息超过最大值限制max.request.size

[Kafka]消息超过最大值限制max.request.size

问题: 在抽取关系型数据库到kafka 中时,出现以下问题:

max.request.size

生产者客户端能发送消息的最大值,默认值为1048576B,1MB。不建议盲目修改,这个参数涉及其他的一些参数的联动,比如broker端的message.max.bytes参数,如果broker的message.max.bytes参数设置为10,而max.request.size设置为20,当发送一条大小为15B的消息时,生产者参数就会报错。

因此需要连续修改以上多个参数,才能生效

修改如下:

message.max.bytes   2M (在broker端修改)

max.request.size 2M (在客户端修改)

再次重启后数据正常抽取到kafka .

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/422578.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号