栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Kafka 问题以及调优参数集锦

Kafka 问题以及调优参数集锦

producer类参数:

1、request.timeout.ms:配置控制客户端等待请求响应的最长时间。如果在超时时间过去之前未收到响应,则客户端将在必要时重新发送请求,或者在重试次数用尽时使请求失败。默认值:30000ms。

注:该参数适合集群资源不高,带宽较低、且生产者频繁发送消息到topic。超时可能报以下错误信息,我在压测过程中发现的错误信息,并改为了60s,集群3台带宽4M(理想吞吐512KB/s).

Expiring 7 record(s) for test_producer-0: 60074 ms has passed since last append

org.apache.kafka.common.errors.TimeoutException: Expiring 7 record(s) for test_producer-0: 62004 ms has passed since batch creation plus linger time

(没设置前:发送失败上万,设置60s后,失败就70条) 

 则可以设置该参数 ,经过压测后,得到合理的值即可。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/699737.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号