栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

调整kafka服务端允许生产者发送的最大消息体大小

调整kafka服务端允许生产者发送的最大消息体大小

集群配置 1. server.properties
message.max.bytes=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880

说明:

broker 配置:
    message.max.bytes (默认:1000000) – broker能接收消息的最大字节数,这个值应该比消费端的fetch.message.max.bytes更小才对,否则broker就会因为消费端无法使用这个消息而挂起。  
    default.replication.factor(默认:1),副本因子,大于1为高可用,此值应小于等于broker数量。
    replica.fetch.max.bytes (默认: 1MB) – broker可复制的消息的最大字节数。这个值应该比message.max.bytes大,否则broker会接收此消息,但无法将此消息复制出去,从而造成数据丢失。

2. 重启kafka集群服务 3. 生产者配置
# 发送所有ISR
acks=all
# 重试次数
retries=2
# 批量发送大小(128KB)
batch.size=131072
# 消息体大小(5M)
max.request.size=5242880
# 缓存大小,根据本机内存大小配置(64M)
buffer.memory=67108864
# 发送频率,和batch.size参数满足任一条件发送
linger.ms=5
# 发送端id,便于统计(单线程时)
client.id=producer-asyn
# Key序列化
key.serializer=org.apache.kafka.common.serialization.StringSerializer
# value序列化
value.serializer=org.apache.kafka.common.serialization.StringSerializer

kafka关键参数配置

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/758811.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号