栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

记一次线上RocketMq消费堵塞问题

记一次线上RocketMq消费堵塞问题

记一次线上RocketMq消费堵塞问题

小伙伴反应业务数据推送状态不更新了,线上查看topic消费组消费状态,发现已经堵了500多万条数据。

赶紧联系运维小伙伴查看服务器状态,发现机器是正常的,cpu,内存均未发现异常状况,运维反应这两天迁移了服务器,但是服务器配置是一样的。业务代码也没动过,业务量倒是有些许增多,考虑是消费能力不足的问题。

查看RocketMQ的配置文档:

#rocketmq
rocketmq:
  #是否开启自动配置
  isEnable: true
  #mq的nameserver地址
  namesrvAddr: 192.168.10.189:9876;192.168.10.189:9877
  #消息最大长度 默认1024*4(4M)
  producerMaxMessageSize: 40960
  #发送消息超时时间,默认3000
  producerSendMsgTimeout: 3000
  #发送消息失败重试次数,默认2
  producerRetryTimesWhenSendFailed: 2
  #发送消息超过压缩
  producerCompressMsgBodyOverHowmuch: 2048
  #消费者线程数量
  consumerConsumeThreadMin: 5
  #设置一次消费消息的条数,默认为1条
  consumerConsumeThreadMax: 32
  consumerConsumeMessageBatchMaxSize: 1

发现两个参数设置有问题

consumerConsumeThreadMin:5 消费者线程数偏低

consumerConsumeMessageBatchMaxSize: 批处理消息数过低

这两个参数是跟业务量有关系的,当你的处理过程耗时过大时,应设置小一些,但是目前的应用还是扛得住一些业务量的,所以果断的加大消费并发。

设置如下:

consumerConsumeThreadMin: 20

consumerConsumeMessageBatchMaxSize: 100

后续优化,则从业务处理能力方面考虑,减小业务处理耗时

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/687470.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号