栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

rocketmq面对消息积压的处理

rocketmq面对消息积压的处理

1.观察消费者延迟消息堆积情况

2.查看单条消息的处理时间,查看启动的实例数,预估下每秒处理数据量
3.适当增加broker的读写队列数,防止,某一broker单条消息堆积引起队列消息总体延迟的情况

4.增加服务实例数量,提高消费能力
5.参数解释:Topic配置中perm的含义?
设置该 Topic 的读写模式

6.扩展:

划个重点:RocketMQ是按照队列进行消息负载的,如果consumer中的一台机器由于机器硬件、系统、远程RPC或者JavaGC等原因导致该机器上的消息队列不能及时处理,整个消息队列的消息都会堆积。

发布方消息负载均衡策略
消息队列RocketMQ 版针对生产者采取的是轮询制,即 Producer 的消息以轮询的方式发送至 消息队列(Queue);
订阅方消息负载均衡策略
消息队列 RocketMQ 版 Broker 会将这些 Queue 再平均分配至属于同一个 Group ID 的订阅方集群。

1.如果消费者consumer机器数量和消息队列相等,则消息队列平均分配到每一个consumer上。

2.如果consumer数量大于消息队列数量,则超出消息队列数量的机器没有可以处理的消息队列。

3.若消息队列数量不是consumer的整数倍,则部分consumer会承担跟多的消息队列的消费任务。

如果其中一台机器处理变慢,可能是机器硬件、系统、远程 RPC 调用或 Java GC 等原因导致分配至此机器上的 Queue 的消息不能及时处理;此外,消息队列 RocketMQ 版的消息负载是按 Queue 为粒度维护,所以,整个 Queue 上的消息都会堆积。
参考博客:RocketMQ常见问题-RocketMQ消息堆积问题-TOPIC队列扩容

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/745944.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号