栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

消息队列常见问题之消息发生大量堆积应该怎么处理

消息队列常见问题之消息发生大量堆积应该怎么处理

线上故障了,怎么处理

消息堆积了10小时,有几千万条消息待处理,现在怎么办?修复consumer, 然后慢慢消费?也需要几小时才可以消费完成,新的消息怎么办?

        核心思想:紧急临时扩容,更快的速度去消费数据
        - 修复Consumer不消费问题,使其恢复正常消费,根据业务需要看是否要暂停
        - 临时topic队列扩容,并提高消费者能力,但是如果增加Consumer数量,
          但是堆积的topic里面的message queue数量固定,
          过多的consumer不能分配到message queue.
        - 编写临时处理分发程序,从旧topic快速读取到临时新topic中,
          新topic的queue数量扩容多倍,然后再启动更多consumer进行在临时新的topic里消费
        - 直到堆积的消息处理完成,再还原到正常的机器数量

 

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/746579.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号