栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

【架构师面试-消息队列-4】-消息的顺序性

【架构师面试-消息队列-4】-消息的顺序性

消息队列中的若干消息如果是对同一个数据进行操作,这些操作具有前后的关系,必须要按前后的顺序执行,否则就会造成数据异常。

1:MQ顺序错乱的场景

比如通过mysql binlog进行数据同步,由于对数据库的数据操作是具有顺序性的,如果操作顺序搞反,就会造成不可估量的错误。

比如数据库对一条数据依次进行了 插入->更新->删除操作,这个顺序必须是这样,如果在同步过程中,消息的顺序变成了 删除->插入->更新,那么原本应该被删除的数据,就没有被删除,造成数据的不一致问题。

2:数据同步 

 

3:详细剖析

一个 queue,多个 consumer。比如,生产者向 RabbitMQ 里发送了三条数据,顺序依次是

data1/data2/data3,压入的是 RabbitMQ 的一个内存队列。有三个消费者分别从 MQ 中消费这三条数据中的一条,结果消费者 2 先执行完操作,把 data2 存入数据库,然后是 data1/data3。这不明显乱了。

解决方案 方法一

拆分多个queue,每个queue一个consumer,这样会造成吞吐量下降。【路由键】

回到原始状态,一个生产者,一个消费者,一个MQ

方法二

一个queue对应一个consumer,然后这个consumer内部用内存队列排队,然后分发给底层不同的worker处理

①生产者发送三个消息到一个queue中,三个消息具有先后顺序

②消费者不在去直接消费消息,而是将消息保存到内存队列中【根据关键值进行hash操作,将关键值相同的数据发送到相同的队列里面】

③消费线程直接去内存队列获取消息消费,这样就可以保证消息的顺序

如果您觉得文章好看,欢迎点赞,感谢!!☺☻

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/601770.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号