目录
一、MQ有什么用?有哪些具体的使用场景?
二、如何进行产品选型?
三、如何保证消息不丢失?
四、如何保证消息消费的幂等性?
五、如何保证消息的顺序?
六、如何保证消息的高效读写?
七、使用MQ如何保证分布式事务的最终一致性?
八、让你设计一个MQ,你会如何设计?
一、MQ有什么用?有哪些具体的使用场景?
MQ: MessageQueue,消息队列。 队列是一种FIFO先进先出的数据结构。消息由生产者发送到MQ进行排队,然后由消费者对消息进行处理。QQ、 微信 就是典型的MQ场景。
MQ的作用:
1、异步:
例子:快递。 快递员-> 菜鸟驿站<- 客户
作用:异步能提高系统的响应速度和吞吐量。
2、解耦:
例子:《Thinking in java》 -> 编辑社
作用:服务之间进行解耦,可以减少服务之间的影响,提高系统的稳定性和可扩展性。
另外,解耦之后可以实现数据分发。生产者发送一个消息后,可以由多个消费者来处理。
3、削峰:
例子:长江涨水->三峡大坝
作用:以稳定的系统资源应对突发的流量冲击。
MQ的缺点:
1、系统可用性降低:
一旦MQ宕机,整个业务就会产生影响。高可用
2、系统的复杂度提高:
引入MQ之后,数据链路就会变得很复杂。如何保证消息不丢失?消息不会重复调用?怎么保证消息的顺序性?
3、数据一致性:
A系统发消息,需要由B、C两个系统一同处理。如果B系统处理成功、C系统处理失败,这就会造成数据一致性的问题。
MQ的缺点:
1、系统可用性降低:
一旦MQ宕机,整个业务就会产生影响。高可用
2、系统的复杂度提高:
引入MQ之后,数据链路就会变得很复杂。如何保证消息不丢失?消息不会重复调用?怎么保证消息的顺序性?
3、数据一致性:
A系统发消息,需要由B、C两个系统一同处理。如果B系统处理成功、C系统处理失败,这就会造成数据一致性的问题。
二、如何进行产品选型?
Kafka
优点: 吞吐量非常大,性能非常好,集群高可用。
缺点:会丢数据,功能比较单一。
使用场景:日志分析、大数据采集
RabbitMQ
优点: 消息可靠性高,功能全面。
缺点:吞吐量比较低,消息积累会严重影响性能。erlang语言不好定制。
使用场景:小规模场景。
RocketMQ
优点:高吞吐、高性能、高可用,功能非常全面。
缺点:开源版功能不如云上商业版。官方文档和周边生态还不够成熟。客户端只支持java。
使用场景:几乎是全场景。
RabbitMQ
优点: 消息可靠性高,功能全面。
缺点:吞吐量比较低,消息积累会严重影响性能。erlang语言不好定制。
使用场景:小规模场景。
RocketMQ
优点:高吞吐、高性能、高可用,功能非常全面。
缺点:开源版功能不如云上商业版。官方文档和周边生态还不够成熟。客户端只支持java。
使用场景:几乎是全场景。
三、如何保证消息不丢失?
请参考:
消息队列面试连环问:如何保证消息不丢失?处理重复消息?消息有序性?消息堆积处理? - JavaShuo你们好,我是 yes。web 最近我一直扎在消息队列实现细节之中没法自拔,已经写了 3 篇Kafka源码分析,还剩不少没肝完。以前还存着RocketMQ源码分析还没整理。今儿暂时先跳出来盘一盘大方向上的消息队列有哪些核心注意点。面试 核心点有不少,为了更贴合实际场景,我从常见的面试问题入手:算法 如何保证消息不丢失? 若是处理重复消息? 如何保证消息的有序性? 若是处理消息堆积? 固然在剖析这几个http://www.javashuo.com/article/p-mhifbshw-mx.html
四、如何保证消息消费的幂等性?
幂等性:一个请求,不管重复来多少次,结果是不会改变的。
每个消息都会有唯一的消息 id。
1)先查再保存
每次保存数据的时候,都先查一下,如果数据存在了那么就不保存。这个情况是并发不高的情况。
2)业务表添加约束条件
如果你的数据库将来都不会分库分表,那么可以在业务表字段加上唯一约束条件(UNIQUE),这样相同的数据就不会保存为多份。
3)添加消息表
再数据库里面,添加一张消息消费记录表,表字段加上唯一约束条件(UNIQUE),消费完之后就往表里插入一条数据。因为加了唯一约束条件,第二次保存的时候,mysql 就会报错,就插入不进去;通过数据库可以限制重复消费。
4)使用 redis
如果你的系统是分布式的,又做了分库分表,那么可以使用 redis 来做记录,把消息 id 存在 redis 里,下次再有重复消息 id 在消费的时候,如果发现 redis 里面有了就不能进行消费。
5)高并发下
如果你的系统并发很高,那么可以使用 redis 或者 zookeeper 的分布式对消息 id 加锁,然后使用上面的几个方法进行幂等性控制。



