原文网址:RabbitMQ--消息重复/重复消费--原因/如何解决/避免--消息异常_IT利刃出鞘的博客-CSDN博客
什么时候会重复消费自动提交模式时
消费者收到消息后,要自动提交,但提交后,网络出故障,RabbitMQ服务器没收到提交消息,那么此消息会被重新放入队列,会再次发给消费者。
手动提交模式时
情景1:网络故障问题,同上。
情景2:接收到消息并处理结束了,此时消费者挂了,没有手动提交消息。
造成消息重复的两个原因是:网络不可达、消费端宕机。无法避免这两个问题,解决方法就是绕过这个问题。
问题就变成了:如果消费端收到两条一样的消息,应该怎样处理?
方案1:消费者保证业务幂等性消费端处理消息的业务逻辑保持幂等性。
- 比如你拿个数据要写库,先根据主键查一下,如果这数据有了,就别插入了,update 一下。
- 比如你是写 Redis,那没问题了,反正每次都是 set,天然幂等性。
利用一张日志表来记录已经处理成功的消息的 ID,如果新到的消息 ID 已经在日志表中,那么就不再处理这条消息。
注意:此时需要保证每个消息都有唯一的id。



