在生产环境中由于一些不明原因,导致 rabbitmq 重启,在 RabbitMQ 重启期间生产者消息投递失败,导致消息丢失,需要手动处理和恢复。于是,我们开始思考,如何才能进行 RabbitMQ 的消息可靠投递呢?特别是在这样比较极端的情况,RabbitMQ 集群不可用的时候,无法投递的消息该如何处理呢?这就需要我们的rabbitMQ队列发布确认高级模式,消息投递失败的,是转发,转发失败,消息回退,缓存等等都是问题。
一、确认机制方案 1、确认机制方案消息投递到我们交换机时,同时缓存我们的消息,一旦我们的消息被交换机接受,交换机就删除缓存中的数据,防止我们交换机宕机,我们的消息不会丢失。有点像我们的前面的发布确认的异步确认的形式。
2、代码架构图此外我们需要实现我们的RabbitMQTemplate中的一个内部接口,这个接口就是用来发布确认使用的,实现其中的/confirm/i方法,之后注入到我们的RabbitMq中,消息发布之后,无论成功与否都会自动的调用这个接口的实现类。
创建一个直接类型的交换机,和一个队列,是一个key1绑定
在配置文件当中需要添加
# 开启发布消息确认 # 推荐使用correlated,不是同步机制,是异步机制 # 不推荐SIMPLE,因为SIMPLE是同步确认机制会阻塞 # NONE 是默认的机制 spring.rabbitmq.publisher-/confirm/i-type=correlated
参数解释:
⚫ NONE:禁用发布确认模式,是默认值
⚫ CORRELATED:发布消息成功到交换器后会触发回调方法 (推荐使用,异步的)
⚫ SIMPLE:经测试有两种效果,其一效果和 CORRELATED 值一样会触发回调方法,其二在发布消息成功后使用 rabbitTemplate 调用 waitForConfirms 或 waitForConfirmsOrDie 方法等待 broker 节点返回发送结果,根据返回结果来判定下一步的逻辑,要注意的点是waitForConfirmsOrDie 方法如果返回 false 则会关闭 channel,则接下来无法发送消息到 broker,就是我们前面讲过的同步确认机制,确认速度会非常慢,不推荐使用
@Configuration
public class /confirm/iConfig {
// 发布确认交换机的名字
public static final String /confirm/i_EXCHANGE_NAME = "/confirm/i.exchange";
// 备份交换机的名字
public static final String BACKUP_EXCHANGE_NAME = "backup.exchange";
// 发布确认队列名字
public static final String /confirm/i_QUEUE_NAME = "/confirm/i.queue";
// 绑定备份交换机的备份队列
public static final String BACKUP_QUEUE_NAME = "backup.queue";
// 绑定备份交换机的警告队列(做的备份队例一样的事)
public static final String WARNING_QUEUE_NAME = "warning.queue";
// 确认交换机和确认队列的路由key
public static final String /confirm/i_ROUTING_KEY = "key1";
@Bean
public FanoutExchange backupExchange() {
return new FanoutExchange(BACKUP_EXCHANGE_NAME);
}
@Bean
public DirectExchange /confirm/iExchange() {
return ExchangeBuilder // 使用交换机构造器
.directExchange(/confirm/i_EXCHANGE_NAME) // 创建直接交换机
.alternate(BACKUP_EXCHANGE_NAME) // 设置备份交换机的名字
.build(); // 构建
}
@Bean
public Queue /confirm/iQueue() {
return QueueBuilder.durable(/confirm/i_QUEUE_NAME).build();
}
@Bean
public Queue backupQueue() {
return QueueBuilder.durable(BACKUP_QUEUE_NAME).build();
}
@Bean
public Queue warningQueue() {
return QueueBuilder.durable(WARNING_QUEUE_NAME).build();
}
@Bean
public Binding queueBinding(@Qualifier("/confirm/iExchange") DirectExchange /confirm/iExchange,
@Qualifier("/confirm/iQueue") Queue /confirm/iQueue) {
return BindingBuilder.bind(/confirm/iQueue).to(/confirm/iExchange).with(/confirm/i_ROUTING_KEY);
}
@Bean
public Binding backupBinding(@Qualifier("backupExchange") FanoutExchange backupExchange,
@Qualifier("backupQueue") Queue backupQueue) {
return BindingBuilder.bind(backupQueue).to(backupExchange);
}
@Bean
public Binding warningBinding(@Qualifier("backupExchange") FanoutExchange backupExchange,
@Qualifier("warningQueue") Queue warningQueue) {
return BindingBuilder.bind(warningQueue).to(backupExchange);
}
}
5、回调接口实现类
@Slf4j
@Component
public class MyCallBack implements RabbitTemplate./confirm/iCallback, RabbitTemplate.ReturnCallback {
// 我们实现的 RabbitTemplate.ConfirmCallback 接口,是一个内部接口,需要我们手动设置一下内部接口的实现类
// 注入我们的RabbitTemplate 设置内部的接口实现方法
@Autowired
private RabbitTemplate rabbitTemplate;
@PostConstruct
private void init() {
// 设置内部接口的实现类
rabbitTemplate.set/confirm/iCallback(this);
rabbitTemplate.setReturnCallback(this);
}
@Override
public void /confirm/i(CorrelationData correlationData, boolean ack, String cause) {
// 获取消息的id
String id = correlationData != null ? correlationData.getId() : "";
// 交换机收到消息
if (ack) {
log.info("交换机已经收到 id 为:{}的消息", id);
} else {
// 交换机没有收到消息
log.error("交换机还未收到 id 为:{}消息,由于原因:{}", id, cause);
}
}
@Override
public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
log.error(" 消 息 {}, 被交换机 {} 退回,退回原因 :{}, 路 由 key:{}", new
String(message.getBody()), exchange, replyText, routingKey);
}
}
6、消息生产者
@ApiOperation("发送确认消息")
@GetMapping("/send/confirm/iMsg/{message}")
public void send/confirm/iMsg(@PathVariable String message) {
// 创建CorrelationData对象设置,消息有关的数据,用于回调接口使用
CorrelationData correlationData1 = new CorrelationData("1");
// 1、发送消息1
rabbitTemplate.convertAndSend(/confirm/iConfig./confirm/i_EXCHANGE_NAME, /confirm/iConfig./confirm/i_ROUTING_KEY, message, correlationData1);
// 2、发送交换机不存在的消息,测试接口回调
CorrelationData correlationData2 = new CorrelationData("2");
rabbitTemplate.convertAndSend(/confirm/iConfig./confirm/i_EXCHANGE_NAME + "123", /confirm/iConfig./confirm/i_ROUTING_KEY, message, correlationData2);
// 3、发送队列不存在的消息,测试消息退回机制
CorrelationData correlationData3 = new CorrelationData("3");
rabbitTemplate.convertAndSend(/confirm/iConfig./confirm/i_EXCHANGE_NAME, /confirm/iConfig./confirm/i_ROUTING_KEY + "1", message, correlationData3);
}
}
7、消息消费者
@RabbitListener(queues = /confirm/iConfig./confirm/i_QUEUE_NAME)
public void receiveMsg(Message message) {
String msg = new String(message.getBody());
log.info("接受到队列 /confirm/i.queue 消息:{}", msg);
}
8、结果演示分析
可以看到,发送了两条消息,第一条消息的 RoutingKey 为 “key1”,第二条消息的 RoutingKey 为"key2",两条消息都成功被交换机接收,也收到了交换机的确认回调,但消费者只收到了一条消息,因为第二条消息的 RoutingKey 与队列的 BindingKey 不一致,也没有其它队列能接收这个消息,所有第二条消息被直接丢弃了。
在仅开启了生产者确认机制的情况下,交换机接收到消息后,会直接给消息生产者发送确认消息,如果发现该消息不可路由,那么消息会被直接丢弃,此时生产者是不知道消息被丢弃这个事件的。那么如何让无法被路由的消息帮我想办法处理一下?最起码通知我一声,我好自己处理啊。通过设置 mandatory 参数可以在当消息传递过程中不可达目的地时将消息返回给生产者。
2、回调接口实现消息退回接口实现我们的RabbitTemplate.ReturnCallback接口,用户消息回退
@Slf4j
@Component
public class MyCallBack implements RabbitTemplate./confirm/iCallback, RabbitTemplate.ReturnCallback {
@Autowired
private RabbitTemplate rabbitTemplate;
@PostConstruct
private void init() {
// 设置内部接口的实现类
rabbitTemplate.setReturnCallback(this);
}
@Override
public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
log.error(" 消 息 {}, 被交换机 {} 退回,退回原因 :{}, 路 由 key:{}", new
String(message.getBody()), exchange, replyText, routingKey);
}
}
3、配置文件配置消息回退机制
# 开启消息回退机制 ,即交换机无法路由队列时,我们退回消息给我们生产者 spring.rabbitmq.publisher-returns=true4、生产者
@ApiOperation("发送确认消息")
@GetMapping("/send/confirm/iMsg/{message}")
public void send/confirm/iMsg(@PathVariable String message) {
// 创建CorrelationData对象设置,消息有关的数据,用于回调接口使用
CorrelationData correlationData1 = new CorrelationData("1");
// 1、发送消息1
rabbitTemplate.convertAndSend(/confirm/iConfig./confirm/i_EXCHANGE_NAME, /confirm/iConfig./confirm/i_ROUTING_KEY, message, correlationData1);
// 2、发送交换机不存在的消息,测试接口回调
CorrelationData correlationData2 = new CorrelationData("2");
rabbitTemplate.convertAndSend(/confirm/iConfig./confirm/i_EXCHANGE_NAME + "123", /confirm/iConfig./confirm/i_ROUTING_KEY, message, correlationData2);
// 3、发送队列不存在的消息,测试消息退回机制
CorrelationData correlationData3 = new CorrelationData("3");
rabbitTemplate.convertAndSend(/confirm/iConfig./confirm/i_EXCHANGE_NAME, /confirm/iConfig./confirm/i_ROUTING_KEY + "1", message, correlationData3);
}
5、结果分析
三、备份交换机(对上面进一步优化)
1、原理简介
有了 mandatory 参数和回退消息,我们获得了对无法投递消息的感知能力,有机会在生产者的消息无法被投递时发现并处理。但有时候,我们并不知道该如何处理这些无法路由的消息,最多打个日志,然后触发报警,再来手动处理。而通过日志来处理这些无法路由的消息是很不优雅的做法,特别是当生产者所在的服务有多台机器的时候,手动复制日志会更加麻烦而且容易出错。
而且设置 mandatory 参数会增加生产者的复杂性,需要添加处理这些被退回的消息的逻辑。如果既不想丢失消息,又不想增加生产者的复杂性,该怎么做呢?前面在设置死信队列的文章中,我们提到,可以为队列设置死信交换机来存储那些处理失败的消息,可是这些不可路由消息根本没有机会进入到队列,因此无法使用死信队列来保存消息。
在 RabbitMQ 中,有一种备份交换机的机制存在,可以很好的应对这个问题。什么是备份交换机呢?备份交换机可以理解为 RabbitMQ 中交换机的“备胎”,当我们为某一个交换机声明一个对应的备份交换机时,就是为它创建一个备胎,当交换机接收到一条不可路由消息时,将会把这条消息转发到备份交换机中,由备份交换机来进行转发和处理,通常备份交换机的类型为 Fanout ,这样就能把所有消息都投递到与其绑定的队列中,然后我们在备份交换机下绑定一个队列,这样所有那些原交换机无法被路由的消息,就会都进入这个队列了。当然,我们还可以建立一个报警队列,用独立的消费者来进行监测和报警。
@Bean
public FanoutExchange backupExchange() {
return new FanoutExchange(BACKUP_EXCHANGE_NAME);
}
@Bean
public Queue backupQueue() {
return QueueBuilder.durable(BACKUP_QUEUE_NAME).build();
}
@Bean
public Queue warningQueue() {
return QueueBuilder.durable(WARNING_QUEUE_NAME).build();
}
@Bean
public Binding backupBinding(@Qualifier("backupExchange") FanoutExchange backupExchange,
@Qualifier("backupQueue") Queue backupQueue) {
return BindingBuilder.bind(backupQueue).to(backupExchange);
}
@Bean
public Binding warningBinding(@Qualifier("backupExchange") FanoutExchange backupExchange,
@Qualifier("warningQueue") Queue warningQueue) {
return BindingBuilder.bind(warningQueue).to(backupExchange);
}
4、修改我们的确认交换机设置备份交换机信息
@Bean
public DirectExchange /confirm/iExchange() {
return ExchangeBuilder // 使用交换机构造器
.directExchange(/confirm/i_EXCHANGE_NAME) // 创建直接交换机
.alternate(BACKUP_EXCHANGE_NAME) // 设置备份交换机的名字
.build(); // 构建
}
5、消费者
@RabbitListener(queues = /confirm/iConfig.BACKUP_QUEUE_NAME)
public void receiveMsg1(Message message) {
String msg = new String(message.getBody());
log.info("接受到备份队列 backup.queue 消息:{}", msg);
}
@RabbitListener(queues = /confirm/iConfig.WARNING_QUEUE_NAME)
public void receiveMsg2(Message message) {
String msg = new String(message.getBody());
log.info("接受到警告队列 warning.queue 消息:{}", msg);
}
6、效果演示
四、消息回退和备份交换同时开启优先级问题分析
mandatory 参数与备份交换机可以一起使用的时候,如果两者同时开启,备份交换机优先级高,当我们的备份交换机同样失败的投递消息时,才会执行消息回退。



