栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

09-rabbitMq-发布确认高级-springBoot版本

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

09-rabbitMq-发布确认高级-springBoot版本

在生产环境中由于一些不明原因,导致 rabbitmq 重启,在 RabbitMQ 重启期间生产者消息投递失败,导致消息丢失,需要手动处理和恢复。于是,我们开始思考,如何才能进行 RabbitMQ 的消息可靠投递呢?特别是在这样比较极端的情况,RabbitMQ 集群不可用的时候,无法投递的消息该如何处理呢?这就需要我们的rabbitMQ队列发布确认高级模式,消息投递失败的,是转发,转发失败,消息回退,缓存等等都是问题。

一、确认机制方案 1、确认机制方案

消息投递到我们交换机时,同时缓存我们的消息,一旦我们的消息被交换机接受,交换机就删除缓存中的数据,防止我们交换机宕机,我们的消息不会丢失。有点像我们的前面的发布确认的异步确认的形式。

此外我们需要实现我们的RabbitMQTemplate中的一个内部接口,这个接口就是用来发布确认使用的,实现其中的/confirm/i方法,之后注入到我们的RabbitMq中,消息发布之后,无论成功与否都会自动的调用这个接口的实现类。

2、代码架构图

创建一个直接类型的交换机,和一个队列,是一个key1绑定

3、配置文件开启我们的发布确认机制

在配置文件当中需要添加

# 开启发布消息确认
# 推荐使用correlated,不是同步机制,是异步机制
# 不推荐SIMPLE,因为SIMPLE是同步确认机制会阻塞
# NONE 是默认的机制
spring.rabbitmq.publisher-/confirm/i-type=correlated

参数解释:
⚫ NONE:禁用发布确认模式,是默认值
⚫ CORRELATED:发布消息成功到交换器后会触发回调方法 (推荐使用,异步的)
⚫ SIMPLE:经测试有两种效果,其一效果和 CORRELATED 值一样会触发回调方法,其二在发布消息成功后使用 rabbitTemplate 调用 waitForConfirms 或 waitForConfirmsOrDie 方法等待 broker 节点返回发送结果,根据返回结果来判定下一步的逻辑,要注意的点是waitForConfirmsOrDie 方法如果返回 false 则会关闭 channel,则接下来无法发送消息到 broker,就是我们前面讲过的同步确认机制,确认速度会非常慢,不推荐使用

4、添加我们的配置类
@Configuration
public class /confirm/iConfig {
    // 发布确认交换机的名字
    public static final String /confirm/i_EXCHANGE_NAME = "/confirm/i.exchange";
    // 备份交换机的名字
    public static final String BACKUP_EXCHANGE_NAME = "backup.exchange";

    // 发布确认队列名字
    public static final String /confirm/i_QUEUE_NAME = "/confirm/i.queue";
    // 绑定备份交换机的备份队列
    public static final String BACKUP_QUEUE_NAME = "backup.queue";
    // 绑定备份交换机的警告队列(做的备份队例一样的事)
    public static final String WARNING_QUEUE_NAME = "warning.queue";

    // 确认交换机和确认队列的路由key
    public static final String /confirm/i_ROUTING_KEY = "key1";

    
    @Bean
    public FanoutExchange backupExchange() {
        return new FanoutExchange(BACKUP_EXCHANGE_NAME);
    }

    
    @Bean
    public DirectExchange /confirm/iExchange() {
        return ExchangeBuilder  // 使用交换机构造器
                .directExchange(/confirm/i_EXCHANGE_NAME)  // 创建直接交换机
                .alternate(BACKUP_EXCHANGE_NAME) // 设置备份交换机的名字
                .build(); // 构建
    }

    
    @Bean
    public Queue /confirm/iQueue() {
        return QueueBuilder.durable(/confirm/i_QUEUE_NAME).build();
    }

    
    @Bean
    public Queue backupQueue() {
        return QueueBuilder.durable(BACKUP_QUEUE_NAME).build();
    }

    
    @Bean
    public Queue warningQueue() {
        return QueueBuilder.durable(WARNING_QUEUE_NAME).build();
    }

    
    @Bean
    public Binding queueBinding(@Qualifier("/confirm/iExchange") DirectExchange /confirm/iExchange,
                                @Qualifier("/confirm/iQueue") Queue /confirm/iQueue) {
        return BindingBuilder.bind(/confirm/iQueue).to(/confirm/iExchange).with(/confirm/i_ROUTING_KEY);
    }

    
    @Bean
    public Binding backupBinding(@Qualifier("backupExchange") FanoutExchange backupExchange,
                                 @Qualifier("backupQueue") Queue backupQueue) {
        return BindingBuilder.bind(backupQueue).to(backupExchange);
    }

    
    @Bean
    public Binding warningBinding(@Qualifier("backupExchange") FanoutExchange backupExchange,
                                  @Qualifier("warningQueue") Queue warningQueue) {
        return BindingBuilder.bind(warningQueue).to(backupExchange);
    }
}

5、回调接口实现类
@Slf4j
@Component
public class MyCallBack implements RabbitTemplate./confirm/iCallback, RabbitTemplate.ReturnCallback {

    // 我们实现的 RabbitTemplate.ConfirmCallback 接口,是一个内部接口,需要我们手动设置一下内部接口的实现类
    // 注入我们的RabbitTemplate 设置内部的接口实现方法
    @Autowired
    private RabbitTemplate rabbitTemplate;

    
    @PostConstruct
    private void init() {
        // 设置内部接口的实现类
        rabbitTemplate.set/confirm/iCallback(this);
        rabbitTemplate.setReturnCallback(this);
    }

    
    @Override
    public void /confirm/i(CorrelationData correlationData, boolean ack, String cause) {
        // 获取消息的id
        String id = correlationData != null ? correlationData.getId() : "";
        // 交换机收到消息
        if (ack) {
            log.info("交换机已经收到 id 为:{}的消息", id);
        } else {
            // 交换机没有收到消息
            log.error("交换机还未收到 id 为:{}消息,由于原因:{}", id, cause);
        }
    }

    
    @Override
    public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
        log.error(" 消 息 {}, 被交换机 {} 退回,退回原因 :{}, 路 由 key:{}", new
                String(message.getBody()), exchange, replyText, routingKey);
    }
}
6、消息生产者
    @ApiOperation("发送确认消息")
    @GetMapping("/send/confirm/iMsg/{message}")
    public void send/confirm/iMsg(@PathVariable String message) {
        // 创建CorrelationData对象设置,消息有关的数据,用于回调接口使用
        CorrelationData correlationData1 = new CorrelationData("1");
        // 1、发送消息1
        rabbitTemplate.convertAndSend(/confirm/iConfig./confirm/i_EXCHANGE_NAME, /confirm/iConfig./confirm/i_ROUTING_KEY, message, correlationData1);
        // 2、发送交换机不存在的消息,测试接口回调
        CorrelationData correlationData2 = new CorrelationData("2");
        rabbitTemplate.convertAndSend(/confirm/iConfig./confirm/i_EXCHANGE_NAME + "123", /confirm/iConfig./confirm/i_ROUTING_KEY, message, correlationData2);
        // 3、发送队列不存在的消息,测试消息退回机制
        CorrelationData correlationData3 = new CorrelationData("3");
        rabbitTemplate.convertAndSend(/confirm/iConfig./confirm/i_EXCHANGE_NAME, /confirm/iConfig./confirm/i_ROUTING_KEY + "1", message, correlationData3);
    }
}

7、消息消费者
    @RabbitListener(queues = /confirm/iConfig./confirm/i_QUEUE_NAME)
    public void receiveMsg(Message message) {
        String msg = new String(message.getBody());
        log.info("接受到队列 /confirm/i.queue 消息:{}", msg);
    }
8、结果演示分析


可以看到,发送了两条消息,第一条消息的 RoutingKey 为 “key1”,第二条消息的 RoutingKey 为"key2",两条消息都成功被交换机接收,也收到了交换机的确认回调,但消费者只收到了一条消息,因为第二条消息的 RoutingKey 与队列的 BindingKey 不一致,也没有其它队列能接收这个消息,所有第二条消息被直接丢弃了。

二、回退消息(对上面的优化) 1、Mandatory 参数

在仅开启了生产者确认机制的情况下,交换机接收到消息后,会直接给消息生产者发送确认消息,如果发现该消息不可路由,那么消息会被直接丢弃,此时生产者是不知道消息被丢弃这个事件的。那么如何让无法被路由的消息帮我想办法处理一下?最起码通知我一声,我好自己处理啊。通过设置 mandatory 参数可以在当消息传递过程中不可达目的地时将消息返回给生产者。

2、回调接口实现消息退回接口

实现我们的RabbitTemplate.ReturnCallback接口,用户消息回退

@Slf4j
@Component
public class MyCallBack implements RabbitTemplate./confirm/iCallback, RabbitTemplate.ReturnCallback {
    @Autowired
    private RabbitTemplate rabbitTemplate;
    @PostConstruct
    private void init() {
        // 设置内部接口的实现类
        rabbitTemplate.setReturnCallback(this);
    }
    
    @Override
    public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
        log.error(" 消 息 {}, 被交换机 {} 退回,退回原因 :{}, 路 由 key:{}", new
                String(message.getBody()), exchange, replyText, routingKey);
    }
}

3、配置文件配置消息回退机制
# 开启消息回退机制 ,即交换机无法路由队列时,我们退回消息给我们生产者
spring.rabbitmq.publisher-returns=true
4、生产者
    @ApiOperation("发送确认消息")
    @GetMapping("/send/confirm/iMsg/{message}")
    public void send/confirm/iMsg(@PathVariable String message) {
        // 创建CorrelationData对象设置,消息有关的数据,用于回调接口使用
        CorrelationData correlationData1 = new CorrelationData("1");
        // 1、发送消息1
        rabbitTemplate.convertAndSend(/confirm/iConfig./confirm/i_EXCHANGE_NAME, /confirm/iConfig./confirm/i_ROUTING_KEY, message, correlationData1);
        // 2、发送交换机不存在的消息,测试接口回调
        CorrelationData correlationData2 = new CorrelationData("2");
        rabbitTemplate.convertAndSend(/confirm/iConfig./confirm/i_EXCHANGE_NAME + "123", /confirm/iConfig./confirm/i_ROUTING_KEY, message, correlationData2);
        // 3、发送队列不存在的消息,测试消息退回机制
        CorrelationData correlationData3 = new CorrelationData("3");
        rabbitTemplate.convertAndSend(/confirm/iConfig./confirm/i_EXCHANGE_NAME, /confirm/iConfig./confirm/i_ROUTING_KEY + "1", message, correlationData3);
    }
5、结果分析

三、备份交换机(对上面进一步优化) 1、原理简介

有了 mandatory 参数和回退消息,我们获得了对无法投递消息的感知能力,有机会在生产者的消息无法被投递时发现并处理。但有时候,我们并不知道该如何处理这些无法路由的消息,最多打个日志,然后触发报警,再来手动处理。而通过日志来处理这些无法路由的消息是很不优雅的做法,特别是当生产者所在的服务有多台机器的时候,手动复制日志会更加麻烦而且容易出错。
而且设置 mandatory 参数会增加生产者的复杂性,需要添加处理这些被退回的消息的逻辑。如果既不想丢失消息,又不想增加生产者的复杂性,该怎么做呢?前面在设置死信队列的文章中,我们提到,可以为队列设置死信交换机来存储那些处理失败的消息,可是这些不可路由消息根本没有机会进入到队列,因此无法使用死信队列来保存消息。
在 RabbitMQ 中,有一种备份交换机的机制存在,可以很好的应对这个问题。什么是备份交换机呢?备份交换机可以理解为 RabbitMQ 中交换机的“备胎”,当我们为某一个交换机声明一个对应的备份交换机时,就是为它创建一个备胎,当交换机接收到一条不可路由消息时,将会把这条消息转发到备份交换机中,由备份交换机来进行转发和处理,通常备份交换机的类型为 Fanout ,这样就能把所有消息都投递到与其绑定的队列中,然后我们在备份交换机下绑定一个队列,这样所有那些原交换机无法被路由的消息,就会都进入这个队列了。当然,我们还可以建立一个报警队列,用独立的消费者来进行监测和报警。

2、代码架构图

3、添加我们的备份交换机和备份队列
    @Bean
    public FanoutExchange backupExchange() {
        return new FanoutExchange(BACKUP_EXCHANGE_NAME);
    }


    @Bean
    public Queue backupQueue() {
        return QueueBuilder.durable(BACKUP_QUEUE_NAME).build();
    }

    
    @Bean
    public Queue warningQueue() {
        return QueueBuilder.durable(WARNING_QUEUE_NAME).build();
    }

 
    @Bean
    public Binding backupBinding(@Qualifier("backupExchange") FanoutExchange backupExchange,
                                 @Qualifier("backupQueue") Queue backupQueue) {
        return BindingBuilder.bind(backupQueue).to(backupExchange);
    }

    
    @Bean
    public Binding warningBinding(@Qualifier("backupExchange") FanoutExchange backupExchange,
                                  @Qualifier("warningQueue") Queue warningQueue) {
        return BindingBuilder.bind(warningQueue).to(backupExchange);
    }
4、修改我们的确认交换机设置备份交换机信息
    @Bean
    public DirectExchange /confirm/iExchange() {
        return ExchangeBuilder  // 使用交换机构造器
                .directExchange(/confirm/i_EXCHANGE_NAME)  // 创建直接交换机
                .alternate(BACKUP_EXCHANGE_NAME) // 设置备份交换机的名字
                .build(); // 构建
    }
5、消费者
 
    @RabbitListener(queues = /confirm/iConfig.BACKUP_QUEUE_NAME)
    public void receiveMsg1(Message message) {
        String msg = new String(message.getBody());
        log.info("接受到备份队列 backup.queue 消息:{}", msg);
    }

    
    @RabbitListener(queues = /confirm/iConfig.WARNING_QUEUE_NAME)
    public void receiveMsg2(Message message) {
        String msg = new String(message.getBody());
        log.info("接受到警告队列 warning.queue 消息:{}", msg);
    }
6、效果演示

四、消息回退和备份交换同时开启优先级问题分析

mandatory 参数与备份交换机可以一起使用的时候,如果两者同时开启,备份交换机优先级高,当我们的备份交换机同样失败的投递消息时,才会执行消息回退。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/306994.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号