栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

RabbitMq(四) -- 交换机

RabbitMq(四) -- 交换机

1. 实现一个消息被消费2次


一个消息经过交换机之后,可以被交换机分发给2个不同的队列,不同的队列的消息被各自的消费者消费。

注意:一个队列中的消息只能被消费一次

2. 什么是交换机?

RabbitMQ 消息传递模型的核心思想是: 生产者生产的消息从不会直接发送到队列。实际上,通常生产者甚至都不知道这些消息传递传递到了哪些队列中。

相反,生产者只能将消息发送到交换机 (exchange),交换机工作的内容非常简单,一方面它接收来自生产者的消息,另一方面将它们推入队列。交换机必须确切知道如何处理收到的消息,是应该把这些消息放到特定队列还是说把他们放到许多队列中还是说应该丢弃它们。这就的由交换机的类型来决定

3. 交换机的类型:

直接 (direct)主题 (topic)标题 (headers)扇出 (fanout)

还支持一个叫无名交换机的类型。

3.1 无名交换机

在本教程的前面部分我们对exchange一无所知,但任然能够将消息发送到队列,之前能实现的原因是因为我们使用的默认交换,我们通过空字符串("")进行标识。

第一个参数是交换机的名称。空字符串表示默认或无名称交换机;消息从路由发送到队列中其实是由routingKey(bindingKey)绑定key指定的,如果它存在的话

3.2 临时队列

没有持久化的队列就是临时队列。

队列的名称对我们来说至关重要,我们需要指定我们的消费者去消费哪个队列的消息。

每当我们连接到mq时,我们都需要一个全新的空队列,为此我们可以创建一个具有随机名称的队列,或者能让服务器为我们选择一个随机队列名称那就更好了。其次一旦我们断开了消费者的连接,队列将被自动删除。

如何确认是否是临时队列?

看Features是否有D的标识,如果没有就说明是临时队列。

3.3 bindings

什么是 bingding 呢,binding 其实是 exchange 和 queue 之间的桥梁,它告诉我们 exchange 和哪个队列进行了绑定关系。

一个交换机可以和多个队列绑定一个交换机可和一个队列建立多个绑定关系(routingKey不同)

比如说下面这张图告诉我们的就是 X 与 Q1 和 Q2 进行了绑定


上图中,一个交换机绑定了2个队列,如果一个消息,生产者只想让队列1接收,那就可以通过RoutingKey来进行处理。

交换机和队列的绑定方式:
    创建一个交换机exchange1和一个队列queue1点击exchange1,选中bindings,添加bindings,选中绑定的队列是queue1,key是123

    绑定关系就建立了:

4. Fanout Exchange 扇出交换机

Fanout 这种类型非常简单。正如从名称中猜到的那样,它是将接收到的所有消息广播到它知道的所有队列中。

哪怕交换机和队列关联的key是不同的也不影响

系统默认有fanout类型的交换机

代码展示:

4.1 消费者端代码:

编写2个消费者:

public static void main(String[] args) throws Exception {
    Channel channel = MqConnectUtil.getChannel();
    channel.exchangeDeclare(EXCHANGE_NAME, "fanout");
    
    String queueName = channel.queueDeclare().getQueue();
    //把该临时队列绑定我们的 exchange 其中 routingkey(也称之为 binding key)为空字符串
    channel.queueBind(queueName, EXCHANGE_NAME, "");
    log.debug("01等待接收消息,把接收到的消息打印在屏幕........... ");

    //发送回调
    DeliverCallback deliverCallback = (consumerTag, delivery) -> {
        String message = new String(delivery.getBody(), "UTF-8");
        log.debug("01控制台打印接收到的消息" + message);
    };
    channel.basicConsume(queueName, true, deliverCallback, consumerTag -> {});
}

消费者2修改一下输出的日志为02就行

4.2 生产者端代码:
public static void main(String[] args) throws Exception {
    Channel channel = MqConnectUtil.getChannel();
    
    channel.exchangeDeclare(EXCHANGE_NAME, "fanout");
    Scanner sc = new Scanner(System.in);
    System.out.println("请输入信息");
    while (sc.hasNext()) {
        String message = sc.nextLine();
        channel.basicPublish(EXCHANGE_NAME, "", null, message.getBytes("UTF-8"));
        System.out.println("生产者发出消息" + message);
    }
}
4.3 结果:

生产者:

请输入信息
1
生产者发出消息1
2
生产者发出消息2
3
生产者发出消息3
4
生产者发出消息4

消费者1:

22:49:46.134 [main] DEBUG logs1 - 01等待接收消息,把接收到的消息打印在屏幕........... 
22:50:30.177 [pool-1-thread-4] DEBUG logs1 - 01控制台打印接收到的消息1
22:50:31.037 [pool-1-thread-5] DEBUG logs1 - 01控制台打印接收到的消息2
22:50:31.867 [pool-1-thread-6] DEBUG logs1 - 01控制台打印接收到的消息3
22:50:32.725 [pool-1-thread-7] DEBUG logs1 - 01控制台打印接收到的消息4

消费者2:

22:50:23.211 [main] DEBUG logs2 - 02等待接收消息,把接收到的消息打印在屏幕........... 
22:50:30.181 [pool-1-thread-4] DEBUG logs2 - 02控制台打印接收到的消息1
22:50:31.039 [pool-1-thread-5] DEBUG logs2 - 02控制台打印接收到的消息2
22:50:31.870 [pool-1-thread-6] DEBUG logs2 - 02控制台打印接收到的消息3
22:50:32.727 [pool-1-thread-7] DEBUG logs2 - 02控制台打印接收到的消息4

可以看出,一次生产被两个队列消费

4.4 如果修改2个队列和交换机关联的key不一致:

修改队列1的key为01,队列2的key为02:

channel.queueBind(queueName, EXCHANGE_NAME, "01");

消费者1日志:

22:54:50.734 [main] DEBUG logs1 - 01等待接收消息,把接收到的消息打印在屏幕........... 
22:55:27.419 [pool-1-thread-4] DEBUG logs1 - 01控制台打印接收到的消息1
22:55:27.915 [pool-1-thread-5] DEBUG logs1 - 01控制台打印接收到的消息2
22:55:28.461 [pool-1-thread-6] DEBUG logs1 - 01控制台打印接收到的消息3
22:55:29.805 [pool-1-thread-7] DEBUG logs1 - 01控制台打印接收到的消息4

消费者2日志:

22:55:02.912 [main] DEBUG logs2 - 02等待接收消息,把接收到的消息打印在屏幕........... 
22:55:27.420 [pool-1-thread-4] DEBUG logs2 - 02控制台打印接收到的消息1
22:55:27.914 [pool-1-thread-5] DEBUG logs2 - 02控制台打印接收到的消息2
22:55:28.460 [pool-1-thread-6] DEBUG logs2 - 02控制台打印接收到的消息3
22:55:29.805 [pool-1-thread-7] DEBUG logs2 - 02控制台打印接收到的消息4

可以看到2个队列还是接收到了,并无影响

5. Direct Exchange 直接交换机

即路由交换机。

5.1 回顾

在上一节中,我们构建了一个简单的日志记录系统。我们能够向许多接收者广播日志消息。

在本节我们将向其中添加一些特别的功能 — 让某个消费者订阅发布的部分消息。例如我们只把严重错误消息定向存储到日志文件 (以节省磁盘空间),同时仍然能够在控制台上打印所有日志消息

我们再来回顾一下什么事bindings。绑定是交换机和队列之间的桥梁关系。也可以这么理解:队列只对它绑定的交换机的消息感兴趣。

绑定用参数:routingKey来表示,也可称该参数为binding key,创建绑定我们用代码:channel.queueBind(queueName, EXCHANGE_NAME, "01");绑定之后的意义由其交换类型来决定

5.2 Direct 介绍

上一节中的我们的日志系统将所有消息广播给所有消费者,对此我们想做一些改变,例如我们希望将日志消息写入磁盘的程序仅接收严重错误 (errros),而不存储那些警告 (warning) 或信息 (info) 日志 消息避免浪费磁盘空间。Fanout 这种交换类型并不能给我们带来很大的灵活性,它只能进行无意识的广播,在这里我们将使用 direct 这种类型来进行替换。

这种类型的工作方式是,消息只去到它绑定的 routingKey 队列中去

在上面这张图中,我们可以看到 X 绑定了两个队列,绑定类型是 direct。队列 Q1 绑定键为 orange, 队列 Q2 绑定键有两个:一个绑定键为 black,另一个绑定键为 green。

在这种绑定情况下,生产者发布消息到 exchange 上,绑定键为 orange 的消息会被发布到队列 Q1。绑定键为 black或green的消息会被发布到队列 Q2,其他消息类型的消息将被丢弃

5.3 多重绑定


当然如果 exchange 的绑定类型是 direct,但是它绑定的多个队列的 key 如果都相同,在这种情况下虽然绑定类型是 direct 但是它表现的就和 fanout 有点类似了,就跟广播差不多,如上图所示

5.4 实战

仅接收error的日志:

交换机:

c2:绑定 disk,routingKey 为 error。

c1:绑定 console,routingKey 为 info、warning。

5.4.1 两个消费者:

disk磁盘队列:

public static void main(String[] args) throws Exception {
    Channel channel = MqConnectUtil.getChannel();
    channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);

    String queueName = "disk";
    //队列声明
    channel.queueDeclare(queueName, false, false, false, null);
    //队列绑定
    channel.queueBind(queueName, EXCHANGE_NAME, "error");
    log.debug("等待接收消息...");

    //发送回调
    DeliverCallback deliverCallback = (consumerTag, delivery) -> {
        String message = new String(delivery.getBody(), "UTF-8");
        message = "接收绑定键:" + delivery.getEnvelope().getRoutingKey() + ",消息:" + message;
        log.debug("error 消息已经接收:n" + message);
    };
    channel.basicConsume(queueName, true, deliverCallback, consumerTag -> {
    });
}

console日志打印队列:

public static void main(String[] args) throws Exception {
    Channel channel = MqConnectUtil.getChannel();
    channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);

    String queueName = "console";
    //队列声明
    channel.queueDeclare(queueName, false, false, false, null);
    //队列绑定
    channel.queueBind(queueName, EXCHANGE_NAME, "info");
    channel.queueBind(queueName, EXCHANGE_NAME, "warning");

    log.debug("等待接收消息...");

    //发送回调
    DeliverCallback deliverCallback = (consumerTag, delivery) -> {
        String message = new String(delivery.getBody(), "UTF-8");
        message = "接收绑定键:" + delivery.getEnvelope().getRoutingKey() + ",消息:" + message;
        log.debug("info和warning 消息已经接收:n" + message);
    };
    channel.basicConsume(queueName, true, deliverCallback, consumerTag -> {
    });
}
5.4.2 一个生产者:
public static void main(String[] args) throws Exception {
    Channel channel = MqConnectUtil.getChannel();
    channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);

    //创建多个 bindingKey
    Map bindingKeyMap = new HashMap<>();
    bindingKeyMap.put("info", "普通 info 信息");
    bindingKeyMap.put("warning", "警告 warning 信息");
    bindingKeyMap.put("error", "错误 error 信息");
    //debug 没有消费这接收这个消息 所有就丢失了
    bindingKeyMap.put("debug", "调试 debug 信息");

    for (Map.Entry bindingKeyEntry : bindingKeyMap.entrySet()) {
        //获取 key value
        String bindingKey = bindingKeyEntry.getKey();
        String message = bindingKeyEntry.getValue();

        channel.basicPublish(EXCHANGE_NAME, bindingKey, null, message.getBytes("UTF-8"));
        System.out.println("生产者发出消息:" + message);
    }
}
5.4.3 结果:

生产者:

生产者发出消息:调试 debug 信息
生产者发出消息:警告 warning 信息
生产者发出消息:错误 error 信息
生产者发出消息:普通 info 信息

disk硬盘中:

23:41:39.663 [main] DEBUG disk - 等待接收消息...
23:42:22.825 [pool-1-thread-4] DEBUG disk - error 消息已经接收:
接收绑定键:error,消息:错误 error 信息

日志中:

23:42:01.054 [main] DEBUG console - 等待接收消息...
23:42:22.827 [pool-1-thread-4] DEBUG console - info和warning 消息已经接收:
接收绑定键:warning,消息:警告 warning 信息
23:42:22.827 [pool-1-thread-4] DEBUG console - info和warning 消息已经接收:
接收绑定键:info,消息:普通 info 信息

可以看到是根据key来进行接收的,而debug的消息并没有队列接收

6. Topic Exchange 主题交换机

在上一个小节中,我们改进了日志记录系统。我们没有使用只能进行随意广播的 fanout 交换机,而是使用了 direct 交换机,从而有能实现有选择性地接收日志。

尽管使用 direct 交换机改进了我们的系统,但是它仍然存在局限性 — 比方说我们想接收的日志类型有 info.base 和 info.advantage,某个队列只想 info.base 的消息,那这个时候 direct 就办不到了。这个时候就只能使用 topic 类型

6.1 Topic的要求

发送到类型是 topic 交换机的消息的 routing_key 不能随意写,必须满足一定的要求,它必须是一个单词列表,以点号分隔开。这些单词可以是任意单词。比如说:”stock.usd.nyse”, “nyse.vmw”, “quick.orange.rabbit”. 这种类型的。当然这个单词列表最多不能超过 255 个字节。

在这个规则列表中,其中有两个替换符是大家需要注意的:

***(星号) 可以代替一个单词 **#(井号) 可以替代零个或多个单词 6.2 匹配案例:

下图绑定关系如下:

Q1–> 绑定的是:

中间带 orange 带 3 个单词的字符串 (.orange.) Q2–> 绑定的是:

最后一个单词是 rabbit 的 3 个单词 (..rabbit)第一个单词是 lazy 的多个单词 (lazy.#)

上图是一个队列绑定关系图,我们来看看他们之间数据接收情况是怎么样的:

注意:

当一个队列绑定键是 #,那么这个队列将接收所有数据,就有点像 fanout 了如果队列绑定键当中没有 #和 * 出现,那么该队列绑定类型就是 direct 了 6.3 实战:

消费者1:
public static void main(String[] args) throws Exception {
    Channel channel = MqConnectUtil.getChannel();
    channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
    //声明 Q1 队列与交换机绑定关系
    String queueName = "Q1";
    //声明
    channel.queueDeclare(queueName, false, false, false, null);
    //绑定
    channel.queueBind(queueName, EXCHANGE_NAME, "*.orange.*");
    System.out.println("等待接收消息........... ");

    DeliverCallback deliverCallback = (consumerTag, delivery) -> {
        String message = new String(delivery.getBody(), "UTF-8");
        System.out.println(" 接收队列:" + queueName + " 绑定键:" + delivery.getEnvelope().getRoutingKey() + ",消息:" + message);
    };
    channel.basicConsume(queueName, true, deliverCallback, consumerTag -> {
    });
}
消费者2:
public static void main(String[] args) throws Exception {
    Channel channel = MqConnectUtil.getChannel();
    channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
    //声明 Q2 队列与交换机绑定关系
    String queueName = "Q2";
    //声明
    channel.queueDeclare(queueName, false, false, false, null);
    //绑两遍,2个routingKey
    channel.queueBind(queueName, EXCHANGE_NAME, "*.*.rabbit");
    channel.queueBind(queueName, EXCHANGE_NAME, "lazy.#");

    System.out.println("等待接收消息........... ");

    DeliverCallback deliverCallback = (consumerTag, delivery) -> {
        String message = new String(delivery.getBody(), "UTF-8");
        System.out.println(" 接收队列:" + queueName + " 绑定键:" + delivery.getEnvelope().getRoutingKey() + ",消息:" + message);
    };
    channel.basicConsume(queueName, true, deliverCallback, consumerTag -> {
    });
}
生产者
public static void main(String[] args) throws Exception {
    Channel channel = MqConnectUtil.getChannel();
    channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);

    
    Map bindingKeyMap = new HashMap<>();
    bindingKeyMap.put("quick.orange.rabbit", "被队列 Q1Q2 接收到");
    bindingKeyMap.put("lazy.orange.elephant", "被队列 Q1Q2 接收到");
    bindingKeyMap.put("quick.orange.fox", "被队列 Q1 接收到");
    bindingKeyMap.put("lazy.brown.fox", "被队列 Q2 接收到");
    bindingKeyMap.put("lazy.pink.rabbit", "虽然满足两个绑定但只被队列 Q2 接收一次");
    bindingKeyMap.put("quick.brown.fox", "不匹配任何绑定不会被任何队列接收到会被丢弃");
    bindingKeyMap.put("quick.orange.male.rabbit", "是四个单词不匹配任何绑定会被丢弃");
    bindingKeyMap.put("lazy.orange.male.rabbit", "是四个单词但匹配 Q2");
    for (Map.Entry bindingKeyEntry : bindingKeyMap.entrySet()) {
        String bindingKey = bindingKeyEntry.getKey();
        String message = bindingKeyEntry.getValue();

        channel.basicPublish(EXCHANGE_NAME, bindingKey, null, message.getBytes("UTF-8"));
        System.out.println("生产者发出消息:" + message);
    }
}
结果:

生产者:

生产者发出消息:是四个单词不匹配任何绑定会被丢弃
生产者发出消息:不匹配任何绑定不会被任何队列接收到会被丢弃
生产者发出消息:被队列 Q1Q2 接收到
生产者发出消息:被队列 Q2 接收到
生产者发出消息:被队列 Q1Q2 接收到
生产者发出消息:被队列 Q1 接收到
生产者发出消息:虽然满足两个绑定但只被队列 Q2 接收一次
生产者发出消息:是四个单词但匹配 Q2

消费者1:即Q1队列:

等待接收消息........... 
 接收队列:Q1 绑定键:lazy.orange.elephant,消息:被队列 Q1Q2 接收到
 接收队列:Q1 绑定键:quick.orange.rabbit,消息:被队列 Q1Q2 接收到
 接收队列:Q1 绑定键:quick.orange.fox,消息:被队列 Q1 接收到

消费者2:即Q2队列:

等待接收消息........... 
 接收队列:Q2 绑定键:lazy.orange.elephant,消息:被队列 Q1Q2 接收到
 接收队列:Q2 绑定键:lazy.brown.fox,消息:被队列 Q2 接收到
 接收队列:Q2 绑定键:quick.orange.rabbit,消息:被队列 Q1Q2 接收到
 接收队列:Q2 绑定键:lazy.pink.rabbit,消息:虽然满足两个绑定但只被队列 Q2 接收一次
 接收队列:Q2 绑定键:lazy.orange.male.rabbit,消息:是四个单词但匹配 Q2
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/751470.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号