栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

死信队列 DLQ(Dead Letter Queue)

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

死信队列 DLQ(Dead Letter Queue)

当一条消息初次消费失败,消息队列会自动进行消息重试;达到最大重试次数后,消息队列不会立刻将消息丢弃,而是将其发送到该消费者对应的特殊队列中。

DLQ 生命周期:

​

0:在 内抛出异常StreamConsumptionJob,并通过创建一个新的持久化(状态 = FAILED)在 ZooKeeper 中发布事件,其中队列 ID 用作节点 ID。此节点传播到事件处理程序的所有正在运行的实例。如果死信队列计数超过硬限制(例如 10 000 条消息 ~= 156Kb 的 UUID),消息处理程序将停止。

1:消息负载、偏移量和错误以队列的方式存储到Cassandra表中,并按偏移量(Cluster Key)升序排序。

2:匹配相同correlationId(或其他选择的属性)的下一条消息被添加到 Cassandra 表中,并具有下一个偏移量。

3:用户修复有效载荷并在 Cassandra 数据库中更新它。

4:状态变化事件被发布到 ZooKeeper 节点(状态 = PENDING),消息在线程内被重新消费。

5a:如果成功:已处理的消息从队列中丢弃。

5b:如果失败:消息状态改回失败(状态 = FAILED)。

创建队列前重试处理:
  1. 假设我们有一个处理程序和一个处理程序订阅的主题。
  2. 让我们将消息定义为唯一对 (n, m),其中n - 相关 ID(在我们的示例中为自然数),m - 消息有效负载(在我们的示例中也是自然数)。
  3. 让我们假设该主题具有处理程序尚未轮询的以下消息序列:<<(1, 1), (1, 2), (2, 1), (2, 2), (3, 1) , (3, 2)>> 。
  4. 让我们假设处理程序在处理消息(1, 1) , (2, 1) , (3, 1)期间总是失败,但不会失败(1, 2) , (2, 2) , (3, 2 ) 。

因此,默认的 DLQ 行为是:

  • 对于有序流- 消息 (1, 1) , (2, 1) , (3, 1)将分别传入处理程序一次,并创建以下三个队列:<<(1, 1), ( 1, 2)>> , <<(2, 1), (2, 2)>>和<<(3, 1), (3, 2)>>
  • 对于无序流- 所有消息将随机分布在几个工作线程之间。结果仍然会有三个队列,但是对于不同的执行,它们的内容可能不同。这里唯一的保证是每个队列至少有一条消息。
死信配置:
  • [handler FQN].dlq.maxAttempts - 定义在创建新队列之前第一次失败后应该重试多少处理。它应该是一个正整数。
  • [处理程序 FQN]。dlq.retryExceptions - 以逗号分隔的错误类列表,这些错误类被记录为失败并因此被重试。例如,如果属性的值为"org.I0Itec.zkclient.exception.ZkException,com.datastax.driver.core.exceptions.DriverException",则所有此类异常及其子类(如 org.I0Itec.zkclient.exception. ZkNodeExistsException或 com.datastax.driver.core.exceptions.ReadTimeoutException)将导致重试。

添加重试将通过以下方式修改我们的示例(假设com...streams.consumer.StreamMessageHandler.dlq.maxAttempts=3和com...streams.consumer.StreamMessageHandler.dlq.retryException=java .lang.Exception ):

  • 对于 有序流 - 消息 (1, 1) , (2, 1) , (3, 1)将被传递给处理程序四次,并且将创建以下三个队列:<<(1, 1), ( 1, 2)>> , <<(2, 1), (2, 2)>>和<<(3, 1), (3, 2)>>。
  • 对于 无序流 - 队列将以与默认行为相同的方式创建,唯一的区别是队列中的第一个失败消息将被传递给处理程序四次(第一次来自 Kafka,在重试尝试期间三次)。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/956184.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号