当一条消息初次消费失败,消息队列会自动进行消息重试;达到最大重试次数后,消息队列不会立刻将消息丢弃,而是将其发送到该消费者对应的特殊队列中。
DLQ 生命周期:
0:在 内抛出异常StreamConsumptionJob,并通过创建一个新的持久化(状态 = FAILED)在 ZooKeeper 中发布事件,其中队列 ID 用作节点 ID。此节点传播到事件处理程序的所有正在运行的实例。如果死信队列计数超过硬限制(例如 10 000 条消息 ~= 156Kb 的 UUID),消息处理程序将停止。
1:消息负载、偏移量和错误以队列的方式存储到Cassandra表中,并按偏移量(Cluster Key)升序排序。
2:匹配相同correlationId(或其他选择的属性)的下一条消息被添加到 Cassandra 表中,并具有下一个偏移量。
3:用户修复有效载荷并在 Cassandra 数据库中更新它。
4:状态变化事件被发布到 ZooKeeper 节点(状态 = PENDING),消息在线程内被重新消费。
5a:如果成功:已处理的消息从队列中丢弃。
5b:如果失败:消息状态改回失败(状态 = FAILED)。
创建队列前重试处理:
- 假设我们有一个处理程序和一个处理程序订阅的主题。
- 让我们将消息定义为唯一对 (n, m),其中n - 相关 ID(在我们的示例中为自然数),m - 消息有效负载(在我们的示例中也是自然数)。
- 让我们假设该主题具有处理程序尚未轮询的以下消息序列:<<(1, 1), (1, 2), (2, 1), (2, 2), (3, 1) , (3, 2)>> 。
- 让我们假设处理程序在处理消息(1, 1) , (2, 1) , (3, 1)期间总是失败,但不会失败(1, 2) , (2, 2) , (3, 2 ) 。
因此,默认的 DLQ 行为是:
- 对于有序流- 消息 (1, 1) , (2, 1) , (3, 1)将分别传入处理程序一次,并创建以下三个队列:<<(1, 1), ( 1, 2)>> , <<(2, 1), (2, 2)>>和<<(3, 1), (3, 2)>>
- 对于无序流- 所有消息将随机分布在几个工作线程之间。结果仍然会有三个队列,但是对于不同的执行,它们的内容可能不同。这里唯一的保证是每个队列至少有一条消息。
- [handler FQN].dlq.maxAttempts - 定义在创建新队列之前第一次失败后应该重试多少处理。它应该是一个正整数。
- [处理程序 FQN]。dlq.retryExceptions - 以逗号分隔的错误类列表,这些错误类被记录为失败并因此被重试。例如,如果属性的值为"org.I0Itec.zkclient.exception.ZkException,com.datastax.driver.core.exceptions.DriverException",则所有此类异常及其子类(如 org.I0Itec.zkclient.exception. ZkNodeExistsException或 com.datastax.driver.core.exceptions.ReadTimeoutException)将导致重试。
添加重试将通过以下方式修改我们的示例(假设com...streams.consumer.StreamMessageHandler.dlq.maxAttempts=3和com...streams.consumer.StreamMessageHandler.dlq.retryException=java .lang.Exception ):
- 对于 有序流 - 消息 (1, 1) , (2, 1) , (3, 1)将被传递给处理程序四次,并且将创建以下三个队列:<<(1, 1), ( 1, 2)>> , <<(2, 1), (2, 2)>>和<<(3, 1), (3, 2)>>。
- 对于 无序流 - 队列将以与默认行为相同的方式创建,唯一的区别是队列中的第一个失败消息将被传递给处理程序四次(第一次来自 Kafka,在重试尝试期间三次)。



