问题引入
Kafka 顺序消费一直是一个难以解决的问题,Kafka的消费策略是对于同Topic同Partition的消息可保证顺序消费,其余无法保证。如果一个Topic只有一个Partition,那么这个Topic对应consumer的消费必然是有序的。不同的Topic的任何情况下都无法保证consumer的消费顺序和producer的发送顺序一致。
如果不同Topic之间存在数据关联且对消费顺序有要求,该如何处理?
解决思路
现有 Topic-insert 和 Topic-update,数据唯一标识为id,对于id=1的数据而言,要保证Topic-insert消费在前,Topic-update消费在后。
两个Topic的消费为不同线程处理,所以为了保证在同一时间内的同一数据标识的消息仅有一个业务逻辑在处理,需要对业务添加锁操作。使用synchronized进行加锁的话,会影响无关联的 INSERT 和 UPDATE 的数据消费能力,如 id=1 的 INSERT 和 id=2 的 UPDATE,在synchronized的情况下,无法并发处理,这是没有必要的,我们需要的是对于id=1的insert和id=1的update在同一时间只有一个在处理,所以使用细粒度锁来完成加锁的操作。
细粒度锁实现 : 使用弱引用实现细粒度锁 (如果为分布式系统,细粒度锁需要使用分布式锁的对应实现)
在对 INSERT 和 UPDATE 加锁之后,其实还是没有解决消费顺序的问题,只是确保了同一时间只有一个业务在处理。 对于消费顺序异常的问题,也就是先消费 UPDATE 再消费 INSERT 的情况,处理方式 : 消费到 UPDATE 数据,校验库中是否存在当前数据 (也就是是否执行INSERT),如果没有,就将当前UPDATE数据存入缓存,key为数据标识id,在INSERT消费时检查是否存在id对应的 UPDATE 缓存,如果有,就证明当前数据的消费顺序异常,需执行 UPDATE 操作,再将缓存数据移除。
实现方案
消息发送 :
kafkaTemplate.send("TOPIC_INSERT", "1");
kafkaTemplate.send("TOPIC_UPDATE", "1");
监听代码示例 :
import org.springframework.stereotype.Component;
import java.lang.ref.Reference;
import java.lang.ref.ReferenceQueue;
import java.lang.ref.WeakReference;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;
@Component
public class WeakRefHashLock {
private final ConcurrentHashMap
日志 (代码中已模拟必现消费顺序异常的场景) :
接收到update :: 1
消费顺序异常,将update数据 1 加入缓存
接收到insert :: 1
开始处理 1 的insert
开始处理update::1
处理update::1 结束
处理 1 的insert 结束
观察日志,此方案可正常处理不同Topic再存在数据关联的消费顺序问题。