栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Kafka在单个partition和单个consumerGroup下重复消费的问题

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Kafka在单个partition和单个consumerGroup下重复消费的问题

正常情况下

对应一个topic时,一个group中只有一个消费者能消费到某个Partition的数据,该partition只能被一个consumer消费。

但是在我一波操作下,被重复消费了。因为和消费者有关,所以只展示消费者。

两个消费者代码相同

    @KafkaListener(groupId = "xgroup-1",topicPartitions = {@TopicPartition(topic = "test-topic-1", partitions = {"0"})})
    public void processMessage(String content, ConsumerRecord record, Acknowledgment acknowledgment) {

        Optional kafkaMessage = Optional.ofNullable(record.value());
        // 对象存在
        if (kafkaMessage.isPresent()) {
            System.out.println("线程  "+Thread.currentThread().getName()+"  1:test-topic-1 监听得到: "+content+" record.offset() = " + record.offset());
            acknowledgment.acknowledge();
        }
    }

运行结果:可以发现重复消费了,同一个消费者组内的竟然对一个partition重复消费了

线程  org.springframework.kafka.KafkaListenerEndpointContainer#1-0-C-1  2 :test-topic-1 监听得到: {"id":1654938099313,"msg":null} record.offset() = 70
线程  org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1  1:test-topic-1 监听得到: {"id":1654938099313,"msg":null} record.offset() = 70
####问题出现原因

因为我使用了下面的注解方式指定了partition所以导致了这个现象的发生,这破坏了kafka自带的rebalance机制,从而也导致出现了重复消费的问题。

@KafkaListener(groupId = "xgroup-1",topicPartitions = {@TopicPartition(topic = "test-topic-1", partitions = {"0"})})
####解决方法

不指定partition即可

//@KafkaListener(groupId = "xgroup-1",topics = "test-topic-1")
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/967232.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号