栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Kafka毒丸消息,危害,如何解决

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Kafka毒丸消息,危害,如何解决

1. 出现原因:

接收消息时进行反序列化,如果反序列化失败,就会出现毒丸(Poison Pill)现象,Consumer会卡在“反序列化失败-重试-反序列化失败”的死循环中,无法再处理后续消息。

本人在某天修改了向kafka推送的消息体结构,但没有更新消费者的代码。

2. 错误表现:
java.lang.IllegalStateException: **This error handler cannot process 'SerializationException's directly; please consider configuring an 'ErrorHandlingDeserializer' in the value and/or key deserializer**

...

Caused by: org.apache.kafka.common.errors.SerializationException: Error deserializing key/value for partition users-0 at offset 17. If needed, please seek past the record to continue consumption.
3. 危害

毒丸消息有什么害处可能大家一眼能够看到,服务空转、消耗性能。但还有更恐怖的,那就是日志。反序列化的日志循环打印,消息越多,倍数越大。如果服务属于单机部署,可能会在短时间内造成服务器宕机。如果部署在云服务器厂商,并且开启了付费日志。那你可能会和我一样大吃一惊。

我们该如何处理呢?要知道kafka是不支持删除数据的。使用ErrorHandlingDeserializer处理反序列化失败,在application.yaml 中配置ErrorHandlingDeserializer反序列化器。

4. 使用ErrorHandlingDeserializer处理反序列化失败

将Consumer的key-deserializer和value-deserializer 都配置为 org.springframework.kafka.support.serializer.ErrorHandlingDeserializer
并委任具体的Key和Value反序列化器:
spring.deserializer.key.delegate.class: org.apache.kafka.common.serialization.StringDeserializer
spring.deserializer.value.delegate.class: org.springframework.kafka.support.serializer.JsonDeserializer

server:
  port: 8080
spring:
  kafka:
    consumer:
      bootstrap-servers: localhost:9092
      group-id: demo-group
      auto-offset-reset: earliest
      // 错误处理
      key-deserializer: org.springframework.kafka.support.serializer.ErrorHandlingDeserializer
      value-deserializer: org.springframework.kafka.support.serializer.ErrorHandlingDeserializer
      properties:
        spring.json.trusted.packages: '*'
        // 序列化、反序列化一致
        spring.deserializer.key.delegate.class: org.apache.kafka.common.serialization.StringDeserializer
        spring.deserializer.value.delegate.class: org.springframework.kafka.support.serializer.JsonDeserializer

    producer:
      bootstrap-servers: localhost:9092
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.springframework.kafka.support.serializer.JsonSerializer

在Key或Value反序列化失败时,ErrorHandlingDeserializer 确保毒丸(Poison Pill)消息被处理掉并记录日志,Consumer offeset可以向前移动,使得Consumer可以继续处理后续的消息。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/986441.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号