接收消息时进行反序列化,如果反序列化失败,就会出现毒丸(Poison Pill)现象,Consumer会卡在“反序列化失败-重试-反序列化失败”的死循环中,无法再处理后续消息。
本人在某天修改了向kafka推送的消息体结构,但没有更新消费者的代码。
2. 错误表现:java.lang.IllegalStateException: **This error handler cannot process 'SerializationException's directly; please consider configuring an 'ErrorHandlingDeserializer' in the value and/or key deserializer** ... Caused by: org.apache.kafka.common.errors.SerializationException: Error deserializing key/value for partition users-0 at offset 17. If needed, please seek past the record to continue consumption.3. 危害
毒丸消息有什么害处可能大家一眼能够看到,服务空转、消耗性能。但还有更恐怖的,那就是日志。反序列化的日志循环打印,消息越多,倍数越大。如果服务属于单机部署,可能会在短时间内造成服务器宕机。如果部署在云服务器厂商,并且开启了付费日志。那你可能会和我一样大吃一惊。
我们该如何处理呢?要知道kafka是不支持删除数据的。使用ErrorHandlingDeserializer处理反序列化失败,在application.yaml 中配置ErrorHandlingDeserializer反序列化器。
4. 使用ErrorHandlingDeserializer处理反序列化失败将Consumer的key-deserializer和value-deserializer 都配置为 org.springframework.kafka.support.serializer.ErrorHandlingDeserializer
并委任具体的Key和Value反序列化器:
spring.deserializer.key.delegate.class: org.apache.kafka.common.serialization.StringDeserializer
spring.deserializer.value.delegate.class: org.springframework.kafka.support.serializer.JsonDeserializer
server:
port: 8080
spring:
kafka:
consumer:
bootstrap-servers: localhost:9092
group-id: demo-group
auto-offset-reset: earliest
// 错误处理
key-deserializer: org.springframework.kafka.support.serializer.ErrorHandlingDeserializer
value-deserializer: org.springframework.kafka.support.serializer.ErrorHandlingDeserializer
properties:
spring.json.trusted.packages: '*'
// 序列化、反序列化一致
spring.deserializer.key.delegate.class: org.apache.kafka.common.serialization.StringDeserializer
spring.deserializer.value.delegate.class: org.springframework.kafka.support.serializer.JsonDeserializer
producer:
bootstrap-servers: localhost:9092
key-serializer: org.apache.kafka.common.serialization.StringSerializer
value-serializer: org.springframework.kafka.support.serializer.JsonSerializer
在Key或Value反序列化失败时,ErrorHandlingDeserializer 确保毒丸(Poison Pill)消息被处理掉并记录日志,Consumer offeset可以向前移动,使得Consumer可以继续处理后续的消息。



