栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

记一次生产BUG - Kafka

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

记一次生产BUG - Kafka

记一次生产BUG - Kafka
  1. 新增了一个group 消费topic ,没有注意之前配置的spring.kafka.consumer.auto-offset-reset=earliest.
    导致新的group消费者组,从头开始消费,因为条件限制,发布的时候,没有注意到机器指标,发布40分钟内,CPU从10%以内直接飙升到70~80%,磁盘使用率60%左右。 后面CPU恢复,起初没在意,以为只是发布,消费从kafka创建开始到发布之间堆积的kafka。 日志中心也有反馈,服务日志停止在发布服务后的几分钟,以为服务挂了。但看服务器里面的日志正常。就以为是消费堆积的kafka导致。就下班了。
    晚上11点,领导找上门,起初是以为groupId没有申请导致,消费了1亿+数据,。。。中间过程,有点彻夜难眠的感觉(由于特殊原因,个人笔记本被拿走了)。第二天,早早来到公司发现,配置的**spring.kafka.consumer.auto-offset-reset=earliest.**导致从头开始消费。

  2. kafka 连接工厂,使用了批量处理,并且使用了公司中间件的东西,导致有时候到的数据是多个json体,例如:{},{} 导致转化JSON对象失败,打印了error日志。 运维帮忙恢复由于1亿+消费阻塞的日志,恢复过后,开始疯狂报异常,转化JSON对象失败。将kafka连接工厂去掉,使用spring-kafka默认的。

  3. 由于接收的是其他服务接收的kafka消息,就直接复制过来了代码,但由于我解析了里面具体的字段,导致解析错误。经过半天排查,让人无语的是,我试着将经纬度字符串解析成Double类型,前面有做了非空判断,就使用Double api 转化成数字,结果抛异常了。原因是经纬度有 “null” 字符串,让人头大,这个预生产数据量太小,没有发现这个问题。“null” 字符串真是神奇~,应该是我的问题。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1020372.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号