栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Kafka客户端频繁FullGC

Kafka客户端频繁FullGC

生产者客户端采用Java编写,采用spring的那一套东西

在CPU高负载下,Kafka写入延时很高(并不是Kafka不行,而是生产者CPU限制了),导致频繁的FullGC,内存dump下来看,是回调对消息的持有占据了太多的内存,导致内存爆掉,如果消息可以容忍丢失的,调低超时时间,默认60s太长了,正常就几ms,然后加上相关的监控,及时问题排查扩容啥的

虽然kafka有个buffer的大小可以调整,但是这个调整的是发送缓冲区,消息确实可以一直发直到buffer内存满后报超时丢弃,但是发送是很快的,消息会一直发送,但是响应的处理却跟不上(CPU限制),导致消息回调(这个会包含发送的消息)占满了内存,最终还是会内存爆掉

可能分析的不对,有大神还请指教

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/706801.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号