线上服务程序突然出现了 OOM(OutOfMemorty),查看日志可以发现以下提示:
Exception in thread "http-nio-8080-exec-1012" java.lang.OutOfMemoryError: Java heap space
从名称可以看出是 Tomcat 的 NIO 工作线程在处理程序的时候因为无法再堆中分配更多内存而出现了 OOM,还好在 JVM 启动参数中配置了 XX:+HeapDumpOnOutOfMemoryError,该配置参数会在 OOM 的时候生成 HeapDump 文件 xxx_heapDump.hprof,可以使用 MAT(Memory Analyzer tool) 软件打开改文件。
二、原因排查
首先,我们打开 hprof 文件后进入 Histogram 面板中查看占用内存最大的是什么对象,发现是 byte 数组占用了接近 JVM 配置的最大堆的大小,显然这是 OOM 的原因。
接下来再通过这些数组的内容发现是和 HTTP 请求有关,每个数组大小是 10M 大小,然后通过进入 CG 根中查看谁持有了数组的引用,结果发现是 Tomcat。
真相大白: 通过前面的排查发现是 Tomcat 的线程在处理程序过程中分配了 10M 的 buffer 在堆上。这显然应该是什么参数设置不合理才导致了这种情况,然后去排查了配置文件发现了以下配置:
server:
tomcat:
max-http-header-size: 10240000
很明显就是这个 http 请求头参数设置不合理导致的问题。
三、解决问题
解决问题之前我们需要理解清楚 max-http-header-size 参数设置的原因。默认情况下,Tomcat(8.0版本)允许 http 请求头 header 的最大值为 8K,而我们的项目是使用 JWT token 做权限校验的,这个 token 会被添加到 request 的 header 中,而 JWT token 一般来说比较大,有 6K 左右大小,所以当把这个 token 加进来后,这个 request 的 header 部分就超过了 Tomcat 的默认大小,这时的请求就会出现 400 错误,于是就被人设置了这个大小。
所以,解决问题的方案就是根据项目的请求头的大小范围进行设置,比如我们的请求头大概为 10 ~ 15K 大小左右,那么 max-http-header-size 就可以设置成 20K,单位为字节。



