最近项目用到了jieba分词和关键词提取,由于python版本性能较差转到了java版本。
github地址:GitHub - huaban/jieba-analysis: 结巴分词(java版)
问题测试关键词提取发现处理50万条数据内存居高不在有9个g,后来定位到了分词模块(关键词提取首先要对文本分词),循环50万次发现内存居高不下。
用MAT工具分析了一番,发现占用最大的对象也只有72m, 离9g差的远,如下图所示
解决:尝试执行jar包的时候限制内存解决:
java -jar -Xmx1024m jieba-analysis.jar
参数说明:
-Xms分配堆最小内存,默认为物理内存的1/64;-Xmx分配最大内存,默认为物理内存的1/4。
非堆内存分配用-XX:PermSize和-XX:MaxPermSize



