终于我摆脱了这个问题。问题是，在Spark
SQL的镶木地板写路径中创建的压缩器没有被回收，因此，我的执行者正在为每个镶木地板写文件创建一个全新的压缩器（从本机内存），从而耗尽了物理内存限制。
我在镶木地板Jira中打开了以下bug，并提高了PR的公关率：-
https://issues.apache.org/jira/browse/PARQUET-353
这解决了我的内存问题。
PS-您只会在Parquet写入密集型应用程序中看到此问题。
终于我摆脱了这个问题。问题是，在Spark
SQL的镶木地板写路径中创建的压缩器没有被回收，因此，我的执行者正在为每个镶木地板写文件创建一个全新的压缩器（从本机内存），从而耗尽了物理内存限制。
我在镶木地板Jira中打开了以下bug，并提高了PR的公关率：-
https://issues.apache.org/jira/browse/PARQUET-353
这解决了我的内存问题。
PS-您只会在Parquet写入密集型应用程序中看到此问题。
名师互学网 版权所有 (c)2021-2022 ICP备案号：晋ICP备2021003244-6号
