栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

PyTorch训练模型,内存泄露问题解决

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

PyTorch训练模型,内存泄露问题解决

引言
  • 最近采用PyTorch训练文本检测模型,遇到一个内存泄露问题,眼睁睁地看着内存一点点被占满,触发系统保护机制,被kill掉
可能出现问题地方
  • loss求和未加item()
  • num_workers过大
  • 大量使用list转tensor
最终解决方案
  • 上面几个可能,我这里都已经尝试,但是还是没有解决我这里的内存泄漏问题
  • 通过比较他人的训练代码,发现了一行神奇的代码:【出处DBNet】
    data = copy.deepcopy(self.data_list[index])
    
  • 我在我的dataset.py中加入这行代码,立马就没有内存泄漏了
  • 但是原因尚不清楚,如果有清楚的小伙伴,欢迎留言交流。
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/283231.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号