栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Pytorch DataLoader 加速设置,实测有效

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Pytorch DataLoader 加速设置,实测有效

问题:训练耗时并不大,但数据加载耗时,可进行以下配置

主要是两个参数:pin_memory=True 和 non_blocking=True,原理就是利用 CUDA 多流进行异步传输,也就是在GPU计算的时候进行 CPU=>GPU 间的数据传输。

硕士期间主要做的是高性能计算,所以看了下介绍就理解了,突然发现硕士期间学的 GPU 相关知识还是有点点用的,哈哈哈。

加速效果,还是很明显的。

需要注意的是:validate 部分 不需要添加 non_blocking 配置,不然反而会变慢。猜测是因为net.eval() 过程和训练时的区别【瞎猜的,实际上并没发现是为啥】

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/977384.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号