- 查找问题方法
- 我所遇到的错误
很多博客都推荐将模型转换到cpu运行，然后找到错误原因。
本文也是基于此方法找到的错误原因。
模型经过BN层后，特征中的数值均变为Nan，继续执行会报 cuda error:device-side assert triggered的错误。
删掉BN层后虽训练过程不再报错，但最终的预测结果为0。
由于cpu不支持混合精度训练（fp16/fp32）,将精度修改为fp32后，模型正常训练。
之后，在gpu训练时将混合精度训练修改为fp32后模型正常。
很多博客都推荐将模型转换到cpu运行，然后找到错误原因。
本文也是基于此方法找到的错误原因。
模型经过BN层后，特征中的数值均变为Nan，继续执行会报 cuda error:device-side assert triggered的错误。
删掉BN层后虽训练过程不再报错，但最终的预测结果为0。
由于cpu不支持混合精度训练（fp16/fp32）,将精度修改为fp32后，模型正常训练。
之后，在gpu训练时将混合精度训练修改为fp32后模型正常。
名师互学网 版权所有 (c)2021-2022 ICP备案号：晋ICP备2021003244-6号
