问题描述
使用 pytorch 跑程序 环境没变,换了代码就报了这个错误 RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling 'cublasCreate(handle),尝试使用CPU运行,发现是可以跑通的,没有提示什么问题,但是换成GPU跑就不行了
原因分析:
相关的解决方案https://blog.csdn.net/yaohaishen/article/details/122470697有提到在CPU运行去查看错误,但是我这里在CPU运行是没问题的,单纯是在GPU运行时会报错,所以这里得不到直接的代码错误提示。
解决方案:尝试减小训练使用的Batch Size 后,程序正常运行了。
也就是说程序使用的显存爆了,但是pytorch 在这里并没有提示 CUDA out of menory.
这也算是个小坑吧,还好之前跑了不少程序,知道环境没问题。要是搭建新环境后遇到了这个问题,可能还会以为是环境没装好的原因,那就费工夫了。



