npy文件过大 如何处理

在我们训练模型的时候如果训练数据集过于大，系统可能会报“out of memory”的错误，这时候需要我们减小数据集，也就是将npy文件变小。主要方法就是把npy文件转化成numpy数组并截取。

import numpy as np
pre_train=np.load("train_ims.npy",allow_pickle=True,encoding="latin1")
slice=pre_train[:2900]
print(slice.shape)
np.save('newtrain_ims.npy',slice)

我们原来的npy转化成numpy数组的维度是（29000，36，2048）
截取后slice的维度变为（2900，36，2048）
然后存储为新的npy文件继续进行训练。