李沐大神源代码是用Jupyter写的，笔者想用Pycharm实现并仅作为学习笔记，如有侵权，请联系笔者删除。
一、背景
俗话说得好：“巧妇不做无米之炊”，读取数据集是训练神经网络的第一步，也是不可或缺的一步，接下来就看看怎样下载并读取经典的数据集：Fashion-MNIST吧！
二、下载并读取数据集的代码python版本：3.8.6
torch版本：1.11.0
d2l版本：0.17.5
部分代码有笔者自己的理解，欢迎指正或给出建议
import torch
import torchvision
from torch.utils import data
from torchvision import transforms
from d2l import torch as d2l
d2l.use_svg_display() # 让图片更加清晰
trans = transforms.ToTensor()
# 下载到上一目录的Data文件夹下：
mnist_train = torchvision.datasets.FashionMNIST(
root="../Data", train=True,transform=trans,download=True)
mnist_test = torchvision.datasets.FashionMNIST(
root="../Data", train=False,transform=trans,download=True)
print(len(mnist_train)) #显示训练数据集大小
print(len(mnist_test)) #显示测试数据集大小
print(mnist_train[0][0].shape)
def get_fashion_mnist_labels(labels):
"""返回 Fashion-MNIST 数据集的文本标签"""
text_labels = ['t-shirt','trouser','pullover','dress','coat',
'sandal','shirt','sneaker','bag','ankle boot']
return [text_labels[int(i)] for i in labels]
def show_images(imgs, num_rows, num_cols, titles=None, scale=1.5):
"""Plot a list of images"""
figsize =(num_cols * scale, num_rows * scale)
_, axes = d2l.plt.subplots(num_rows, num_cols, figsize = figsize)
axes = axes.flatten()
for i, (ax, img) in enumerate(zip(axes, imgs)):
if torch.is_tensor(img):
ax.imshow(img.numpy(),'gray') # 'gray'显示原图（黑白）色彩，否则plt(就是pyplot)会自动上色
""""""
ax.axis('off')
ax.set_title(titles[i])
else:
ax.imshow(img)
d2l.plt.show() # Pycharm 如果不加这行就不能显示图片，imshow()只是绘制。
X, y = next(iter(data.DataLoader(mnist_train, batch_size=18)))
show_images(X.reshape(18, 28, 28), 2, 9, titles=get_fashion_mnist_labels(y))
batch_size = 256
def get_dataloader_workers():
"""使用4个进程来读取的数据，多个进程读取数据"""
return 4
train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True,
num_workers=get_dataloader_workers())
timer = d2l.Timer()
for X, y in train_iter:
continue
print(f'{timer.stop():.2f} sec') #通常在训练之前要看一下数据读取有多快，至少要比训练要快一些，快很多更好
# 笔者这里是: 6.00 sec
# 汇总
def load_data_fashion_mnist(batch_size, resize=None):
trans = [transforms.ToTensor()]
if resize:
trans.insert(0, transforms.Resize(resize))
trans = transforms.Compose(trans)
mnist_train = torchvision.datasets.FashionMNIST(
root="../Data", train=True, transform=trans, download=True)
mnist_test = torchvision.datasets.FashionMNIST(
root="../Data", train=False, transform=trans, download=True)
return (data.DataLoader(mnist_train, batch_size, shuffle=True,
num_workers=get_dataloader_workers()),
data.DataLoader(mnist_test, batch_size, shuffle=True,
num_workers=get_dataloader_workers()))
三.运行结果如下：
