PyTorch 在学术界和工业应用研究中都获得了广泛的关注。它是一个深度学习框架 具有很大的弹性和大量的实用程序和功能 可以加快工作速度。PyTorch 的学习曲线不是那么陡峭 但在其中实现高效和干净的代码可能很棘手。在使用它超过 2 年之后 以下是我希望我在开始学习 PyTorch 时知道的最重要的 PyTorch 功能。
1. 数据集文件夹人们在学习 PyTorch 时做的第一件事就是实现自己Dataset的某种类型。这是一个新手错误 - 没有必要浪费时间写这样的东西。通常 数据集是数据列表 或 numpy 数组 或磁盘上的文件。将数据组织在磁盘上总是更好 而不是编写自定义Dataset来加载某人 或您 决定用来存储它的奇怪格式。
分类器最常见的数据格式之一是拥有一个包含子文件夹的目录 代表类 以及这些子文件夹中的文件 代表示例 如下所示。
folder/class_0/file1.txt folder/class_0/file2.txt folder/class_0/... folder/class_1/file3.txt folder/class_1/file4.txt folder/class_2/file5.txt folder/class_2/...
有一种内置的方法可以加载这种数据集——无论你拥有的数据是图像、文本文件还是其他东西——只要使用DatasetFolder(https://pytorch.org/vision/0.8/datasets.html#datasetfolder 。令人惊讶的是 这个类是torchvision包的一部分 而不是核心 PyTorch。该课程非常全面 - 您可以从文件夹中过滤文件 使用自定义代码加载它们并动态转换原始文件。例子
from torchvision.datasets import DatasetFolder
from pathlib import Path
# I have text files in this folder
ds DatasetFolder( /Users/marcin/Dev/tmp/my_text_dataset ,
loader lambda path: Path(path).read_text(),
extensions ( .txt ,), #only load .txt files
transform lambda text: text[:100], # only take first 100 characters
# Everything you need is already there
len(ds), ds.classes, ds.class_to_idx
(20, [ novels , thrillers ], { novels : 0, thrillers : 1})
如果您正在处理图像 还有一个torchvision.datasets.ImageFolder类 它基于DatasetLoader并且预先配置为加载图像。
2.停止使用.to(device)那么多 zeros_like/ones_like等。我从各种 GitHub 存储库中阅读了很多 PyTorch 代码。最让我恼火的是 几乎在每个 repo 中都有很多*.to(device)行 它们将数据从 CPU 放到 GPU 或其他方式。这样的行通常出现在许多快速而肮脏的仓库或初学者教程中。我强烈鼓励尽可能少地实现此类操作 并依靠内置的 PyTorch 功能来自动执行此操作。.to(device)在这里和那里放置这些行通常会导致性能下降或 PyTorch 参与者最喜欢的例外
Expected object of device type cuda but got device type cpu
显然 在某些情况下您无法绕过它 但涵盖了大多数 如果不是全部 琐碎的情况。示例之一是在自定义损失中可能需要的零/一/随机张量的初始化 - 由于深度神经网络的训练通常在 GPU 上进行 模型的输出已经在“cuda”设备上 但您现在需要有另一个零/一张量也在“cuda”设备上对其进行操作。这就是*_likePyTorch 操作派上用场的地方
my_output # on any device, if it s cuda then my_zeros will also be on cuda my_zeros torch.zeros_like(my_output_from_model)
在幕后 PyTorch 所做的是调用以下操作
my_zeros torch.zeros(my_output.size(), dtype my_output.dtype, layout my_output.layout, device my_output.device)
所以一切都设置正确 你减少了代码中出现错误的可能性。内置操作包括
torch.zeros_like() torch.ones_like() torch.rand_like() torch.randn_like() torch.randint_like() torch.empty_like() torch.full_like()3.注册缓冲区 又名nn.Module.register_buffer
这是我劝阻人们不要.to(device)到处使用的宣传活动的下一站。有时您的模型或损失函数需要预先设置并在forward调用 pass时使用的参数- 例如 它可以是一个“权重”参数 它可以缩放损失或一些不变的固定张量 但每次都使用它. 对于这种场景 使用nn.Module.register_buffer方法 它告诉 PyTorch 将您传递给它的值存储在模块中 并随模块移动这些值。如果您初始化您的模块 然后将其移动到 GPU 这些值也将自动移动。此外 - 如果您保存模块的状态 - 缓冲区也将被保存
一旦注册 就可以forward像任何其他模块的属性一样在函数中访问这些值。
from torch import nn import torch class ModuleWithCustomValues(nn.Module): def __init__(self, weights, alpha): super().__init__() self.register_buffer( weights , torch.tensor(weights)) self.register_buffer( alpha , torch.tensor(alpha)) def forward(self, x): return x * self.weights self.alpha m ModuleWithCustomValues( weights [1.0, 2.0], alpha 1e-4 m(torch.tensor([1.23, 4.56])) tensor([1.2301, 9.1201])4. 内置 Identity()
有时 当您使用迁移学习时 您将需要用 1:1 映射替换某些层 这归结nn.Module为仅实现一个目的或返回输入值。PyTorch 内置了这个类 https://pytorch.org/docs/1.7.1/generated/torch.nn.Identity.html?highlight identity#identity。
示例 - 您想从ResNet50分类层之前的预训练中获取图像表示。以下是如何执行此操作
from torchvision.models import resnet50 model resnet50(pretrained True) model.fc nn.Identity() last_layer_output model(torch.rand((1, 3, 224, 224))) last_layer_output.shape torch.Size([1, 2048])5.成对距离 torch.cdist
下次您将遇到计算两个张量之间的所有对欧几里得 或一般 p 范数 距离的问题时 请记住torch.cdist. 它正是这样做的 并且在使用欧几里德距离时还会自动使用矩阵乘法 从而提高性能。
文档 https://pytorch.org/docs/1.7.1/generated/torch.cdist.html#torch-cdist
points1 torch.tensor([[0.0, 0.0], [1.0, 1.0], [2.0, 2.0]]) points2 torch.tensor([[0.0, 0.0], [-1.0, -1.0], [-2.0, -2.0], [-3.0, -3.0]]) # batches don t have to be equal torch.cdist(points1, points2, p 2.0) tensor([[0.0000, 1.4142, 2.8284, 4.2426], [1.4142, 2.8284, 4.2426, 5.6569], [2.8284, 4.2426, 5.6569, 7.0711]])
不使用和使用矩阵乘法的性能 - 在我的机器上使用 mm 时速度提高了 2 倍以上。
%%timeit points1 torch.rand((512, 2)) points2 torch.rand((512, 2)) torch.cdist(points1, points2, p 2.0, compute_mode donot_use_mm_for_euclid_dist )
每个循环 867 µs ± 142 µs 7 次运行的平均值 ± 标准偏差 每次 1000 次循环
%%timeit points1 torch.rand((512, 2)) points2 torch.rand((512, 2)) torch.cdist(points1, points2, p 2.0)
每个循环 417 µs ± 52.9 µs 7 次运行的平均值 ± 标准偏差 每次 1000 次循环
6.余弦相似度 F.cosine_similarity保持与上一点相同的主题 - 计算距离 - 欧几里德距离并不总是您需要的东西。在处理向量时 通常选择余弦相似度作为度量。PyTorch 也有一个内置的余弦相似度实现。
import torch.nn.functional as F vector1 torch.tensor([0.0, 1.0]) vector2 torch.tensor([0.05, 1.0]) print(F.cosine_similarity(vector1, vector2, dim 0)) vector3 torch.tensor([0.0, -1.0]) print(F.cosine_similarity(vector1, vector3, dim 0)) tensor(0.9988) tensor(-1.)PyTorch 中的批处理余弦相似度
import torch.nn.functional as F batch_of_vectors torch.rand((4, 64)) similarity_matrix F.cosine_similarity(batch_of_vectors.unsqueeze(1), batch_of_vectors.unsqueeze(0), dim 2) similarity_matrix tensor([[1.0000, 0.6922, 0.6480, 0.6789], [0.6922, 1.0000, 0.7143, 0.7172], [0.6480, 0.7143, 1.0000, 0.7312], [0.6789, 0.7172, 0.7312, 1.0000]])7. 归一化向量 F.normalize
最后一点仍然与向量和距离松散连接的是归一化 通常通过改变向量的大小来提高计算的稳定性。最常用的归一化是 L2 规范化 可以在 PyTorch 中应用如下
vector torch.tensor([99.0, -512.0, 123.0, 0.1, 6.66]) normalized_vector F.normalize(vector, p 2.0, dim 0) normalized_vector tensor([ 1.8476e-01, -9.5552e-01, 2.2955e-01, 1.8662e-04, 1.2429e-02])
在 PyTorch 中进行规范化的旧方法是
vector torch.tensor([99.0, -512.0, 123.0, 0.1, 6.66]) normalized_vector vector / torch.norm(vector, p 2.0) normalized_vector tensor([ 1.8476e-01, -9.5552e-01, 2.2955e-01, 1.8662e-04, 1.2429e-02])PyTorch 中的批量 L2 归一化
batch_of_vectors torch.rand((4, 64)) normalized_batch_of_vectors F.normalize(batch_of_vectors, p 2.0, dim 1) normalized_batch_of_vectors.shape, torch.norm(normalized_batch_of_vectors, dim 1) # all vectors will have length of 1.0 (torch.Size([4, 64]), tensor([1.0000, 1.0000, 1.0000, 1.0000]))8.线性层 分块技巧( torch.chunk)
这是我最近在这里发现的一个创意技巧。假设您想将输入映射到N 个不同的线性投影中。您可以通过创建做到这一点ñ nn.Linear层和做直传所有ň他们 或者你可以创建一个单一的线性层 做一个向前输出传递 只是块到ñ件。这种方法通常会带来更高的性能 所以记住这是一个很好的技巧。
d 1024 batch torch.rand((8, d)) layers nn.Linear(d, 128, bias False), nn.Linear(d, 128, bias False), nn.Linear(d, 128, bias False) one_layer nn.Linear(d, 128 * 3, bias False) %%timeit o1 layers[0](batch) o2 layers[1](batch) o3 layers[2](batch)
每个循环 289 µs ± 30.8 µs 7 次运行的平均值 ± 标准偏差 每次 1000 次循环
%%timeit o1, o2, o3 torch.chunk(one_layer(batch), 3, dim 1)
每个循环 202 µs ± 8.09 µs 7 次运行的平均值 ± 标准偏差 每次 1000 次循环
9. 蒙版选择 ( torch.masked_select)有时您只需要对输入张量的某些部分进行计算。举个例子 你只想计算满足某些条件的张量的损失。为此 只需使用torch.masked_select- 请注意 当需要渐变时也可以使用此操作。
data torch.rand((3, 3)).requires_grad_() print(data) mask data data.mean() print(mask) torch.masked_select(data, mask) tensor([[0.0582, 0.7170, 0.7713], [0.9458, 0.2597, 0.6711], [0.2828, 0.2232, 0.1981]], requires_grad True) tensor([[False, True, True], [ True, False, True], [False, False, False]]) tensor([0.7170, 0.7713, 0.9458, 0.6711], grad_fn MaskedSelectBackward )直接在张量上应用蒙版
通过使用掩码作为输入张量的“索引器” 可以实现类似的行为。
data[mask] tensor([0.7170, 0.7713, 0.9458, 0.6711], grad_fn IndexBackward )
有时 一个理想的解决方案是False用零填充掩码中的所有值 可以这样做
data * mask tensor([[0.0000, 0.7170, 0.7713], [0.9458, 0.0000, 0.6711], [0.0000, 0.0000, 0.0000]], grad_fn MulBackward0 )10. 条件张量 torch.where
当您想将两个张量与条件组合时 此函数会派上用场 - 如果为真 则从第一个张量中获取元素 如果为假 则从第二个张量中获取。
文档 https://pytorch.org/docs/1.7.1/generated/torch.where.html#torch.where
x torch.tensor([1.0, 2.0, 3.0, 4.0, 5.0], requires_grad True) condition_or_mask x 3.0 torch.where(condition_or_mask, x, y) tensor([ 1., 2., 3., -4., -5.], grad_fn SWhereBackward )11. 用给定位置的值填充张量 ( Tensor.scatter)
此函数的用例如下 - 您想用给定索引处的另一个张量的值填充一个张量。一维张量更容易理解 因此我将首先展示它 然后继续进行更高级的示例。
data torch.tensor([1, 2, 3, 4, 5]) index torch.tensor([0, 1]) values torch.tensor([-1, -2, -3, -4, -5]) data.scatter(0, index, values) tensor([-1, -2, 3, 4, 5])
上面的例子很简单 但是现在看看如果你把 index 改为 index torch.tensor([0, 1, 4])
data torch.tensor([1, 2, 3, 4, 5]) index torch.tensor([0, 1, 4]) values torch.tensor([-1, -2, -3, -4, -5]) data.scatter(0, index, values) tensor([-1, -2, 3, 4, -3])
为什么最后一个值是 now 是违反直觉的-3 对吗 这是 PyTorchscatter函数的主要部分。的index变量表示在哪个位置从data张量应在i-th从值values张量被放置。我希望下面这个操作的普通 python 等价物会更清楚
data_orig torch.tensor([1, 2, 3, 4, 5]) index torch.tensor([0, 1, 4]) values torch.tensor([-1, -2, -3, -4, -5]) scattered data_orig.scatter(0, index, values) data data_orig.clone() for idx_in_values, where_to_put_the_value in enumerate(index): what_value_to_put values[idx_in_values] data[where_to_put_the_value] what_value_to_put data, scattered (tensor([-1, -2, 3, 4, -3]), tensor([-1, -2, 3, 4, -3]))二维数据上的 PyTorch 散点示例
永远记住 的形状index与 的形状相关 其中的values值index对应于 中的位置data。
data torch.zeros((4, 4)).float() index torch.tensor([ [0, 1], [2, 3], [0, 3], [1, 2] values torch.arange(1, 9).float().view(4, 2) values, data.scatter(1, index, values) (tensor([[1., 2.], [3., 4.], [5., 6.], [7., 8.]]), tensor([[1., 2., 0., 0.], [0., 0., 3., 4.], [5., 0., 0., 6.], [0., 7., 8., 0.]]))12. 网络内的图像插值 ( F.interpolate)
当我学习 PyTorch 时 令我惊讶的是您实际上可以在前向传递中调整图像 或任何中间张量 的大小并保持梯度流。这种方法在使用 CNN 和 GAN 时特别有用。
# image from https://commons.wikimedia.org/wiki/File:A_female_British_Shorthair_at_the_age_of_20_months.jpg img Image.open( ./cat.jpg )
to_pil_image( F.interpolate(to_tensor(img).unsqueeze(0), # batch of size 1 mode bilinear , scale_factor 2.0, align_corners False).squeeze(0) # remove batch dimension
看看梯度流是如何保存的
F.interpolate(to_tensor(img).unsqueeze(0).requires_grad_(), mode bicubic , scale_factor 2.0, align_corners False) tensor([[[[0.9216, 0.9216, 0.9216, ..., 0.8361, 0.8272, 0.8219], [0.9214, 0.9214, 0.9214, ..., 0.8361, 0.8272, 0.8219], [0.9212, 0.9212, 0.9212, ..., 0.8361, 0.8272, 0.8219], ..., [0.9098, 0.9098, 0.9098, ..., 0.3592, 0.3486, 0.3421], [0.9098, 0.9098, 0.9098, ..., 0.3566, 0.3463, 0.3400], [0.9098, 0.9098, 0.9098, ..., 0.3550, 0.3449, 0.3387]], [[0.6627, 0.6627, 0.6627, ..., 0.5380, 0.5292, 0.5238], [0.6626, 0.6626, 0.6626, ..., 0.5380, 0.5292, 0.5238], [0.6623, 0.6623, 0.6623, ..., 0.5380, 0.5292, 0.5238], ..., [0.6196, 0.6196, 0.6196, ..., 0.3631, 0.3525, 0.3461], [0.6196, 0.6196, 0.6196, ..., 0.3605, 0.3502, 0.3439], [0.6196, 0.6196, 0.6196, ..., 0.3589, 0.3488, 0.3426]], [[0.4353, 0.4353, 0.4353, ..., 0.1913, 0.1835, 0.1787], [0.4352, 0.4352, 0.4352, ..., 0.1913, 0.1835, 0.1787], [0.4349, 0.4349, 0.4349, ..., 0.1913, 0.1835, 0.1787], ..., [0.3333, 0.3333, 0.3333, ..., 0.3827, 0.3721, 0.3657], [0.3333, 0.3333, 0.3333, ..., 0.3801, 0.3698, 0.3635], [0.3333, 0.3333, 0.3333, ..., 0.3785, 0.3684, 0.3622]]]], grad_fn UpsampleBicubic2DBackward1 )13. 制作图像网格 ( torchvision.utils.make_grid)
在使用 PyTorch 和 torchvision 时 无需使用 matplotlib 或某些外部库复制粘贴代码以显示图像网格。就用torchvision.utils.make_grid
文档 https://pytorch.org/vision/0.8/utils.html
from torchvision.utils import make_grid from torchvision.transforms.functional import to_tensor, to_pil_image from PIL import Image img Image.open( ./cat.jpg ) to_pil_image( make_grid( [to_tensor(i) for i in [img, img, img]], nrow 2, # number of images in single row padding 5 # frame size
Ref: https://zablo.net/blog/post/pytorch-13-features-you-should-know/
