栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

PyTorch基础-数据的变换(Transforms)(3)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

PyTorch基础-数据的变换(Transforms)(3)

在上一节中自定义的数据集或者预加载的数据集得到的数据,并不总是以最终处理的形式出现在训练机器学习算法中。所以需要使用 变换 来处理数据并使其适合训练。所有 TorchVision 数据集都有两个参数,torchvision.transforms 模块提供开箱即用的几个常用转换:

(1)transform修改功能和 target_transform修改标签

(2)接受包含转换逻辑的可调用对象。

FashionMNIST 特征是 PIL 图像格式,标签是整数。 对于训练,需要将特征作为归一化张量,并将标签作为 one-hot 编码张量。为了进行这些转换,需要使用 ToTensor和 Lambda.

import torch
from torchvision import datasets
from torchvision.transforms import ToTensor, Lambda

training_data = datasets.FashionMNIST(
    root="data",
    train=True,
    download=True,
    transform=ToTensor(),
    target_transform=Lambda(lambda y: torch.zeros(10, dtype=torch.float).scatter_(0, torch.tensor(y), value=1))
)

 1、ToTensor()

ToTensor()将PIL图像或NumPy ndarray转换为浮点张量。并在[0,1]范围内缩放图像的像素强度值。

2、Lambda Transforms

Lambda 转换应用任何用户定义的 lambda 函数。 在这里,我们定义一个函数将整数转换为 one-hot 编码张量。 它首先创建一个大小为 10 的零张量(我们数据集中的标签数量)并调用scatter_ 分配一个value=1在标签给出的索引上y。

target_transform = Lambda(lambda y: torch.zeros(
    10, dtype=torch.float).scatter_(dim=0, index=torch.tensor(y), value=1))
torch.zeros()返回一个由标量0填充的张量,形状由size(10)决定,参数可以是一个list 也可以是一个元组。type指定返回tensor的数据类型,如果为None,使用默认值
scatter_()/scatter()

pytorch中,一般函数加下划线代表直接在原来的Tensor上修改。

scatter_(input, dim, index, src):将src中数据根据index中的索引按照dim的方向填进input。可以理解成放置元素或者修改元素     

torch.tensor()通过数据构造张量的函数

(1)其中关于target_transform标签变换中用到的的lambda:

关于Python中的lambda,这篇阅读量10万+的文章可能是你见过的最完整的讲解_肖哥shelwin的博客-CSDN博客_lambda python

lambda的语法是唯一的。其形式如下:

                                     lambda argument_list: expression

其中,lambda是Python预留的关键字,argument_list和expression由用户自定义。输入是传入到参数列表argument_list的值,输出是根据表达式expression计算得到的值。本例将lambda函数赋值给变量target_transform,导入标签值y,在进行 one-hot 编码。

(2)scatter是一个非常实用的映射函数,其将一个源张量(source)中的值按照指定的轴方向(dim)和对应的位置关系(index)逐个填充到目标张量(target)中,其函数写法为:

target.scatter(dim, index, src)
  • target:即目标张量,将在该张量上进行映射
  • src:即源张量,将把该张量上的元素逐个映射到目标张量上
  • dim:指定轴方向,定义了填充方式。对于二维张量,dim=0表示按每行的列索引进行填充,而dim=1表示按每列的行索引进行填充
  • index: 按照轴方向,在target张量中需要填充的位置

 由于不太容易理解,以下是两个编码过程:

(3)例:

scatter() 用于 one-hot 编码,这就是一个典型的用标量来修改张量的一个例子:

pytorch中scatter()、scatter_()详解_又笨又懒的猪的博客-CSDN博客_scatter_()

class_num = 10
batch_size = 4
label = torch.LongTensor(batch_size, 1).random_() % class_num
#tensor([[6],
#        [0],
#        [3],
#        [2]])
torch.zeros(batch_size, class_num).scatter_(1, label, 1)
#tensor([[0., 0., 0., 0., 0., 0., 1., 0., 0., 0.],
#        [1., 0., 0., 0., 0., 0., 0., 0., 0., 0.],
#        [0., 0., 0., 1., 0., 0., 0., 0., 0., 0.],
#        [0., 0., 1., 0., 0., 0., 0., 0., 0., 0.]])

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/849799.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号