目录：
目录
目录：
1、Pytorch相关数据处理箱概要
2、utils.data
3、torchvision
4、tensorboardX
PyTorch为我们提供了专门的数据下载、数据处理包，使用这些包可以极大提高我们的开发效率及质量。在数据预处理，数据加载模块使用。
1、Pytorch相关数据处理箱概要
1、 左侧为torch.utils.data工具包，主要包括以下四个类：
1）Dataset:是一个抽象类，其他数据需要继承这个类，并且覆写其中的两个方法（__getitem__、__len__)。
2）DataLoader:定义一个新的迭代器，实现批量（batch）读取，打乱数据（shuffle）并提供并行加速等功能。
3）random_splist:把数据集随机拆分为给定长度的非重叠的新数据集。
4）*Sample:多种采样函数。
2、中间为PyTorch的可视化工具（Torchvision），其是PyTorch的一个视觉处理工具包，独立于Torch需要自主安装。用pip、conda均可安装：
在python命令行输入以下代码 #用pip pip install torchvision #用conda conda install torchvision
Torchvision包含如下四个类：
1）datasets:设计上继承自torch.utils.data.Dataaset。提供MINIST、CIFAR10/100、ImageNet和COCO等数据集。
2）models:提供深度学习各种经典的网络结构以及训练好的模型。
3）transforms:常用的数据集处理操作，主要是对Tensor和PIL Image的操作。
4）utils:包含两个函数，一个是make_grid,它能将多张图片拼接在一个网格中；另一个是save_img,它能将Tensor保存为图片。
2、utils.data
utils.data包括Dataset和DataLoader。torch.utils.data.DataLoader为抽象类。自定义数据集需要继承这个类，并实现两个函数，__len__,__getitem__,前者能让我们获取数据集的大小，后者通过索引获取data和label。__getitem__一次只能获取一个数据，所以需要DataLoader定义一个迭代器，实现batch（批）读取。
示例如下：
#1）导入所需模块
import torch
from torch.utils import data
import numpy as np
#2）定义获取数据的类，继承Dataset
class TestDataset(data.Dataset):
def __init__(self):
self.Data = np.asarray([1,2],[3,4],[2,1],[3,4],[4,5])#以作数据
self.Label = np.asarray([0,1,0,1,2])
def __getitem__(self,index):
#numpy转换为tensor
data=torch.from_numpy(self.Data[index])
label=torch.tensor(self.Label[index])
return data,label
def __len__(self):
return len(self.Data)
Test = TestDataset()
print(Test[2])#调用getitem
print(Test.__len__())
以上Dataset只能一次返回一个样本，因此在实际应用中，只负责数据的抽取。如果希望批量处理等操作，可选用DataLoader。
data.DataLoader(
dataset,#加载数据集
batch_size=1,#一次批量处理的大小
shuffle=False,#是否将数据打乱
sampler=None,#样本抽样
batch_sampler=None,
num_workers=0,#使用多进程加载的进程数，0代表不使用多线程
collate_fn=,#样本数据的拼接方式，一般使用默认拼接方式即可
pin_memory=False,#是否将数据保存在pin_memory区，它传入到GPU会较快
drop_last=False,#将不足一个batch的数据丢弃
timeout=0,
work_init_fn=None,
}
一般使用Dataset处理同一个目录下的数据。如果数据不在同一目录下，因为不同的目录代表不同的类别（普遍情况），使用Dataset来处理很不方便。但可以使用另一种可视化工具（torchvision）就极为方便。
3、torchvision
torchvision有四个功能模块：model、datasets、transform和utils。
1、transforms
transforms提供了对PIL Image对象和Tensor对象的常用操作。
2、ImageFolder
当文件依据标签处于不同文件下时,我们可以利用torchvision.datasets.ImageFolder来构造出dataset，如下：
loader = datasets.ImageFolder(path) loader = data.DataLoader(dataset)
ImageFolder会将目录中文件夹名自动转化成序列，当DataLoader载入时，标签自动成整数数列了。
4、tensorboardX（可视化工具）
1）安装tensorboardX：
pip install tensorboardX
2）导入tensorboardX,实例化Summary Writer类，指明记录日志路径等信息。
from tensorboardX import SummaryWriter
#实例化Summary Writer，并指明日志存放路径。在当前目录没有logs则自动创建
writer = SummaryWriter(log_dir='logs')
#画一个y=sin(x)
for i in range(100):
writer.add_scalar("y=sinx",sin(i),i)
writer.close()
在python命令行下输入
#读入文件夹数据，接口默认为6006 #点击6006打开网页，即可出现可视化数据 tensorboard --logdir=logs --port 6006
出现如下图像：
显然tensorboardX可在可视化loss等数据方面应用。
下一期我们介绍tensorboardX在可视化神经网络与可视化图像方面的应用。
