终于知道 pytorch怎么取数据了

1、经常使用pytorch的都知道，下面是pytorch加载自己数据的流程代码

from torch.utils.data import Dataset
from torch.utils.data import DataLoader

class MyDataset(Dataset):
    def __init__(self)

    def __len__(self)

    def __getitem__(self， index)

dataset = MyDataset()
loader = DataLoader(dataset, batch_size=,
                              num_workers=,
                              shuffle= ,
                              collate_fn = )

for data in loader:

2、如果__getitem__函数返回的是1个image，1个 label这样的数据

def __getitem__(self, index)：
     return image, label

for data in loader:

我们取出来的data数据就是一个2个元素的list列表
data[0]存放的是batch_size个image数据，
data[1]存放的是batch_size个label数据，

3、如果__getitem__函数返回的是多个image, 多个label这样的数据

def __getitem__(self, index)：
     return image1, image2,image3,label1,label2,label3

for data in loader:

我们取出来的data数据就是一个6个元素的list列表，
data[0]存放的是batch_size个image1数据，
data[1]存放的是batch_size个image2数据，
data[2]存放的是batch_size个image3数据，
data[3]存放的是batch_size个label1数据，
data[4]存放的是batch_size个label2数据，
data[5]存放的是batch_size个label3数据，

4、如果__getitem__函数返回的是image 和label这样的列表数据数据

def __getitem__(self, index)：
     return [image1, image2,image3],[label1,label2,label3]

for data in loader:

我们取出来的data数据就是一个2个元素的list列表，
data[0] 是一个3个元素的列表
data[0][0]存放的是batch_size个image1数据，
依次类推

总结：使用pytorch获取一个batchsize的数据，其结构和__getitem__函数的返回数据结构相同，只是每个元素都增加一个维度，例如image的维度为3x512x512，变为16x3x512x512

5、如果想改变这种默认的组合方式，可以重写collate_fn函数，
重写collate_fn函数，可以对batch_size个数据重写整合，下面的代码，是对下面这种数据的重写整合

def __getitem__(self, index)：
     return [image1, image2,image3],[label1,label2,label3]

def train_collate(batch):
    batch_size = len(batch)
    images = []
    labels = []
    for b in range(batch_size):
        if batch[b][0] is None:
            continue
        else:
            images.extend(batch[b][0])
            labels.extend(batch[b][1])
    images = torch.stack(images, 0)
    labels = torch.from_numpy(np.array(labels))
    return images, labels

其中batch是batch_size个__getitem__个返回的数据，也就是，下面的结构[image1, image2,image3],
[
[image1, image2,image3],[label1,label2,label3]
[image1, image2,image3],[label1,label2,label3]
[image1, image2,image3],[label1,label2,label3]

…
[image1, image2,image3],[label1,label2,label3]
[image1, image2,image3],[label1,label2,label3]
[image1, image2,image3],[label1,label2,label3] ]

处理过之后，返回的数据是(list结构)：
images: labels:
[image1, [label1,
image2, label2,
image3， label3,
image1, label1,
image2, label2,
image3， label3,
… …
image1, label1,
image2, label2,
image3] label3]

6、还可以重写sampler， 改变采样方式

未完待续