Brain Tumor Detection-CV 学习笔记2——数据增广(Data augmentation)

1. 预处理后

CV数据在预处理后应符合以下规范：

• img, mask——两个数组分别储存原图片与切割后图片的路径（str）
• imgs, masks——两个数组分别储存原图片与切割后图片（tensor）
• masks中只有0与1，imgs变量类型为torch.long

2.数据增广

数据增广安排在data generator抓取数据时，对抓取数据进行相应处理再丢入模型中。目前计划做以下增广：随机裁剪（临近插值法）、水平翻转、

torchvision.transforms是pytorch中的图像预处理包。一般用Compose把多个步骤整合到一起：可以用此来进行标准化操作，输入三个图层的标准化与方差。最好不要进行裁剪等增强处理，因为会导致img与seg不同步

tf = transforms.Compose([
            transforms.ToTensor(),
            transforms.Normalize(mean=[0.5, 0.5, 0.5], std=[0.25, 0.25, 0.25])]
            )

裁剪可以由以下代码实现：

def rand_crop(imgs, masks, h, w):
    """随机裁剪img与seg"""
    rect = torchvision.transforms.RandomCrop.get_params(imgs, (h, w))
    imgs = torchvision.transforms.functional.crop(imgs, *rect)
    masks = torchvision.transforms.functional.crop(masks, *rect)
    return imgs, masks

但以上代码的缺点是，本项目中文件为npy文件，由np.load读取后得到numpy文件虽然可以通过Image.formarray(np)或者torch.tensor(np)转化得到，但由于数据已被归一化过（-1 到 1），直接转换行程的PIL话tensor不能被识别，必须加以处理。

•         np.flip实现随机翻转（Fate为伪骰子）：

def horiz_flip(imgs, segs, dice):
    Fate = randint(1, 100)
    if dice>=Fate:
        imgs = np.flip(imgs, 1) # 水平翻转
        segs = np.flip(segs, 1)
        # res2 = np.flip(img, 0)  # 垂直翻转
        # res3 = np.flip(img, -1) # 水平垂直翻转
        return imgs, segs
    else: return imgs, segs

•         基于skimage.util实现随机添加噪音：

import skimage

def add_noise(img):
    Fate = randint(1,100)
    if Fate <= 40:
        return img
    elif Fate<=70:
        "高斯噪声"
        img = skimage.util.random_noise(img, mode='gaussian', var=0.01)
        return img
    else:
        "椒盐噪声"
        img = skimage.util.random_noise(img, mode='s&p')
        return img

• 基于np.lib.pad的随机裁剪:

  def random_crop(image, seg, crop_shape, padding=None):
      oshape = np.shape(image)
  
      if padding:
          oshape = (oshape[0] + 2 * padding, oshape[1] + 2 * padding)
          npad = ((padding, padding), (padding, padding),(0, 0))
          npad_seg = ((padding, padding), (padding, padding))
          print(oshape)
          print(npad)
          image_pad = np.lib.pad(image, pad_width=npad, mode='constant', constant_values=0)
          seg_pad = np.lib.pad(seg, pad_width=npad_seg, mode='constant', constant_values=0)
  
          nh = random.randint(0, oshape[0] - crop_shape[0])
          nw = random.randint(0, oshape[1] - crop_shape[1])
  
          image_crop = image_pad[nh:nh + crop_shape[0], nw:nw + crop_shape[1]]
          seg_crop = seg_pad[nh:nh + crop_shape[0], nw:nw + crop_shape[1]]
          return image_crop, seg_crop
      else:
          print("WARNING!!! nothing to do!!!")
          return image
  
  plt.figure(figsize=(5,5))
  img1 = np.load(img[1145])[:,:,:]
  seg1 = np.load(mask[1145])[:,:]
  plt.subplot(2,2,1)
  plt.imshow(img1, cmap='gray')
  plt.subplot(2,2,2)
  plt.imshow(seg1, cmap='gray')
  
  img1, seg1 = random_crop(img1, seg1, [224, 224], 16)
  plt.subplot(2,2,3)
  plt.imshow(img1, cmap='gray')
  plt.subplot(2,2,4)
  plt.imshow(seg1, cmap='gray')
  plt.tight_layout()
  plt.show()

• Tips: 以上操作应都可以对3通道（RGB）图像进行裁剪，因为训练模型需要使用3个通道。在使用imshow时可能会出现问题，这里引用另一篇文章：

  noisy = np.clip(noisy, 0.0, 1.0)

使用噪声的效果对于MRI图像来说可能并不好，要看模型具体效果而定

至此图像预处理以及图像增广部分完成。