Masked Autoencoders are Robust Data Augmentors论文作者、链接
作者：
Xu, Haohang and Ding, Shuangrui and Zhang, Xiaopeng and Xiong, Hongkai and Tian, Qi
链接：https://arxiv.org/abs/2206.04846
代码：https://github.com/haohang96/MRA
Introduction逻辑（论文动机&现有工作存在的问题）计算机视觉的发展，依赖于大量的数据来避免过拟合——该模型通过对训练数据的强制记忆实现了对训练数据的完美拟合，但在测试数据集的表现不佳——为了减轻过拟合问题的影响，数据增广被应用为一种通用的训练技巧，主流的增广方法往往是一些线性变换——在转换过程中不会改变图像中的高级语义信息——深度神经网络可以很容易地掌握这些低级的变换，这表明这种基本的图像处理方法可能不足以有效地概括输入分布
GAN网络也可以视为一种基于模型的数据增广——在少量数据的时候表现不错，在大尺度数据则不佳——原因可能是生成结果的质量无法评估——生成的结果可能看起来还不错，但与原始数据的分布不相同——GAN的不确定和不稳定性限制了其在数据增广上的表现——应该对生成的结果更有控制力，才能有效并且合理地生成增广的图片
本文遵循基于模型model-based的数据增强方法，认为生成方法在适当的约束下，实际上可以提高高层识别能力。受启发于图像修复image inpainting，提出了掩膜重构增广（Mask-Reconstruct Augmentation ，MRA），目标是修复图像的部分内容而不是对抗学习。首先，通过自监督掩膜重构策略self-supervised mask-reconstruct strategy训练一个非常轻量级的自编码器。根据MAE的做法，先将图像分成很多个图块，再将其中的一部分图块打上掩膜mask，也就是只有图像的部分内容输入到自编码器中，然后自编码器需要在像素层面对缺失的图块进行重构。最后将重构的图片作为视觉任务的增广。
这样，MRA不仅可以进行强非线性增强来训练鲁棒的深度神经网络，而且可以在重构任务的范围内调节具有相似高级语义的生成。因此，可控制的图像重构是产生一个类似分布的不错选择，也就是可以生成原始分布相近的且具有鲁棒性的分布，在下游任务中也具有很好的泛华性。在下游评价过程中，我们有选择地掩盖了注意力值较低的图块，这些图块更有可能是背景。本文表明，擦除标签无关的噪声图块会产生更预期和更有约束的生成，这对模型的稳定训练和增强对象意识非常有利。
论文核心创新点提出了一个数据增广方法成为MRA
提出了基于注意力的掩膜策略
相关工作
模型无关的数据增广Model-free Image Augmentation
基于模型的数据增广Model-based Image Augmentation
图像修复
与MAE的不同在于，MAE直接将编码器视为一个训练的主干网络，而MRA是利用自编码器来生成原始图片然后去训练另一个主干网络
论文方法 掩膜自编码器
给定一个无标签的训练集，掩膜自编码器的目标是学习一个参数为的编码器 ，则表示使用尺寸为的逐块的二进制掩膜。同时训练一个参数为的解码器去对掩膜图片的潜在嵌入进行一个重构，其中是重构的图片。用端到端的方式同时训练编码器和解码器，目标函数为在像素空间中计算均方误差MSE。实验中，压缩自编码器的大小仍然可以取得一个很好的性能。
基于注意力的掩膜为了引导针对目标感知的增广，利用对象位置的归纳偏差到掩膜策略。使用注意力探测作为裁判，判定每个图块是否属于前景目标。然后维持高注意力的图块作为输入，并擦除掉剩余的图块。给一个预训练的编码器，根据每一个输入的图块计算注意力图谱。为了适应Transformer的输入格式，输入图片被分为不重叠的图块，其中代表输入图片的高和宽，表示通道维度，表示图块的尺寸。最近的研究表明，ViT的无监督训练过程中可以自行的学到目标相关的特征。不仅如此，类别token的注意力图谱可以提供可靠的前景的建议。于是，针对图块计算类别token的注意力图谱为：
其中是类别token的队列，是图块组成的关键嵌入。都是从编码器的最后一层取得的。于是对注意力图谱进行一个排序，并取前个编号的集合:，其中公式返回前k个最大的元素的编号。有了之后，生成基于注意力的二进制掩膜，公式如下：
其中代表向下取整操作，代表取模操作。在对输入图片应用了基于注意力的二进制掩膜之后，我们希望可能的背景区域被抹去，而前景区域是完整的。值得注意的是，我们只在下游任务中使用基于注意的屏蔽策略，而在预训练自编码器阶段，我们保持随机屏蔽补丁。
掩膜重构增广有了二进制掩膜，我们可以取得掩膜图片。然后将掩膜图片分成不交叉的图块，并且丢弃被掩膜的图块。剩下的未被掩盖的图块则输入到预训练的编码器和解码器去生成重构的图片。重构的图片也可以视为的一个增广视图，可以用于各种下游任务。注意，一旦预训练，MRA是固定的，在不同的数据集和任务上测试时不需要进一步微调，它仍然可以生成健壮和可信的增广。
消融实验设计
掩膜率
掩膜策略
模型大小
预训练的轮次
一句话总结
提出了一个新颖的数据增广手法，通过对掩膜图片的重构实现构建样本对
论文好句摘抄（个人向）
（1）At the same time, they enjoy the label-preserving property that the transformations conducted over an image would not change the high-level semantic information.
（2）However, recent works on self-supervised learning [21, 66] reveal that these low-level transformations can be easily grasped by the deep neural network, which demonstrates that such basic image processing methods may be insuffificient to effectively generalize the input distribution.
