自监督学习通过仅给定输入信号构造人工标签来学习，最近已经获得了对无标签数据集的学习表示的相当大的关注，即，没有任何人类注释监督的学习。在本文中，证明了这种技术即使在完全标记的数据集下，也能显著提高模型的准确性。本文的方案训练模型来学习原始和自监督的任务，但不同于传统的多任务学习框架，传统的多任务学习框架优化其相应损失的总和。本文的主要思想是学习关于原始和自监督标签的联合分布的单个统一任务，即，通过输入变换的自监督来增强原始标签。这种简单而有效的方法允许通过在同时学习原始和自监督任务期间放松某个不变约束来更容易地训练模型。它还实现了组合来自不同增强的预测的聚合推断，以提高预测准确性。此外，本文提出了一种新的知识迁移技术，我们称之为self-distillation 自蒸馏，它具有在单个(更快的)推理中聚合推理的效果。本文的框架在各种完全监督的设置上的大的准确性改进和广泛的适用性，例如，少样本和不平衡分类场景。
自监督：当缺少人类标注的标签时，该方法仅使用输入示例来构造人工标签，然后通过预测标签来学习它们的表示。一种最简单但有效的自监督学习方法是通过仅观察修改后的输入t(x)来预测哪个变换t应用于输入x，例如，t可以是patch置换 或旋转 。为了预测这种转换，模型应该区分什么是语义上自然的，因此，它学习输入的高级语义表示。
基于变换的自监督的简单性鼓励了其在无监督表示学习之外的其他目的的广泛适用性，例如半监督学习 、提高鲁棒性 、训练生成对抗网络 。先前的工作通常为原始任务和自监督任务维护两个独立的分类器(但共享公共的特征表示)，并同时优化它们的目标。然而，当处理完全标记的数据集时，这种多任务学习方法通常不会提供准确性增益。这启发我们探索以下问题：如何有效地利用基于变换的自监督来完成全监督分类任务？
Contributions：
多任务学习方法迫使原始任务的主要分类器相对于自监督任务的变换是不变的。例如，当使用旋转作为自我监督时，将每个图像旋转0、90、180、270度，同时保留其原始标签，主分类器被迫学习对旋转不变的表示。强制这种不变性可能会导致任务的复杂性增加，因为转换可能会在很大程度上改变样本的特征和/或用于识别目标的有意义的信息，例如图像分类{6对9}或{鸟对蝙蝠}。因此，这可能会损害整体表示学习，并降低主要的全监督模型的分类精度。
为了应对这一挑战，本文提出了一个简单而有效的想法(见图1(a))，即学习关于原始和自监督标签的联合分布的单个统一任务，而不是先前自监督文献中通常使用的两个独立任务。例如，当在CIFAR10(10个标签)上用旋转的自监督(4个标签)进行训练时，我们学习所有可能组合的联合概率分布，即40个标签。
