这篇文章来解读多模态预训练模型CLIP【Contrastive Language-Image Pre-training】
Paper 链接：Learning Transferable Visual Models From Natural Language Supervision
Abstract计算机视觉目前的SOTA模型只能用来预测预先确定好的目标类别，这种受限的监督学习范式限制了模型的泛化性和应用范围，因为需要额外的标注数据来标识其他的类别。直接从图像的描述文本中学习是个很有潜力的方法，可以充分利用监督数据。我们研究证实了，预测描述文本属于哪一个图像的这种简单的预训练任务是个有效且易扩展的方法，从4亿图像文本对中从零训练，可以取得SOTA效果。预训练之后，简单构造的自然语言可以用来引导视觉模型去做物体的分类，且只用zero-shot的模式迁移到下游任务上。我们发现，这种方法的性能在30个计算机视觉数据集上超过之前的benchmark，例如：OCR、视频中的动作识别、地理位置、以及需要细粒度的分类任务。这个模型迁移到大多数任务上，都有着不容小觑的优势，且不用任务额外的数据训练可以和之前一些完全有监督训练的任务打成平手。例如，这个模型不使用任何128w ImageNet训练集的情况下，能和之前一个有监督训练好的res50 打成平手。
模型开源：https://github.com/OpenAI/CLIP.
Introduction and Motivating Work作者认为，之前的弱监督模型和从自然语言中直接学习视觉表达的最大区别是在规模上，包括数据规模和模型规模。因此，作者团队就在大规模数据集和模型上弥补这个GAP，创建了一个新的4亿文本图片对的数据集，并从头开始训练一个简单版本的ConVIRT模型，命名为：CLIP模型。除了在30个数据集上，zero-shot 迁移可以和之前的有监督训练的任务打成平手外，作者团队还发现，使用linear-probe这种方法【冻住除了最后一层分类层的其他层，模型只当作特征抽取器，在下游任务上只优化分类层的参数】，CLIP在公开的数据集上也超过了之前的ImageNet任务。
