论文：《Circle Loss: A Unifified Perspective of Pair Similarity Optimization》https://arxiv.org/pdf/2002.10857.pdf
摘要本文提出了一种深度学习中数据对间相似度的优化方法，目标是最大化类内相似度Sp，最小化类间相似度Sn，现有的一些loss functions，包括 triplet和softmax cross-entropy loss，目的都是将Sn和Sp作为相似对，并减少（Sn -Sp）。这种优化方式很不灵活，因为每个一对一的相似度的惩罚都是平等的。如果一个相似性得分远离最优的中心，那么其应该被更多的关注(即惩罚)。因此，本文重新加权了欠优化的相似性得分。我们命名为circle loss ，因为他的决策边界是一个圆，并使用“类”级标签和“对”级标签。经过分析，我们证明，与之前的一些损失函数相比，circle loss方法提供了一个更灵活的收敛目标。在人脸识别，行人重识别等任务上都有与现有技术相当的表现。
1.Introduction本文将现有的两种深度学习优化方法分为两类：learning from data with “class-level labels”和“pair-wise labels”，比如cross-entropy loss和triplet loss ，两者没有本质区别 。这些方法主要有以下缺点：
（1）缺乏优化的灵活性：对Sn和Sp的惩罚强度相等。
（2）模糊的收敛状态：优化（Sn-Sp）时通常使用Sp-Sn=margin 来表示分类边界。存在以下问题，例如：Sn1，Sp1=（0.2，0.5），Sn2，Sp2=（0.4, 0.7），他们的margin都是0.3，但是
比较之间的差异性，Sn2和Sp1之间只有0.1。
因此我们提出 不同的相似性得分应该有不同的惩罚项，即（αnSn-αpSp），αn和αp就是线性函数，使Sn和Sp的学习速度适应优化器：相似度得分偏离最优值越远，加权因子就越大。这种优化导致了决策边界αnsn−αpsp=m，在(sn，sp)空间中产生一个圆形，因此我们将所提出的损失函数命名为圆损失。
circle loss从三个方面重新定义了损失函数：
（1）统一的损失函数公式。将基于类标签和样本对标签学习的基本特征学习方法糅合进一个损失函数中
（2）其次，灵活的优化。在训练过程中，通过αn(αp)扩增反向传播到sn(sp)的梯度。那些不太优化的相似性分数将会有更大的加权因子，从而得到更大的梯度。如图所示。1(b)，对A、B、C的优化彼此不同。
个人理解：
（3）明确的优化目标
本文的贡献可以总结为以下三点,1，本文提出了用于深度特征学习的简单损失函数--Circle Loss。通过在重新加权监督下的相似性分数，使得Circle Loss可以灵活明明确的学习深度特征。2，Circle Loss兼顾基于类别标签和样本对标签。而且可以退化为三元组损失和Softmax 损失。3，在多个视觉任务上取得了竞争力的表现。
2.A Unifified Perspective深度特征学习的目的是使类内相似度的最大化，以及类间相似度的最小化。例如，在余弦相似度度量下，我们期望sp→1和sn→0。
为此，同时使用类级标签学习和使用成对标签学习是两种基本范式。
给定一个单独的样本x，K 个类内相似性分数 L 个类间相似性分数，我们将这些相似性得分分别表示为{S ip}(i=1、2、···、K)和{S jn}(j=1、2、···、L)。本文提出一个损失函数：
其中γ是一个比例参数，m是margin、
公式1在所有相似对上进行迭代，来减小（S jn-S ip），但我们注意到经过细微的修改，它就会退化为triplet loss or classifification loss
Given class-level labels：计算样本和类别权重向量wi （i=1,2,.....,N）(N是训练类别)，具体来说，我们得到了（N-1）个类间相似度
