AAAI 2022
论文：https://arxiv.org/pdf/2104.06094v2.pdf
现实世界中的数据往往呈现出长尾标签分布，这对视觉识别中的神经网络训练提出了巨大挑战。
现有方法主要从数据量的角度来解决这个问题，即每个类中的样本数。具体来说，他们更关注尾类，比如对 logit 进行更大的调整。
然而，在训练过程中，数据的数量和难度是两个相互交织、同样至关重要的问题。对于一些尾类来说，它们的实例的特征是鲜明的，有判别力的，也能带来满意的准确率；对于一些头类，虽然有足够的样本，但与其他类的语义相似度高，缺乏判别特征会带来不好的准确性。
基于这些观察，我们提出了自适应 Logit 调整损失 (ALA Loss) 以将自适应调整项应用于 logit。
自适应调整项由两个互补因素组成：
1）数量因素，更关注尾类，
2）难度因素，在训练过程中自适应地更关注难实例。
难度因子可以缓解尾部但容易的实例的过度优化和头部但困难的实例的优化不足。这两个因素的协同作用不仅可以进一步提高尾部类的性能，还可以提高头部类的准确性。与以往只关注数据量的 logit 调整方法不同，ALA Loss 从更全面、细粒度和自适应的角度解决了长尾问题。广泛的实验结果表明，我们的方法在具有挑战性的识别基准上实现了最先进的性能，包括 ImageNet-LT、iNaturalist 2018 和 Places-LT。
随着深度学习的发展，计算机视觉社区见证了视觉识别在经典基准上的巨大突破，如ImageNet（Russakovsky et al.2015）、COCO（Lin et al.2014）和Places（Zhou et al.2017）。与这些人工平衡的数据集相比，真实场景通常服从长尾标签分布。少数类别（头部类别）包含大部分数据，而大多数类别（尾部类别）占用的样本相对较少（Liu等人2019年；Gupta、Dollar和Girshick 2019年）。不幸的是，面对这种不平衡的分布，发现这些神经网络的性能显着下降，尤其是在尾类上（Cao et al. 2019; Kang et al. 2019; Liu et al. 2019）。
大多数现有的长尾视觉识别方法通过强调尾类的优化来解决这个问题。 这些工作可以大致分为三种范式：重新采样训练数据（Buda、Maki 和 Mazurowski 2018；Chawla 等人 2002；Wallace 等人 2011），重新加权损失公式的系数（Menon 等人 . 2013; Cui et al. 2019; Ren et al. 2018) 并调整 logit (Cao et al. 2019; Tan et al. 2020; Menon et al. 2020)。
大多数现有的长尾视觉识别方法通过强调尾类的优化来解决这个问题。这些工作可以大致分为三种范式：
重新采样训练数据（Buda、Maki 和 Mazurowski 2018；Chawla 等人 2002；Wallace 等人 2011），
重新加权损失公式的系数（Menon 等人. 2013; Cui et al. 2019; Ren et al. 2018)
调整 logit (Cao et al. 2019; Tan et al. 2020; Menon et al. 2020)。
数据重采样提高了尾类的采样率并为头类减少它。损失重新加权通过增加尾部类的权重和降低头部类的权重来引导网络更多地关注尾部样本。 Logit 调整方法从 logit 中减去一个正调整项。大多数现有的长尾视觉识别方法通过强调尾类的优化来解决这个问题。这些工作可以大致分为三种范式：重新采样训练数据（Buda、Maki 和 Mazurowski 2018；Chawla 等人 2002；Wallace 等人 2011），重新加权损失公式的系数（Menon 等人. 2013; Cui et al. 2019; Ren et al. 2018) 并调整 logit (Cao et al. 2019; Tan et al. 2020; Menon et al. 2020)。数据重采样增加了尾类的采样率并降低了头类的采样率。损失重新加权通过增加尾部类的权重和降低头部类的权重来引导网络更多地关注尾部样本。 Logit 调整方法从 logit 中减去一个正调整项。该术语通常与每个类的频率相反，这鼓励对尾类进行更多优化。 他们都是从数据量的角度来解决长尾问题，有着相同的设计理念：多强调尾类，少强调头类。 然而，根据我们的观察，数据量是一个必要但不充分的条件。
如图 1 所示，我们在 ImageNet-LT (Liu et al. 2019) 上绘制了每个类的准确率，根据训练实例的数量分为少数 (1-20)、中等 (20-100) 和很多（> 100）类。值得注意的是，虽然总体上准确率和数据量之间存在一定的相关性，但从各个类的角度来看并不是绝对的。例如，“Appenzeller”类和“Black Swan”类分别属于头类和尾类。对于“黑天鹅”，尽管样本相对较少，但准确率很高。搜索了所有的鸟群后，我们发现黑天鹅的特征是如此鲜明和有辨识度，比如黑色的羽毛、细长的脖子和红色的喙，很容易区分。然而，对于“Appenzeller”来说，即使有足够的样本，仍然会导致准确率低下。与其他类（如“EntleBucher”）的模糊属性和高语义相似性降低了其在特征空间中的可区分性，从而大大增加了错误分类的风险。上述观察表明，对于尾部但容易的类（如“黑天鹅”）不需要更大的正则化，但对于头部但难的类（如“Appenzeller”）来说是紧迫的。
图 1：ImageNet-LT 数据集上交叉熵 (CE) 方法的每类精度。 x 轴表示按样本编号排序的类别索引。 y 轴显示每个类别的准确度。 最佳彩色视图和放大。
为了进一步阐明只关注数据量的缺点，我们还提出了交叉熵（CE）和LDAM（Cao等人，2019）的具体准确性比较。LDAM是一种突出而有效的长尾分类方法。它通过对数调整来修改CE的初始损失，但只是从数据量的角度。如图1的准确率直方图所示，对于尾巴却很容易的 "黑天鹅 "类（位于右上角），CE的准确率足够好（0.8）。虽然LDAM确实有轻微的提升（0.8到0.84），但这种提升是微不足道的。 相比之下，对于头部较hard的“Appenzeller”类（左下角），CE 的表现很差（0.47）。 在这种情况下，LDAM 会严重恶化性能（0.47 到 0.18）。
基于这些观察，我们提出了一个新的自适应Logit调整损失（ALA损失），它不仅鼓励对尾部类（包括尾部类中的所有实例），而且鼓励对硬实例（在头部和尾部类中）进行更多的规范化。ALA损失的调整项是由两个互补的因素组成的。
1）数量因素，它更关注尾部类；
2）难度因素，它在训练过程中通过与logit的值结合，自适应地对硬实例进行更多的规范化。
这两个因素的协同作用可以进一步提高对尾部类的性能。更重要的是，它缓解了头部类硬样本上的优化不足，同时也提高了头部类的准确性。正如我们所期望的，与对数调整方法LDAM相比，ALA Loss在图1中的尾部类 "黑天鹅 "和头部类 "Appenzeller "上都取得了更好的结果。
我们工作的贡献可以总结为以下几点。
- 我们开发了一种新的自适应Logit调整损失（ALA损失），它包含一个数量因子和一个难度因子。ALA损失以一种更全面、更精细的方式工作。具体来说，以前的方法只对尾部类别进行规范化。相比之下，ALA Loss同时考虑了数据的数量和难度，从类和实例的角度进行调整。辅以我们的难度系数，可以有效地缓解对尾部容易的实例过度优化和对头部困难的实例优化不足的问题。
- 我们建议在训练过程中自适应地应用正则化。具体来说，以前的方法采用与类频相关的先验数据量进行Logit调整。我们的调整项更进一步，根据预测的logit值自适应地选择哪些实例进行规范化。它可以使学习过程更加有效，并提高尾部类和硬样本的性能。
- 我们进行了广泛而全面的实验。在三个具有挑战性的大规模长尾数据集上，包括ImageNet-LT、iNaturalist 2018和Places-LT，ALA Loss表现出一致的、明显的改进。
现有的长尾分类技术主要包括数据重采样 (Chawla等人。2002; Han，Wang和Mao 2005; Drumnond 2003)，损失修改 (Cui等人。2019; Khan等人。2017; Cao等人。2019; Ren等人。2018；lin等。2017)，知识迁移 (Yin等。2019; Liu等。2019) 和网络结构设计 (Kang等。2019; Zhou等。2020; Wang等。2020)。
至于数据重采样，两种常见的技术是: 用于尾类的过采样 (Chawla等人2002; Han，Wang和Mao 2005) 和用于头类的欠采样 (Drumnond 2003)。
至于损失修改，可以大致分为基于重新加权 (Cui等人。2019; Ren等人。2018; Shu等人。2019; Lin等人。2017) 和基于logit调整 (Cao等人。2019; Tan等人。2020；menon等人。2020) 方法。
除上述策略外，知识迁移通常发生在头到尾类，知识可以是类内方差 (Yin et al. 2019) 或语义特征 (Liu et al. 2019)。
最近，网络结构设计方法也显示出可喜的成功。Kang等 (2019) 提出了一种常用的两阶段训练策略。向、丁、韩 (2020); 周等 (2020); 王等 (2020) 将多专家结构引入长尾问题，具有相同的分治原则。
在本文中，我们主要关注简单但有效的logit调整损耗，可以轻松地集成到其他方法中。
基于 Logit 调整的损失首先在人脸识别中提出（Liu et al. 2016, 2017; Wang et al. 2018a,b; Denget al. 2019），它鼓励更大的类间边距并加强额外的类内紧凑性。 LDAM (Cao et al. 2019) 首次将这一思想引入长尾识别，并提出了一个依赖于类的调整项来扩大尾类的边距。 Equalization Loss (Tan et al. 2020) 应用 logit 调整来缓解物体检测领域从头到尾类别的压倒性令人沮丧的梯度。 Logit Adjust (Menon et al. 2020) 从 Fisher 一致性分析并提出了 logit 调整的一般形式。 其中，LDAM 是一种突出且有效的长尾分类方法，因此我们将其作为 logit 调整损失的基线。
3 Method如图 1 所示，对于长尾识别，数据的数量和难度是两个相互交织且同样重要的部分。 基于这一观察，我们提出了自适应 Logit 调整损失（ALA 损失），它由两个互补因素组成，即数量因素和难度因素。
3.1 Preliminary我们首先重新审视广泛使用的 softmax 交叉熵 (CE) 损失：
其中x是输入实例，y∈{1,2,···,C}是对应的目标类。 C 是类的总数。 fθ(x)[j] 是第 j 类的预测 logit。 σCE(y, fθ(x)) 是分类器的预测概率。 接下来，我们回顾一下长尾识别领域的 logit 调整损失。
常用方法（Cao et al. 2019; Menon et al. 2020; Tan et al. 2020）通过从 logit fθ(x) 中减去正调整项 A ∈ RC 来解决长尾分类问题。 因此，logit 调整损失的公式可以写成：
此外，损失 LLA 在 logit fθ(x) 上的梯度可以表示为：
在以前的作品中，A只与数据量有关。具体地说，它是一类依赖项，并且与每一类中的样本数量负相关 (Cao等人2019; Tan等人2020; Menon等人2020)。为了进一步阐明logit调整损耗的影响，我们从梯度的角度对其进行了分析。根据等式 (3)，对于目标类别y，logit上的梯度为 σ LA (y，f θ(x)[y]，A[y]) − 1。
对于具有相同 logit 的两个样本，将 fθ(x)[yh] 表示为来自头类的样本的 logit，将 fθ(x)[yt] 表示为来自尾类的样本，fθ(x)[yh] = fθ(x )[yt]。 然而，A[yh] < A[yt]，因此 σLA(yh, fθ(x), A) > σLA(yt, fθ(x), A)。
因为 σLA(y, fθ(x)[y], A) − 1 < 0，
这意味着，对于具有相同 logit 的两个样本，来自尾类的样本将比来自头类的样本获得更大的梯度，从而使模型更加关注尾类。
以往的logit调整方法可以从数据量的角度有效改善长尾情况。 但是，仍然存在一些限制。
如图 1 所示，tail 容易过度优化，head 难样本优化不足是亟待解决的问题。 因此，我们提出了ALA Loss，其形式与式（2）所示的常见logit调整损失相同，但调整项A不仅与数据量有关，还与实例难度相关。 ALA Loss 将 A 设计为难度因子 (DF) 和数量因子 (QF) 的组合，如
我们将分别详细讨论难度因素和数量因素。
难度系数 (DF)。 DF 是一个特定于实例的术语，旨在使模型更加关注硬实例。 由于硬实例是预测结果较差的实例，因此设计原则是 DF 应该与目标预测负相关。 预测的 logit 和概率都可以用作衡量难度的信号。 我们凭经验发现 logit 效果更好。 其背后的原因有两个：
1）由于softmax，预测的概率与对应的logit相比更尖锐，这会导致调整项过大或过小。
2）预测的logit与待调整的原始logit具有相同的形式，更加一致和连贯。
但是，由于 logit 的取值范围未知，很难设计出具体的 DF 公式。 因此，我们通过 LDAM 之后的权重归一化和特征归一化将 fθ(x) 限制为 [-1, 1]。 具体来说，我们对 fθ(xi) 进行以下变换。 xi 是第 i 个样本，属于第 j 个类别：
综合考虑上述变换和设计原则，设计DF与cosθij的值负相关。 同时，DF的取值范围被限制在[0, 1]。 则 DF 的公式设计为：
请注意，我们分离了 cos θiy 的梯度。
为了进一步理解DF，我们给出了一种更直观的解释方式。 θij 表示 xi 和 Wj 之间的角度。 由于 Wj 通常被认为是第 j 个类的目标中心（Deng et al. 2019），因此 θiy 表示 xi 与其目标类中心之间的夹角，最好尽可能小。
对于简单的样本，θiy 往往较小，而 cos θiy 往往较大，对于困难样本，反之亦然。 根据等式（6），我们的 DF 对硬样本进行了比简单样本更多的正则化，这为判别学习带来了改进。
数量因子 (QF)。 DF 有效地使模型更多地关注硬实例，包括尾类中的实例。 然而，这还不够。 进一步的考虑是同一类中的实例共同有助于学习表示并确定分类器边界。 头类中的硬样本由于样本数量多而可以从同类的其他样本中受益，而尾类中的硬样本由于尾类中数据样本的缺乏而受益较少。
因此，我们设计了一个类依赖项 QF 以更好地与 DF 结合，使网络更加关注尾类。 设计原理与之前的logit调整损失类似：QF应该与数据数量负相关。 然而，与其他方法（Cao et al. 2019; Menon et al. 2020）中使用的常见幂函数（1/xn）不同，我们凭经验发现对数函数（1/ log(x + 1)）是更好的选择 ，它对尾类应用更强的正则化。 将 S = {S1, S2, …, SC} 表示为每个类别的一组样本数，QF 公式如下：
其中Sj通过LDAM之后的最小样本分钟数进行归一化。显然，QF是依赖于类的，对于Sj较小的尾部类，其值较大。
为了进一步证明 QF 的新函数形式是必不可少的，我们在图 2 中直观地展示了我们的 QF 与 LDAM 的比较。可以清楚地看到，QF 为尾类分配了更大的调整项，这可以提高它们的性能。 4.4 节的实验结果验证了 QF 是 DF 更合适的补充项。
最终形成。 在 LDAM (Cao et al. 2019) 之后，我们只调整了目标 logit，这意味着当 j = y 时 A[j] = 0，我们也用相同的常数 s 重新缩放 logit。 因此，我们的 ALA 损失的最终公式是
注意DF的设计原则是与实例难度负相关，QF的设计原则是与数据量负相关。 我们的配方设计遵循简单实用的动机。 其他符合原则的形式也是合适的。
总之，ALA Loss 的两个吸引人的特性使其在之前的 logit 调整损失中脱颖而出。
- ALA Loss 是全面且细粒度的。 ALA Loss 中的 DF 项是从实例难度的角度考虑的，它缓解了对尾部但容易的过度优化和对头部但困难的实例的欠优化。对于ALA Loss中的QFterm，其设计原理与之前的logit调整方法相同。但是，我们重新设计了函数以对尾类分配更大的调整，这使其更适合与 DF 集成。
- ALA 损失是自适应的。与之前的方法类似（Cao et al. 2019; Menon et al. 2020），QF 仅考虑先验数据量来处理长尾识别。相比之下，DF 与预测的 logit 相关，考虑了训练过程的动态状态。因此，我们的 ALA Loss 可以通过给予它们更大的正则化来自适应地关注那些目前表现不佳的实例，这更加合理和有效。
为了评估我们方法的有效性和通用性，我们对三个广泛使用的大规模长尾数据集进行了一系列实验：ImageNet-LT、iNaturalist 2018 和 Places-LT。
ImageNet-LT。ImageNet LT（Liu et al.2019）数据集是ImageNet-2012（Deng et al.2009）的人工采样子集，包含115.8K图像。在此数据集中，类的总数为1000，而每个类的最大和最小样本数分别为1280和5。
iNaturalist 2018（Van Horn et al.2018）数据集是一个真实世界的不平衡数据集，有437.5K幅图像。总分类数为8142，调整项每个分类的最大和最小样本数分别为1000和2。
Places-LT。Places LT（Liu et al.2019）数据集是数据集Places（Zhou et al.2017）的一个长尾子集，包含62.5K幅图像。它由365个类别组成，每个类别的样本从5个到4980个不等。
实施细节。 对于 ImageNet-LT，采用 ResNet-50 和 ResNeXt-50 (32x4d) (He et al. 2016) 作为主干。 我们主要使用 ResNeXt-50 进行消融研究。 批量大小设置为 256，初始学习率为 0.1，权重衰减为 0.0005。 对于 iNaturalist 2018，ResNet-50 被用作主干。 批量大小设置为 512，初始学习率为 0.2，权重衰减为 0.0002。 对于 Places-LT，我们使用 ResNet-152 作为主干，并在完整的 ImageNet 数据集上对其进行预训练（Hong et al. 2021）以进行公平比较。
所有网络都在2特斯拉V100 gpu上进行培训，ImageNet-LT和iNaturalist 2018的90个epochs，而Places-LT的30个时期。公式 (8) 中的比例因子s默认设置为30。我们使用与LDAM相同的培训策略 (Cao等人2019)。
评估协议。所有网络都在长尾训练数据集上进行训练，然后在相应的平衡验证或测试数据集上进行评估。Top-1准确度以百分比的形式用作评估指标。为了更好地分析不同数据频率类别的性能，我们根据每个类别中的训练实例数报告了四个类别子集的准确性：Many-shot (>100)、Medium-shot (20-100)、 Few-shot (1-20) 和 All as in (Liu et al. 2019)。
4.3 主要结果在本节中，我们介绍方法的性能，并与以前的最新作品进行比较。在ImageNet-LT，iNaturalist 20 1 8和Places-LT上的结果分别显示在表1，表2和表3中。
ImageNet-LT的实验结果。如表1所示，我们有以下观察结果: 1) ALA Loss在两种网络上都实现了比现有方法优越的性能。与最先进的方法DisAlign相比，ALA损耗在ResNet50上获得1.1% 精度增益，在resnext50上获得0.7% 增益。2) 与其他logit调整损失相比: Logit调整 (Menon等人2020) 和LDAM，ALA损失在所有三个子集上都获得了更好的结果，显示了我们方法的全部优势。3) 与其他在牺牲头部类的情况下改进尾部类的方法不同，由于提出的难度因素，我们的方法不仅在尾部类上取得了更好的效果，而且在头部类上也有了显著的提高，并且获得了与交叉熵 (CE) 相当的结果。
实验结果iNaturalist2018。如表2所示，ALA Loss在此真实世界的长尾数据集上比其他方法获得了更好的结果，显示了我们方法的有效性。值得注意的是，ALA损失在所有三个子集上都获得了几乎相等的结果，这对于长尾视觉识别来说是相当理想的结果 (Wang等人2020)。现有的大多数方法都以牺牲头类为代价来改善尾类的结果，而我们的方法则将两者都考虑在内。
Experimental Results on Places-LT.。如表3所示，ALA损失再次优于其他方法，尤其是在多次和少次子集上。与其他logit调整方法相比: 从休闲规范到LADE，ALA损失取得了可喜的结果，在中投中获得了0.9% 收益，而在中投中获得了0.8% 收益。对于很少的人来说，ALA的损失除了偶然的标准之外，取得了最好的结果。临时规范在推理阶段应用事后logit调整。它可以提高尾部的准确性，但是以牺牲头部为代价。数量和难度因子都有助于少镜头子集的改进，而多镜头子集的结果主要归因于难度因子。
4.4 消融研究定量分析。在本节中，将进行一系列实验来检查每个组件在 ALA Loss 中的影响。 根据表 4 所示的结果，我们有以下观察结果：
1）DF 旨在优化所有子集中的硬实例，这可以提高头尾类的性能，在一定程度上改善了长尾分类。 与 CE 相比，DF 在中等和少镜头子集上取得了相当好的结果，在多镜头子集上仅略有下降。 此外，它甚至优于基于数据量的调整方法 LDAM 和 QF，表明从实例难度的细粒度角度解决长尾问题的优势。
2) QF 在尾类上的表现优于 LDAM。 LDAM 和 QF 之间的比较表明，我们提出的数量因子项能够实现与 LDAM 相当的整体性能。 更重要的是，在fewshot子集上，QF带来了显着的收益，这与图2中的分析一致。
3）DF在many-shot子集上表现更好，而LDAM和QF在few-shot子集上获得更高的精度。 符合我们的设计原则。 即：DF更关注硬样本，因为它从实例难度的角度来解决长尾问题。 QF 和 LDAM 更关注尾类，因为它们只与数据量有关。
4) 与我们的 DF 结合使用时，QF 和 LDAM 都可以进一步提升。 根据表 4 所示的结果，组合设置 DF·QF 取得了最好的效果，而其他设置如 DF·ALDAM 也比单独使用任何一个都表现得更好。
定性分析在本节中，我们进行了两次定性分析，以直观、全面地表征我们的 ALA Loss。 具体来说，我们从概率和适应性的角度进一步可视化和分析了 ALA Loss 的优势。
大概分析一下。 为了直观地反映我们的 ALA Loss 相对于基于数据量的 logit 调整方法的优势，我们进行了一个实验来比较 ALA Loss 与 CE 和 LDAM。
根据图 3 所示的结果，我们粗略地将那些预测概率 < 0.2 的样本视为困难样本，将那些 > 0.8 的样本视为容易样本。 值得注意的是： 1) 对于图 3(b) 和图 3© 所示的中和少样本子集，LDAM 和 ALA Loss 与 CE 相比都可以显着提高预测概率； 2）对于图3（a）所示的many-shot子集，LDAM的硬样本比CE多得多，这导致精度显着下降。 然而，ALA Loss 缓解了 LDAM 造成的过多的硬样本，与 CE 相比，在 manyshot 子集上的准确率仅略有下降。 再次，从概率的角度验证了我们的方法不需要过度牺牲头类的性能来换取尾类的提升。 适应性分析。 我们还将图 4 中训练过程中术语调整的趋势可视化。我们从三个方面进行讨论：首先，如图 4(a) 所示，我们得到以下关于 DF 的观察结果： 1) 从头到尾的类， 调整项逐渐增大，说明tail中hard样本的比例大于head类。 可以通过表 4 中的消融实验来验证：与 CE 相比，DF 为尾部类带来了显着的性能提升。 2）DF在训练过程中随着网络性能的波动而自适应地变化，随着网络的优化而变小。 其次，如图 4(b) 所示，QF 在整个训练过程中保持不变，鼓励对尾类进行更大的正则化。 最后，如图 4© 所示，AALA 对少样本子集进行了更多调整。 但是与图 4(b) 中的 QF 相比，head 和 tail 类的调整项之间的相对差异缩小了，这可以缓解 head-hard 的欠优化和 tail-easy 实例的过度优化。
5 结论在这项工作中，我们分析了现有长尾分类方法背后的问题，并建议从数据量和实例难度的角度重新审视这个问题。 我们的分析表明：以往的logit调整方法在tail类上简单地进行更多的正则化是不合理的，这导致了tail-easy实例的过度优化和head-hard实例的优化不足。 因此，我们提出了一种自适应 Logit 调整 (ALA) 损失，其中包含一个难度因素，以使模型更多地关注硬实例，以及一个数量因素，使模型更加关注尾类。 广泛而全面的实验结果表明，我们的方法在 ImageNet-LT、iNaturalist 2018 和 PlacesLT 三个广泛使用的大规模长尾基准上优于现有的 SOTA 方法。 我们还将在未来的工作中将提出的 ALA 损失应用于长尾对象检测和实例分割数据集。
