将属性（如颜色、形状、状态、动作）附加到对象类别是一个重要的计算机视觉问题。属性预测最近取得了令人振奋的进展，通常被表述为一个多标签分类问题。然而，在以下方面仍然存在重大挑战：1）预测多个对象类别上的大量属性，2）建模属性的类别依赖性，3）系统地捕获全局和局部场景上下文，以及4）稳健地预测低像素数对象的属性。为了解决这些问题，我们提出了一种新的多类别属性预测深度架构GlideNet，该架构包含三个不同的特征提取器。全局特征提取器识别场景中存在的对象，而局部特征提取器则关注感兴趣对象周围的区域。同时，内部特征（实例特征）提取器使用标准卷积的扩展，称为通知卷积，以利用其二进制掩码检索低像素数对象的特征。GlideNet然后使用带有二进制掩码的选通机制及其自学习类别嵌入来组合密集嵌入。总体而言，全局-局部内在块理解场景的全局上下文，同时关注感兴趣的局部对象的特征。该架构通过类别嵌入来适应基于类别的特征组合。最后，使用组合特征，解释器预测属性，输出的长度由类别决定，从而删除不必要的属性。
创新点：
1. 采用了三种不同的特征抽取器；每个都有特定的目的。全局特征提取器（GFE）捕获全局信息，封装图像中不同对象的信息（它们的位置和类别类型）。局部特征抽取器（LFE）捕获局部信息，封装与对象属性及其类别和二进制掩码相关的信息。最后，实例特征提取器（IFE）封装了有关对象固有属性的信息。它确保我们仅从对象的像素估计特征，不包括其他像素的贡献。
2. IFE中使用了一种新的卷积层（称为知情卷积），以关注与属性预测相关的对象的内在信息。
3. 为了学习每个特征抽取器（FE）的适当权重，我们采用了自注意力技术。利用二进制掩码和自学习类别嵌入，我们生成“Description”，然后使用选通机制微调每个特征层的空间贡献。
4.出于两个原因，我们在最终分类阶段采用了multi-head技术。首先，它确保最终分类步骤的权重由类别决定。其次，最终输出的长度可能因类别而异。这很重要，因为不是每个类别都有相同的属性集。
GlideNet–输入是图像、二进制掩码和对象的类别。输出是对象的属性。注意，类别嵌入是使用类别估计器从LFE的提取特征中自学习的。所有显示的图像均取自Wild（V AW）数据集中的视觉属性。显示了GlideNet在推理时的网络架构。模型的输入是捕捉整个场景（I）、类别（C）和感兴趣对象的二进制掩码（M）的图像。模型的输出是一个向量（a），表示该对象的不同属性。图1示出了一个示例，其中感兴趣的对象是床下方地板的一小部分。输出是地板属性的向量。我们可以将GlideNet中的信息流分解为三个连续步骤；特征提取、特征合成和最终解释。在接下来的几个小节中，我们将讨论每个步骤的细节。然而，读者可以参考附录B了解架构参数的精确数值。
一、特征提取
三种特征提取的作用：
1.GFE（全局）
GFE生成与整个图像i相关的特征。它产生用于识别图像中最突出物体的特征。具体来说，GFE生成的特征描述了图像中检测到的对象（其中心坐标、高度和宽度以及他们的类别）。我们在这里使用ResNet-50网络的主干。我们在主干网络的三个不同级别提取特征，以丰富特征提取过程，并增强多尺度下的目标检测。我们使用GFE将提取的特征表示为F1G、F2G、F3G，并使用FG将其统称。由于提取的特征将具有不同的空间维度，我们将采样F2G、F3G增加到F1G的空间大小；分别用h×wf表示高度和宽度。LetU（X，Y）表示一个函数，该函数向上采样X到Yands的空间大小是一个连接层，然后与磁极附近的其他物体进行比较（暗红色物体可能因其较低的曝光量或其本身具有该颜色而变暗）。因此，LFE和IFE相互补充，以更好地估计属性。IFE的结构类似于ResNet-50的主干，我们用一个已知卷积层替换每个卷积层（见第3.3节）。提取的特征用f1i、F2I、f3i表示，并用fi表示。F2I、F3i也上采样到1i的空间大小
2.LFE(局部)
LFE生成与感兴趣对象相关的特征，但它还考虑对象的边缘及其附近。从线性傅立叶变换中提取的特征用于识别对象的二值掩码及其类别和属性。与GFE相比，LFE应该能够估计大部分属性，因为它关注感兴趣的对象。然而，对于某些属性，GFE仍然是必要的，这也需要了解场景中的其他对象。为了举例说明，考虑一辆车牵引另一辆车。如果不认识到另一辆车的存在及其相互作用，我们就无法识别“牵引”属性。这就是为什么我们在特征提取中使用GFE。与GFE类似，我们使用ResNet50作为LFE的主干。提取的特征由f1l、F2L、f3和byFL共同表示。F2L、F3L向上采样至空间大小F1L
线性傅立叶变换的目的是在了解物体附近情况的同时提取与物体相关的特征。
IFE的目的是使用信息卷积提取与对象固有特性相关的特征
3.IFE（实例）
IFE使用称为知情卷积的新型卷积层，利用其二进制掩码生成感兴趣对象的内在特征。区分和区分生命周期和生命周期的目标非常重要。它们都试图提取预测对象属性的特征。然而，IFE生成与对象的固有属性（例如其纹理）相关的特征。另一方面，线性傅立叶变换生成与其邻域和对象边界相关的特征。为了澄清，假设我们想要预测图像中极点的属性。线性傅立叶变换无法估计其颜色，因为通常极点的纵横比较低；它的高度比宽度大得多。因此，与裁剪后的图像中的像素总数相比，贡献极颜色的像素数量较小。因此，即使我们对输出特征使用注意方案，任何典型的FE都会用裁剪图像中的其他像素模糊极点的像素。另一方面，IFE无法理解对象与其附近的交互，因为它在提取特征时只考虑对象的像素。例如，考虑对象暴露在光线下。IFE不能准确预测光照；根据需要与磁极附近的其他物体进行比较（暗红色物体可能因其较低的曝光量或其本身具有该颜色而变暗）。因此，LFE和IFE相互补充，以更好地估计属性。IFE的结构类似于ResNet-50的主干，我们用一个已知卷积层替换每个卷积层（见第3.3节）。提取的特征用f1i、F2I、f3i表示，并用fi表示。F2I、F3i也上采样到1i的空间大小。
对象描述符的结构–输入为二进制掩码和自学习类别嵌入ˆc。
二、特征合成
特征合成将不同特征提取器生成的密集嵌入合并。除了自生成和可学习的“类别嵌入”之外，我们还利用感兴趣对象的二进制掩码来生成合成机制的描述数据。
1. 二进制掩码通过卷积块来学习基于对象形状的空间注意力。同时，类别嵌入通过一个全连通块来学习基于类别的注意向量。
2. 然后，通过三个不同的网关G、GL、GIeach进行的数据传递具有最终的Sigmoid激活层，以断言输出介于0和1之间。每个门为每个FE生成三通道空间注意力图。然后，δ通过将每个特征与其相应的空间注意力图相乘，将从FE提取的2D特征减少到1D特征。
三、 Interpretation
解释器将最终特征向量转换为有意义的属性。其设计取决于最终所需的属性输出。
LFE我们使用三个解码器；两个临时解码器用于二进制掩码属性，一个解码器用于类别嵌入C。
基于全局、局部和内在的密集嵌入网络（GlideNet）是一种新型的属性预测模型，可以处理各种数据集以及类别和属性的分类。它超越了现有的先进方法，我们认为这是由于使用了各种特征提取器（FE），每个特征提取器都有其不同的目标。两阶段培训计划确定了他们的目标。此外，自注意力方法结合了二值掩码和自学习类别嵌入，融合了基于对象类别和形状的密集嵌入，获得了更丰富的合成特征。建议的基于信息卷积的模块估计裁剪图像中像素贡献非常低的对象的属性。
