栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > 资讯 > 高等教育 > 考研政策

团队新作:用语言建模做目标检测,性能媲美

团队新作:用语言建模做目标检测,性能媲美

选自arXiv

作者:陈婷等

机器心脏编译

机器之心编辑部

检测的“终点”是语言建模?最近,Hinton团队提出了一个新的目标检测通用框架Pix2Seq,该框架将目标检测视为基于像素的语言建模任务,并实现了与更快的R-CNN和DETR相当的性能。

视觉目标检测系统旨在识别和定位图像中所有预定义类别的目标。检测到的目标通常由一组包围盒和相关的类别标签来描述。鉴于任务的难度,现有的大多数方法都是经过精心设计和高度定制的,在架构和损失函数的选择上使用了大量的先验知识。

图灵奖获得者杰弗里·辛顿(Geoffrey Hinton)和谷歌研究院的几位研究人员最近提出了一个简单的目标检测通用框架Pix2Seq。与现有方法明确整合相关任务的先验知识不同,该框架简单地将目标检测转化为以观察像素输入为条件的语言建模任务。其中,对目标的描述(如包围盒和类标签)表示为离散令牌的序列,研究还训练神经网络感知图像并生成所需的序列。

地址:https://arxiv.org/abs/2109.10852

这种方法主要基于一种直觉,即如果神经网络知道目标的位置和内容,只需要教会它如何读取目标。除了使用特定于任务的数据增强,这种方法对任务的假设最少。然而,在COCO数据集上的测试结果表明,新方法完全可以媲美高度专业化和优化的检测算法。

Pix2Seq框架

本研究提出的Pix2Seq框架将目标检测作为语言建模任务,其中像素输入是条件。如上所述的Pix2Seq架构和学习过程有四个主要组成部分,如下图2所示,包括:

图像增强:在训练计算机视觉模型中很常见,该研究使用图像增强来丰富一组固定的训练样例(例如,随机缩放和剪裁)。序列构建和增强:由于图像的目标注释通常表征为一组边界框和类标签,该研究将它们转换为离散 token 的序列。架构:该研究使用编码器 - 解码器的模型架构,其中编码器感知像素输入,解码器生成目标序列(一次一个 token)。目标 / 损失函数:该模型经过训练以最大化 token 的对数似然。

基于目标描述的序列构建

在常见的目标检测数据集中,如Pascal VOC、COCO等。在图像中通常有许多目标。这些目标由一组边界框和类标签来表征,Pix2Seq将它们表示为离散令牌序列。

类自然地被表示为离散的记号,但是包围盒不是。边界框由其两个角(即左上角和右下角)或其中心加上高度和宽度来确定。在这项研究中,提出了用于指定角点的X和Y坐标的离散连续数字。具体地,目标被表征为五个离散令牌的序列,即[y_min,x_min,y_max,x_max,c],其中每个连续的角坐标作为整数均匀地分散在[1,n _ bins之间,c是类别索引。本研究对所有令牌使用共享词汇表,因此词汇表的大小等于库的数量+类的数量。帧的这种量化方案使得在仅使用少量词汇的情况下实现高精度成为可能。例如,一个600×600的图像只需要600个面元来实现零量化误差。这比词汇量为32K或更多的现代语言模型要小得多。不同量化级别对边界框的影响如下图3所示。

由于每个对象的描述都表示为一个短的离散序列,因此有必要对多个对象的描述进行序列化,以构建给定图像的单个序列。因为目标的顺序对检测任务本身并不重要,所以研究人员使用随机排序策略(每次显示图像时,目标的顺序都是随机的)。此外,他们还探索了其他确定性排序策略,但假设随机排序策略与任何确定性排序一样有效,给定一个可用的神经网络和自回归模型(这里,网络可以根据观察到的目标学习对剩余目标的分布进行建模)。

最后,因为不同的图像通常具有不同数量的目标,所以生成的序列将具有不同的长度。为了表明序列的结束,研究人员合并了一个EOS标记。

下图显示了使用不同排序策略的序列构建过程。

架构、目标和推理

这里,从目标描述构建的序列被视为“方言”,并转向在语言建模中有效的通用架构和目标函数。

这里使用的是编解码器架构。编码器可以是通用的感知像素图像编码器,并将它们编码成隐藏的表示形式,例如ConvNet (LeCun等人,1989;Krizhevsky等人,2012年;何等,2016),《变形金刚》(瓦斯瓦尼等,2017;Dosovitskiy等人,2020年),或它们的组合(Carion等人,2020年)。

在生成方面,研究人员使用了广泛使用的现代语言建模(拉德福德等人,2018;Raffel等人,2019)。它一次生成一个标记,具体取决于前一个标记和编码的图像表示。这消除了目标检测器的结构中的复杂性和定制,例如包围盒提议和包围盒回归,因为令牌是由带有softmax的单词列表生成的。

类似于语言建模,给定图像和先前的标记,Pix2Seq被训练来预测具有最大似然损失的标记,即

其中x是给定的图像,y和y ~分别是相关的输入序列和目标序列,l是目标序列的长度。在标准语言建模中,y和y ~是相同的。此外,wj是序列中第j个令牌的预分配权重。我们设置wj = 1,something j,但是我们可以根据令牌的类型(比如坐标vs令牌)或者对应目标的大小对令牌进行加权。

在推理过程中,研究者从模型似然中抽取表征,即

。也可以通过使用最大似然令牌(arg max sampling)或其他随机采样技术来实现。研究人员发现,核抽样(Holtzman et al .,2019)比arg max抽样更能提高召回率(附录B)。在生成EOS令牌时,序列结束。序列一旦生成,就直接提取目标描述并去量化(即获得预测的包围盒和类标签)。

序列增强

EOS token将允许模型决定何时终止,但在实践中发现,模型经常在没有预测所有目标的情况下终止。这可能是由于:

注释噪音(例如,注释者没有标识所有的目标) ;识别或本地化某些目标时的不确定性。因为召回率和准确率对于目标检测来说都很重要,一个模型如果没有很好的召回率就不可能获得很好的整体性能(例如,平均准确率)。

获得更高召回率的一种技术是通过人为降低EOS令牌的可能性来延迟EOS令牌的采样。然而,这经常导致噪音和重复预测。

序列增强引入的修改如下面的图5所示,细节如下:

首先,研究人员通过以下两种方式创建合成噪声目标,以增加输入序列:

向现有的地面真值目标添加噪声(例如,随机缩放或移动它们的包围盒) ;生成完全随机的边框(带有随机相关的类标签)。值得注意的是,其中一些噪声目标可能与一些 ground-truth 目标相同或重叠,模拟噪声和重复预测,如下图 6 所示。

改变推理。利用序列增强,研究人员可以大大延迟EOS token,提高召回率,并且不会增加噪音和重复预测的频率。因此,他们使模型预测到最大长度,并生成固定大小的目标列表。当从生成的序列中提取边界框和类别标签时,研究人员用所有真实类别标签中可能性最高的真实类别标签替换噪声类别标签。他们还使用所选类别标签的可能性作为目标的排名分数。

实验结果

研究人员主要对比了两种被广泛认可的基线方法,分别是2020年脸书AI提出的DETR和更早的更快的R-CNN。

如下表1所示,Pix2Seq实现了与两种基线方法相当的性能,其中在中小型目标上的性能与R-CNN相当,但在大型目标上更好。与DETR相比,Pix2Seq在中型和大型目标上的性能相当或略差,但在小型目标(4-5 AP)上的性能明显更好。

序列组成的烧蚀实验

下面的图7a探索了坐标量化对性能的影响。在这个消融实验中,研究人员考虑使用640像素的图像。该图显示量化到500个或更多的面元是足够的,并且500个面元(每个面元大约1.3个像素)将不会引入显著的近似误差。事实上,只要面元的数量与像素的数量一样大(沿着图像的最长边),就不会有由边界框坐标的量化引起的显著误差。

在训练期间,研究人员还考虑了序列组成中不同的目标排序策略。这些包括1) random,2) region(即目标大小递减),3)dist2ori(即从边界框的左上角到原点的距离),4) class(名称),5) class+region(即首先按类对目标进行排序,或者如果同一类中有多个目标,则按区域进行排序),6) class+dist2ori。

图7b显示了平均准确率(AP),图7c显示了top-100预测的平均召回率(AR)。在精度和召回率方面,随机排序达到了最佳性能。研究人员推测,模型可能很难通过使用确定性排序从之前丢失目标的错误中恢复,但可以通过使用随机排序在稍后进行检索。

增强消融实验

研究人员使用的主要图像增强方法是尺度抖动,因此比较不同尺度抖动强度(1:1表示无尺度抖动)。下面的图8a示出了在没有适当的标度抖动的情况下,模型将过拟合(即,验证AP低,但是训练AP高)。研究人员预计,强大的图像增强将在这项研究中非常有用,因为Pix2Seq框架对任务做了最少的假设。

研究人员还探讨了有无序列强化训练的模型的性能变化。对于没有使用序列增强训练的模型,他们在推理过程中调整EOS令牌似然的偏移量来运行模型进行更多的预测,从而产生一系列的召回率。如下图8b所示,在没有序列增强的情况下,当AR增加时,模型将显示显著的AP减少。当使用序列增强时,该模型可以避免噪声和重复预测,达到较高的召回率和准确率。

解码器交叉注意图的可视化

当生成新的标记时,基于Transformer的解码器使用对先前标记的自我注意和对编码的视觉特征图的交叉注意。研究人员希望当模型预测新令牌时,将交叉注意力(层和头的平均值)可视化。

下图显示了最初几个令牌生成时的交叉注意力图。可以看出,在预测第一个坐标令牌(即y_min)时,注意力表现出非常强的多样性,但随后又迅速集中并固定在目标上。

研究人员进一步探索了模型“通过坐标聚焦指定区域”的能力。他们将图像均匀地分成N×N个矩形区域网格,每个区域由包围盒的序列坐标定义。然后,在读取每个区域的坐标序列后,他们将解码者的注意力可视化在视觉特征图上。最后,他们对图像的像素进行了加扰,以消除对现有目标的干扰,并为清晰起见消除了2%的顶部注意力。

有趣的是,如下图10所示,该模型似乎能够在不同的尺度上关注配方区域。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/news/1669133.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号