[论文笔记]CSNet

Abstract

Introduction

认知心理学研究表明，人类视觉系统(HVS)在对场景语义进行识别之前，需要先验注意的、自下而上的注意力机制
ImageNet的预训练不可避免地将类别语义引入SOD模型，这与传统的显著区域是类别独立的假设产生了潜在的冲突
设计SOD的两个原则：
- SOD模型应该可以在不依赖ImageNet预训练的情况下进行训练
- SOD任务要求模型具有较高的特征分辨率和较强的多尺度特征提取能力
CSNet将OctConv扩展成gOctConv，并设计了一种动态权值衰减方案，实现了gOctConv中特征通道数的自适应学习，不仅有助于分析SOD模型中的语义信息，而且可以在性能下降极少的情况下减少80%的参数

Related work

Salient Object Detection

Label decoupling framework for salient object detection将原始的显著性图分解为细节图和主体图，细节图用于更好地学习边缘特征，主体图用于避免边缘附近像素的干扰
Suppress and balance: A simple gated network for salient object detection使用了多级门单元来平衡每个encoder block的贡献，并抑制来自非显著区域的特征的激活

Light-weight Models

一般轻量级模型最初都是设计用于分类，分类是预测图像的高级语义标签，更多的是需要全局信息而不是细节信息，因此，用于分类的轻量级模型在早期阶段使用激进下采样策略，以节省乘法累加操作，这导致这些模型对于SOD的特征提取作用不大，因为SOD需要粗，细两种层次的多尺度信息
为了在有限的计算预算下提高显著预测的性能，计算资源(即分辨率、通道)的分配应该重新考虑

Network Pruning

GOCT CONV& LEARNABLE CHANNELS

Generalized OctConv

gOctConv
- 具有较强的灵活性，可以使用多个实例来构建SOD模型的不同部分
- 具有较强的多尺度表示能力
- 具有自适应能力，有助于SOD模型的分析
OctConv
- 可以在一个层中进行两个尺度的卷积操作
- 但是一个阶段中只有两个尺度不足以挖掘SOD任务所需的多尺度信息
gOctConv
- gOctConv在以下几个方面超越了OctConv
  - gOctConv是一个允许在不同的SOD设计要求下有许多实例的类，而不是一个有固定结构的模块
  - gOctConv支持每个尺度的自适应学习通道，这个特性允许分析SOD模型的一些特性，如模型复杂性和多尺度特征需求

Learnable Channels

Introducing Sparsity with Dynamic Weight Decay

常用的正则化技巧-权值衰减使cnn具有更好的泛化性能
权值衰减引入了稀疏性，帮助减少网络中不重要的权重
采用大衰减项提高了稀疏性，同时不可避免地增大了通道权值的多样性，而权值的多样性会引起输出的不稳定分布，这导致输出信息很可能带有噪声，使后续卷积核的表示有偏差
CSNet认为，不同的输出主要是由衰减项对权值的任意抑制引起的，提出根据特定通道的特定特征来调整权值衰减
动态权值衰减在反向传播时表示为
- λd表示动态权值衰减的权重
- xi表示由权值wi计算出来的特征图
- M(xi)表示特征度量，CSNet的目标是根据特征稳定通道间的权值分布，使用GAP计算特征度量

Self-adaptive Learnable channels

HOLISTIC LIGHT-WEIGHT MODEL FOR STUDYING THE SEMANTICS OF SOD MODEL

Overview

SOD网络通常以ImageNet的预训练分类模型作为backbone，不仅限制了模型的设计空间，而且继承了很多面向类别表示的参数
整体结构
- Sim. 和 CC. gOctConv分别表示gOctConv的简化实例和跨阶段实例
- ILBlock和跨阶段融合部分均由gOctConv实例组成，增强了SOD任务所需的阶段内和跨阶段多尺度表达能力

In-layer Multi-scale Block

ILBlock增强了一个阶段内特征的多尺度表示
ILBlock由一个普通的OctConv和两个3×3简化的gOctConvs组成，普通的OctConv集成了两个尺度的特征，而简化的gOctConvs则在每个尺度内提取特征
模块内的多尺度特征分别处理，交替交互

Cross-stage Fusion

Implementation details of CSNet