深度神经网络非常容易受到对抗样本的攻击，对抗训练常常被作为一种防御对抗攻击的策略，其旨在求解
min
-
max
mintext{-}max
min-max优化博弈问题。在该论文中，作者发现与自然训练相比，对抗训练无法为干净样本或对抗样本学习更好的特征表示，这可能是对抗训练往往存在严重的过拟合问题和泛化性能不足的原因之一。作者观察到现有对抗训练方法所学习的特征的缺点为类内特征相似度低，需要保持类间样本的特征方差。为了克服这些缺点，作者引入了对抗训练图（ATG）的新概念，利用ATG提出的具有特征可分性的对抗训练（ATFS）能够连贯地提高类内特征相似度和增加类间特征方差。实验结果表明论文所提出的ATFS框架显著提高了模型干净和鲁棒的性能。
论文链接： https://arxiv.org/abs/2205.00637
代码链接： https://github.com/no-name-submission/ATFS
作者通过检测模型特征学习的质量从而探究模型对抗训练中出现过拟合问题的潜在原因。下图显示了从ResNet18模型的最后二层提取的学习特征，这些特征在CIFAR10数据集上通过不同的算法进行训练，包括自然训练、PGD对抗训练、TRADES和AWP方法，并且将提取出的特征通过t-SNE在二维空间中进行可视化展示，由下图可以得到如下发现：
- 自然训练的模型可以学习干净样本的鉴别特征。来自不同类别的样本得到了很好的分离，来自同一类别的样本的特征得到了很好的聚类。然而，自然训练的模型无法学习对抗样本的良好特征，对抗样本和干净样本的特征相去甚远。这可以反映为什么自然训练的模型可以实现高度干净的泛化，但鲁棒性能较低。
- 对于所有经过对抗训练的模型，包括PGD训练、TRADES和MART，样本的特征比自然训练的质量差得多，比如来自同一类的样本在特征空间中不会聚集在一起；不同类别的样本没有很好的分离。因此，训练后的模型通过学习的特征来区分不同类别的样本的能力较差。因此，这可能是对抗训练模型同时存在不令人满意的干净精度和对抗鲁棒性的关键原因之一。
这些观察结果揭示了现有对抗训练方法的两个缺点。类间特征方差是保守的，换句话说，该模型倾向于嵌入来自具有相似特征的不同类的样本。这使得来自不同类别的样本彼此无法区分，因此降低了干净分类的性能，也导致了模型鲁棒性不足。其次，类内特征相似度低导致特征空间中缺乏清晰的聚类。因此，该模型不能很容易地提取特定类的模式，这会降低干净分类的性能。这些缺点可能解释了对抗训练往往具有较大的自然和鲁棒泛化差距，并且无法实现模型的高干净分类准确率和高对抗鲁棒性能的。
令 D = { ( x i , y i ) } i = 1 n mathcal{D}={({bf{x}}_i,y_i)}^n_{i=1} D={(xi,yi)}i=1n是一个训练数据集，其中 x i {bf{x}}_i xi是一个干净训练样本， y i = { 1 , ⋯ , C } y_i={1,cdots,C} yi={1,⋯,C}是训练数据的对应标签。相应地， { x i ′ } i = 1 n {{bf{x}}^{prime}_i}_{i=1}^n {xi′}i=1n表示的是在当前模型 f θ f_theta fθ中干净样本集 { x i } i = 1 n {{bf{x}}_i}_{i=1}^n {xi}i=1n的对抗样本集。对抗样本 x i ′ {bf{x}}^{prime}_i xi′和干净样本 x i {bf{x}}_i xi有相同的标签 y i y_i yi。对抗训练的方法和其变体主要优化的是一个 min - max mintext{-}max min-max的一个损失函数，内部最大化主要目的是生成对抗样本，外部最小化主要目的是训练模型参数 θ theta θ，目标函数如下所示： min f θ max ∥ x ′ − x ∥ p ≤ ϵ L ( f θ ( x ′ ) , y ) minlimits_{f_theta}maxlimits_{|bf{x}^{prime}-bf{x}|_ple epsilon}mathcal{L}(f_theta({bf{x}}^{prime}),y) fθmin∥x′−x∥p≤ϵmaxL(fθ(x′),y)由上目标函数可知，对抗训练算法总要去学习混合特征，基于此发现，作者提出了特征分离对抗训练框架去学习数据样本以此达到如下三个目的：
- 增加干净样本和对抗样本的类内特征相似性；
- 增加干净样本和对抗样本的类内特征不相似性；
- 增加每个干净样本和对应对抗样本的特征相似性；
为了实现这些目标，作者首先引入对抗训练图（ATG）来编码训练样本之间所需的关系。具体过程为，作者首先会为对抗训练构建对抗训练图（ATG）。然后，作者详细描述了模型组件，以捕获ATG中不同类型的关系，从而实现上述目标。最后，作者给出了最终的优化目标和所提出的ATFS框架。
3.2 对抗训练图作者具体对抗训练图的定义如下所示：
定义（对抗训练图）： 一个对抗训练图 G = { V , E + , E − } mathcal{G}={mathcal{V},mathcal{E}^{+},mathcal{E}^{-}} G={V,E+,E−}是一个具有节点集 V = { x i } i = 1 n ∪ { x i ′ } i = 1 n mathcal{V}={{bf{x}}_i}_{i=1}^n cup {{bf{x}}_i^{prime}}_{i=1}^n V={xi}i=1n∪{xi′}i=1n的无向、加权和符号图。对抗训练图包含了一个正向链接 E + mathcal{E}^{+} E+集和一个负向链接 E − mathcal{E}^{-} E−集，其中 E + mathcal{E}^{+} E+是连接相同类内的两个点， E − mathcal{E}^{-} E−是连接不同类内的两个点。
在ATG中，正链接表示希望其两个节点相似；而负链接会鼓励两个节点之间的差异。特别是，为了实现上述三个目标，作者在ATG中引入了三种类型的链接，如下所示：
- 正链接
E
+
mathcal{E}^{+}
E+： 与样本
x
i
{bf{x}}_i
xi来自同一类的所有样本都通过正链接与
x
i
{bf{x}}_i
xi相连。作者构建了如下两种类型的正链接：
1） E c a + mathcal{E}_{mathrm{ca}}^{+} Eca+： 为了增强模型对对抗样本的鲁棒性，一种策略是在特征空间中将干净样本推到其对应的对抗样本附近，这样干净样本和对抗性样本的预测是一致的，因此模型不易受到对抗攻击。作者通过在ATG中为每个 x i {bf{x}}_i xi添加一个正链接到其相应的对抗性样本 x i ′ {bf{x}}_i^{prime} xi′来实现这一点。每一条边连接着干净样本 x i {bf{x}}_i xi和相应的对抗样本 x i ′ {bf{x}}^{prime}_i xi′，其中边的权重值为 η 1 eta_1 η1。
2） E i n t r a + mathcal{E}_{mathrm{intra}}^{+} Eintra+： 为了提高类内特征的相似性，一种直观的方法是强制来自同一类的样本在特征空间中接近。因此，对于标签为 y i y_i yi的节点 x i {bf{x}}_i xi，作者将来自同一类 y i y_i yi的所有样本（包括干净样本和对抗样本）相连接。作者将类内正链接记作为 E + E c a + mathcal{E}^{+}backslashmathcal{E}^{+}_{mathrm{ca}} E+Eca+，其中边的权重值为 η 2 eta_2 η2。 - 负链接 E − mathcal{E}^{-} E−： 为了增加类间特征方差，作者在ATG中不同类的两个节点之间构建负链接。每个负链接的权重为 η 3 eta_3 η3。
在对抗训练图中，作者提出了两种类型的正链接，通过控制它们的链接权重
η
1
eta_1
η1和
η
2
eta_2
η2，作者可以强制执行不同级别的相似性。与此同时，对抗训练图是一个完整的图，这表示对抗训练图中的任何一对节点通过正链接或负链接进行连接。作者使用
E
c
a
+
(
i
)
mathcal{E}_{mathrm{ca}}^{+}(i)
Eca+(i)，
E
i
n
t
r
a
+
mathcal{E}_{mathrm{intra}}^{+}
Eintra+和
E
−
(
i
)
mathcal{E}^{-}(i)
E−(i)为节点
x
i
{bf{x}}_i
xi表示三种不同的类型的链接，并定义
E
(
i
)
=
E
c
a
+
(
i
)
∪
E
i
n
t
r
a
+
(
i
)
∪
E
−
(
i
)
mathcal{E}(i)=mathcal{E}^{+}_{mathrm{ca}}(i)cup mathcal{E}_{mathrm{intra}}^{+}(i)cup mathcal{E}^{-}(i)
E(i)=Eca+(i)∪Eintra+(i)∪E−(i)表示跟
x
i
{bf{x}}_i
xi所有的链接。假定有一个来自
2
2
2个类别
{
a
,
b
}
{a,b}
{a,b}的
5
5
5个样本
{
1
,
2
,
3
,
4
,
5
}
{1,2,3,4,5}
{1,2,3,4,5}的数据集，其中
{
1
,
2
,
3
}
∈
a
{1,2,3}in a
{1,2,3}∈a和
{
4
,
5
}
∈
b
{4,5}in b
{4,5}∈b，作者使用
{
1
′
,
2
′
,
3
′
,
4
′
,
5
′
}
{1^{prime},2^{prime},3^{prime},4^{prime},5^{prime}}
{1′,2′,3′,4′,5′}表示的是相应的对抗样本。该数据集的对抗训练图的图解如下所示，图（a）表示干净样本与其对应的对抗样本之间的正联系，图（b）表示除
E
c
a
+
mathcal{E}_{mathrm{ca}^{+}}
Eca+外的同一类别的正链接，图（c）仅显示了
a
a
a类样本“1”与
b
b
b类样本之间的负链接。
作者通过在对抗训练图中捕获链接信息，可以统一并同时实现上述三个目标。通常，对抗训练图为中心节点
x
i
{bf{x}}_i
xi周围不同样本的期望相似性提供指导。论文的目标是最大化正链接连接样本的表示相似度，最小化负链接连接样本的相似度，作者希望学习一个具有表示函数
h
(
⋅
)
h(cdot)
h(⋅)的模型，该函数具有较大的
L
F
S
(
h
,
A
T
G
,
x
i
)
mathcal{L}_{mathrm{FS}}(h,ATG,{bf{x}}_i)
LFS(h,ATG,xi)，其定义如下：
L
F
S
(
h
,
A
T
G
,
x
i
)
=
∑
(
x
,
x
i
′
)
∈
E
c
a
+
(
i
)
s
(
h
(
x
i
)
,
h
(
x
i
′
)
)
+
∑
(
x
,
x
j
)
∈
E
i
n
t
r
a
+
(
i
)
s
(
h
(
x
i
)
,
h
(
x
j
)
)
−
∑
(
x
i
,
x
j
)
∈
E
−
(
i
)
s
(
h
(
x
i
)
,
h
(
x
j
)
)
mathcal{L}_{mathrm{FS}}(h,ATG,{bf{x}}_i)=sumlimits_{({bf{x}},{bf{x}}_i^{prime})inmathcal{E}_{mathrm{ca}}^{+}(i)}s(h({bf{x}}_i),h({bf{x}}_i^{prime}))+sumlimits_{({bf{x}},{bf{x}}_j)inmathcal{E}_{mathrm{intra}}^{+}(i)}s(h({bf{x}}_i),h({bf{x}}_j))-sumlimits_{({bf{x}}_i,{bf{x}}_j)in mathcal{E}^{-}(i)}s(h({bf{x}}_i),h({bf{x}}_j))
LFS(h,ATG,xi)=(x,xi′)∈Eca+(i)∑s(h(xi),h(xi′))+(x,xj)∈Eintra+(i)∑s(h(xi),h(xj))−(xi,xj)∈E−(i)∑s(h(xi),h(xj))其中
s
(
⋅
,
⋅
,
⋅
)
s(cdot,cdot,cdot)
s(⋅,⋅,⋅)是一个相似性函数。通过最大化在整个点集
V
mathcal{V}
V中损失函数
L
F
S
(
h
,
A
T
G
,
x
i
)
mathcal{L}_{mathrm{FS}}(h,ATG,{bf{x}}_i)
LFS(h,ATG,xi)，因此可以在整个样本中达到这些目标。作者在损失函数
L
F
S
mathcal{L}_{mathrm{FS}}
LFS中定义函数
s
(
⋅
,
⋅
,
⋅
)
s(cdot,cdot,cdot)
s(⋅,⋅,⋅)去测量对抗训练图中正链接的一阶接近度。它在数学上表示为与节点
x
i
{bf{x}}_i
xi连接的所有链接之间存在正链接的概率，并用softmax函数建模。作者使用一个正链接
(
x
i
,
x
i
′
)
∈
E
c
a
+
(
i
)
({bf{x}}_i,{bf{x}}_i^{prime})in mathcal{E}_{mathrm{ca}}^{+}(i)
(xi,xi′)∈Eca+(i)作为一个图示样本，
s
(
h
(
x
i
)
,
h
(
x
i
′
)
)
s(h({bf{x}}_i),h({bf{x}}^{prime}_i))
s(h(xi),h(xi′))的定义如下所示
s
(
h
(
x
i
,
h
(
x
i
′
)
)
)
=
e
x
p
(
h
(
x
i
)
⊤
h
(
x
i
′
)
)
S
s(h({bf{x}}_i,h({bf{x}}_i^{prime})))=frac{mathrm{exp}(h({bf{x}}_i)^{top}h({bf{x}}_i^{prime}))}{S}
s(h(xi,h(xi′)))=Sexp(h(xi)⊤h(xi′))其中
S
=
∑
(
x
i
,
x
i
′
)
∈
E
c
a
+
(
i
)
e
x
p
(
h
(
x
i
)
⊤
h
(
x
i
′
)
)
+
∑
(
x
i
,
x
j
)
∈
E
i
n
t
r
a
+
(
i
)
e
x
p
(
h
(
x
i
)
⊤
h
(
x
j
)
)
+
∑
(
x
i
,
x
j
)
∈
E
−
(
i
)
e
x
p
(
h
(
x
i
)
⊤
h
(
x
j
)
)
S=sumlimits_{({bf{x}}_i,{bf{x}}_i^{prime})inmathcal{E}^{+}_{mathrm{ca}}(i)}mathrm{exp}(h({bf{x}}_i)^{top}h({bf{x}}_i^{prime}))+sumlimits_{({bf{x}}_i,{bf{x}}_j)inmathcal{E}^{+}_{mathrm{intra}}(i)}mathrm{exp}(h({bf{x}}_i)^{top}h({bf{x}}_j))+sumlimits_{({bf{x}}_i,{bf{x}}_j)inmathcal{E}^{-}(i)}mathrm{exp}(h({bf{x}}_i)^{top}h({bf{x}}_j))
S=(xi,xi′)∈Eca+(i)∑exp(h(xi)⊤h(xi′))+(xi,xj)∈Eintra+(i)∑exp(h(xi)⊤h(xj))+(xi,xj)∈E−(i)∑exp(h(xi)⊤h(xj))
假设表征函数
h
(
x
i
)
h({bf{x}}_i)
h(xi)是被归一化的，
h
(
x
i
)
⊤
h
(
x
i
′
)
h({bf{x}}_i)^{top}h({bf{x}}_i^{prime})
h(xi)⊤h(xi′)本质上表示
h
(
x
i
)
h({bf{x}}_i)
h(xi)和
h
(
x
i
′
)
h({bf{x}}_i^{prime})
h(xi′)的余弦相似性。因此，最大化
s
(
h
(
x
i
)
,
h
(
x
i
′
)
)
s(h({bf{x}}_i),h({bf{x}}_i^{prime}))
s(h(xi),h(xi′))可以自然地迫使将
h
(
x
i
)
h({bf{x}}_i)
h(xi)和
h
(
x
i
′
)
h({bf{x}}_i^{prime})
h(xi′)之间的相似性增大。根据
s
(
⋅
,
⋅
)
s(cdot,cdot)
s(⋅,⋅)的定义，
L
F
S
(
h
,
A
T
G
,
x
i
)
mathcal{L}_{mathrm{FS}}(h,ATG,{bf{x}}_i)
LFS(h,ATG,xi)可以重写为如下公式
L
F
S
(
h
,
A
T
G
,
x
i
)
=
1
S
(
∑
(
x
i
,
x
i
′
)
∈
E
c
a
+
(
i
)
e
x
p
(
h
(
x
i
)
⊤
h
(
x
i
′
)
)
+
∑
(
x
i
,
x
j
)
∈
E
i
n
t
r
a
+
(
i
)
e
x
p
(
h
(
x
i
)
⊤
h
(
x
j
)
)
−
∑
(
x
i
,
x
j
)
∈
E
−
(
i
)
e
x
p
(
h
(
x
i
)
⊤
h
(
x
i
′
)
)
)
mathcal{L}_{mathrm{FS}}(h,ATG,{bf{x}}_i)=frac{1}{S}left(sumlimits_{({bf{x}}_i,{bf{x}}_i^{prime})inmathcal{E}_{mathrm{ca}}^+(i)}mathrm{exp}(h({bf{x}}_i)^{top}h({bf{x}}_i^{prime}))+sumlimits_{({bf{x}}_i,{bf{x}}_j)inmathcal{E}^{+}_{mathrm{intra}}(i)}mathrm{exp}(h({bf{x}}_i)^{top}h({bf{x}}_j))-sumlimits_{({bf{x}}_i,{bf{x}}_j)inmathcal{E}^-(i)}mathrm{exp}(h({bf{x}}_i)^{top}h({bf{x}}_i^{prime}))right)
LFS(h,ATG,xi)=S1⎝⎛(xi,xi′)∈Eca+(i)∑exp(h(xi)⊤h(xi′))+(xi,xj)∈Eintra+(i)∑exp(h(xi)⊤h(xj))−(xi,xj)∈E−(i)∑exp(h(xi)⊤h(xi′))⎠⎞作者可以进一步简化以上公式中的
L
F
S
(
h
,
A
T
G
,
x
i
)
mathcal{L}_{mathrm{FS}}(h,ATG,{bf{x}}_i)
LFS(h,ATG,xi)作为
x
i
{bf{x}}_i
xi连接的所有正链接的对数似然平均值,并为不同类型的链接添加不同的权重。由于对抗训练图中不同节点可以有不同数量的正链接，作者还在损失函数
L
F
S
(
h
,
A
T
G
,
x
i
)
mathcal{L}_{mathrm{FS}}(h,ATG,{bf{x}}_i)
LFS(h,ATG,xi)中增加正则化项
1
∣
E
+
(
i
)
∣
frac{1}{|mathcal{E}^{+}(i)|}
∣E+(i)∣1，此时则有特征分离损失定义如下所示
L
F
S
(
h
,
A
T
G
,
x
i
)
=
1
∣
E
+
(
i
)
∣
(
η
1
⋅
∑
(
x
i
,
x
i
′
)
∈
E
c
a
+
(
i
)
log
exp
(
h
(
x
i
)
⊤
h
(
x
i
′
)
)
S
+
η
2
⋅
∑
(
x
i
,
x
j
)
∈
E
i
n
t
r
a
+
(
i
)
log
e
x
p
(
h
(
x
i
)
⊤
h
(
x
j
)
)
S
)
mathcal{L}_{mathrm{FS}}(h,ATG,{bf{x}}_i)=frac{1}{|mathcal{E}^{+}(i)|}left(eta_1 cdot sumlimits_{({bf{x}}_i,{bf{x}}_i^{prime})in mathcal{E}^{+}_{mathrm{ca}}(i)}log frac{exp(h({bf{x}}_i)^{top}h({bf{x}}_i^{prime}))}{S}+eta_2 cdot sumlimits_{({bf{x}}_i,{bf{x}}_j)in mathcal{E}^{+}_{mathrm{intra}}(i)}log frac{mathrm{exp}(h({bf{x}}_i)^{top}h({bf{x}}_j))}{S}right)
LFS(h,ATG,xi)=∣E+(i)∣1⎝⎛η1⋅(xi,xi′)∈Eca+(i)∑logSexp(h(xi)⊤h(xi′))+η2⋅(xi,xj)∈Eintra+(i)∑logSexp(h(xi)⊤h(xj))⎠⎞
特征分离的对抗训练（ATFS）的最终目标函数是交叉熵损失和对抗训练图损失函数的组合如下所示：
min
f
θ
∑
x
i
∈
D
α
⋅
L
a
d
v
(
f
(
x
i
′
)
,
y
i
)
−
∑
x
i
∈
V
β
⋅
L
F
S
(
F
(
⋅
)
,
A
T
G
,
x
i
)
minlimits_{f_theta}sumlimits_{x_iin mathcal{D}}alphacdot mathcal{L}_{mathrm{adv}}(f({bf{x}}_i^{prime}),y_i)-sumlimits_{x_iin mathcal{V}}beta cdot mathcal{L}_{mathrm{FS}}(F(cdot),ATG,{bf{x}}_i)
fθminxi∈D∑α⋅Ladv(f(xi′),yi)−xi∈V∑β⋅LFS(F(⋅),ATG,xi)其中
F
(
⋅
)
F(cdot)
F(⋅)表示的是模型提取的特征，它是模型倒数第二层的输出。以上公式的第一项是交叉熵损失函数，其目的是最小化对抗样本和正确标签的损失。作者可以根据不同的对抗训练算法灵活地计算损失函数
L
a
d
v
mathcal{L}_{mathrm{adv}}
Ladv。第二项是特征分离损失函数，这有助于模型学习可分离的特征表示。预定义了两个参数
α
alpha
α和
β
beta
β，以平衡这两项损失函数的贡献。在这项工作中，作者采用SGD来优化所提出的目标函数。对抗训练特征分离（ATFS）算法如下图所示：
下面两个表格显示了不同对抗训练方法在模型ResNet18上分别在CIFAR10和SVHN数据集上的性能比较，可以发现论文中提出的方法ATFS要优于两种经典的对抗训练方法。ATFS训练得到的模型鲁棒精度比AT和TRADES都取得了一定的提高，同时保持类似或更好的干净分类精度。另外，ATFS与其它对抗训练方法相结合也取得了很好的分类性能。
如下图所示，红线表示干净分类性能，蓝线表示对抗鲁棒性能。可以观察到，与CIFAR10数据集上的标准对抗训练（
β
=
0
beta=0
β=0）相比，随着
L
F
S
mathcal{L}_{mathrm{FS}}
LFS权重的增加，鲁棒性性能也随之提高了4.2%，而且并没有观察到干净分类精度的明显下降，这与SVHN数据集中的结果一致。
下面两张图分别显示了
β
=
0.01
beta=0.01
β=0.01和
β
=
0.1
beta=0.1
β=0.1时，标准对抗训练模型和ATFS框架训练模型的t-SNE特征可视化。对于ATFS来说，来自不同类的样本表示可以很好地进行分离。尤其是，ATFS中的干净样本与其对应的对抗样本之间的距离比标准对抗样本更近。这就表明了论文中提出的目标可以更好地学习了特征，从而这也解释了为什么ATFS在干净样本和对抗样本上都能获得良好的分类性能。
如图下图所示，第
i
i
i行和第
j
j
j列中的值表示
i
i
i类和
j
j
j类样本的平均特征相似度，颜色越深表示相似度越高。与图（a）标准对抗性训练相比，图（b）ATFS的对角线上的值更大，这表明ATFS框架训练的模型具有更大的类内特征相似性。另一方面，图（b）ATFS其余部分比图（a）标准对抗训练要轻，这表明类间特征差异较大。总之，特征可视化和特征相似性都验证了ATFS已经实现了上述三个目标，并说明了为什么ATFS可以实现更好的性能。
| 论文中出现的生词 | |
| preliminary: 预备性的 | unsatisfactory: 不能令人满意的 |
| illustration: 插图 | discriminative: 有判别力的 |
| conservative: 保守的 | indistinguishable: 无法区分的 |
| degrade: 降低 | phenomenon: 现象 |
| mitigating: 缓解 | aforementioned: 上述的 |
| dissimilarity: 相异性 | counterpart: 对应方 |
| benchmark: 基准 | calibrate: 校准 |
| remaining: 剩下的 | unified: 统一的 |
| simultaneously: 同时 | proximity: 接近 |
| denominator: 分母 | flexibility: 灵活性 |
| essentially: 本质上 | |
