- 引言
- 创新性
- 本篇论文的贡献(目的)
- 标签污染攻击算法步骤
- 实验
- 目标模型:
- 数据集:
- 实验结果
本文中关于投毒攻击的定义(文中有一些举例很帮助理解):
本文重点关注二元分类模型的标签污染攻击,这是一种通常在从外部来源收集训练数据标签时发生的因果攻击。例如,可以使用众包平台(例如 Amazon Mechanical Turk)从人人那里收集标签; Netflix 依靠用户的评分来改进他们的推荐系统;协作式垃圾邮件过滤会根据最终用户的反馈定期更新电子邮件分类器,恶意用户可以在收件箱中错误地标记电子邮件,从而将虚假数据提供给更新过程。
以往中毒攻击工作的缺点:①限制了攻击者的目标以降低受害者学习模型的准确性,而实际上攻击者可能有任意目标。②专注于计算针对支持向量机 (SVM) 的攻击,攻击算法无法推广到其他受害者学习模型。③假设攻击者对受害者学习模型有充分的了解,这在现实中可能是不现实的(通常为黑盒)。
以往中毒攻击的防御一般有两条研究方向:①鲁棒学习侧重于提高学习算法在受污染数据下的鲁棒性②数据净化侧重于从训练集中去除可疑数据。大多数鲁棒学习和数据清理技术需要一组干净的数据,用于开发用于识别未来受污染数据的指标。然而,当干净的数据集难以获得或被攻击者污染时,这些技术就变得无用了。
①将标签污染攻击,最优攻击问题表示为一个双层优化问题,允许广泛的受害者模型和任意攻击者目标。
②利用Representer Theorem,并提出投影梯度上升 (PGA) 算法来近似求解优化问题,使目标模型对某一类样本预测错误。
③研究中毒攻击的可转移性,并利用其提出了一种基于替代模型的攻击方法来攻击黑盒学习模型。
1.攻击者的目标:最大化 w 和 w∗ (可以理解为投毒前后目标模型的决策边界)之间夹角的余弦值
• 完整性攻击。攻击者希望控制目标模型预测的标签。例如,垃圾邮件发送者可能只想将某些垃圾邮件归类为普通邮件。
• 可用性攻击。攻击者想要降低受害者模型的准确性。例如,攻击者可能想通过降低其内置分类模型的准确性来干扰推荐系统。
2.攻击者的能力:假设攻击者最多可以翻转训练集 D 的 B 个标签。用 D ′ D^{'} D′ = ( x i , y i ′ ) i n = 1 {(x_{i}, y^{'}_{i})}^n_i=1 (xi,yi′)in=1 表示受污染的训练集。我们引入一个二元向量 z 并表示 y i ′ = y i ( 1 − 2 z i ) y^{'}_{i} = y_{i}(1 − 2z_{i}) yi′=yi(1−2zi) ,因此 z i z_{i} zi= 1 意味着样本 i 的标签被翻转,否则 z i z_{i} zi = 0。
3.最优攻击的优化问题:
4.PGA算法解决上述优化问题
算法1:PGA 的工作原理是沿其近似梯度逐渐更新 zt,直到收敛或达到迭代限制。文中针对不同的目标模型给出了不同的优化函数表达式用来代替上述优化问题中的公式(3),从而扩充了攻击者的目标模型范围。
算法2:用于构建
z
i
z_{i}
zi与
y
i
′
y^{'}_{i}
yi′之间的映射关系,根据
z
i
z_{i}
zi的参数更新翻转相应的标签。
SVM、逻辑回归 (LR)、最小二乘 SVM (LS-SVM) 和两个非线性模型:具有多项式内核 (POLY) 和径向基函数内核 (RBF) 的 SVM
数据集:Australian(690 个点,14 个特征)、W8a(10000 个点,300 个特征)、Spambase(4601 个点,57 个特征)、Wine(130 个点,14 个特征)和 Skin (5000 分,3 个特征)
实验结果1.攻击对模型决策边界的影响:
仅 20 次翻转就非常接近攻击者的目标模型。此外,不同受害者模型的攻击点高度相似,这表明攻击具有可转移性。
2.使用PGA进行可用性攻击:
①基线方法:第一个基线,随机翻转策略,攻击者在其预算范围内随机翻转训练数据的标签;第二个基线,对 SVM 的对抗性标签翻转攻击 (ALFA),可以计算降低 SVM 准确性的攻击。
在 W8a 数据集上,PGA 计算的攻击将受害者模型的准确率从 90% 降低到 30%,只有 30% 的翻转。
3.PGA攻击方法的可转移性:
对角线值看出,如果替代模型和受害模型属于同一类型,则攻击会显着降低受害模型的准确性。其次,为线性模型设计的攻击在另一个线性受害者模型上的性能与为受害者模型设计的攻击相当,这意味着当受害者模型也是线性时,为线性模型设计的攻击具有良好的可迁移性。第三,当受害者模型是非线性时,为线性模型设计的攻击具有良好的可迁移性。然而,当受害者模型是线性时,为非线性模型设计的攻击具有较差的可迁移性。



