论文
Abstract提出基于 距离的离群值抑制(DOS)，它对拜占庭式故障具有弹性。
计算不同客户端局部参数更新之间的距离，并利用 基于copula的异常值检测(COPOD) 对每个客户端进行异常值评分。通过softmax函数将得到的 异常值分数 转换为归一化的 权重 ，并使用局部参数的 加权平均 来更新全局模型。
DOS聚合可以有效地抑制来自恶意客户端的参数更新，而不需要任何超参数选择，即使数据分布是异构的。
两个医学成像数据集(CheXpert和HAM10000)
一、Introduction已有聚合规则都需要慎重选择超参数。
DOS框架是通过计算不同客户端本地参数更新之间的 距离(欧几里得和余弦) ，并在这个距离空间中 检测异常值 来启用的。应用一种称为 COPOD[20] 的最先进的 无参数离群值检测算法 ，基于上述距离计算每个客户端的离群值得分。
- Li, Z., Zhao, Y., Botta, N., Ionescu, C., Hu, X.: Copod: copula-based outlier detection. In: 2020 IEEE International Conference on Data Mining (ICDM). pp.1118–1123. IEEE (2020)
COPOD作者知乎文章
COPOD基于copula提出，copula是一种统计概率函数，对多个随机变量间的依赖关系进行建模。
COPOD使用非参方法，通过经验累积分布（Empirical CDF）来得到empirical copula，通过empirical copula来估算所有维度上的联合分布的尾端概率。计算偏度 skewness 比如，分布偏左，就更在意右边的尾端。
二、Related WorkKrum： 单个客户端参数更新与所有客户端的平均参数更新之间的距离为每个客户端计算一个分数，选择分数最低的。
Coordinate-Wise-Median： 对比均值，对异常值不敏感。
Trimmed Mean： 排序，抛弃最大、最小部分。
Bulyan： 加强上述方法。
这些都需要选择超参数，如 抛弃异常值的比例。
三、Proposed Method联邦算法目标：最小化损失函数：
m
i
n
θ
∈
R
d
{
F
(
θ
)
:
=
∑
i
=
1
n
α
i
F
i
(
θ
)
}
min_{theta in mathcal R^d} lbrace F( theta):= sum_{i=1}^{n} alpha_i F_i(theta) rbrace
minθ∈Rd{F(θ):=i=1∑nαiFi(θ)}
全局模型初始化参数 θ t theta^t θt ，广播给客户端，客户端训练更新为 θ i t + 1 theta_i^{t+1} θit+1 ，返回客户端 θ ^ i t + 1 hat{ theta}_i^{t+1} θ^it+1 。
DOS步骤：-
计算距离：
计算客户端发送的本地参数之间的 欧氏距离和余弦距离 ，生成距离矩阵用于离群点检测。
-
离群值分数计算：
Copula Based Outlier detection (COPOD)方法[20]。
输入 ( n × x ) (n times x) (n×x) 矩阵，每行代表一个样本，每列代表一个属性，输出 n n n 离群向量 r = [ r 1 , r 2 , . . . , r n ] r=[r_1,r_2,...,r_n] r=[r1,r2,...,rn] , r i r_i ri 为样本 i i i 是异常值的相对可能性。
计算 r E = C O P O D ( M E ) r_E=COPOD(M_E) rE=COPOD(ME) 和 r C = C O P O D ( M C ) r_C=COPOD(M_C) rC=COPOD(MC) 取均值 r = r E + r C 2 r=frac {r_E + r_C} {2} r=2rE+rC 。 -
加权平均聚合：
使用 softmax函数 对输出进行归一化权重。
客户端本地参数聚合规则：
CheXpert：一个大型胸部x射线数据集，具有不确定性标签和专家比较。不确定标签映射为0
HAM10000：一个多类数据集，包含来自不同人群[29]的10015张皮肤镜图像
2.FL Setup假设有 n = 10 n=10 n=10 个客户端，使用CNN，两个卷积层，一个ReLU激活函数，两个完全连接层， 使用随机梯度下降SGD进行训练，学习率 0.01。
CheXpert：
batch size ：16
每个客户端总共 100 rounds
每轮一个本地步骤遍历数据集
计算每个类的AUC
HAM10000：
batch size：890
每个客户端总共 250 rounds
每轮五个本地步骤遍历数据集
计算所有可能成对分类组合的平均AUC
实验表明：
DOS不受batch size 影响。
评估指标：
Area Under the Receiver operating characteristic curve (AUC)
每一轮后计算得出
假设 最多40%的恶意客户端
CheXpert ：
Lebel Flip 10% 标签翻转一个客户端
Mix Attack 40% 标签翻转两个 高斯噪声两个
Noise 40% 高斯噪声四个
Noise and Scaled 40% 高斯噪声混合缩放参数四个
Crafted 40% 基于【10】的攻击四个
- Fang, M., Cao, X., Jia, J., Gong, N.: Local model poisoning attacks to {ByzantineRobust} federated learning. In: 29th USENIX Security Symposium (USENIX Security 20). pp. 1605–1622 (2020)
HAM10000：
Noise 30% 高斯噪声三个客户端
Mix Attack 40% 高斯噪声两个，100倍放大参数一个，-0.5倍参数一个(与真实梯度反方向)
提出的DOS方法的稳健性根据以下聚合规则进行基准测试：
FedAvg, Coordinate-Wise-Median, Trimmed Mean, Krum, No Attack
DOS的主要优势在于它能够同时考虑欧氏距离和余弦距离，从而解决正尺度和负尺度。它还成功地检测了高斯噪声攻击和标签翻转攻击，利用了COPOD方法的优势。由于DOS结合了三种不同的方法，因此很难设计出能够成功绕过DOS的模型中毒攻击。
5.Conclusions and Future Work提出了基于距离的离群点抑制(DOS)，一个新的鲁棒聚合规则，在距离空间中执行离群点检测，有效地防御FL中的拜占庭失败
