域自适应:通过利用在训练数据集中得到的知识来提高模型在测试数据集上的性能
无监督域自适应的目标域不需要标签(无需标签十分适用于医学图像,额外标签需要专业知识且价格昂贵),现有的无监督域自适应方法有两种,①图像对齐 ②特征对齐。本文同时使用以上两种方法,协同作用提高域自适应的性能
上图为文章框架图,蓝色代表源域数据流 红色代表目标域数据流
Gt和Dt用于图像对齐,转换源域图像外观生成类目标域图像,向Gt输入Xs 输出Xs->t,
Gt(Xs)=Xs->t
Dt用于鉴别生成的目标域图片还是真实的目标域图片
反向生成器Gs=E+U E为特征编码器 U为上采样解码器 Gs(Xs->t)=Xs->t->s Gs(Xt)=Xt->s
Ds用于鉴别是合成的源域图像还是真实的源域图像Gs用于鉴别图片是Xs->t-s还是Xt->s,Ds如果成功分类 证明生成的图片Xs->t-s、Xt->s中包含S域和T域的特征
分割网络=E+C 特征编码器E+分类器C组成分割网络
论文中介绍特征空间是高维空间,难以直接对齐,因此将特征空间映射到两个紧凑的低维空间(①语义预测空间 ②生成的图像空间),使用对抗性学习来增强特征分布的域不变性
语义预测空间
鉴别器Dp用于分类Xs->t 还是Xt的输出,语义预测空间代表人体解刨结构的信息,在不同成像模式下是一致的。如果特征对齐较好,说明则鉴别器无法分辨。当特征对齐效果不佳时,对抗性梯度反向传播到encoder编码器,最小化Xs->t和Xt之间特征分布的距离。



