栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Unsupervised Bidirectional Cross-Modality Adaptation论文解读

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Unsupervised Bidirectional Cross-Modality Adaptation论文解读

概要:本篇文章提出了 一种无监督域自适应SIFA(图像与特征协同对齐)可以使分割网络有效的适应无标签的目标域,旨在解决测试数据集在已通过训练数据集训练的网络上效果不佳的问题

域自适应:通过利用在训练数据集中得到的知识来提高模型在测试数据集上的性能
无监督域自适应的目标域不需要标签(无需标签十分适用于医学图像,额外标签需要专业知识且价格昂贵),现有的无监督域自适应方法有两种,①图像对齐 ②特征对齐。本文同时使用以上两种方法,协同作用提高域自适应的性能

创新点:①在统一的框架中,同时利用图像对齐和特征对齐的优势,在互补协同作用下来提高域自适应的性能 ②MRI和CT图像之间可以双向转换③无监督,无需额外的标签④图像转换和分割网络共享编码器,参数共享,二者协同作用(反馈)达成更好的效果


上图为文章框架图,蓝色代表源域数据流 红色代表目标域数据流

图像对齐


Gt和Dt用于图像对齐,转换源域图像外观生成类目标域图像,向Gt输入Xs 输出Xs->t,
Gt(Xs)=Xs->t
Dt用于鉴别生成的目标域图片还是真实的目标域图片

反向生成器Gs=E+U E为特征编码器 U为上采样解码器 Gs(Xs->t)=Xs->t->s Gs(Xt)=Xt->s

Ds用于鉴别是合成的源域图像还是真实的源域图像Gs用于鉴别图片是Xs->t-s还是Xt->s,Ds如果成功分类 证明生成的图片Xs->t-s、Xt->s中包含S域和T域的特征

分割网络=E+C 特征编码器E+分类器C组成分割网络

特征对齐


论文中介绍特征空间是高维空间,难以直接对齐,因此将特征空间映射到两个紧凑的低维空间(①语义预测空间 ②生成的图像空间),使用对抗性学习来增强特征分布的域不变性

语义预测空间
鉴别器Dp用于分类Xs->t 还是Xt的输出,语义预测空间代表人体解刨结构的信息,在不同成像模式下是一致的。如果特征对齐较好,说明则鉴别器无法分辨。当特征对齐效果不佳时,对抗性梯度反向传播到encoder编码器,最小化Xs->t和Xt之间特征分布的距离。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/286162.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号