栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

I-SECRET: Importance-Guided FundusImage Enhancement via Semi-supervisedContrastive Constraining文献学习

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

I-SECRET: Importance-Guided FundusImage Enhancement via Semi-supervisedContrastive Constraining文献学习

文献学习,仅自用(有代码) 本人小白一个,只是学习记录,有任何问题欢迎指出!!! 问题所在

1.眼底图像广泛用于眼病筛查,但是眼底图像质量不均匀,低质量的眼底图像会严重影响临床判断和决策

2.眼底图像质量低下的因素有模糊、失焦、光照不均匀、对比度低和噪声

3.增强任务的挑战有

a.眼底图像的质量不仅与其强度分布有关,还与各种解剖标志、疾病相关病变等高级语义信息有关

b.从低质量到高质量的映射质量不是一对一的,不能轻易建模

c.真实的低质量和高质量图像通常是不配对的

前人所做

眼底图像增强方法主要有两类,即非参数化方法和参数化方法

第一种

Cheng, J., et al.: Structure-preserving guided retinal image filtering and its appli-
cation for optic disk analysis. IEEE Trans. Med. Imaging TMI 37(11), 2536–2546
(2020)

提出了一种结构保持滤波器用于眼底图像的去噪。这种非参数方法需要一个设计良好的先验函数,并且不容易推广到所有情况

第二种

数据驱动的眼底图像增强方法,主要集中在低质量图像的合成或采用不配对的训练框架,如CycleGAN和CutGAN

Shen, Z., Fu, H., Shen, J.: Modeling and enhancing low-quality retinal fundus
images. IEEE Trans. Med. Imaging TMI 40(3), 996–1006 (2020)

设计了一种利用人工降解管道的校正网络,但降解策略相对简单,可能不能很好地适应现实的临床情况

Zhao, H., Yang, B., Cao, L., Li, H.: Data-driven enhancement of blurry retinal
images via generative adversarial networks. In: Shen, D., et al. (eds.) MICCAI
2019. LNCS, vol. 11764, pp. 75–83. Springer, Cham (2019). https://doi.org/10.
1007/978-3-030-32239-7 9

利用了无配对数据的CycleGAN变体,高质量到低质量的眼底图像映射违背了循环一致性假设,使用非配对监督不能很好地保存结构细节

本文所讲

I-SECRET=监督学习组件(合成数据)+无监督学习组件(真实数据)

1.人工分解高质量的眼底图像来合成低质量的眼底图像

2.使用由大规模高质量和低质量的不配对眼底图像组成的真实数据集作为无监督学习组件

3.监督学习部分提供了一种特定于任务的映射,并倾向于保留眼底图像的结构细节,

无监督学习部分提高了方法的泛化能力,有利于提取有区别的高层次特征

4.提出了一个创新的重要性估计框架,以提供像素级重要性图,并指导监督和非监督组件

本文结构

 1.基于重要性引导监督损失的监督学习阶段:保留结构细节,避免信息修改

 2.基于重要引导对比学习约束的无监督学习阶段

 3.对抗性训练阶段

 Importance-Guided Supervised Learnin

该阶段的目标是保留结构细节,避免信息修改

朴素监督学习认为学习过程是一致和稳定的,但是每个图像像素的重要性在不同的epoch和不同的图像中明显不同。例如,伪影的重要性应该高于视网膜结构,如黄斑

 Degraded image 是人工退化Y后的数据集

 Enhancement network是重新构建原始的高质量图像Y

 importanc decoder  用来预测pixel-wise importance map

importance-guided supervised loss function (IS-loss):它根据重要性为不同批次分配不同的权重

 N表示该批处理的像素总数

LMSE表示批处理的均方误差

αi表示批次中第i个像素的重要性

为了获得一个正的权重并保证数值的稳定性,用指数项的倒数

Importance-Guided Contrastive Constraint

 对比学习的综述

https://zhuanlan.zhihu.com/p/367290573https://zhuanlan.zhihu.com/p/367290573

 

对比约束假设低质量图像及其增强图像在同一位置的局部高级语义特征比在不同位置的语义特征更接近

 构建一个内部对比任务来学习局部一致性,将低质量的图像和高质量的图像映射到一个共同的潜在空间

损失函数

 

 

 

结果对比

 

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/961005.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号