1.眼底图像广泛用于眼病筛查,但是眼底图像质量不均匀,低质量的眼底图像会严重影响临床判断和决策
2.眼底图像质量低下的因素有模糊、失焦、光照不均匀、对比度低和噪声
3.增强任务的挑战有
a.眼底图像的质量不仅与其强度分布有关,还与各种解剖标志、疾病相关病变等高级语义信息有关
b.从低质量到高质量的映射质量不是一对一的,不能轻易建模
c.真实的低质量和高质量图像通常是不配对的
前人所做眼底图像增强方法主要有两类,即非参数化方法和参数化方法
第一种
Cheng, J., et al.: Structure-preserving guided retinal image filtering and its appli-
cation for optic disk analysis. IEEE Trans. Med. Imaging TMI 37(11), 2536–2546
(2020)
提出了一种结构保持滤波器用于眼底图像的去噪。这种非参数方法需要一个设计良好的先验函数,并且不容易推广到所有情况
第二种
数据驱动的眼底图像增强方法,主要集中在低质量图像的合成或采用不配对的训练框架,如CycleGAN和CutGAN
Shen, Z., Fu, H., Shen, J.: Modeling and enhancing low-quality retinal fundus
images. IEEE Trans. Med. Imaging TMI 40(3), 996–1006 (2020)
设计了一种利用人工降解管道的校正网络,但降解策略相对简单,可能不能很好地适应现实的临床情况
Zhao, H., Yang, B., Cao, L., Li, H.: Data-driven enhancement of blurry retinal
images via generative adversarial networks. In: Shen, D., et al. (eds.) MICCAI
2019. LNCS, vol. 11764, pp. 75–83. Springer, Cham (2019). https://doi.org/10.
1007/978-3-030-32239-7 9
利用了无配对数据的CycleGAN变体,高质量到低质量的眼底图像映射违背了循环一致性假设,使用非配对监督不能很好地保存结构细节
本文所讲I-SECRET=监督学习组件(合成数据)+无监督学习组件(真实数据)
1.人工分解高质量的眼底图像来合成低质量的眼底图像
2.使用由大规模高质量和低质量的不配对眼底图像组成的真实数据集作为无监督学习组件
3.监督学习部分提供了一种特定于任务的映射,并倾向于保留眼底图像的结构细节,
无监督学习部分提高了方法的泛化能力,有利于提取有区别的高层次特征
4.提出了一个创新的重要性估计框架,以提供像素级重要性图,并指导监督和非监督组件
本文结构1.基于重要性引导监督损失的监督学习阶段:保留结构细节,避免信息修改
2.基于重要引导对比学习约束的无监督学习阶段
3.对抗性训练阶段
Importance-Guided Supervised Learnin该阶段的目标是保留结构细节,避免信息修改
朴素监督学习认为学习过程是一致和稳定的,但是每个图像像素的重要性在不同的epoch和不同的图像中明显不同。例如,伪影的重要性应该高于视网膜结构,如黄斑
Degraded image 是人工退化Y后的数据集
Enhancement network是重新构建原始的高质量图像Y
importanc decoder 用来预测pixel-wise importance map
importance-guided supervised loss function (IS-loss):它根据重要性为不同批次分配不同的权重
N表示该批处理的像素总数
LMSE表示批处理的均方误差
αi表示批次中第i个像素的重要性
为了获得一个正的权重并保证数值的稳定性,用指数项的倒数
Importance-Guided Contrastive Constraint对比学习的综述
https://zhuanlan.zhihu.com/p/367290573https://zhuanlan.zhihu.com/p/367290573
对比约束假设低质量图像及其增强图像在同一位置的局部高级语义特征比在不同位置的语义特征更接近
构建一个内部对比任务来学习局部一致性,将低质量的图像和高质量的图像映射到一个共同的潜在空间
损失函数
结果对比



