基于循环生成对抗网络的低质量眼底图像增强效果评估

周雪婷杨卫华 华骁 游齐靖孙晶沈建新万程

1南京航空航天大学电子信息工程学院 211106；2南京医科大学附属眼科医院眼科 人工智能大数据实验室 210001；3南京星程智能有限公司 210046

彩色眼底图像广泛用于糖尿病视网膜病变(diabetic retinopathy，DR)、青光眼等疾病的筛查和诊断[1-3]。低质量的眼底图像无法清楚展示视网膜血管、视杯、视盘异常等疾病诊断所需的关键信息，容易造成医生和计算机辅助诊断(computer-aided diagnosis，CAD)系统的漏诊，甚至误诊[4]。目前采集的眼底图像数据集中，因质量差而影响医学诊断的图像占比超过1/4[5]；从基层医院上传至云平台的眼底图像中低质量图像占比近1/2[6]。对低质量眼底图像进行分析发现，模糊、曝光不足和曝光过度是3个主要原因[7]。除规范眼底照相采集流程外，智能眼科专家一直尝试对眼底图像进行增强，通过技术手段提高图像的清晰度、亮度和对比度，进而降低后续的误诊率并提高CAD系统的准确率。目前主要采用基于直方图的方法增强眼底图像。基于直方图的方法可分为3类：一是采用直方图均衡化，通过增加最大和最小像素之间的差值来增强图像[8]；二是通过伽马矫正得到亮度增益矩阵，再利用限制对比度自适应直方图均衡化(contrast limited adaptive histogram equalization，CLAHE)增强亮度通道的对比度[9]；三是对模糊直方图预处理，去除眼底图像的不均匀光照[10]。基于直方图算法的本质是提高图像对比度并使灰度分布均匀，因此颜色过渡时会失真，视觉效果不佳。动态直方图均衡化(dynamic histogram equalization，DHE)根据局部最小值对图像直方图进行分割，并为每个分割分配特定的灰度范围，然后分别进行均衡，以保留更多细节信息[11]。带色彩恢复的多尺度Retinex(multi-scale Retinex with color restoration，MSRCR)是一种基于Retinex理论的图像增强算法，可以提高图像锐度并控制动态参数实现色度调节[12]；但由于眼底图像背景和前景明暗差别较大，经过对数处理的像素会超出可显示范围，上述方法仍易造成色彩失真。为克服传统眼底图像增强方法中视觉效果不佳、细节丢失、色彩失真等缺陷，解决低质量眼底图像无法用于医学诊断的问题，本研究拟通过构建循环生成对抗网络(cycle-constraint adversarial network，CycleGAN)[13]，提出一种基于深度学习的眼底图像增强算法，对模糊、曝光不足、曝光过度等低质量眼底图像进行增强。

1 材料与方法

1.1 材料

采用来自Kaggle DR检测竞赛的EyePACS公开数据集[14]。EyePACS数据集包含88 702张彩色眼底图像，其中35 126张为训练集，53 576张为测试集，每张图像均有专业医生评定的DR患病标签。该数据集包含大量不可用于医生临床分析或智能设备诊断的低质量眼底图像，主要包含模糊、曝光不足和曝光过度3种类型(图1)。在EyePACS数据集中分别选取700张高质量和700张低质量眼底图像作为图像增强实验的数据集，其中训练集中选取高质量和低质量眼底图像各500张，测试集中选取高质量和低质量眼底图像各200张。

图1 高/低质量眼底图像示例 A：高质量图像 B：模糊图像 C：曝光不足图像 D：曝光过度图像Figure 1 Examples of high/low-quality fundus images A:High-quality image B:Blurred image C:Underexposed image D:Overexposed image

1.2 方法

1.2.1眼底图像的预处理 由于数据集中图像分辨率不同且为矩形，因此需要对图像进行裁剪及缩放等归一化预处理。具体步骤如下：(1)以眼底图像的高作为边长，裁去矩形图像左右两边多余的黑色背景部分，保留正方形眼底图像(图2A，B)；(2)若图像的高小于眼底图像圆形区域的直径，则先裁剪为直径×高的矩形区域，再在矩形区域的上下两侧补充黑边使之成为直径×直径的正方形眼底图像(图2C，D)；(3)将正方形眼底图像尺寸统一缩放为分辨率512×512。

图2 眼底图像预处理结果 A：眼底图像原图 图像圆形区域直径小于图像高度 B：图A的裁剪和缩放 C：眼底图像原图 圆形区域直径大于图像高度 D：图C的裁剪和缩放Figure 2 Preprocessed fundus images A:Original fundus image The diameter of the circular region was smaller than the image height B:Cropped and scaled image A C:Original fundus image The diameter of the circular region was larger than the image height D:Cropped and scaled image C

1.2.2生成模型的构建 生成模型是一个神经网络，包括下采样模块、特征整理模块和上采样模块3个部分。下采样模块由3层卷积构建，输出通道数分别为32、64和128；卷积核尺寸分别为7×7、3×3和3×3；步长均为1，在每层卷积操作之后执行归一化并使用ReLU激活函数解决训练过程中的梯度消失现象。特征整理模块包括9个卷积层，每层卷积分别进行2次3×3的卷积和归一化操作，将输出与该层的输入融合后作为下一层卷积的输入；每次卷积操作的步长均为1，输出通道数均为128。上采样模块先进行2次转置卷积，卷积核尺寸为3×3，步长为2，输出通道分别设置为64和32，再进行卷积核尺寸为7×7，步长为1的卷积，最后使用tanh激活函数增强网络的拟合能力(图3)。

图3 生成模型的网络结构Figure 3 The network structure of generative model

1.2.3判别模型的构建 判别模型由4个卷积层和1个输出层构成。卷积层均使用尺寸为4×4的卷积核，输出通道数分别为64、128、256和512；步长分别为2、2、2和1；第1层不使用归一化，后3层卷积均进行归一化操作。输出层进行4×4的卷积，卷积方式采用SAME，即卷积前后的特征图保持大小不变，输出层的步长和通道数均为1，对于输入大小为512×512×3的3通道彩色眼底图像，判别网络输出大小为64×64(图4)。

图4 判别模型的网络结构Figure 4 The network structure of discriminative model

1.2.4CycleGAN的构建 采用2个生成模型和2个判别模型构建CycleGAN。生成模型GA2B根据低质量图像生成对应的高质量图像，生成模型GB2A与其相反；判别模型DA和DB分别用于判断输入的低质量图像和高质量图像是原始图像还是生成图像并输出概率值。在CycleGAN中，低质量眼底图像通过生成模型GA2B生成增强后的高质量眼底图像，继而输入判别模型DB进行判别；同样地，高质量图像通过生成模型GB2A生成低质量眼底图像，继而进入DA判别模型(图5)。在网络训练过程中，生成模型和判别模型相互博弈，逐步提高生成器的图像生成能力和判别器的真假鉴别能力，生成的图像越来越接近真实图像的特征，判别模型的判别能力也越来越强。

图5 基于CycleGAN的眼底图像增强算法流程图Figure 5 Fundus image enhancement algorithm flowchart based on CycleGAN

本研究采用Tensorflow深度学习框架，设置训练轮数为200，生成器和判别器的学习率均为2×10-4，采用Adam优化器。软件配置：Tensorflow-GPU 1.11.0，keras 2.2.4，numpy 1.19.2，opencv 3.4.2.16。硬件配置：CPU为E5-1620，GPU为NVIDIA GeForce GTX 1080，内存16 GB，显存8 GB。

1.2.5评价指标 对测试集低质量眼底图像原图经本研究提出的算法与CLAHE、DHE、MSRCR算法增强的图像进行视觉定性评估，同时引入清晰度、BRISQUE[16]、色度、饱和度作为眼底图像增强网络的定量评估指标。清晰度是评价图像质量的基本指标。BRISQUE是一种基于空域特征的评价指标，利用支持向量机学习图像的相关性特征和广义高斯分布特征，训练质量分数与图像的回归模型，从而得出图像的质量分数。色度是色调饱和值(Hue-Saturation-Value，HSV)模型中的一个属性，色度值越高代表图像的色调越饱满、色彩越丰富。饱和度是HSV模型的另一个属性，饱和度越高则图像越明亮，反之则图像的色彩越暗淡。对于色度和饱和度越高的图像，人体视觉观感越好。

1.2.6DR诊断网络的构建 采用Inception-ResnetV2网络[15]作为DR诊断模块，对增强前后的眼底图像进行DR疾病的诊断。采用ImageNet预训练的模型初始化网络参数，再用EyePACS数据集训练网络。分别用测试集中低质量原图及各方法增强后的眼底图像作为DR测试集进行DR诊断。

2 结果

2.1 增强图像定性评估

不同算法对模糊眼底图像的增强结果如图6所示。CLAHE算法提高了图像的对比度，血管纹路清晰，但血管变粗、颜色棕红影响了临床上对疾病的诊断，并且图像中存在大块暗色区域，照度不均匀，视觉效果不佳。DHE算法提高了原图的亮度，但对清晰度无明显提升，难以分辨视盘边缘。MSRCR算法产生的图像颜色偏白，色彩失真严重，亮度高且对比度低，无法清晰展示眼底信息。CycleGAN算法的视觉效果最佳，提高了原图的对比度、亮度及视觉分辨率，视盘边缘及内部血管交叉处都得以清晰地显现，血管末梢及微小血管的可见度较原图更高。

图6 不同算法对模糊图像增强结果 A：原图 B：CLAHE算法增强图 C：DHE算法增强图 D：MSRCR算法增强图 E：CycleGAN算法增强图Figure 6 Results of blurry image enhanced by different algorithms A:Original image B:CLAHE enhanced image C:DHE enhanced image D:MSRCR enhanced image E:CycleGAN enhanced image

曝光不足的眼底图像整体亮度、对比度和眼底信息可见度低，图7为不同算法对曝光不足眼底图像的增强结果。CLAHE算法增强的图像明暗分布不均，血管为黑色，整体颜色不自然。DHE算法增强的图像视盘区域呈橘色，黄斑区域呈黑青色，对低光照区域增强效果不理想；MSRCR算法使图像产生蓝色调，色差严重，同时图像对比度低，对图像的增强效果不明显。CycleGAN算法提高了图像的亮度和对比度；图像照度均匀，视盘周围的细小血管、血管末梢的纹理均能清晰地显示；同时该算法对色彩进行了还原，图像整体偏红色调，更符合眼底实际情况。

图7 不同算法对曝光不足图像增强结果 A：原图 B：CLAHE算法增强图 C：DHE算法增强图 D：MSRCR算法增强图 E：CycleGAN算法增强图Figure 7 Results of underexposed image enhanced by different algorithms A:Original image B:CLAHE enhanced image C:DHE enhanced image D:MSRCR enhanced image E:CycleGAN enhanced image

曝光过度的眼底图像亮度高、对比度低且图像泛白，图8为不同算法对曝光过度眼底图像的增强结果。CLAHE算法提高了图像对比度但对图像增强过度，且亮度分布不均。DHE算法在眼底图像周边产生灰色阴影，遮盖了此区域的眼底情况。MSRCR算法进一步提高了图像亮度，导致图像纹理可见度更低，该算法不适用于曝光过度图像的增强。CycleGAN算法增强后图像颜色有一定的恢复，消除了原图中的白色光环，亮度分布均匀，原图中心亮斑处的细小血管也可清晰展示。

图8 不同算法对曝光过度图像增强结果 A：原图 B：CLAHE算法增强图 C：DHE算法增强图 D：MSRCR算法增强图 E：CycleGAN算法增强图Figure 8 Results of overexposed image enhanced by different algorithms A:Original image B:CLAHE enhanced image C:DHE enhanced image D:MSRCR enhanced image E:CycleGAN enhanced image

2.2 增强图像定量评估

增强后的眼底图像清晰度均得到提高。CLAHE算法增强的图像清晰度高达155.34，其次为CycleGAN算法的61.75。在BRISQUE质量分数评估指标中，采用CycleGAN算法增强后的图像取得最大值，即图像质量最优，而其他算法增强后的BRISQUE质量分数均低于原图。CycleGAN算法的BRISQUE质量分数分别比CLAHE、DHE和MSRCR算法高出10.2%、7.3%和10.0%。对于色度指标，CycleGAN在4种增强算法中取得最大值103.03，CLAHE、DHE和MSRCR算法的色度值分别比原图降低18.66、7.47和8.31。在饱和度指标中，原图的饱和度为158.26，CycleGAN和MSRCR算法均有良好表现，其中CycleGAN增强后的图像饱和度以0.08的优势在该指标中取得最优值(表1)。DHE算法处理图像速度最慢，每增强100张图像需要4 711 s，平均每张图像耗费47.11 s，在处理图像时有明显的等待时间；CLAHE、MSRCR和CycleGAN算法增强100张图像分别耗费5、101和35 s。

表1 增强图像定量评估结果Table 1 Quantitative evaluation results of enhanced images图像增强方法图片数(张)清晰度[M(Q1,Q3)]BRISQUE(mean±SD)色度(mean±SD)饱和度(mean±SD)原图2007.81(5.94,13.05)0.556±0.067106.47±7.34158.26±51.34CLAHE200155.34(104.93,236.82)0.518±0.14587.81±6.0687.96±30.50DHE20016.24(7.71,39.33)0.532±0.14799.00±7.09112.56±48.86MSRCR2005.59(3.61,8.94)0.519±0.07198.16±20.59123.16±45.82Cy-cleGAN20061.75(49.30,75.69)0.571±0.095103.03±3.58123.24±41.40 注:CLAHE:限制对比度自适应直方图;DHE:动态直方图均衡化;MSRCR:带色彩恢复的多尺度Retinex;CycleGAN:循环生成对抗网络 Note:CLAHE:contrast limited adaptive histogram equalization;DHE:dynamic histogram equalization;MSRCR:multi-scale Retinex with color restoration;CycleGAN:cycle-constraint adversarial network

2.3 增强图像DR诊断效果

增强前后的眼底图像在DR诊断应用中的准确率如表2所示。对原图进行诊断的准确率和特异度分别为93.00%和96.70%。DHE算法增强的图像在诊断应用中表现不佳，准确率和特异度较原图均有所下降。MSRCR算法增强图在诊断准确度上较原图有所提高，但在特异度上有下降。CLAHE和CycleGAN算法增强后的图像在诊断准确率和特异度上均得到提升，其中CycleGAN算法增强的图像取得最优值。

表2 增强图像DR诊断结果(%)Table 2 DR diagnosis results of enhanced images (%)原图CLAHEDHEMSRCRCycleGAN准确率93.0095.7588.7594.0096.75特异度96.7098.4892.3995.9199.60 注:DR:糖尿病视网膜病变;CLAHE:限制对比度自适应直方图;DHE:动态直方图均衡化;MSRCR:带色彩恢复的多尺度Retinex;Cy-cleGAN:循环生成对抗网络 Note:DR:diabetic retinopathy;CLAHE:contrast limited adaptive histo-gram equalization;DHE:dynamic histogram equalization;MSRCR:multi-scale Retinex with color restoration;CycleGAN:cycle-constraint adversarial network

3 讨论

彩色眼底图像是筛查、诊断眼科疾病常用的影像资料，通常由眼底照相机拍摄。由于在图像的获取过程中存在拍摄环境不佳、设备参数设置错误等客观因素及医务人员操作不当、患者配合度不高等主观因素，现有的眼底图像数据库中存在大量低质量的眼底图像。这些低质量眼底图像不利于眼科医生和CAD系统进行分析。临床眼底照相采集过程中，一些患者由于存在屈光介质混浊，如白内障、玻璃体混浊及角膜斑翳等，也无法获取清晰的视网膜图像。因此，增强低质量眼底图像使其清晰地展示眼底情况对眼科疾病的临床诊断和基于数据库的眼科AI辅助诊断都非常重要。

与其他深度学习网络不同，本研究构建的CycleGAN网络是一种依靠数据驱动的弱监督卷积神经网络。眼底相同拍摄角度的高/低质量配对图像的采集难度大、周期长，因此目前研究多采用非配对的高/低质量眼底图像数据。本研究中CycleGAN的训练集只需相同数量的低质量图像集和高质量图像集，但两者无需一一匹配，避开了深度学习网络配对数据难以获得的问题。

在眼底图像增强的应用中，传统图像增强算法所获得的图像视觉效果较差或只擅长单一类型低质量眼底图像的增强。CLAHE增强的图像取得异常高的清晰度是灰度梯度剧烈变化所致，且颜色过渡不自然、明暗分界线明显；DHE算法增强曝光不足图像时色彩严重失真；MSRCR算法增强后的图像普遍亮度偏高，对曝光过度图像没有增强效果反而降低了眼底信息的可见度。传统算法通过提高亮度和对比度达到图像增强的效果，不能对图像的色彩有较好的调节。然而在对彩色眼底图像的分析中，背景色彩对眼病的诊断至关重要。CycleGAN网络在训练过程中学习低质量和高质量眼底图像的特征，如亮度、对比度、清晰度和色彩信息。在定量评估中，CycleGAN增强的图像色度和饱和度虽低于原图，但与其他增强算法相比已最大程度地保留了图像的色彩信息。本研究提出的增强算法对眼底图像有色彩增强的能力，可对色彩失真的图像进行颜色矫正，这是其他增强算法所不具备的。

与其他眼底图像增强算法相比，CycleGAN对低质量眼底图像的增强效果最好，增强后的眼底图像不仅可以更清晰地显示血管、视杯、视盘等关键诊断部位，而且不破坏原图像的结构特征。采用CycleGAN增强低质量眼底图像可以提高现有眼底图像数据库中图像的可诊断率。与原图和其他算法增强后的图像相比，CycleGAN增强后的高质量眼底图像DR诊断准确率和特异度分别达到最优值。CycleGAN增强的眼底图像可直接用于医生临床诊断，并有效提高CAD系统诊断的准确率。

本研究提出的CycleGAN算法是一个端对端的图像增强网络，能够同时增强模糊、曝光不足、曝光过度等低质量类型的图像，平均处理1张图像只需0.35 s，具有实时性和高效性，并可用在CAD系统前端。然而，本研究仍然存在可改进的地方，如在生成模型中引入注意力机制提高网络的特征提取能力，加强图像的细节信息等，同时可以在图像增强处理之前加入分类网络，先对图像进行质量分类再进行图像增强。

利益冲突所有作者均声明不存在任何利益冲突