一种基于改进U 形网络的眼底图像视网膜新生血管检测方法

邹北骥，易博松，刘晴†

（1.中南大学自动化学院，湖南长沙 410083；2.中南大学计算机学院，湖南长沙 410083；3.湖南省机器视觉与智慧医疗工程技术研究中心，湖南长沙 410083）

糖尿病性视网膜病变是糖尿病的微血管主要并发症之一，也是主要的致盲疾病之一[1].据估计，到2030 年全世界将有约3.6 亿人罹患糖尿病.我国目前的糖尿病患病率为9.7%，约有9 400 万人罹患糖尿病[1].临床上视网膜新生血管的出现是非增殖期糖尿病性视网膜病变恶化至增殖期糖尿病性视网膜病变的主要标志，也是医生是否需要对患者立刻进行积极治疗的关键判断依据[1-2].

目前已有的对于视网膜新生血管的检测方法主要是通过传统图像处理方法对彩色眼底图中的新生血管进行分割，去除背景和大部分图像噪声，只提取血管图像，再使用机器学习方法训练分类器并对眼底图像全局或者特定区域的血管进行分类以达到新生血管检测的目的.

Agurto 等[3]将AM-FM 算法用于检测正常和非正常的血管，以此筛查糖尿病性视网膜病.Goatman 等[4]直接提取血管的形状、位置、方向、密度等特征，并使用支持向量机（Support Vector Machine，SVM）分类器来区分正常和非正常血管.Hassan 等[5]选择固定大小区域里的血管数目和血管所占面积作为特征来检测新生血管.Maryam[6]证明了在各种描述新生血管的特征中，Gabor 滤波器方法能实现最好的特异性和较好的敏感性.Welikala 等[7]分别从标准线性算子和修正线性算子生成的二值化的血管图中提取两组不同的特征集，并提出了一个基于SVM 的双重分类系统用于正常血管和新生血管的分类.Gupta 等[8]提出将视网膜图像拆分成小块来检测，提取小块的纹理特征和灰度特征等525 个特征，使用随机森林分类器来训练并进行血管的分类.Pujitha 等[9]提出了一种半监督方法来解决训练数据量不够的问题.对于含有新生血管的小片段，使用Gabor 滤波器来提取特征，通过在特征空间中使用领域信息，将特征融合在基于共同训练的半监督的框架中来分类.Yu 等[10]提出通过对新生血管候选区域进行再次筛选并使用SVM分类新生血管和普通血管.

近年来，U 形网络[11]在医学图像分割任务上获得了巨大的成功.在彩色眼底图像普通血管分割任务上，相比于传统方法，U 形网络能够实现更好的分割性能[12].但与常规血管不同的是，视网膜新生血管在形态上更加细小[1]，分割和检测的难度均比常规血管大.

针对新生血管较难检测的问题，为了提升检测的准确率，本文提出一种改进U 形网络的眼底图像血管分割算法，使之能更好地分割出常规血管和新生血管，方便后续新生血管的检测.具体地，本文首先设计了一种改进型的U 形网络用于新生血管和常规血管分割.然后使用一个滑动窗口对分割后的新生血管图像进行完整遍历，使用SVM 对每一个窗口生成的子图像内的血管图像按照特征信息进行分类，分类成普通血管或新生血管以完成检测.使用MESSIDOR 数据集和Kaggle 数据集进行方法的训练和测试.实验证明，改进型U 形网络对新生血管的分割精度高于原始U 形网络，本文提出的新生血管检测方法可以准确地对新生血管进行检测.

1 方 法

本文提出的新生血管检测方法流程如图1 所示.首先对眼底图像的绿色通道图像进行预处理，预处理操作包括对比度受限的自适应直方图均衡化和伽马变换，接着使用改进的U 形网络进行血管分割.然后使用滑动窗口对分割出来的血管图像进行遍历，使用SVM 对每个窗口中的血管图像提取特征并分类，最后统计分类结果，根据分类结果确定该图是否检测到新生血管.

1.1 预处理

彩色眼底图像在绿色通道中整体对比度最高，细节损失最少，相较原图可以更好地表现整体血管结构[10]，因此，本文后续实验操作都将在彩色眼底图的绿色通道上完成.

在针对彩色眼底图的视网膜新生血管处理中，新生血管像素所占整张眼底图像素的比例非常低，使用形态学方法进行预处理会导致大量新生血管像素丢失，严重影响实验结果.为了保证眼底图中新生血管结构的信息完整，本文采用对比度受限的自适应直方图均衡化方法[10]和伽马变换方法[10]来对眼底图进行增强，改善图像低对比度的情况，同时将对新生血管像素的影响降到最小.

图1 本文方法流程Fig.1 The method flow of this study

1.2 血管分割

为了提高对新生血管分割的准确率，本文设计了一种改进型U 形网络并使用该网络分割新生血管.本文设计的改进型U 形网络在原始U 形网络的基础上，引入了改进的残差模块（Improved ResBlock）[13]和金字塔场景解析（Pyramid Scene Parsing，PSP）池化模块[14]，可以实现对新生血管图像的语义分割，即将视觉输入分为不同的语义可解释类别，把同类的像素用同一种颜色进行标记，每一种分类类别都具有对应的现实意义.在本文中，白色像素对应血管，黑色像素对应着除血管外的所有背景信息.同时本文在所有卷积层之后执行批归一化操作，将每个批次的输入进行归一化处理，使模型在训练过程中更易于优化，同时降低模型过拟合的风险.本文设计的改进U 形网络结构如图2 所示.

该网络由下采样路径和上采样路径组成，其下采样路径通过下采样操作逐渐减少图像的空间维度，而上采样路径通过上采样操作逐步修复图像的细节和空间维度.对于下采样路径和上采样路径中的每一个卷积层级，使用融合模块实现对应层级的图像输出特征的拼接，使网络可以利用不同层级的图像特征信息.

图2 改进U 形网络结构Fig.2 Improved U-shaped network structure

为了缓解网络层数加深而引发的梯度消失问题[13]，在原始U 形网络每个卷积层之间，引入一系列的残差模块.为了提高网络的感受野，使网络更好地捕捉上下文信息，在每一个残差模块中，除了已经存在的两个普通卷积的分支，本文设计的残差模块将额外引入一组空洞卷积分支[15].改进的残差模块结构图如图3 所示.

为了在网络中引入更多的上下文信息，进一步融合网络多尺度特征，本文在上采样路径和下采样路径之间引入了PSP 池化模块.该模块将输入从通道维度平均划分为4 个层级，针对划分后的4 个层级，分别对其使用1×1、2×2、3×3、6×6 尺寸的池化核进行池化操作.在每组池化的结果之后，采用原始特征数量1/4 的1×1 卷积实现特征维度的缩减，最终在4 组池化后的特征上采样到与输入特征相同的尺寸，并进行特征的拼接，融合多尺度特征.本文采用的PSP 池化模块的结构图如图4 所示.

图3 改进的残差模块结构Fig.3 Improved residual module structure

图4 PSP 池化模块结构Fig.4 PSP pooling module structure

本网络使用ReLU 函数作为网络激活函数.输入的彩色眼底图经过改进型U 形网络的分割会输出血管的二值图，这些输出图像将用于新生血管的分类.

1.3 血管分类

在Yu 等[10]的研究中证明了，面对两类样本数量不均衡的情况下的新生血管二分类任务时，SVM 比卷积神经网络有着更强的分类能力，可以极大地提高分类的效率和准确性.故本文使用SVM 对经过分割的新生血管图像进行血管的分类.

在训练SVM 的过程中，本文设置了一个滑动窗口，每个滑动窗口大小为50×50 像素，按照从左至右，从上至下，步长为20 像素的顺序对新生血管图像进行遍历.计算每个窗口内的血管特征信息，比对专家的标定结果附上属于新生血管或不属于新生血管的标签，形成一个训练样本.

结合本文的应用场景和新生血管的形态特征，采用血管段弯曲度平均值、血管段弯曲度方差、血管宽度平均值、血管宽度方差、血管段长度平均值、血管段长度方差、血管面积、血管分支点个数和血管段个数等9 个参数作为样本特征.

使用AngioTool 软件可以批量地从窗口中提取以上特征值.AngioTool 是一款专业的血管分析工具，它可以快速并且准确地测量一系列的血管形态学指标和空间参数.本文所选取的9 个特征值均可通过使用AngioTool 获取.AngioTool 对血管图像测量参数的效果如图5 所示.

图5 AngioTool 测量血管特征参数Fig.5 Measuring vascular characteristic parameters by AngioTool

在分类过程中，窗口每滑动一次都会对当前窗口区域内的图像进行血管特征信息的计算，由训练好的SVM 给出分类结果，判断该窗口图像内是否包含新生血管.

2 实验设置与实验结果

2.1 实验数据与实验设置

本文分别从MESSIDOR 数据集和Kaggle 数据集中各挑选了29 张和90 张共119 张包含新生血管的彩色眼底图作为实验材料，并将图片分辨率统一调整至1 024×1 024 像素.这119 张新生血管图均由专家进行了新生血管区域的标定.

此外，本文还从Kaggle 数据集中随机选取80 张正常的彩色眼底图像，统一分辨率1 024×1 024 像素，作为负样本参与检验本方法中新生血管分类器的性能.

本文的改进型U 形网络和SVM 的训练和测试均使用Nvidia Titan Xp GPU，在Keras 深度学习框架上进行.

对于改进型U 形网络的训练，为了避免训练数据过少而导致网络训练过程中出现过拟合现象，本文从每一个训练集图像中随机提取等大小的10 000个图像块，38 张图像，共380 000 个图像块参与训练，每一个图像块大小为48×48 像素.这38 张图像均配有专家标定的金标准图像.

本文采用随机梯度下降的优化函数来对网络参数进行优化，采用对数交叉熵代价函数作为损失函数来衡量网络的分类误差.学习率初始化为0.01，每次训练38 个图像块，共训练200 轮.

对于SVM 的训练，本文选取46 张新生血管图像，共9 026 个带标签的样本（有效的窗口子图像）参与训练.测试集数据由80 张正常眼底图像和另外73张新生血管图像组成.

在本文中，SVM 的C 参数值设为0.55.使用K折交叉验证方法，将训练数据随机分为k 个较小的子集，并在每次迭代中对数据的k-1 部分训练模型.数据的其余部分用作验证和性能评估.该过程重复k 次，平均性能报告为总体性能.在本文中，k=10.

2.2 实验指标

对于新生血管分割网络的分割结果评估，其分割结果将会与专家标注的金标准血管图进行比对，计算4 种统计指标：真阴性（true negative，TN）、真阳性（true positive，TP）、假阴性（false negative，FN）和假阳性（false positive，FP）.TN 表示被正确地分为背景像素的像素点；TP 表示被正确地分为血管像素的像素点；FN 表示被错误地分为血管像素的像素点；FP表示被错误地分为背景像素的像素点.

对于分类器的分类结果评估，其分类结果将会与专家标注的诊断结果进行比对，同样计算4 种统计指标：TN、TP、FN 和FP.如果存在一个窗口将当前的图像区域正确地分类为新生血管区域，则该图像正确地检测到了新生血管，计入TP；如果所有窗口都将当前的图像区域正确地分类为非新生血管，则该图像正确地被分类为不含新生血管图像，计入TN；如果一张不包含新生血管的图像存在一个窗口将当前区域的图像错误地分类为新生血管，则该图像被错误地分类为新生血管图像，计入FN；如果一张包含新生血管的图像的所有窗口都将当前图像区域错误地分类为非新生血管，则该图像被错误地分类为不含新生血管的图像，计入FP.

对于血管分割和血管分类两个任务，通过这4种统计指标，进一步计算出3 个评估指标：特异性（Specificity，Sp）、灵敏度（Sensitivity，Sn）、准确率（Accuracy，Acc），这3 个评估指标的计算方法为：

2.3 实验结果

改进型U 形网络对21 张含新生血管的眼底图像进行了分割测试，这21 张图像均带有专家标注的血管金标准图像.同样地，使用原始U 形网络对这21 张图像进行分割测试.两个模型的分割结果对比见表1.两种模型对新生血管分割的结果对比见图6.

表1 分割结果与原始U 形网络对比Tab.1 The segmentation results compared with the original U-shaped network

图6 改进型U 形网络与原始U 形网络对局部新生血管分割的结果对比Fig.6 Comparison of segmentation results of local neovascularization between improved U-shaped network and original U-shaped network

由图6 可以看出，改进型U 形网络和原始U 型网络对于普通血管的分割效果相近.但对于低对比度血管和细小血管的分割，改进型U 形网络效果明显优于原始U 形网络.

由表1 可知，本文提出的改进型U 形网络对新生血管的分割准确率优于原始U 形网络，达到87.60%.改进型U 形网络对血管全局分割的效果见图7.

图7 改进型U 形网络对血管进行全局分割效果图Fig.7 Improved U-shaped network for global segmentation of blood vessels

分类器对153 张眼底图像进行了分类测试，这153 张图像中有73 张图像被专家标注为含新生血管图像，80 张正常眼底图像.分类结果与其他新生血管检测研究的对比见表2.

表2 分类结果与其他新生血管检测研究对比Tab.2 Comparison of classification results with other neovascularization detection studies

从表2 可见，本文提出的方法最终取得了对新生血管分类准确率95.96%、灵敏度91.10%、特异性97.16%的结果，对比其他已有研究结果，本文提出的方法在新生血管分类的准确率和特异性上获得了最优的水平.

分类准确率代表着分类器在进行分类任务时，对多个标签的样本分类的总体正确率.考虑到本文的实际情况是非新生血管标签数量远大于新生血管标签数量，说明本文提出的方法对非新生血管区域可以更好地分类.灵敏度在本文中代表着对新生血管区域分类的正确率，灵敏度越高，说明有更多的新生血管区域被正确地分类，有更少的非新生血管区域被错误地分类成新生血管区域.特异性在本文中代表着对非新生血管区域分类的正确率，特异性越高，说明有更多的非新生血管区域被正确地分类，有更少的新生血管区域被错误地分类成非新生血管区域.

本文提出的方法对非新生血管区域分类的效果极佳，有很高的特异性.这样可以最大程度地避免在实际操作中将非新生血管区域误诊为新生血管.本文的方法在整体的准确率上也取得了最优的水平.综合来看，本文提出的方法可以作为计算机辅助诊断方法辅助医生进行新生血管的检测.

3 结论

本文提出的改进型U 形网络对新生血管分割的效果优于原始U 形网络，可以较好地分割新生血管.本文提出的新生血管检测方法相比目前文献，在MESSIDOR 数据集和Kaggle 数据集上可以较好地检测新生血管，且准确率最高.

少量的新生血管图像被本方法错误分类，这是因为新生血管并不是糖网病在眼底图上会出现的唯一病症，其他病症如出血、渗出等会覆盖新生血管，干扰检测.

本文提出的方法可以用于计算机辅助诊断，帮助医生做出决策.今后将构建专门的新生血管图像数据库，进一步优化分割神经网络和新生血管分类器，寻找有效的噪声消除方法，提高本方法对新生血管检测的准确率和鲁棒性.