改进U 型网络在视网膜病变检测中的应用研究

杨知桥，张 莹,2+，王新杰，张东波,2，王 玉

1.湘潭大学 自动化与电子信息学院，湖南 湘潭411105

2.机器人视觉感知与控制技术国家工程实验室，长沙410082

糖尿病性视网膜病变是全世界适龄工作人群最主要的致盲眼病之一，随着病情的不断加深会引发许多并发症。为了防止病情恶化和有效预防失明，对糖尿病性视网膜病变的早期诊断和及时治疗是很有必要的。临床上以是否出现视网膜新生血管为分界，将糖尿病性视网膜病变分为非增殖性糖尿病视网膜病变（non-proliferative diabetic retinopathy，NPDR）和增殖性糖尿病视网膜病变（proliferative diabetic retinopathy，PDR）5 个病变等级。主要病灶区为渗出物、出血点、微血管瘤等。

眼底视网膜血管的形状、尺度、分叉、分支角度、延伸程度等结构特征可以通过仪器直接观察，医生通过观测血管形态以及渗出物、出血点等主要病变特征来判断病变程度。目前主要通过经验丰富的眼科专家人工标注的方式进行视网膜血管以及病灶区的分割，分割过程费时费力且容易受到主观因素的影响，无法达到短时高效的效果。因此，采用计算机辅助医疗对眼底视网膜血管以及病灶区进行自动分割具有重要的临床医学意义。

深度学习方法已广泛应用于医学图像分割领域。U-Net 网络凭借其出色的实用性表现以及在少量数据中的学习能力，在近几年的医学图像分割领域得到了广泛应用。钟思华等人在U-Net 网络的卷积层间加入密集连接融合网络上下层特征信息，在肺结节分割上取得良好的分割结果。钱宝鑫等人基于U-Net 网络，结合多尺度输入、空洞空间金字塔池化和注意力机制，提高了肺分割性能。CE-Net 网络以U-Net 网络为基础，提出了上下文特征提取模块，在眼底视网膜血管和视盘分割中，取得了较好的效果。Pang 等人基于CE-Net 网络，将上下文特征编码模块加入到各尺度跳跃连接，获取不同尺度的上下文信息，从而提高肝脏肿瘤的分割性能。Wang等人将三维卷积输入层与CE-Net网络相结合，解决带有时序信息的冠状动脉分割问题。针对眼底视网膜血管以及病灶区分割，相关分割对象很细小的特点，提出一种混合注意力机制（hybrid attention mechanism，HAM），让网络更加关注于贡献大的特征，减小噪声对细微血管以及细小病灶区特征的影响，提高分割效果。针对CE-Net 编码阶段所生成的高级别特征图，稠密空洞卷积模块（dense atrous convolution，DAC）获取高级别的上下文特征的感受野不够丰富，残差多尺度池化模块（residual multi-kernel pooling，RMP）的最大池化操作会损失部分特征信息的不足，提出采取丰富感受野以及平均池化的方法进行改进。

1 改进U 型网络基本结构

改进U型网络以CE-Net为骨干网络（Backbone），由混合注意力特征编码模块、上下文提取编码模块和特征解码模块三部分组成，如图1 所示。混合注意力特征编码模块由4 个特征编码块和4 个混合注意力机制模块组成，每个编码块采用残差网络（ResNet）块作为主干。在特征编码块进行特征提取之后，通过混合注意力机制模块进行特征加权，将加权后的特征图送入最大池化层以增加感受野，从而更好地提取全局特征。然后，将混合注意力特征编码模块所提取的高级别特征输入到所改进的上下文提取编码模块中，以获取并整合丰富的上下文信息，最后利用特征解码模块恢复高级别语义特征的尺寸，输出与原始输入尺寸相同的分割结果。特征解码模块采用逐层向上恢复高级语义特征图的尺寸的方式，每一层都采用跳跃连接，将编码器中经过混合注意力机制模块产生的特征图加入解码模块，为解码模块提供带有权重的特征信息。每一层的解码块以ResNet 残差块作为主干，由一个1×1 卷积、3×3 反卷积和1×1卷积构成，通过参数反传来自动学习参数，从而能够更好地恢复特征表示。通过特征解码器，网络能在最后恢复到与输入图像相同尺寸的预测图。

图1 改进U 型网络结构图Fig.1 Improved U-shaped network structure diagram

1.1 上下文提取编码模块

上下文提取编码模块由稠密空洞卷积模块（DAC）和残差多尺度池化模块（RMP）组成，通过提取上下文语义信息获得高级别特征图，提高医学图像分割性能。

CE-Net 的稠密空洞卷积模块通过四个级联空洞卷积分支来捕获多尺度的语义特征，四个级联空洞卷积分支的感受野分别为3、7、9、19。相对于14×14的输入特征图来说，其在小尺度感受野比较丰富，能有效获取局部上下文信息，但是视网膜血管、出血点病灶区通常分布于整张眼底视网膜图像，该模块对此类特征的上下文信息提取有限，会漏掉很多特征信息，因此需要丰富大尺度感受野，以获取更全面的上下文特征信息。连续的空洞卷积能够扩大感受野，获取更丰富的特征信息。但是不恰当的膨胀率选择会产生“网格化”现象，丢失掉大部分的信息，如图2（a）所示。为了克服“网格化”现象，覆盖更丰富的特征信息，采用“锯齿化”的膨胀率设计，如图2（b）所示，对于连续空洞卷积膨胀率设计为[,,…,r,…,r]，需满足式（1）：

图2 “网格化”现象示意图Fig.2 “Grid”phenomenon schematic

式中，M=r。

改进后的稠密空洞卷积模块结构图如图3 所示，感受野分别为3、7、9、13、17、19，增加的13、17 大尺度感受野能获取更全面的上下文特征信息。

图3 改进稠密空洞卷积模块Fig.3 Improved dense atrous convolution module

CE-Net 的残差多尺度池化模块是基于空间金字塔池化，对从稠密空洞卷积模块获取的上下文特征信息进行多尺度的特征整合编码。由于高级特征图的所有特征信息是特征编码网络所提取出来的信息，最大池化无法充分利用全局的语义信息，会造成一定程度的信息损失。本文提出运用多尺度最大池化和平均池化相结合的方式，小尺度采取最大池化（2×2、3×3），大尺度采取平均池化（5×5、6×6），以编码更丰富的上下文特征信息，结构如图4 所示。

图4 改进残差多尺度池化模块Fig.4 Improved residual multi-kernel pooling module

1.2 混合注意力机制模块

为减少噪声的干扰，使网络能更加关注于眼底视网膜微小血管以及病灶区特征，本文提出在特征编码模块加入混合注意力机制（HAM），有利于对输入特征图的特征信息进行充分加权，从而全面突出有效特征对网络的贡献。混合注意力机制模块结构如图5所示，由通道注意力和空间注意力组成。对于输入特征图∈R，经过HAM模块后生成通道注意力权重∈R和空间注意力权重∈R。输出特征图的计算过程由式（2）和式（3）所示：

图5 混合注意力机制模块Fig.5 Hybrid attention mechanism module

式中，⊗表示逐元素相乘。

通道注意力机制模块首先采用最大池化和全局平均池化来整合不同的空间特征信息，最大池化保留了纹理特征，全局平均池化保留了整体的数据特征，再通过两层全连接层生成通道注意力权重，然后对两种权重进行融合以及归一化，从而生成最终的注意力权重。通道注意力机制结构如图6 所示。

图6 通道注意力机制Fig.6 Channel attention mechanism

对于输入特征图∈R，分别通过最大池化和全局平均池化操作来整合空间特征信息，得到的两种空间上下文描述分别表示为∈R和∈R。最终的注意力权重计算如式（4）所示：

空间注意力利用特征间的空间关系生成注意力权重主要侧重于信息部分。本文采用文献[14]提出的方法，在通道方向上分别采用最大池化和平均池化来整合通道信息，以有效地突出空间信息区域，再将两种特征信息拼接后通过卷积层生成最后的空间注意力权重。结构如图7 所示。

图7 空间注意力机制Fig.7 Spatial attention mechanism

对于经过通道注意力生成的带有通道注意力权重的特征图′∈R，在其通道上分别运用最大池化和平均池化操作后分别生成两种二维特征信息图，表示为∈R和∈R，再拼接起来进行卷积操作以生成空间注意力权重。计算公式如式（5）所示：

式中，表示Sigmoid 函数，表示卷积核大小为7×7 的卷积操作。

2 实验与结果分析

本文训练和测试的平台是Ubuntu 16.04 系统，配有Nvidia GeForce Titan RTX 显卡，内存为24 GB。改进U 型网络编码阶段采用基于ImageNet 上预训练的ResNet，采用PyTorch 深度学习框架进行实验。在训练过程中，采用了批量大小为8、动量为0.9、权重衰减为0.000 1 的随机梯度下降（stochastic gradient descent，SGD）进行优化，初始学习率设置为0.001，并对学习率采取poly 学习率策略。

为防止过拟合，对样本数据集使用数据增强策略。在训练阶段，对每张图像进行水平翻转、垂直翻转和对角翻转，每张图像被扩充为8 张图像。在测试阶段，也对每张图像进行水平翻转、垂直翻转和对角翻转，取其平均值作为最终的预测图。

2.1 评价指标

本文采取的定量指标分别为准确率（AC）、灵敏度（SE）、特异性（SP）和AUC 值。准确率（AC）为所有正确分割的像素点占总像素点的比例，灵敏度（SE）为正确分割的血管点或病灶点占总血管点或病灶点的比例，特异性（SP）为正确分割的背景点占总背景点的比例，计算如式（6）～式（8）所示：

式中，，真阳性，分割正确的血管点或病灶点；，假阳性，非血管点或病灶点被错误分割为血管点或病灶点；，真阴性，分割正确的背景点；，假阴性，被错误分割为背景点。

2.2 眼底视网膜血管分割实验

眼底视网膜血管分割实验所采用的数据集为DRIVE 数据集，由40 张彩色眼底视网膜图像组成，分辨率为565×584，每一张图像都有两位专家人工标注的像素级标签，并提供了对应的掩膜。官方将其均匀地分为20 张训练集和20 张测试集。

改进U 型分割网络的眼底视网膜血管分割结果如图8 所示。从左到右依次为原始眼底图像、U-Net网络分割结果、CE-Net 网络分割结果、本文方法分割结果和Ground-Truth 结果。可以看到本文方法对细微且形态复杂的血管的分割效果更好，包括对于细微血管的分叉或者端点处都有着良好的分割效果，较之前的方法有良好的提升效果，能够更好地辅助医生来进行诊断及进一步的观测。

图8 眼底视网膜血管分割结果Fig.8 Results of retinal blood vessel segmentation

定量的评价指标结果如表1 所示。AUC 值为ROC 曲线下方与坐标轴围成的面积大小，值越大代表算法的准确性越高，用来衡量算法诊断的准确性。

表1 不同方法分割性能对比（眼底视网膜血管）Table 1 Comparison of segmentation performance of different methods(fundus retinal blood vessels)

由表1 可知，改进U 型网络分割效果最好。本文比较了在骨干网络的基础上对上下文提取编码模块中的稠密空洞卷积模块（Backbone+New DAC）和残差多尺度池化模块（Backbone+New RMP）分别进行改进的分割效果，得知残差多尺度模块改进后效果提升更好，对于视网膜血管、出血点病灶区分布于整张眼底视网膜图像的特征，能有效促进网络对高级别上下文特征信息的利用，从而提升网络分割效果。在骨干网络的基础上本文对上下文提取编码模块进行改进后（Backbone+New DAC+New RMP），效果有进一步的提升。由此可知，对于高级别的特征进行更全面的整合利用对于网络效果提升有很好的促进作用，可以提高整体的分割效果，但是AUC 值提升不明显，可知对细微血管分割的能力提升一般。在骨干网络的基础上，本文提出在特征编码的各尺度阶段加入混合注意力机制模块（Backbone+HAM），AUC 值提升明显，可知加入混合注意力机制模块对有效特征信息的加权，对细微血管特征信息的利用更充分，有助于网络对血管和背景信息进行区分。

2.3 糖尿病性视网膜病变病灶区分割实验

糖尿病性视网膜病变病灶区分割实验采用DIARETDB1 数据集，由89 张彩色医学眼底图像组成，分辨率为1 500×1 152，官方提供了渗出物、出血点等糖尿病性视网膜病变主要病灶区人工标注的像素级标签。本文按照7∶3的比例分为训练集和测试集。

对DIARETDB1数据集进行渗出物、出血点实验，分割结果如图9、图10 所示。从左到右依次为原始眼底图像、U-Net网络、CE-Net网络、本文方法和Ground-Truth 的分割结果。可以看出本文方法对于渗出物、出血点等病灶区的分割效果较好，能够准确地分割出分布零散的病灶区，并且边界清晰，准确性有较好的提升，在不同的光照条件下也能有效地分割出病灶区，鲁棒性良好，为医生诊断提供了很好的辅助作用。

图9 渗出物分割结果Fig.9 Exudate segmentation results

图10 出血点分割结果Fig.10 Bleeding point segmentation results

糖尿病性视网膜病变病灶区分割的定量评价指标如表2、表3 所示。

表3 不同方法分割性能对比（出血点）Table 3 Comparison of segmentation performance of different methods(bleeding point)

由表2可知，针对边界不明显的渗出物病灶区，本文提出对上下文提取编码模块进行改进（Backbone+New DAC+New RMP），分割效果有提升，说明对高级别特征的上下文之间的特征信息进行整合利用，网络能够更好地提取病灶特征信息，有利于病灶区的边界分割。在特征编码阶段加入混合注意力机制后（Backbone+HAM），算法分割准确性、AUC 值都有所提升，说明带权特征信息能够很好地减小噪声信息的影响，对此类病灶区分割效果起到良好的促进作用。

表2 不同方法分割性能对比（渗出物）Table 2 Comparison of segmentation performance of different methods(exudate)

由表3 可知，改进U 型网络的上下文提取编码模块（Backbone+New DAC+New RMP）能够对零散的出血点病灶区特征进行整合，相互之间的特征信息交流让网络更好地提取出小而散的出血点病灶特征，从而提高分割效果。混合注意力机制（Backbone+HAM）有效地突出了病灶区特征对网络的贡献，减小了噪声与背景类的干扰，使得分布零散的出血点病灶区能够更好地分割出来。

3 结束语

针对糖尿病性视网膜病变相关分割任务，眼底视网膜血管以及病灶区特征分布广泛而零散，需要获取更丰富的高级别特征上下文信息以进行更好的特征表征。本文通过改进上下文提取编码模块，在网络特征编码模块的不同维度加入所提出的混合注意力机制模块，对视网膜血管以及病灶区特征加权以突出其对网络的贡献，提高细微血管分叉、端点处以及细小而零散的病灶区的分割性能。实验结果表明，改进U 型网络仅需要很少的附加参数，计算量相较于骨干网络仅增加2.03%，能有效区分前景与背景信息，提升细微血管的分叉、端点处以及病灶区的分割效果，分割性能更精确和更精细，对医生的辅助诊断有积极的促进作用，对将来实现糖尿病的计算机辅助诊断有重要意义。