新型下采样法在视网膜血管分割中的应用

【作 者】 吕志金，陈雪芳，赵晓芳，刘华珠

1 东莞理工学院 计算机科学与技术学院，东莞市，523429

2 东莞理工学院 电子工程与智能化学院，东莞市，523429

0 引言

眼底视网膜血管图像作为人体唯一可以直接无创观察的血管图像，其形态和生理特征可以在一定程度上反映某些疾病的进展，专业的眼科医生一般据此进行诊断，但是传统的人工筛查过于烦琐且很大程度上依赖医生的主观意识，因此采用计算机辅助的视网膜血管分割算法已经逐渐成为眼底筛查诊断的研究重点。

最新的一项研究表明，基于深度学习的方法在医学成像领域的不同方向中均取得了优异的成绩，包括肺部分割、糖尿病识别、脑肿瘤检测以及视网膜血管分割等[1]。目前，国内外专家团队已经提出很多算法模型来对眼底视网膜图像进行分割，其中最为经典的是2015年RONNEBERGER等[2]提出的U-Net网络模型，采用对称的U形结构作为模型框架，通过对图像卷积和下采样操作提取特征，然后进行卷积、堆叠以及上采样操作得到分割图像，在各大医学图像分割任务中均取得优异成绩，目前很多算法都是在其基础上改进的。

在U-Net网络的各种变体中，比较经典的是Dense-UNet和Res-UNet网络模型。2016年HUANG等[3]提出了DenseNet网络，其在保证网络层与层之间最大限度信息传输的前提下，将所有层连接以实现图像信息的最大提取，CAI等[4]采用DenseNet模型中的DenseBlock模块替换掉原始U-Net网络的卷积模块，提出了Dense-UNet模型。2015年HE等[5]提出了ResNet网络，通过在输入和输出之间建立一条关联通道，从而很好地解决了梯度爆炸和梯度消失问题，XIAO等[6]通过采用ResNet网络中的残差模块来替换原始U-Net网络的卷积层，提出了Res-UNet模型。这2种模型都是通过增加网络的宽度，从而使模型可以提取更多的特征信息以实现分割性能的提升，但是在性能提升的同时，增加了大量的可训练参数，使得模型的复杂度大大增加。

不同于以往的研究，过去通过堆叠不同模块虽然实现了模型性能的提升，但也增加了模型的复杂度，消耗了大量的算力。我们提出一种新的下采样模块PF池化，其可以更好地融合相邻像素的语义信息。在不同的模型及不同分割任务上进行验证，结果表明采用PF池化替换原始最大池化后，模型性能有了进一步提升，且模型复杂度增加很小，时间开销可以忽略不计，具有良好的泛化性，可以有效地应用于医学图像的分割任务中，辅助医生进行临床诊断。

1 新采样算法

1.1 预处理

视网膜眼底图像往往存在亮度信息不均匀的问题，使得细小血管与背景之间的对比不明显，不利于模型分割。为了更好地实现对微小血管的提取，需要先将原始图像预处理。传统预处理一般采用图像绿色通道G作为灰度图像，并将其作为模型的输入信息，本研究采用RGB三通道加权生成灰度图像（见式(1)）作为模型的输入信息，其中Gray为灰度图中像素点的像素值，R、G、B为原始图像红、绿、蓝三通道像素点的像素值。之后通过图像归一化、直方图均衡化、Gamma矫正提升血管和背景信息的对比度。Gray=0.299h R+0.587h G+0.114h B (1)

1.2 PF池化

如图1所示，其中image为原始图像，我们将其按行列奇偶进行拆分，分别提取对应位置像素，得到4幅图像（image0：奇数行奇数列；image1：奇数行偶数列；image2：偶数行奇数列；image3：偶数行偶数列），所得子图像信息与原图像基本一致。

图1 原始图像分割图示Fig.1 Original image segmentation illustration

受此启发，考虑到传统的最大池化（见图2）简单选取局部最大值作为采样结果的方法可能会导致丢失部分图像信息，于是我们构建了一个可以融合相邻像素信息来实现下采样的模块，模型架构如图3所示。与最大池化方法只取2h 2窗口内最大值不同，我们的模型将采样窗口内4个位置的像素分别提取，然后将对应位置的像素拼接从而得到4幅尺度减半的新图像，之后我们将4幅尺寸减半的图像在通道维度堆叠，最后采用1h 1卷积进行通道压缩，最终实现了原始图像通道数不变，而宽高减半的效果，以此作为模型的下采样模块。与最大池化方法相比，本方法可以保留更多的图像原始信息，进一步提升模型分割准确率。

图2 最大值池化流程Fig.2 Max-pooling flow chart

图3 PF池化流程Fig.3 PF-pooling flow chart

2 实验结果

我们在不同的数据集和模型分别对比采用PF池化方法与最大池化方法的模型，从而证明PF池化模块的有效性和普适性。

2.1 数据集

DRIVE：数据集图像来自荷兰的糖尿病视网膜病变筛查项目，筛查人群为400名25～90岁的糖尿病患者。随机选取其中40张图像组成DRIVE数据集，其中包含33张无糖尿病视网膜病变图像，7张轻度早期视网膜病变图像，取其中20张作为训练集，20张作为测试集。

STARE：数据集图像包含20幅眼底图像，其中10幅存在视网膜病变，10幅不存在视网膜病变，取其中15幅作为训练集，5幅作为测试集。

两个数据集的真实血管分割图均由经验丰富的眼科医生手工分割而成。为进一步扩大数据集的规模，我们旋转和反转操作预处理好的图片，并从每张图像内的圆形感兴趣区域中随机选取200个64像素h 64像素的区域送入模型进行训练（见图4）。

图4 送入模型的64像素×64像素的训练数据Fig.4 64 pixel×64 pixel training data fed into the model

2.2 评测指标

为了准确比较不同模型之间的性能，我们采用4个不同的评价指标进行比较，分别是ROC曲线下面积、准确率VAcc（见式(2)）、F1分数（见式(3)）和灵敏度VSen（见式(4)）。

式中：TP、TN、FP、FN分别表示预测为血管且预测正确、预测为背景且预测正确、预测为血管且预测错误以及预测为背景且预测错误；Vprecision表示精准率（见式(5)）；Vrecall表示召回率（见式(6)）。

2.3 实验结果

通过与输入图像为RGB三通道图像、采用G通道灰度化后图像以及本研究所采用的三通道加权灰度化后的图像进行比较，从图5的各项指标中可以看出，采用本预处理方法处理得到的图片，其血管与背景的对比更加明显，模型最终分割性能更加精准，可以更加高效地实现对微小血管的分割。

图5 不同灰度化方法处理的分割结果对比Fig.5 Comparison of segmentation results processed by different grayscale methods

其次在不同的模型上对所提出的PF池化模块进行评测。首先搭建一个原始的U-Net网络，然后将其中的最大池化模块替换为本研究所提出的PF池化模块，比较结果如表1所示（其中加黑部分为所处指标内最优结果，所有结果均为百分制），从表1可以看出PF池化在各项指标上均优于采用传统最大池化的U-Net模型，并且在STARE数据集的F1分数指标上获得了1.93%的巨大提升，这表示PF池化可以更加有效地提升微小血管的分割精度，并且图6使用了PF池化的网络模型，在每一轮迭代中性能均优于采用原始最大池化的分割模型，且收敛更快更平缓。

表1 模型各项指标比较（%）Tab.1 Comparison of various indicators of the model（%）

图6 不同下采样方法在U-Net模型上的性能对比Fig.6 Performance comparison of different down-sampling methods on the U-Net model

下面在其他最新提出的模型上对PF池化模块的泛化性进行验证，结果如表2所示（其中加黑部分为所处指标内最优结果，所有结果均为百分制），从表2中各项指标可以看出使用了PF池化作为下采样模块的网络模型在各项指标上均有所提升，这表明所提出的PF池化模块具有良好的泛化性，可以很好地适应不同的网络架构，从而提升模型性能。

表2 PF池化泛化性验证Tab.2 PF-pooling generalization verification

为了进一步验证PF池化模块的泛化性，在DSB2018数据集上使用U-Net网络模型进行评测，从图7(c)、(d)的左上白色圆圈部分可以看出，使用了PF池化模块的U-Net网络可以更好地融合相邻像素的语义信息从而实现精准分割，这进一步证明了PF池化模块具有良好的泛化性。

图7 DSB2018数据集泛化性验证Fig.7 Generalization verification on DSB2018 dataset

3 结论

本研究提出了一个具有良好泛化性的下采样模块PF池化，与传统最大池化模块相比，其可以更好地融合相邻像素间的语义信息。我们在视网膜血管分割任务及细胞分割任务中对所提出模型进行验证，实验结果表明，使用PF池化作为下采样模块的模型分割性能优于采用最大池化模块的网络模型，可以更加有效地实现对眼底细小血管的提取。不同模型及不同分割任务的实验结果表明，PF池化模块具有良好的泛化性，可以有效地应用于医学分割任务，提升分割精准度。