基于残差混合扩张卷积的深度编解码人类精子头部分割网络*

吕琪贤，范朝刚，詹 曙

(1.合肥工业大学计算机与信息学院,安徽 合肥 231009;2.东部战区总医院,江苏 南京 210000)

1 引言

不孕不育指的是：一对夫妻经历一年没有任何避孕措施的性生活后仍未怀孕[1]。不孕不育症会导致一系列家庭、社会和心理问题[2]，而由男性导致的不孕不育几乎占病例的一半[3]。临床实践中，精子的形状是评价生育力的核心指标之一[4]，故对精子形态的异常进行量化对诊断男性不育有着非常重要的意义[5,6]。

一般地，精子包括头、中、尾3个部分，其中精子功能受头部的畸形影响最大[7]。在精子头部畸形检测中，第一步便是从精子图像中准确地分割出头部。早期，人们对精细胞的形态处理基本上是由人工完成的，但此类方法有着较为明显的缺点，如存在主观性、不准确等[8,9]。在人工方法的诸多弊端显现之后，研究人员提出利用计算机辅助精子分析来诊断男性不育症[10]。有一些方法利用传统算法对精子进行自动检测和分割，Park等[11]在分割精子头部时，采用策略性霍夫曼变换，构造出逼近精子头形状的椭圆，进而对头部进行分割。Nafisi等[12]在对精子的检测中也运用了椭圆近似思想，并且该方法还创新性地利用额外的附加值对非精子目标进行区分。Carrillo等[13]的分割方法用到了直方图分析和大津阈值。Chang等[14]利用聚类方法成功分割出了核和顶体，且收集、构建了金标准数据集。因为精子形态分析任务中十分缺乏此类数据集，因此该数据集的提出是一里程碑式的重要贡献。

然而，以上所述的工作只能处理已染过色的精细胞图像，故而在临床应用实时性方面存在挑战。Ghasemian等[15]的方法是一个里程碑式的工作。他们创建了一个无染色的数据集并予以公开，所提方法也是针对没有经过染色的精子图像。此外，其他的一些工作[16]也建立了和精子形态相关的数据集，以深入推进相关研究。传统机器学习方法也被一些研究人员用于精子的形态分析。文献[17]采用小波变换和梯度分析，并结合掩膜技术来进行精子图像分割处理。在文献[18]中，作者介绍了一种具有良好鲁棒性的检测分割精子各部分的方法，其中利用了自适应窗平均速度跟踪算法。卷积神经网络和支持向量机则被Reza等[19]用来对精子的3个部分进行自动分割。当前，在精子形态分析工作中仅有个别方法采用深度学习神经网络。Nissen等[20]在精子形态的检测分割任务中完全利用了经典卷积神经网络。在另一深度学习神经网络中[21]，作者通过改进HSMA数据集[15]新建了一含有上千幅精子图像的崭新数据集，然后搭建了一个24层的类似于VGG的卷积神经网络对精子头部目标进行检测分析。但是，这2个深度网络只能处理仅含一个精子的图像。

综上所述，利用深度模型对精子头部分割面临以下挑战：(1)没有一个公开可用的无染色的精子数据集；(2)精子图像质量差，如对比度低且含有大量噪声；(3)网络不能高效地处理无染色的含有多个精细胞的图像。针对这些问题，本文首先进行精子图像的收集，建立了一个全新的无染色精子数据集；然后提出了基于残差混合扩张卷积的深度编解码分割网络来对精子头部进行分割。

2 残差混合扩张卷积深度编解码分割网络

本文提出的网络如图1所示，由左边的编码器和右边的解码器2部分构成。卷积层、池化层(最大)、反卷积层和残差块(Residual Block)是本文网络的基本组成单元，长跳跃连接层和混合扩张(空洞)卷积是融于其中的基本模块。左侧的编码器用于提取图像的特征。输入的原始图像先经过3×3的卷积层，再送到堆叠残差模块SRB(Stacked Residual Block)进行特征提取。之后，特征图经过最大池化层(2×2，步长为2)，尺寸降为原来的一半。特征提取操作完毕后，特征图经池化再送入残差混合扩张卷积RHDC (Residual Hybrid Dilated Convolution)模块,之后的输出经上采样层送入右侧的解码器，逐步恢复出原始图像。解码过程中，特征图依次经卷积层(3×3)、残差模块和上采样层，逐步恢复尺寸，直至恢复到原始图像的大小。最终的特征图经过1×1的卷积后，才输出最后的分割结果。参照U-Net[22]的处理，本文也沿用了长跳过连接层。因为这不仅能更好地复用隐层特征和图像特征，还有益于网络训练。为了避免降采样后特征图尺寸过小，编解码路径中3×3卷积的填充(padding)均设为1。以下详细介绍堆叠残差模块和残差混合扩张卷积(RHDC)模块。

Figure 1 Network architecture of deep encoder-decoder segmentation network based on residual hybrid dilated convolution图1 残差混合扩张卷积深度编解码分割网络结构图

2.1 堆叠残差模块

对于深度神经网络，学者们一开始普遍认为：网络输出结果与网络层数和复杂度成正比，但随着研究的深入，发现其实不然。在网络层数增加到一定数量之后，若再继续增加深度，网络输出的结果更差。业界由此开始研究其中的原因，最终该问题被证实是由网络退化(Degradation)所导致的。随后，He等[23]提出了残差结构初步解决了网络退化问题。残差结构起作用的理论逻辑在于：在已训练好的网络上增加新的网络层，新构建的网络层在理想状态下应是直接复制其前面的浅层网络已学习到的特征，即恒等映射(Identity Mapping)。从而，新构建的加深的网络结构的性能最差也不应比浅层网络差。其中，复制操作也是由跳跃连接所完成，它能在不增加网络学习量的情况下将深层的梯度传回至浅层，避免梯度消失，加速训练，进一步提升网络性能。

本文堆叠残差模块中的单个残差块如图2所示。3×3和1×1的卷积交错形成4个卷积层。1×1卷积旨在通过减少后面大的卷积核需要学习的特征通道数来减少网络的学习量。堆叠残差模块(SRB)则是由2个残差单元级联而成。前面残差单元的输出经由BN/ReLU层后再输入到后面的残差单元，整个堆叠残差模块的输出经最大池化后输出到下一层。

Figure 2 Residual block图2 残差块

2.2 残差混合扩张卷积模块

在卷积操作中，增大卷积核的尺寸或者通过池化都能使感受野增大，但这2种处理方式，前者增加了计算量，后者导致信息丢失，均有一定的弊端。为了解决该问题，Yu等[24]提出扩张卷积，并将其成功应用到了图像的语义分割任务中。扩张卷积通过调整扩张率，巧妙地避免了池化操作且在不增加额外计算量的情况下，使感受野扩大。对扩张率为2(Dilation_rate=2)的3×3的扩张卷积，感受野大小为5×5，而普通卷积的感受野大小为3×3，前者将近为后者的3倍大小。但不可避免地，扩张卷积也存在缺陷，即网格问题(Gridding Issue)。当扩张率(Dilation_rate)越来越大时，从输入中采样的数据越来越稀疏，不利于卷积学习。随后，Wang等[25]提出了解决“网格问题”的混合扩张卷积模块HDC(Hybrid Dilated Convolution)，且在语义分割中获得了很好的效果。图3是本文HDC模块的结构示意图，它由级联的3个扩张卷积构成，1、2、5分别是从左到右的3个扩张卷积的扩张率。考虑到低质量的精子图像并受启发于残差思想，本文将残差结构融入到混合扩张卷积模块中，构成最终的残差混合扩张卷积模块，如图4所示。1×1的卷积与BN/ReLU层先后对输入的特征图进行处理，进而输出到HDC中。再接着由BN/ReLU层和1×1的卷积层依次处理后与从恒等映射层复制而来的特征图进行融合，最后再由BN /ReLU层处理后作为输入送到下一单元。

Figure 3 Hybrid dilated convlution model图3 混合扩张卷积模块

Figure 4 Residual hybrid dilated convlution model图4 残差混合扩张卷积模块

2.3 精子头部分割数据集

医学影像分析任务中，数据集是首要必备资源，而和精子形态分析相关的数据集稀缺，可用于深度学习的数据集更少。因此，本文收集并建立了一个人类精子头部数据集。数据的收集是参照WHO 2010[7]的标准来进行的，并将提出的数据集命名为人类精子头部分割数据集HSHS-DS(Human Sperm Head Segmentation DataSet)。中国科学技术大学第一附属医院安徽省立医院生殖中心提供了建立数据集所需的精液样本。精子图像是严格按照先将精液完全液化再用显微镜截取图像的流程获取的。拍摄的图像数量是由精液样本质量直接决定的，为了提高分割的准确率，拍摄和分析一万个以上的精细胞。此外，为了便于处理，所有精子图像的大小都被裁剪为256×256。

对精子图像中的精子头部进行标注前，由医师指导作者先学会区分非目标颗粒和精子头部，再在相关专业人员的帮助下，采用labelme软件[26]给所有图像打上标签。标注完成后，图像分为背景和精子头部2类。数据集包含训练集和测试集2个部分，各自包含1 007幅与200幅图像，总共1 207幅图像和相应的真实标签。精子图像的采集过程中，除了逐像素裁剪外，不曾对图像做其它的额外处理。从另一个角度来说，所提出的网络处理的是原始状态的精细胞图像，因此本文所提出的网络有更好的实际应用前景，能够给医生带来更加客观有效的临床参考。图5展示了其中的一些样本。

Figure 5 Samples of the sperm images and corresponding labels in HSHS-DS图5 HSHS-DS数据集中的精子图像样本和对应的标签

2.4 损失函数

考虑到精子头部属于小目标，因此本文利用交叉熵损失函数计算特征图，能量函数则由Softmax基于最后一步的特征图计算而得。Softmax函数的表达式如式(1)所示：

(1)

其中，ak(X)表示像素点X在特征通道k上的得分，K表示类的数量，本文网络的最终输出结果图中只包含背景和精子头部，即只有一类语义分割结果，因此K取2。pk(X)是像素点X的分类结果，其与类K相对应。

利用加权交叉熵对像素点X的得分pk(X)进行惩罚，加权交叉熵的定义如式(2)所示：

(2)

其中，Ω={1,…,K},l是像素的真实标签；w:Ω→R是决定像素点重要程度的权重函数，其计算公式如式(3)所示：

(3)

其中，wb(X)表示平衡像素类别频率的权重；d1(X)和d2(X)分别表示像素点X到最近的精子头部边界与第2近的精子头部边界的距离；m和σ为系数，在实验中分别设为10和5。

3 实验分析

3.1 训练和设置

训练网络的硬件设备是一块英伟达GeForce GTX TITAN显卡，显存为12 GB。本文采用训练集中的704个样本对网络进行600轮训练。初始学习率设为0.075，在每一轮训练完以后再乘以0.8递减更新。此外，本文采用Adam优化器[27]对网络进行优化。每经过一轮训练，便在验证集(含有303个样本)上对训练损失进行计算并对网络参数进行同步保存。待整个网络训练完成之后，再利用包含200个样本的测试集对网络进行测试。

3.2 评价指标

为了对网络的分割性能进行客观评价，本文一一比较真实标签与分割结果，并计算了6个常用的定量指标。这些指标分别是：DSC系数、平均DSC系数MDSC、平均交并比MIOU、召回率recall、精确度precision和F1-score,它们的计算表达式分别如式(4)～式(10)所示：

(4)

(5)

(6)

(7)

(8)

(9)

(10)

在上述计算表达式中，|A|代表分割结果图中被网络分割出来的所有属于精子头部的像素集合的大小，|B|则代表真实标签中属于精子头部的像素集合的大小，指标的均值是在对测试集中的所有图像计算出的结果取平均而得，也即n取200。

3.3 结果和讨论

由于在本文之前的精子头部分割网络中没有完全采取深度模型来处理的，为了更好地检验本文网络的有效性，利用DeconvNet[28]和U-Net[21]2个在医学图像分割算法中较常用的深度学习神经网络作为对比对象。为了保证比较结果的客观有效性，所有的实验均在完全一致的实验条件下和完全相同的数据集上进行。

表1是3个网络的测试结果对比。从表1中可以看出，本文网络的各项指标均优于DeconvNet和U-Net的。其中F1-score是综合精确度和召回率而设计出的指标。图6展示了这3个网络的输出。在所有的分割结果图中，三角形框表示错误分割，矩形框内则表示未能将该处精子头部分割出来或分割结果较差。很明显，无论是处理含有少量还是多个精细胞的图像，在错误分割或分割遗漏上，本文网络均比其他2个网络表现要好。图6b是含有多个精子细胞的复杂图像的分割结果，通过对比可知，本文网络对含有多个精子细胞的复杂图像中的精子头部同样有着良好的分割能力。

Table 1 Comparison of experimental results

Figure 6 Segmentation of the three networks图6 3种网络的分割结果

表2和图7是本文消融实验的结果对比，其中No-SRB表示在所提出的网络中去除堆叠残差模块，并采用普通卷积层代替所构成的网络。同样，No-RHDC表示在提出的网络中去除残差混合扩张卷积模块，并采用普通的卷积层代替所形成的网络。图7的第2列(No-SRB)显示分割遗漏或分割较差的情况明显要多于后2种，第3列(No-RHDC)中图像边缘处的精子头部分割情况要劣于第4列。实验结果验证了堆叠残差模块可提高网络对于图像特征的提取能力，且RHDC模块能够增大特征提取的感受野，有效提升网络的分割能力。

Table 2 Comparison of ablation experiment results

Figure 7 Segmentation results in our ablation experiment图7 消融实验结果图

3.4 深入评估

文献[19,20]中的数据集和其他传统方法所用的数据集均无法直接用于本文网络的测试，为了进一步评估本文网络的鲁棒性，本节利用公开的前列腺数据集MICCAI 2012[29]对网络进行测试。表3是3个网络的分割结果的统计。图8展示了3个网络的输出结果。通过比较各分割结果图和指标可以得出，本文提出的网络具有良好的鲁棒性。

4 结束语

本文提出了一个融合堆叠残差模块(SRB)和残差混合扩张卷积(RHDC)的深度编解码网络来分割人类精子头部，并且建立了一个含有1 207幅精细胞图像的数据集。本文所提网络能够在无染色、低质量并且包含多个精细胞的复杂图像中对精子头部进行准确分割。此外，本文网络的另一个优点是能够在低放大倍数质量较差的精子图像上良好地工作。由在采集数据过程中没有进行任何其他的处理，所以数据集中的图像呈现出的是精细胞的原始真实状态，因此能够在呈现出精子真实情况的图像中准确地分割出精子头部形状是本文网络的另一个重要优点。本文还在前列腺数据集MI CCAI 2012上对提出的网络进行了测试，网络的分割结果表明所提出的网络具有良好的泛化能力。本文提出的网络可以极大地辅助医生临床诊断精子是否畸形。因此，本文提出的深度学习神经网络分割网络在精子头部分割方面有着很好的表现。

Table 3 Comparison of segmentation performance on prostate dataset MI CCAI 2012

Figure 8 Prostate image segmentation results of the three networks图8 3个网络的前列腺图像分割结果

但由于各方面的限制，本文仍有许多可以改进的地方：(1)在数据集的制作过程中，由于人眼长期工作出现疲劳，在进行标注时无法避免失误情况的出现，因此在后续进行数据集标注时应多增加人手来减少个人的肉眼疲劳，以此来提高标注的准确性。(2)本文所提出的网络虽然取得了不错的分割效果，但在性能和效率上还有待提高，研究更加轻量化、高效的实时分割网络以满足医学临床应用的要求仍是一个重难点任务。(3)由于实验室条件的限制，本文研究的仅仅只是利用深度学习分割网络来对精子头部进行分割，如何设计出能够对精子形态是否畸形做出自动判断的深度模型是需要继续努力的方向。

目前，我们正在继续努力提高所提网络的性能，下一阶段的目标是着力于研究利用深度学习算法进行全面的精子形态分析和人类精子质量评估。