基于控制点特征学习的前列腺组织轮廓线提取方法

金海燕,张 锦,王海鹏,肖照林*,王 刚,陈 晶,张 雨,白志明

(1.西安理工大学 计算机科学与工程学院,陕西 西安 710048;2.陕西省网络计算与安全技术重点实验室,陕西 西安 710048;3.海口市人民医院,海南 海口 570208;4.海南大学,海南 海口 570228)

0 引 言

前列腺增生、前列腺炎、前列腺癌[1]等一直是全世界男性所面临的常见疾病。前列腺癌临床检测方法包括特异性抗原检测(Prostate-Specific Antigen,PSA)、穿刺活检、前列腺B超和核磁共振成像(Magnetic Resonance Imaging,MRI)[2]检查等。前列腺疾病的影像分析主要采用核磁共振加权(T2 Weighted,T2W)成像和弥散加权成像(Diffusion Weighted Imaging,DWI)两种, 其中T2W(T2 Weighted)图像细节较为清晰,适合观察病变组织;而DWI(Diffusion Weighted Imaging)成像边缘细节虽比T2W成像模糊,但更适合观察正常细胞和癌细胞的放射吸收率差别。

针对核磁共振影像前列腺组织的轮廓线分割问题,学者们提出了多种典型的分割方法。文献[3]提出将多图谱分割与椭球形状先验相结合,以椭球先验作为前列腺轮廓线的形态约束条件,从而实现多图谱的前列腺轮廓准确分割。依据前列腺轮廓包膜组织与周围其它组织的差异,可采用曲线拟合法[4]、微分法[5]等进行轮廓线图像分割。此外,随着监督学习和非监督学习理论的发展,提出将前列腺图像逐像素的邻域提取特征向量,并将特征向量作为神经网络输入,从而将前列腺组织分割转化为二分类问题。针对T2W成像结果,提出将目标图像与带状扫描数据进行注册,并提取注册结果的双图谱特征,最终采用模糊C均值聚类方法实现对前列腺组织过渡区与外围区的有效分割。上述方法需要对前列腺组织的特征进行向量化描述或显示建模,其前列腺轮廓线分割结果的优劣依赖于特征提取的质量。

近年来,深度学习理论在医学图像处理领域取得了许多显著成果。其中,在卷积神经网络(Convolutional Neural Networks,CNN)[6]的基础上,已发展出了如反卷积网络[7]、对抗生成网络[8]、DeepLab网络[9]等多种不同的网络结构。针对1.5T和3.0T通量的T2W图像,文献[10]提出采用全卷积的U-Net网络结构进行前列腺组织分割,并在由40位患者的数据集上取得了准确的轮廓分割结果。同样是采用具有编码器-解码器结构的U-Net[11]网络,文献[12]在U-Net[13]网络中加入压缩-激励模块(Squeeze-and-Excitation blocks),提出了更具泛化性的T2W前列腺组织分割新网络。文献[14]提出采用具有双向递归卷积层的网络,将MRI(Magnetic Resonance Imaging)图像中不同切片层间信息作为序列输入,以补充单个切片层轮廓线信息的不足,从而提高了对T2W图像上前列腺组织的分割精度。文献[15]提出了一种在DWI中通过一组全卷积神经网络全自动描绘前列腺和前列腺过渡区的算法,在三维DWI体积内检测包含部分前列腺的切片,并自动分割前列腺及其过渡区,并取得了较高的分割精度。文献[16]对MRI切片进行激活映射,生成对应的粗概率图,引入相似度模型对其细化,并输入残差U-Net网络得到更加精准的前列腺分割结果。文献[17]使用非负矩阵分解精确DWI分割区域,从分割区域估计以表观扩散系数(ADC)体积形式存在的鉴别特征,并采用迁移学习检测和识别前列腺癌。文献[18]采用Dense UNet网络对MRI序列进行训练分割,可以将无需手动分析且独立于其他MRI序列的定量成像标记,有助于前列腺癌的检测和分类。文献[19]提出的MRI兼容性生成对抗网络,其多尺度判别器由两个结构相同但输入大小不同的判别器组成,目标函数包含对抗损失与特征匹配损失,可以使网络稳定训练并获得更好的收敛性。

综上所述,目前针对前列腺组织T2W图像的轮廓线分割已有一些相关研究工作,然而直接在DWI图像的前列腺轮廓线分割结果仍研究较少。因此,该文提出采用U-Net网络直接对DWI图像进行前列腺组织轮廓线分割。与现有边缘分割算法不同,该方法通过对轮廓线控制点的特征学习,实现对前列腺组织轮廓线控制点的准确检测,进而采用曲线保凸拟合方法生成轮廓线分割结果。由于采用控制点学习的策略,该方法在已标注的小样本数据集上就可以对U-Net网络进行充分训练,且能够有效应对DWI影像的模糊边缘问题。主要贡献包括以下两点:

(1)基于医生对前列腺DWI图像边缘的标注结果,提出一种轮廓线控制点学习样本的自动生成方法。

(2)提出一种对前列腺组织轮廓控制点的特征学习方法。该方法避免从较模糊DWI图像直接提取边缘,优势在于仅需少量前列腺轮廓的已标注样本就可对神经网络进行训练,且具有较高的轮廓线提取精度。

1 前列腺轮廓线控制点的特征学习

针对DWI图像的弱梯度变化问题,提出一种基于控制点学习的前列腺轮廓线检测方法,其核心思想是避免直接检测边缘,而将可决定前列腺核体外包络形状的特征点(为了与其他图像特征点进行区分,下文称之为控制点)作为检测重点。由此,将模糊边缘检测问题转化为对少量的关键特征点的检测问题。

1.1 轮廓线标注及控制点生成

与经典特征点检测算法不同,该文采用神经网络监督学习方式对轮廓线控制点进行检测。临床医生手工标注的DWI图像数据采用三通道的RGB文件格式保存。其中,前列腺轮廓线标注为红色,该文以医生标注结果为前列腺轮廓的真值图,即Ground Truth (GT)图。在真值图中依据红通道标注结果确定前列腺组织轮廓线,其像素集合Q为:

Q={(x,y)|R(x,y)=255}

(1)

其中,R(x,y)代表像素坐标(x,y)处红色通道的值。该文选取Q集合像素点固定比例作为控制点样本进行网络训练,其数量用Nr表示。为了控制样本点间距,采用X方向的均匀采样方式,间距D计算如公式(2)。

(2)

式中,xmax和xmin分别是Q集合中像素X坐标的最大值和最小值。因此,所选的控制点集合C为:

(3)

控制点生成算法如下所示:

输入:经医生手工标注的DWI图像I

输出:前列腺轮廓控制点集合C

Step1:读入图像I,利用式(1)提取医生标注的前列腺轮廓像素集合Q

Step2:通过轮廓像素集合Q的数量,确定控制点样本数量Nr

Step3:从Q集合选取像素点,得到控制点集合C

Step3.1:通过集合Q确定其X方向像素的极值xmax与xmin

Step3.2:利用式(2)计算X方向均匀采样距离D

Step3.3:在X方向上每次移动D提取Y方向前列腺轮廓的上下边界ytop与ybottom

每张DWI图像可生成Nr个控制点,当已标注的DWI图像为K张时,可学习样本共Nr×k个控制点。相较于直接学习轮廓线的方法,控制点学习样本数量为其Nr倍,且控制点特征相比于轮廓线更为简单,故该文的控制点学习策略较适合小样本数据集,对已标注的前列腺轮廓线数据量要求较低。

1.2 控制点学习网络构建

(4)

假设θ存在先验分布g(控制点的特征),则控制点学习可认为是以下最大后验概率估计问题。

(5)

为了对C集合的概率分布进行量化,以标注控制点特征概率扩散方式形成量化的可学习样本。因此,任意像素点是轮廓线控制点的概率p(x,y),可看作是控制点集合C中各点的扩散结果。

(6)

其中,γ(p(x,y),pci)为依据两点距离的扩散衰减函数。

γ(p(x,y),pci)=(1/a)‖p(x,y)-pci‖2

(7)

其中,a为扩散衰减系数。依据控制点集合C,采用公式(6)和(7)可计算已标注图像中所有像素点可作为控制点的概率。由于概率值很小的样本点没有学习和参考的意义,因此当p(x,y)<0.5时,将p(x,y)概率置为0,由此得到真值图中控制点的概率图P。P中概率即为控制点学习网络的学习输入及预期输出。

对控制点训练及检测方法的总体流程如图1所示。如表1所示,所用U-Net型卷积神经网络的卷积层与反卷积层各4层,‘Conv2d’表示二维卷积操作,‘Concat’表示concatenate操作,‘BN’表示batch normalization操作,‘Pool’表示pooling操作。

图1 文中方法的总体流程示意

表1 前列腺控制点学习的U-Net网络结构

1.3 网络训练及轮廓线预测

一组训练数据中,包括用于输入网络的原始DWI图像I,以及被当作预期输出的控制点概率图P。考虑到预测控制点概率图P'控制点的概率和分布对拟合轮廓线较为重要,故设计了如下的损失函数。

L=λ1L1+λ2L2

(8)

L1=(P'(x,y)-P(x,y))m

(9)

式中,损失值L分别由控制点的概率差异损失L1和分布损失L2以及权重λ1和λ2加权构成,如图2所示,λ1和λ2由设置多组参数系数进行实验对比获得。概率损失L1计算预测控制点与预期控制点的概率差异,m为概率图差异的幂次方。 由于公式(7)导致控制点的扩散效应,目标点周围像素点作为控制点的概率也较高,故将控制点的空间分布也作为损失函数的计算项。

图2 概率差异损失与分布损失的示意

(10)

实验所使用的数据集为海口市人民医院泌尿外科医生所标注的10组临床前列腺DWI造影数据(具体见2.1节)。为了更好地利用已标注数据集,在训练阶段还对训练数据集进行增强(Data Augmentation),包括垂直翻转、45°旋转和-45°旋转。由此,可将原始数据集由400张扩充至1 600张,并将该1 600张作为训练数据集,额外100张作为测试数据集。网络训练阶段,该文采用多轮次迭代的随机输入模式训练样本。每次迭代(Epoch)过程前,对样本再次进行随机排序。

在轮廓线预测阶段,对于任意输入的DWI图像,采用上文所述的U-Net卷积网络计算,将会得到一张预测的概率图P',P'中的每个像素点值代表该点可作为轮廓线控制点的概率。但是,上述神经网络模型仍将预测出大量候选的控制点。该文采用腐蚀和二值化操作再次缩减候选点数量,最终使得保留的候选点数量接近Nr,进而利用保凸拟合方法生成最终的轮廓线。

2 前列腺轮廓线的检测实验

2.1 实验数据集与测试平台

实验采用海口市人民医院泌尿外科医生所标注的10组临床前列腺DWI造影数据,每组样本包含8-14位患者的DWI分层核磁共振扫描影像,每位患者DWI数据包含40张左右的轴向切片,其中的前列腺轮廓已由医生采用图1的方式手动标注。数据集中DWI图像分辨率为256×256像素。使用垂直翻转、45°旋转和-45°旋转的方式,将原始数据集由400张扩充至1 600张,并将该1 600张作为训练数据集,额外100张作为测试数据集。

该文采用Python3.7及PyTorch 1.2版本构建U-Net深度神经网络。训练过程中,为了确保良好的收敛性并降低收敛速度,将初始学习率设置为0.000 5,并逐Epoch递减为前一次的0.2倍。训练中Batch size设置为1,采用Adam优化器进行网络优化迭代。

2.2 轮廓线检测结果分析

为了测试算法提取前列腺轮廓线结果的质量,实验分别采用相似性系数(Dice Similarity Coefficient,DSC)、豪斯多夫距离(Hausdorff Distance,HD)、平均对称表面距离(Average Symmetric Surface Distance,ASD)三种评价指标对结果进行定量评价。

在测试数据集上,首先比较采用相同网络结构直接提取轮廓线的方法[20]与文中方法,结果如表2所示。

表2 不同轮廓线检测方法的结果对比

相较于轮廓线的提取方法,文中方法检测轮廓线更为准确。在训练数据集越来越少的情况下,文中方法的结果明显优于直接提取轮廓线方法的结果。这样证明了所提的检测轮廓线控制点策略在小样本数据上优于直接检测轮廓线的特征。

图3显示了多组不同病患DWI原始图像、医生手工标注结果、文中网络的输出结果及拟合的前列腺轮廓线。从图3中可以看出,文中方法预测的控制点拟合的闭合轮廓线基本覆盖了前列腺组织,且在不同病患数据上的轮廓线拟合效果与医生标注形状非常接近。当前列腺组织较大且边缘圆滑时,文中方法检测效果较好;当前列腺组织较小且边缘扁平时,检测结果与标注结果存在明显差异。表3统计了对应图3的3种量化评价指标,其中DSC重合率结果均高于80%.

(a)原始DWI图像 (b)手工标注前列腺轮廓线 (c)网络输出的概率图 (d)轮廓线拟合结果图3 多组不同患者数据上的前列腺轮廓线提取结果

表3 不同病例的前列腺轮廓线检测结果

表4给出了不同分割方法在本数据集上的数值评价结果,对比方法包括:U-Ne[20]、FCNt[21]、SegNet[22]、ResUNet[23]、ResUNet++[24]、RAUNet[25]、CaraNet[26]、PraNet[27]。由表4的数值结果可以看出,其余医学图像网络分割方法虽然也可以分割出DWI前列腺轮廓,但其分割精度仍存在提升空间。文中方法分割的DWI前列腺轮廓在DSC、HD两个重要指标上均优于其它方法,DSC值为85.3%,已达到MRI分割结果的较高水平,验证了该方法对DWI前列腺分割的准确性.

表4 不同深度学习网络的前列腺轮廓线检测结果

图4中6组数据,分别在同一幅图像上可视化了文中方法预测得到的前列腺组织轮廓线与医生手工标注轮廓线的差异。

图4 6张测试数据集的轮廓区域可视化对比(浅灰色部分为医生标注,深灰色部分为文中预测,白色部分为两者重叠)

由图4可见,文中方法预测的轮廓线与医生标注的轮廓线具有很高的相似度。为了体现不同轮廓线检测方法提取前列腺区域的差异,在图5中可视化对比几种方法分割出的前列腺形状。从图中可以看出,文中方法由DWI图像提取出的前列腺形状最接近医生手工标注的结果,进一步证明了所提方法对轮廓线控制点检测的准确性。

(a)医生标注 (b)FCN (c)U-Net (d)SegNet (e)ResUNet (f)ResUNet++ (g)RAUNet (h)CaraNet (i)ParNet (j)文中方法图5 不同方法检测前列腺区域形状的对比结果

3 结束语

提出了一种基于控制点特征深度学习的前列腺组织轮廓线检测方法。与现有依据边缘直接检测轮廓线的方法不同,该文采用U-Net神经网络检测控制点,进而使用曲线保凸拟合生成最终轮廓线。提出了适合控制点特征学习的概率损失与分布损失,将控制点检测建模为一个最大后验概率估计问题,故神经网络输出为一张各个像素点作为轮廓线控制点的概率图。相较于直接学习轮廓线特征,控制点特征学习较为简单且所需的医生标注数据量较低,故该方法较适合仅具有小样本标注数据的任务。在真实的临床病患数据集上,采用DSC、HD、AS三种指标对比了多种现有的轮廓线提取方法,结果表明该方法拟合的前列腺轮廓线更接近与医生标注的结果,从而证明了该方法的有效性。 进一步而言,在病患前列腺形状发生较大变化时,该方法的分割效果有待提升,这反映出该方法较依赖于医生标注数据集,若考虑更加精准的控制点拟合曲线方案则可提升分割结果。此外,目前该方法仅考虑DWI扫描单层图像上的控制点特征及其二维分布特性,后续将进一步考虑多层DWI图像中控制点的三维分布,或可进一步提高控制点检测的精度。