基于U型卷积神经网络学习的前列腺癌影像重建模型在手术导航中的应用

颜 野，夏海缀，李旭升，何 为，朱学华，张智荧，肖春雷，刘余庆，黄 华，何良华，卢 剑△

(1. 北京大学第三医院泌尿外科，北京 100191； 2.同济大学电子与信息工程学院，上海 400047； 3. 北京大学第三医院放射科，北京 100191； 4. 北京理工大学计算机学院，北京 100081)

前列腺癌是男性生殖系统最常见的恶性肿瘤，占2018年全球新发癌症病例的7%，同年全球前列腺癌相关死亡人数高达359 000人[1]。而在国内，随着前列腺特异性抗原(prostate specific antigen，PSA)筛查的普及，近10年来前列腺癌的发病率也逐年上升。目前腹腔镜或机器人辅助下前列腺根治性切除术已经非常成熟，但对于一部分肿瘤局部腺体外侵犯，或者局部肿瘤轮廓外突的患者，仍然存在切缘阳性、直肠损伤、早期生化复发，甚至术后早期远处转移的风险，威胁患者中远期存活[2-3]。高精度的器官重建，配合手术过程中的实时导航，将能够准确、及时地向术者反馈前列腺本身、肿瘤大小、位置以及周围重要临近结构的解剖关系，降低切缘阳性率的发生，并能更精确地保留神经血管束等功能性结构[4]。

在泌尿外科领域，国外一些学者从2010年起即做出了开创性的尝试，围绕CT数据对肾脏等肿瘤脏器进行建模，或进一步通过3D打印进行术前及术中认知辅助导航[5]。近年来,随着达芬奇机器人的应用和TilePro多屏融合技术的推广，一些团队已经成功实现了增强现实同步导航[4]。国内目前在前列腺肿瘤3D图像重建和手术导航方面的探索还处于起步阶段，有研究基于多参数磁共振进行前列腺3D重建，从而辅助提高前列腺穿刺活检的准确度[6]。随着深度学习研究的全面发展，特别是卷积神经网络的研究得到了越来越多的关注，已有部分学者应用卷积神经网络对前列腺CT或磁共振图像进行整体分割[7]。本研究根据临床手术需求，应用U型卷积神经网络(U-shaped convolutional neural network, U-net)对前列腺磁共振图像进行结构化自动化分割，应用自主研发的算法进行三维重建，辅助术前及术中认知导航完成腹腔镜前列腺癌根治术，以期降低围手术期并发症风险，提高患者的非特异性肿瘤生存率。

1 资料与方法

1.1 图像获取及参数

前列腺穿刺前行多参数磁共振检查，使用西门子3.0T磁共振扫描仪，应用腹部相控阵列线圈接受信号，扫描包括周围、矢状位及冠状位快速自旋回波(turbo spin echo，TSE)T2WI以及轴位T1WI。使用单次激发平面回波成像(echo planar imaging，EPI)序列进行弥散成像轴位扫描，磁共振扫描仪自动计算生成ADC图像，导出1 mm厚度的薄层DICOM数据，应用RadiAnt DICOM Viewer V4.6.5隐去患者基本信息，以用于后期自动化分割。

1.2 构建U-net用于前列腺磁共振图像的精确分割

1.2.1U-net的结构设计 在Ronneberger等[8]2015年提出的经典U-net基础上，通过适应性改良，构建了一套结构简单、性能优秀的U-net(图1)。首先将320×320像素的原始磁共振图像进行中心剪裁，成为256×256像素的图像输入网络(input image tile)。网络的左侧为压缩路径(contracting path)，是由最大池化(max pooling)构成的一系列降采集操作。压缩路径由4个块(block)组成，每个块使用了3个有效卷积和1个最大池化降采样，每次降采样之后特征图(feature map)的个数乘2，因此有了图中所示的特征图尺寸变化，最终得到了尺寸为16×16像素的特征图。网络的右侧为扩展路径(expansive path)，同样由4个块组成，每个块开始之前通过反卷积将特征图的尺寸乘2，同时将其个数减半，然后和左侧对称的压缩路径的特征图合并。压缩路径中的特征图尺寸稍大，将其修剪过后进行拼接。扩展路径的卷积操作依旧使用的是有效卷积操作，最终得到的特征图尺寸是256×256像素。

图1 改良U-net的架构Figure 1 Modified U-net architecture

1.2.2网络训练 为了能让网络有分离边界的能力，我们设计了带边界权值的损失函数：

其中，p(X)是$$softmax$$损失函数，:Ω→{1,…,K}是像素点的标签值，ω:Ω∈是像素点的权值，目的是为了给图像中贴近边界点的像素更高的权值。

其中，ωc:Ω∈是平衡类别比例的权值，d1:Ω∈是背景像素点到距离其最近的分割标签(label)的距离，d2:Ω∈则是背景像素点到距离其第二近的分割标签的距离。ω0和σ是常数值，在实验中ω0=10,σ≈5。反之，从分割标签像素点到其最近及次近的背景像素点，再做一次上述操作。由此给实际情况(ground truth)提供权重，如图2中的C图所示，颜色越亮表示权重越大，网络如果在对应像素处做出错误的决定时，其惩罚越大，从而可以大幅度提高边缘分割的效力。

1.2.3解剖性结构细分要求下的网络改良 既往文献报道将前列腺、精囊以及周围血管神经束作为一个整体进行分割[9]，本研究为了满足精细化手术导航的需求，对前列腺及其周围相邻结构(如双侧精囊腺以及直肠等)进行了独立化分割(图2)。与传统经典型U-net相比，我们将“conv 3×3，ReLU”这一步优化成“conv 3×3，batch normalization，ReLU”，以加快模型的收敛速度，并在一定程度缓解了深层网络中梯度弥散的问题，从而使得训练深层网络模型更加容易和稳定。另外，我们对ωc(X)进行了开平方根处理，从而使得网络学习时既有侧重，又不至于对背景过于忽视；同时，对ground truth中分割类别轮廓的两侧都进行权重的加强，并通过调整加强的程度，使得内侧的强度更大，这样训练结果倾向于偏大的轮廓，在实际导航应用中起到有效降低切缘阳性的作用。需要特别指出的是，结合既往经验，U-net通常仅需要数十幅图像通过数据扩增即可达到数百幅图像，获得良好的分割效果，本研究采用的训练集约含有201例病例(每例含有24～30幅图像，共约5 000幅图像)，为保证本研究网络的真实可靠性而放弃了任何形式的数据扩增，所有训练都基于原始图像分割。

A, original magnetic resonance images; B, human segmentation; C, priority assignment; D, U-net segmentation图2 U-net进行前列腺及相邻结构分割示例Figure 2 U-net auto segmentation for prostate with adjacent structures

1.2.4网络性能 对含有98例前列腺癌多参数磁共振图像数据的测试集应用中，在没有任何预处理的情况下，我们用改良的U-net进行自动化分割，并计算翘曲误差(warping error)、兰德指数(Rand error)和像素误差(pixel error)，本研究的网络取得了0.000 340的翘曲误差和0.036 0的兰德指数，且Dice相似度系数达到90%，与人工分割和应用既往报道的反卷积网络分割性能对比见表1。通过人工校对发现，由于网络设计了双向边界权重加强，因此，对体积相对微小结构的分割存在一定程度的低效，例如神经血管束及背静脉复合体。

表1 U-net性能与其他分割效果对比Table 1 Comparison of U-net performance with other segmentation methods

1.3 高精度3D重建

将上一步全自动U-net分割获得的数据导入医学影像处理交互平台(Medical Image Interaction Tool Kit，MITK)[10]，以边界轮廓线基本算法为核心编写三维重建算法进行三维重建，由于磁共振原始数据层厚为5 mm，为提高视觉观感，将重建后图形进行高斯平滑处理，平滑系数0.3，迭代10次，又因为多次平滑后器官体积坍缩，再进行3.5%的整体放大以补偿，最后将各部分结构数据以独立STL格式文件输出。

1.4 术前认知辅助及术中实时认知导航

将STL数据导入安卓平台平板，应用STL Viewer V2.0 进行浏览，要求术者术前结合磁共振对前列腺3D模型结构进行学习。术中助手根据手术视角，操控3D模型进行实时展示。术者结合平板展示的3D模型，进行精细结构的分离与操作。

2 结果

肿瘤可视化演示如下。男性患者，73岁，体检发现总前列腺特异性抗原 (total PSA，T-PSA)30.0 ng/mL，游离前列腺特异性抗原(free PSA，F-PSA) 3.87 ng/mL，F/T=0.13；磁共振结果提示，肿瘤主要分布于腹侧，基底部肿瘤向上方突出，局部包膜模糊，考虑腺外侵犯可能(图3)。穿刺提示7/14针阳性，前列腺腺泡癌，Gleason评分4+5=9分；骨扫描阴性；临床分期cT3aN0M0。手术顺利完成，手术时间165 min，失血50 mL，术中因粘连严重，未保留双侧神经血管束，术后留置尿管,2周后拔除，可自主控尿。患者总住院时间7 d。术后病理提示：前列腺腺泡癌，主要分布于腹侧偏基底部分，累及左、右叶，基底部肿瘤凸向左上方，切缘阴性，清扫淋巴结阴性，Gleason 评分5+4=9分。全病理切片癌灶与3D重建模型高度吻合(图4)。

图3 患者前列腺磁共振T2WI图像Figure 3 T2WI images of demo patients

A, U-net segmentations on original magnetic resonance images; B, left sagittal view of auto reconstructed 3D model; C, axil view of 3D model (cephalad to caudal); D, gross specimen (cephalad to caudal)图4 分割重建实体标本Figure 4 Segmentation, reconstruction model and gross specimen

3 讨论

近年来，随着深度学习研究的流行，卷积神经网络得到了广泛关注。Lecun 等[11]于1998年首次提出利用多层卷积神经网络结构实现手写字符的判别，这是卷积神经网络用于图像处理的基石。经过了几十年的发展，越来越多的学者将卷积神经网络应用到医学影像数据处理中，通过“预先训练+结构微调”的方式完成影像学器官的分割与识别[12]。Korez等[13]应用三维卷积神经网络，对磁共振图像的椎体进行了分割。Brosch等[14]应用深度三维卷积网络，进行多尺度特征融合，进而对多发性硬化症的病灶进行了分割。Ranneberger等[8]提出了U-net，对海拉(HeLa)细胞悬浮液的病理压片进行了很好的细胞壁结构分割。Martínez等[15]在Bayesian框架下，使用了预先设定的椭球形状进行约束，进而对前列腺进行分割。邵叶秦等[7]提出了基于随机森林的算法，在CT影像上对前列腺进行整体分割，取得了一定的效果。前列腺为一椭球型致密器官，与肌肉和筋膜密度接近，组织间对比度低，在传统的CT影像上存在较大的分割困难。凌彤等[16]则利用U-net，综合应用CT与MR-T1WI数据，结合各自的优势，提高了3%的Dice(89.59%)分割精度。詹曙等[9]则基于50个样本的训练集，利用反卷积神经网络对前列腺T2WI磁共振图像进行分割，取得了Dice相似性系数大于89.75%的效果。

既往的研究主要对包括前列腺、精囊腺、前列腺周围神经血管束等邻近结构在内的整体器官进行一体化分割，而临床工作中，特别是前列腺癌根治手术中，临床医生更需要知道前列腺肿瘤和神经血管束位置、前列腺与直肠是否粘连、精囊腺是否被侵犯等复杂的相对位置信息。本研究以此为切入点，提出了以临床需求为导向的区域化多结构精细自动分割理念。通过既往的一套基于201例训练样本的成熟U-net，实现前列腺腺体、主要瘤体、精囊腺、直肠和神经血管束等重要结构的单独分割，并通过进一步的三维重建，直观地显示各部分结构之间的相互关系以及肿瘤侵犯程度。

随着影像扫描精度的提高，人体内部结构的成像越来越清晰，通过对影像数据的再挖掘，实现了器官和精细结构的分割与重建。随着材料技术的兴起和3D打印技术的普及，一些学者将3D重建模型打印出来，帮助临床工作者加深认知，从而提高操作精确度和指向性，这种非实时性的辅助技术被称为认知辅助导航。Ebbing等[17]将3D打印的模型展示给放射科专家，取得了19%的解剖认知度提高。王燕等[6]应用3D打印技术对行前列腺活检的医生进行辅助认知导航，将穿刺阳性率从系统性穿刺时的22.4%提高到靶向穿刺时的46.2%。本研究应用高精度3D重建技术，对术者进行认知导航辅助，在术前和术中对一个外生性的肿瘤进行了很好的展示和理解，术中通过实时观察比对，实现了高难度肿瘤的完整切除，保证了切缘阴性及手术安全。

但需要进一步明确的是，认知导航并不是完美的导航方案。从导航的角度出发，大致可以把导航分为三个阶段：第一阶段，术者进行阅片，将断层信息经过大脑的主观重建后，根据记忆拟合到手术场景中，这需要依赖于术者高超的空间位置重建能力，对术者本身的素质依赖较大，且潜在的偏差也较大；第二阶段，根据断层信息，重建出3D数字模型或打印模型，能基本客观地反映实际病变和器官的物理信息，术者通过术前学习3D建模或术中实时展示，将体外模型拟合到手术场景中，相较于第一阶段，3D建模的出现替代了人脑建模，在准确度、精确性、相对位置关系上更为客观可靠，但仍需要人脑主动拟合两个场景的信息；第三阶段，将高精度重建的三维模型，实时准确地映射到手术图像(场景)中，从而实现增强现实同步导航，这一阶段可以同时克服人脑重建和人脑拟合的不准确性。国外的诸多学者已经在增强现实技术方面进行了开创性的探索。Volonté等[18]应用基于显示屏图像重叠的技术，实现了肝脏部分切除术的增强现实导航。在泌尿外科领域，Teber等[19]应用增强现实技术，通过手工配准的方式，完成了高难度的肾门部肿瘤肾部分切除术。Ukimura等[4]于2013年美国泌尿外科协会年会上率先展示了应用TilePro多屏融合技术实现的增强现实同步导航前列腺癌根治术。而Porpiglia等[20-21]报道了利用高精度磁共振实现的超精准三维重建(HA3D)增强现实导航技术，有效降低了包膜外侵犯病例的切缘阳性率，同时将3D模型与全病理切片的误差降低到了3 mm水平。

本研究整合了图像分割、识别、配准、3D重建、神经网络设计、病理校对等多方面的技术与努力，但现实中面临的不足在各个环节中都有所体现，例如分割环节，目前神经网络与人工图像分割的精度匹配度不足90%，如何优化算法，或者加入多模态信息，提高精确度，降低错配率，是所有工作的重中之重。再如术后病理切片，由于切割角度与实际磁共振扫描角度存在差异，同时考虑到包埋和固定脱水后组织形变的影响，如何将术后病理切片信息与影像信息精确匹配，也关系到分割算法的核准可靠性。此外，从认知导航到增强现实导航的跨越中，涉及到多屏融合、视觉实时反馈以及自动配准等技术难题，这些都有待我们进一步的探索和开发。