脑肿瘤三维可视化模型自动重建技术的开发及临床应用

【摘 要】目的：研究和开发一种基于头颅多模态核磁共振成像（magnetic resonance imaging，MRI）的影像学数据，自动重建常见脑肿瘤及其周围重要结构的三维可视化模型，并验证其效能及临床适用性。方法：收集常见脑肿瘤头颅多模态核磁共振影像数据，并将其分为训练集、验证集和临床测试集。在训练及验证中，通过3D深度卷积神经网络的算法训练系统自动分割并重建出脑肿瘤及周围结构的能力；在临床测试集中分别用系统及人工手动的方法完成重建，比较本系统自动重建与手动重建之间的重建效率及图像质量。结果：在完成1例肿瘤及周围结构一体化模型重建的时间花费上面，系统用时由人工用时的（5 442±623） s减少至（657±78） s，差异有统计学意义（t=27.530，P=0.000）。且系统重建出的模型与原始影像学图像具有高度一致性（Dice系数为0.92），系统重建出的图像与人工重建的图像在质量方面并无明显差异。结论：基于多模态影像学数据，运用深度学习等算法对脑肿瘤及周围结构进行自动分割及全自动三维可视化重建，具有准确、高效、可靠的优点，对于脑肿瘤的诊断和手术计划的制定具有重要意义。

【关键词】机器学习；多模态MRI；脑肿瘤；三维可视化模型

【中图分类号】R651.1+9 【文献标志码】A 【收稿日期】2023-10-14

脑肿瘤是神经外科常见的疾病之一，针对大部分颅内肿瘤，目前采用以手术为主的治疗方案。但当肿瘤生长到一定阶段时，会影响周围重要结构，侵犯至周围重要功能区、血管及脑白质纤维束[1]。所以术者必须在术前对手术入路和肿瘤切除方案进行充分评估，这对保证手术安全和手术效果至关重要[2]。

以核磁共振成像（magnetic resonance imaging，MRI）和电子计算机断层扫描（computed tomography，CT）为代表的影像学技术能够提供脑肿瘤的高分辨率和多模态的图像[3-4]，为脑肿瘤的诊断、治疗和随访提供客观且重要的证据[5-7]。然而，无论是MRI还是CT，提供的多为二维图像，难以判断颅内肿瘤与其毗邻重要结构的三维空间关系。目前，基于多模态MRI重建脑肿瘤及其周围重要结构重建的三维可视化模型，能直观、立体地显示肿瘤与其周围重要功能脑区、血管及脑白质纤维束等结构的关系。同时，脑肿瘤及周围结构的解剖和病理结构的三维可视化模型，可以帮助神经外科医生在术前进行更加完善的术前评估，并优化手术入路和手术计划[8]。尽管操作者可以利用多种软件来手动勾画图像和重建三维模型，但手动进行勾画重建是繁琐和耗时的，而且会受到操作者经验不同、长时间工作视觉疲劳以及信息丢失的影响[9-11]，因此开发一种准确、可靠、全自动的脑肿瘤分割算法具重要意义。近年来，由于公共数据集的发布和人工智能的发展，脑肿瘤的自动分割取得了巨大的进展[12]。目前已经有关于脑肿瘤自动分割相关的研究[13-15]，但目前尚缺乏一个更全面、更快捷的集重建肿瘤及瘤周水肿、脑血管、纤维束、脑功能区为一体的自动重建系统。

本研究旨在开发一种新的模型，基于不同的头颅MRI序列，使用不同深度卷积网络的算法，来实现脑肿瘤及其周围重要结构图像的分割、三维可视化模型的重建，并验证其效能及临床适用性。

1 资料与方法

1.1 一般资料。

本研究符合重庆医科大学附属第一医院伦理委员会批准的伦理标准（批准号：2022-K453），回顾性收集本院2016年1月至2021年6月术前考虑脑肿瘤患者的多模态MRI（包括T1、T1c、T2、T2flair、MRA、MRV、DTI等序列）及人口统计学和临床资料（包括年龄、性别、惯用手习惯、主诉、病理诊断等）。纳入标准：①术后病理证实为脑肿瘤患者；②患者术前接受多模态MRI检查，且图像序列完整；③患者为右利手且临床资料完整。排除标准：①MRI质量不佳，存在运动伪影等；②磁共振数据不完整或无法进行预处理。以构建多模态MRI数据库。

1.2 MRI参数及资料特征

所有患者的MRI图像为DICOM格式，所有MRI数据均使用西门子1.5/3.0 T8通道头线圈扫描仪进行，术前MRI方案包括T1加权，重复时间/回波时间：500/10 ms，视野255 mm，层厚1 mm，矩阵：384×384；增强T1WI 重复时间/回波时间250/2.8 ms，视野255 mm，层厚1 mm；矩阵：384×384。增强扫描采用高压注射钆喷酸葡胺 Gd-DT-PA造影剂0.2 mmol/kg，2.0 mL/s速率，注射后加入15～20 mL生理盐水，之后行头部轴位（视野255 mm，层厚 1 mm；矩阵：384×384）、冠状位、矢状位T1WI扫描。血管像：优选的序列是西门子MPRAGE或多回波MPRAGE，脑血管像扫描层厚要求≤1 mm，以重建脑血管。弥散张量（diffusion tensor imaging，DTI）层厚2 mm，要求b值800～1 000，不少于30个弥散梯度方向才能进行纤维束追踪，且影像拍摄质量良好，不含明显噪声或伪影等干扰诊断的信息。

1.3 自动重建系统的开发

1.3.1 图像预处理

病变及病变周围结构预处理包括应用技术来减少伪影和增强图像，提高图像质量和突出感兴趣的区域（region of interest，ROI），以实现更详细的可视化和更好的分割精度[16]。这一步是基于图像对比度增强来突出所要分割的病变区域。所有图像的灰度像素强度在0～1进行了归一化。为了确保重建出的纤维束及脑血管图像质量，对纤维束预处理主要包括以下几个步骤，①去噪校正：包含dwi去噪、去Gibbs环状伪影、涡流校正3个步骤；②刚性配准：输入图像须与标准磁共振坐标系统（montreal neurological insti⁃tutens space，MNI）空间具有相同的方向并且具有各向同性间距。对脑血管图像的前处理主要分为以下几个步骤：①数据读取：将完整的血管像序列作为模型输入，并将输入维度从三维提高到四维。图像原始维度为（z，y，x）提高到（1，z，y，x）；②图像裁切：将上述序列图像中等于0的区域进行裁剪掉，只保留非0的区域；③重采样：由于不同磁共振扫描机器的设置，MRI图像spacing不同。为了分割准确性，采用重采样的方法，将不同的spacing 归一化为相同的spacing。本算法中，spacing为[0.700，0.312，0.312]。④数据标准化：对HU值截断后的图像进行标准化处理。

1.3.2 图像自动分割及重建的训练

将收集的多模态MRI数据分为训练集（876例）和验证集（239例）和临床测试集（103例），具体的算法及训练方法如下，①脑肿瘤、脑水肿、脑血管分割模块采用3DUNet，该网络由编码器、解码器、密集连接和深监督组成。编码器实现图像特征的提取；解码器实现特征的融合，并恢复出分割结果；密集连接通过跳跃连接实现特征的复用来加强特征的学习；深监督结构能够加快网络的收敛。模型采用Dice损失和交叉熵损失作为代价函数进行网络的训练。②脑实质（包括脑皮层）分割网络的编码器和解码器分别由4个竞争密集块组成。本算法使用竞争密集块，用maxout代替拼接操作，每个块由参数校正线性单元、卷积和批归一化3个序列组成。其训练方式同脑肿瘤。③纤维束重建整体流程。首先利用约束球形反卷积算法得到神经纤维束方向分布数据，作为整个过程的输入数据。随后分别送到3个深度模型执行纤维束区域分割、起止区域分割、束方向图映射。最后把以上步骤的结果返回到病理空间后，执行纤维束追踪。

1.3.3 重建后处理

为了保留更大的肿瘤区域，通过填充放大图像中的孔洞（填充）来获得二值掩模。最后，将二值掩模应用于原始图像，获得大小，接近分割元素的真实大小，然后并提取纹理属性。而纤维束重建完成后需要和其他图像或分割结果叠加显示，需要把重建结果变换到基准序列空间。首先需要从DTI序列中提取b0图像，使之与基准序列对齐，得到变换矩阵，然后针对重建后的纤维束应用变换矩阵变换即可。

1.4 系统重建性能及效率的评估

从MRI数据库中抽取出由103个真实病例构成临床测试集，被提供给系统和两位神经外科医师。两名医师使用本系统自带的手动勾画功能，分别分割脑肿瘤、瘤周水肿、血管、脑皮质及纤维束，并完成重建，记录重建整体图像及重建各部分模型所花费时间。最后通过分析系统和医师处理这些病例所花费的时间，比较自动与手动需要花费的时间以验证本系统的效能。

为了评估分割算法的准确性，将真实数据和自动分割数据进行了比较：Dice系数是最常用的统计验证度量，它表示真实值与分割结果之间的重叠比[17]，在此使用Dice系数分析了本系统和真实图形形态的一致性，常用于以下等式表示：

召回率：召回率（也称为敏感性）是指阳性病例中被正确预测为阳性的概率[18]。对于特定类别，当训练图像被输入到经过训练的3DUNet模型中时，该模型输出图像属于这一特定类别的概率。召回率的定义常用于以下等式表示：

1.5 统计学方法

采用SPSS 26.0统计软件进行统计分析。计量资料采用均数±标准差（x±s）表示，计数资料采用频数和百分比表示，组间比较采用配对t 检验，检验水准α=0.05。

2 结果

2.1 人口统计学和临床信息

本回顾性研究纳入的病例均来自上述构建的多模态MRI数据库，共有来自本院的1 292例接受头部多模态MRI扫描的患者被纳入本研究，其中107例因成像质量差被人工剔除。表1总结了用于训练、验证和测试数据集的患者年龄，性别和脑肿瘤类型等特征，且数据集中患者均为右利手。

2.2 算法模型性能

在多模态MRI 后处理的训练过程中，经过10 代版本（Epoch）迭代，对模型及算法进行了改进，最终所得的图像中：整体图像的Dice系数及召回率分别达到了0.92、0.98，在关于肿瘤及周围结构的整体图像分割中（图1），本系统（图1A）与人工手动（图1B）分割相比，都具有较高的一致性（整体系统图像Dice系数0.92 vs. 整体人工图像0.94），且两者之间差异无统计学意义（t=1.570，P=0.139）。在训练组中，关于肿瘤、瘤周水肿、血管、纤维束、脑功能皮质各个结构分割的Dice值分别达到了0.93、0.85、0.81、0.84、0.87。而对于重建出1例肿瘤及周围结构一体化模型所花费的时间上，经过多次迭代优化算法及扩大运算内存后，平均用时由最初代版本的1 428 s减少到了最终版本的657 s。图2显示了详细的过程，展示了Dice系数、召回率及重建模型花费时间在训练过程中不同版本迭代的演变。

2.3 图像质量评估

本系统重建出来的图像具有较高的质量，图像整体清洁、平滑。肿瘤、周围水肿、脑功能皮层之间，各结构轮廓好，分化清楚，对比度好；由于人工重建追踪纤维束选取的种子点数量有限，选取越多的种子点进行追踪，越发耗费人力，而系统重建追踪纤维束时可选取的种子点数更多，且耗时更少，重建的纤维束图像相对于人工重建更加饱满紧凑，在血管重建方面，系统重建与人工重建都具有较好的连续而无中断，人工的血管侧支重建似乎更加丰富，而系统对于血管的重建更加清洁平滑。系统与人工的重建图像，各结构与肿瘤之间的关系均易于诊断，并无明显差异，见图3。在重建的三维图像中（图3），可清晰地判断脑肿瘤（a）与周围血管、纤维束及脑功能皮质之间的解剖关系。

2.4 系统算法的高效性

将系统的重建性能与医生手动重建过程进行比较。2名医生的平均后处理时间为肿瘤重建（656±181） s，水肿区域重建（462±184） s，血管重建（2 104±328） s，纤维束重建（1 236±438） s，脑皮质重建（748±104）s。本系统与人工相对比，平均耗时分别减少到了肿瘤重建（134±25） s；水肿重建（87±19） s，血管重建（92±10） s，纤维束重建（121±37） s和脑皮质重建（74±7） s。在完成1例肿瘤及周围结构一体化重建的时间花费上面，系统用时将由人工用时的（5 442±623） s减少到了（657±78） s。系统组对于脑肿瘤及各结构的重建耗时明显少于人工组（t=27.530，P=0.000），见图4A。在人工完成1例脑肿瘤一体化重建所花费的时间上，该系统能够自动完成6～7例脑肿瘤的一体化重建。此外，本研究还发现系统组处理图像所需的鼠标点击次数（27±0）明显少于人工组处理重图像所需要的鼠标点击次数（647.0±225.9），差异有统计学意义（t=14.320，P=0.000），大大节省了在图像重建上所需要花费的劳动力，见图4B。

2.5 重建图像的量化分析

本系统不仅可以一键重建出肿瘤及其周围重要结构的一体化模型，还可以量化出肿瘤本身的体积以及肿瘤周围水肿的大小，在测试集中重建的103例脑肿瘤病例中，系统对人工所重建出的图像及系统本身所重建的图像进行具体值的量化，脑肿瘤及周围水肿体积大小分布情况见图5，显示系统与人工所重建出的肿瘤及水肿体积大小，无明显差异（t=1.420，P=0.166）。

3 讨论

本研究针对脑肿瘤开发了一种全新的三维可视化模型自动重建系统，它融合了深度学习技术和人工智能算法，使得三维重建过程更加准确、高效。据了解，这是目前唯一能够同时实现脑肿瘤、功能皮层、动脉及静脉、纤维束等结构一体化自动重建的智能系统。

本系统利用三维卷积神经网络（3D-CNN）的模型，相较于传统二维卷积神经网络，其充分利用不同层间的数据信息，包含大量空间信息能够更准确实现图像分割与重建，在既往的研究中，利用深度学习技术如卷积神经网络[19-21]或循环神经网络[22]，对脑肿瘤图形进行自动分割，得到的Dice 值在0.70～0.91变化。而本研究中，经过10代迭代训练后，得到的最终脑肿瘤分割的Dice值为0.93，相对于其他算法具有较高的准确性及还原性。

该系统操作方便快捷，可以“一键”完成脑肿瘤及其周围结构的一体化重建。在输入DICOM格式的原始数据后，仅需点击数次鼠标，就可以完整还原肿瘤与周围结构的关系，且能够按照操作者意愿对模型进行360度旋转，通过不同角度观察肿瘤与功能皮层、主要供血动脉、引流静脉，以及与白质纤维束的关系，以制定更加完善的手术计划。在术中最大限度地安全切除肿瘤区域，同时保留周围重要的结构组织，具有重要意义[23]。除此之外，本系统还可以融合患者的头部CT图像，可以显示MRI无法清晰显示的颅骨和钙化[24-26]，这对神经外科医生在术前设计颅骨被脑肿瘤侵犯时的颅骨瓣和骨窗的大小非常有帮助[27]。

本系统组重建出来的图像相对清洁、紧凑饱满，各结构轮廓清，同人工肿瘤结构重建相比，都具有较高的图像质量，且在肿瘤供血动脉、回流静脉及周围重要结构解剖关系及破坏情况中易于判断。但人工肿瘤分割及重建肿瘤是一项繁琐、耗时的任务，且操作者需要具有丰富解剖经验。而在本系统对肿瘤及周围结构一体化重建中，用时将由人工用时的（5 442±623） s减少到了（657±78） s，且在整个自动重建过程中不需要人为的过多干预。因此，本系统大大减少了技术人员必须在每张图像上花费的时间，同时避免了由于可能存在人为误差，需要多名医生再次确定、校验的情况，节约了大量的人力，可以进一步增加临床医生与病人的沟通，提供更多的人文关怀。

除此之外，本系统也能具体量化出肿瘤及瘤周水肿的体积大小，对肿瘤大小、肿瘤周围水肿严重程度的判断有了新的提示作用；其次对未行手术治疗，定期随访的脑肿瘤患者，通过肿瘤、水肿的量化比较，对于肿瘤及肿瘤周围水肿进展情况有一定的辅助评估，以便给予临床医生一定的辅助判断。

虽然本系统在重建图像的图像质量上拥有较好的表现，但不得不承认对于小脑幕下及颅底的脑肿瘤重建图像质量不佳，因为小脑幕下及颅底脑肿瘤拥有更复杂的周围结构，可能被分割算法错误地识别为肿瘤的一部分，可能导致这些脑肿瘤重建的差异[28]。其次，对于脑胶质瘤及转移瘤，因为常常包含坏死，分隔，囊腔等等更多信息，使肿瘤形状更分散和复杂，导致系统对于分割含有坏死、囊腔的肿瘤更具有更大的挑战性[29] 。最后本研究的病例均来自单中心且研究样本量较小，需要汇集来自不同中心的数据进行多中心试验，以进一步证明和验证算法结果的稳定性和准确性。

总之，本研究设计的系统能够基于脑肿瘤患者的多模态MRI序列，自动重建出三维可视化脑肿瘤及周围水肿、血管、纤维束、脑皮质模型。与手动重建相比，在节约时间的同时，又节省了劳动力，且与手动重建图像并无明显差异。另外，本系统能够立体显示肿瘤周围重要结构与肿瘤间的关系，以及关于肿瘤本身、肿瘤周围水肿的具体量化，对于术前的评估和计划，具有重要意义。

参考文献

[1] Dimeco F，Li KW，Casali C，et al. Meningiomas invading the supe⁃rior sagittal sinus： surgical experience in 108 cases[J]. Neurosurgery，2008，62（6）： 1124-1135.

[2] Heros RC. Venous preservation[J]. J Neurosurg，2013，119（1）：71-72．

[3] Jui SL，Zhang SC，Xiong WL，et al. Brain MRI tumor segmentationwith 3D intracranial structure deformation features[J]. IEEE Intell Syst，2016，31（2）：66-76．

[4] Akkus Z，Galimzianova A，Hoogi A，et al. Deep learning for brain MRI segmentation：state of the art and future directions[J]. J Digit Imag⁃ing，2017，30（4）：449-459．

[5] Virupakshappa，Amarapur B. Cognition-based MRI brain tumorsegmentation technique using modified level set method[J]. Cogn Tech⁃nol Work，2019，21（3）：357-369．

[6] van Garderen KA，van der Voort SR，Versteeg A，et al. EASE：clinical implementation of automated tumor segmentation and volumequantification for adult low-grade glioma[J]. Front Med，2021，8：738425．

[7] Zhou M，Scott J，Chaudhury B，et al. Radiomics in brain tumor：im⁃age assessment，quantitative feature descriptors，and machine-learningapproaches[J]. AJNR Am J Neuroradiol，2018，39（2）：208-216．

[8] Shal K，Choudhry MS. Evolution of deep learning algorithms forMRI-based brain tumor image segmentation[J]. Crit Rev Biomed Eng，2021，49（1）：77-94．

[9] Clarke LP，Velthuizen RP，Clark M，et al. MRI measurement ofbrain tumor response：comparison of visual metric and automatic seg⁃mentation[J]. Magn Reson Imag，1998，16（3）：271-279．

[10] Sun JW，Chen W，Peng ST，et al. DRRNet：dense residual refinenetworks for automatic brain tumor segmentation[J]. J Med Syst，2019，43（7）：221．

[11] Menze BH，Jakab A，Bauer S，et al. The multimodal brain tumorimage segmentation benchmark（ BRATS）[J]. IEEE Trans Med Imaging，2015，34（10）：1993-2024．

[12] Kofler F，Berger C，Waldmannstetter D，et al. BraTS toolkit：trans⁃lating BraTS brain tumor segmentation algorithms into clinical and sci⁃entific practice[J]. Front Neurosci，2020，14：125．

[13] Šteňo A，Hollý V，Mendel P，et al. Navigated 3D-ultrasound ver⁃sus conventional neuronavigation during awake resections of eloquentlow-grade gliomas：a comparative study at a single institution[J]. ActaNeurochir，2018，160（2）：331-342．

[14] Hou XL，Yang DD，Li DJ，et al. A new simple brain segmentationmethod for extracerebral intracranial tumors[J]. PLoS One，2020，15（4）：e0230754．

[15] Zhang F，Noh T，Juvekar P，et al. SlicerDMRI：diffusion MRI andtractography research software for brain cancer surgery planning and vi⁃sualization[J]. JCO Clin Cancer Inform，2020，4：299-309．

[16] Isa IS，Sulaiman SN，Mustapha M，et al. Automatic contrast en⁃hancement of brain MR images using Average Intensity Replacementbased on Adaptive Histogram Equalization（AIR-AHE）[J]. BiocybernBiomed Eng，2017，37（1）：24-34．

[17] Dill V，Franco AR，Pinho MS. Automated methods for hippocam⁃pus segmentation：the evolution and a review of the state of the art[J].Neuroinformatics，2015，13（2）：133-150．

[18] Saito T，Rehmsmeier M. Precrec：fast and accurate precisionrecalland ROC curve calculations in R[J]. Bioinformatics，2017，33（1）：145-147．

[19] Hussain S，Anwar SM，Majid M. Segmentation of glioma tumors inbrain using deep convolutional neural network[J]. Neurocomputing，2018，282：248-261．

[20] Yang TJ，Song JK，Li L. A deep learning model integrating SKTPCNNand random forests for brain tumor segmentation in MRI[J]. Bio⁃cybern Biomed Eng，2019，39（3）：613-623．

[21] Li HC，Li A，Wang MH. A novel end-to-end brain tumor segmen⁃tation method using improved fully convolutional networks[J]. ComputBiol Med，2019，108：150-160．

[22] Zhao XM，Wu YH，Song GD，et al. A deep learning model inte⁃grating FCNNs and CRFs for brain tumor segmentation[J]. Med ImageAnal，2018，43：98-111．

[23] Mert A，Kiesel B，Wöhrer A，et al. Introduction of a standardizedmultimodality image protocol for navigation-guided surgery of sus⁃pected low-grade gliomas[J]. Neurosurg Focus，2015，38（1）：E4．

[24] Guo YX，Sun ZP，Liu XJ，et al. Surgical safety distances in the in⁃fratemporal fossa：three-dimensional measurement study[J]. Int J OralMaxillofac Surg，2015，44（5）：555-561．

[25] Zhu ZQ，Chai Y，Yin HP，et al. A novel dictionary learning ap⁃proach for multi-modality medical image fusion[J]. Neurocomputing，2016，214：471-482．

[26] Kim YI，Lee DH，Cho CB，et al. The usefulness of dual-volumevisualization （three-dimensional digital subtraction angiography andcross-sectional imaging） for surgical planning in treating intracranialmeningiomas：a case series and technical report[J]. World Neurosurg，2019，122：e59-e66．

[27] Su JH，Ba YY，Liang ST，et al. Type Ⅲ intraosseous meningiomainvading superior sagittal sinus and skull periosteum[J]. J CraniofacSurg，2019，30（6）：e561-e563．

[28] Fick T，van Doormaal JAM，Tosic L，et al. Fully automatic braintumor segmentation for 3D evaluation in augmented reality[J]. Neuro⁃surg Focus，2021，51（2）：E14．

[29] Kanaly CW，Ding DL，Mehta AI，et al. A novel method for volu⁃metric MRI response assessment of enhancing brain tumors[J]. PLoSOne，2011，6（1）：e16031．

（责任编辑：曾 玲）

基金项目：重庆市自然科学基金面上项目（编号：CSTB2022NSCQMSX0152）。