使用U-Net 深度学习网络对腰椎矢状T2WI图像自动分割的可行性研究

郭丽，赵凯，朱逸峰，张耀峰，李世佳，张晓东，王霄英

腰椎MRI是下腰痛检查最常用的成像技术之一[1]。通过腰椎MRI评估腰椎椎体、椎间盘及其相关病变、腰椎管狭窄及脊髓-马尾神经的病变，可为临床决策提供一定的依据。利用腰椎MRI不仅可对疾病做出定性诊断，更可进一步对重要结构进行定量测量，精确的测量值对临床评估和治疗计划非常重要[2]。腰椎解剖结构的自动化分割是精准测量的基础，能够大大减少人工测量的误差，节省读片时间，提高工作效率。

本研究应用U-Net网络对腰椎矢状面T2WI图像进行分割，包括椎体、椎间盘、椎管/硬膜囊、椎间孔、脊髓及马尾神经，为未来辅助诊断奠定基础。

材料与方法

本研究获得了伦理审查委员会批准，按照本单位人工智能(artificial intelligence，AI)模型训练规范执行研究方案。

1.用例定义

根据本单位AI训练管理方法定义研发腰椎MR矢状面T2WI图像上主要解剖结构分割模型的用例。包括模型的ID、临床问题、场景描述、模型在实际工作中的调用流程、模型输入输出数据结构等。AI模型返回结果定义为腰椎椎体、椎间盘、椎间孔、椎管/硬膜囊、脊髓及马尾神经的坐标。

2.一般资料

回顾性搜集2020年9月20-29日本院行腰椎MRI检查患者的图像资料，由两名高年资影像医生进行阅片并挑选合格的图像。纳入标准：腰椎MRI检查包含清晰的矢状面T2WI图像。排除标准：①腰椎明显发育畸形，椎体结构显示欠清；②腰椎术后有明显金属伪影；③矢状T2WI为脂肪抑制序列；④图像质量不佳。

3.MRI检查及图像处理

矢状面T2WI图像采集自本院5台MR检查设备(2台Philips Multiva 3.0T、Philips Achieva 1.5T、SIEMENS Aera 1.5T和GE DISCOVERY MR750 3.0T各1台)，扫描层厚3.5～5 cm，层间距3.85～5.4 cm。

4.图像标注

由2位有经验的影像诊断医师进行图像标注(图1)，标注软件为ITKSNAP version 3.6.0。

图1 腰椎椎体各解剖结构手工标注图。a)正中矢状面椎体、椎间盘及椎管/硬膜囊标注；b)旁中央矢状面腰椎椎体、椎间盘及椎间孔标注；c)正中矢状面脊髓及马尾神经标注。

1)椎体标注：在矢状面T2WI图像中全部有椎体的区域逐层进行标注，包括所扫及的胸椎及腰骶椎椎体，椎体的前缘及上、下缘沿椎体边缘进行标注，后缘标注时根据后上缘、后下缘确定边界并进行标注(不包括椎板、棘突等附件结构)。2)椎间盘标注：椎间盘与椎体边缘重合，二者以T2WI低信号为界，大部分T2WI低信号标为椎间盘区域。3)椎管/硬膜囊标注：在矢状面图像中(可参考横轴面图像)逐层进行扫描范围内硬膜囊的标注，原则上不包括硬膜外脂肪。如硬膜外脂肪与椎管内高信号分界欠清，可标注椎管内所有高信号区域；如硬膜囊下缘显示欠清可参考硬膜囊走行标注至S1-2水平。4)椎间孔标注：图像中标注由椎体、椎间盘及椎板边缘组成的完整环形及大部分完整环形(超过75%环形)的椎间孔区域，大部分完整环形的椎间孔区域标注可据显示区域弧形勾勒出缺损区域的边界。5)脊髓及马尾神经标注：标注图像中椎管内的脊髓、脊髓圆锥及马尾神经，均为T2WI低信号。

5.模型训练

模型训练的硬件为GPU NVIDIA Tesla P100 16G，软件包括Python3.6、Pytorch 0.4.1、Opencv、Numpy、SimpleITK等。使用Adam作为训练优化器。

分割模型训练(图2)：将所有数据随机分为训练集(train set)、调优集(validation set)和测试集(test set)，训练分割模型时按粗分割和细分割(Coarse-to-Fine)两步训练。第一步(Coarse)训练一个低分辨率的分割模型。输入图像为矢状面T2WI图像和5个不同的标注区域(椎体、椎间盘、椎间孔、椎管/硬膜囊、脊髓及马尾神经)，输出数据为腰椎椎体、椎间盘、椎间孔、椎管、脊髓及马尾神经的预测区域。图像预处理包括自动窗宽、窗位，图像大小设置为16×256×128。第二步(Fine)训练一个高分辨率的分割模型。以前述模型获得的5个预测区域为掩膜(mask)对矢状面T2WI图像进行裁切，对裁切后图像再调整图像大小，图像大小设置为16×320×128。图像扩增方法包括旋转、平移、随机噪声等。本研究使用了Ronneberger等在2016年提出的3D U-Net网络[3]，其编码(encoder)路径由4个卷积层、池化层组成，通过下采样降低图像大小；解码(decoder)路径通过4个卷积和反卷积层组成，通过上采样来增加图像大小。在编码和解码路径之间通过跳跃连接二者的特征图结合在一起。最后通过1个卷积层分类。网络主要参数如下：batch_size=5，num_epoch=400, learning_rate=0.0001。

诗的字里行间清晰地表明，乡愁在诗人的不同人生阶段是具有不同涵义的，分别体现在诗的4小节中：诗人对辛劳母亲的绵绵牵挂（第1节）、诗人对新婚妻子的深深思念（第2节）、诗人对已逝母亲的无限哀思（第3节）以及诗人对祖国统一的无比向往（第4节）。而这4层不同的涵义又是通过诗中所使用的邮票、船票、坟墓和海峡这4个不同的喻体来传递的，如图1所示。

图2 腰椎MRI分割模型训练流程。

6.模型评价

客观评估：用测试集数据的Dice系数(Dice coefficient)评价模型的效能。Dice系数取值为0～1，越接近1代表模型分割效果越好。

主观评估：由1位医师对测试集数据的分割效果进行主观评估。分别对椎体、椎间盘、椎管/硬膜囊、椎间孔、脊髓及马尾神经5个解剖部位的分割进行满意度的评估，对于目标区域进行完全正确分割和正确分割区域达90%及以上的，评为满意；对于目标区域进行未进行正确分割及正确分割区域小于90%的，评为不满意。

结 果

1.一般资料

共入组44例患者，其中男17例，女27例，年龄3～85岁(中位年龄49岁)。最终获得80个矢状面T2WI序列，将其随机分为训练集(n=57)，调优集(n=12)，和测试集(n=11)。

2.客观评估

11例测试集数据中5个解剖部位分割的Dice值如下：椎体0.82～0.9(平均0.864)、椎间盘0.86～0.92(平均0.898)、椎管/硬膜囊0.76～0.87(平均0.837)、椎间孔0.6～0.76(平均0.67)、脊髓及马尾神经0.55～0.9(平均0.669)。

3.主观评估

11例测试集数据中5个解剖部位分割的主观评估如下(图3、4)。

图3 测试集中比较满意的预测结果。a)正中矢状面椎体、椎间盘及椎管/硬膜囊的分割，其中腰椎椎体及椎间盘分割满意，骶椎有不完全识别伴椎前软组织误识别(箭)，硬膜囊前下缘轻微过度识别(长箭)；b)旁中央矢状面腰椎椎体、椎间盘及椎间孔的分割，其中腰椎椎体、椎间盘及椎间孔分割满意，大部分骶椎未被识别(长箭)，小部分椎弓根误识别为椎间孔(箭)；c)正中矢状面脊髓及马尾神经的分割基本满意，小部分马尾神经未被识别(箭)。 图4 测试集中不满意的预测结果。a)旁中央矢状面椎体、椎间盘及椎管/硬膜囊的分割，其中大部分腰椎椎体及椎间盘分割满意，仅腰1椎体的Schmorl结节被误识别为椎体成分(箭)，硬膜囊部分未被识别(长箭)；b)旁中央矢状面腰椎椎体、椎间盘及椎间孔的分割，其中大部分腰椎椎体、椎间盘分割满意，腰2椎体过度识别了椎弓根(箭)，部分椎间孔未被识别(长箭)或未被完全识别(箭头)；c)正中矢状面脊髓及马尾神经的分割，大部分脊髓及马尾神经未被识别(箭)。

1)椎体：共440个腰椎椎体，429个椎体(97.5%)分割满意，11个椎体(2.5%)分割不满意。2)椎间盘：共570个椎间盘，558个椎间盘(97.9%)分割满意，12个椎间盘(2.1%)分割不满意。3)椎管/硬膜囊：共评估44个层面，38个层面(86.4%)分割满意，6个层面(13.6%)分割不满意。4)椎间孔：共223个完整及大部分完整椎间孔，171个(76.7%)分割满意，17个椎间孔(7.6%)未被识别，35个椎间孔(15.7%)分割不满意。5)脊髓及马尾神经：共评估28个层面，22个层面(78.6%)分割满意，6个层面(21.4%)分割不满意。

讨 论

腰背痛是全世界终身残疾的最重要原因之一[4-6]，导致巨大的医疗和社会成本。高达97%的腰痛患者是由腰椎退行性改变所引起[1]。腰椎退行性改变发生在腰椎的各个解剖结构，包括椎间盘、终板及终板下骨质、关节突关节、韧带、肌肉软组织等。虽然85%的病例无明确诊断[1,7]，研究表明椎体的Modic改变以及椎间盘的退变是其中一个很重要的因素[8,9]。腰椎磁共振成像能显示腰椎各组成部位的异常改变，为腰痛的诊断及鉴别诊断提供依据。腰椎MRI通过对神经肌肉等软组织成像，可清晰显示腰椎椎间盘退变的情况、椎间盘突出程度、方向、对椎管内神经压迫等情况，同时可排除椎管内的肿瘤性病变，是迄今为止诊断腰椎病变最精确的影像学手段，尤其对腰椎间盘突出的诊断价值很高。此外，MR检查可用于脊柱恶性肿瘤、感染、外伤以及炎性疾病的诊断及鉴别诊断[10]。

脊柱的相关疾病是现代社会中的常见病，临床工作中对MRI的需求量越来越大。随着人工智能技术在医学影像工作中的应用，利用软件自动识别脊柱的解剖结构、检出病变并生成结构化报告成为可能。不仅可以减轻影像科阅片医师的工作压力，同时有可能在此基础上通过深度学习方法，更进一步探讨腰椎MRI引起临床症状的责任病灶，提高临床诊治的效率。

多种网络可用于腰椎MRI的分割[11]。Abdullah等[12]使用公开数据集的数据，包括100例正常患者和210例异常患者的CT和MR图像训练二分类模型，使用的方法是主成分分析(principal component analysis，PCA)、K最近邻算法(K-Nearest Neighbors，KNN)和随机森林算法(Random Forest，RF)，对正常异常二分类的最高准确率为86.13%。Alomari等[13]使用约1000例临床MR数据分割矢状面上腰椎间盘，研发了一套计算机辅助诊断(computer-aided diagnosis，CAD)系统，在分割间盘后可诊断间盘突出，但未报告系统对间盘分割和分类的准确性。Kafri等[14]使用基于patch的体素分类方法(patch-based pixel classification)在轴面T2WI图像上分割腰椎的前弓和后弓，平均交并比(intersection over union，IoU)为0.76，使用两个Seg3D网络分割了515例患者的MR轴面T2WI数据，使用随机参数的Seg3D网络和使用迁移学习的Seg3D网络，对硬膜囊分割最佳IoU为0.85[15]。近年随着U-Net在医学图像分割中的广泛应用，在全身各个脏器的分割中均有较好的表现[16-19]，腰椎MR的分割也多以U-Net网络及其改良版为主流。Whitehead等[20]使用42名患者的200层MR矢状T2WI图像训练多尺度(multi-scale)U-Net模型，分割椎体和间盘的平均Dice值分别为0.854～0.865和0.793～0.832。

既往关于腰椎AI的研究中[2,13,20,21]研究者对腰椎MRI图像进行了解剖结构分割和定位主要关注于腰椎椎体及椎间盘的分割及定位。本研究使用U-Net模型对腰椎的解剖结构进行识别，不仅对椎体、椎间盘进行了分割，而且尝试了对椎管/硬膜囊、椎间孔、脊髓及马尾神经这些解剖结构进行分割。本研究对测试集的评估分为主观评估和客观评估，主观评估结果优于客观评估，主要是在主观评估中，笔者仅分析了腰椎节段的解剖结构的分割效果，剔除了解剖结构不完整的部分层面；而客观评估不仅纳入了胸腰段和骶椎，而且同时也评估了靠近扫描野左、右边缘的部分解剖结构不完整的层面。因此，尽管客观评估结果中，Dice值大于0.9的比例不高，在主观评估中，腰椎椎体和椎间盘的分割满意率达到95%以上。

本研究的各个解剖结构的分割结果中腰椎椎体和椎间盘的分割结果比较满意(图3)，绝大部分的椎体和椎间盘分界清晰。椎体的分割中仅有2例出现椎弓根的过度识别和2例许莫氏结节的误识别(图4a)。而骶骨椎体边缘未识别及骶前软组织的过度识别(图3a)，是造成客观评估结果不满意的主要原因，而骶骨的分割未纳入此次主观评估中。椎间盘的分割结果中除了有2例共6个层面的许莫氏结节未被识别外，还有1例椎间盘突出部分未被识别。椎管/硬膜囊的分割中未被识别的区域主要出现在椎管后上缘，由于脊髓与硬膜囊后缘紧贴且均显示为T2WI低信号，导致椎管/硬膜囊未被完全正确识别。对于椎间孔的分割，由于周围脂肪、椎间孔内神经根和周围椎弓根的干扰，造成椎间孔未识别和过度识别(图4b)。脊髓及马尾神经仅在矢状面图像的中间层面可被识别。

本研究对于腰椎和椎间盘的分割结果较为满意，与既往的研究类似。下一步可在椎体和椎间盘自动定位的基础上针对不同病变进行进一步的研究，自动识别椎体和椎间盘的病变，并有可能协助骨科大夫找出造成临床症状的责任病灶，提高临床诊治的效率。本研究不足一是数据量比较小，二是未纳入轴面图像进行参考。因此，在后续的研究中可结合轴面图像对椎管/硬膜囊、椎间孔、脊髓及马尾神经进行精细分割，以期能够达到自动测量和检测病变的能力，帮助临床识别并诊治椎管内的病变以及神经根的病变。

总之，基于U-Net 深度学习网络对腰椎矢状T2WI图像的解剖结构进行自动分割是可行的，将来可增加数据量并结合轴面图像对分割效果进一步完善。在腰椎MRI图像自动分割的基础上可进一步进行精准的测量和病变识别，不仅可以提高工作效率，而且有可能为临床诊治提供更多的参考依据。