基于注意力机制的深度学习网络在头部水脂分离图像上的组织成分分割

尤慧明 姚灵君 沈伟芬 朱大荣

影像学中组织成分的改变既可以反映人体发育状况，也与代谢性及内分泌性疾病相关。准确分离出各组织成分是定量评估组织成分改变的基础，对疾病的诊断、治疗、病理研究、手术导航、放疗计划制定等都具有重要意义[1-3]。CT常作为组织分割的基准图像，CT值的大小可以反映各种不同的组织成分[4]。然而，脑实质（白质、灰质）、肌肉等成分的CT值存在交叉重叠，难以区分。MR成像具有无辐射、软组织成像空间分辨率高等特点，但其骨性组织成像精确度较低，常需额外进行CT扫描。因此，能否单纯使用MR成像一次性获得各个组织成分的信息具有重要临床的意义。笔者基于Transformer深度学习网络的最轻量网络（Segformer）在头部三点非对称回波水脂分离成像（iterative decomposition of water and fat with echo asymmetric and least squares estimation,IDEAL）图像上实现组织成分（脑实质、脑脊液、颅骨、空气、软组织）的分割，探索其在临床应用的可行性，现将结果报道如下。

1 对象和方法

1.1 对象 收集2019年9月至2021年8月杭州市临平区第一人民医院志愿者40名，男15名，女25名，年龄27～58（42.6±15.7）岁。纳入标准：（1）无先天性颅骨畸形；（2）无既往头颅外伤病史；（3）无颅内肿瘤或脑积水。排除标准：（1）具有MR成像禁忌证（例如幽闭恐惧症、体内金属、严重的视觉或听觉障碍）；（2）存在累及头部疾病者。本研究经杭州市临平区第一人民医院医学伦理委员会批准，所有志愿者均签署知情同意书。

1.2 影像学检查 头部MR成像使用同一台1.5 T扫描仪（美国GE公司，型号：Signa HDxt），16通道头颈联合线圈，三维小角度梯度回波水脂分离序列（3D GRE IDEAL）扫描。成像视野（field of vision,FOV）288 mm×288 mm，像素0.83×0.83 mm2，层厚2.5 mm，无间隔，重复时间6.2 ms，两个回波时间为分别2.1 ms、4.2 ms，激励翻转角20°。分别重建出水相、脂相、同相位、反相位图像，扫描层数均为70。见图1。

图1 原始磁共振IDEAL水脂分离图像

CT成像使用64排CT扫描仪（德国西门子公司，型号：Definition），头先进仰卧位，扫描范围从颅顶到上颌骨。像素0.49×0.49 mm2，层厚1.25 mm，管电压120 kV，管电流270～400 mA。图像大小512×512。见图2。

图2 原始CT图

1.3 方法 在进行网络模型训练前，先将MR和CT图像配准至相同的图像大小和位置，随后利用CT和IDEAL水图实现5种组织成分的标注，最后采用Segformer网络进行训练，实现IDEAL图像上5种组织成分的分割。

1.3.1 图像配准 将CT图像调整至与MR相同分辨率后，采取形态学操作在CT图像上去除CT床。然后利用Elastix软件[6]对去床后的CT图像和IDEAL水图实现刚性配准，以消除不同模态图像间的扫描位置差异。将同样的配准参数作用于脂通道和同相通道。配准后的图像统一裁剪至256×256，并将MR图像的像素值利用最大、最小化归一处理至[0，255]。同时利用形态学操作和阈值分割方法对MR图像制作头部区域掩膜。将CT图像上头部以外区域的CT值设置为-1 000 Hu，将MR图像头部以外区域的像素值设置为0。

1.3.2 组织成分标注 首先根据CT值与组织对应关系对空气和骨骼进行标注，直接将其阈值分割结果作为空气（CT＜-100 Hu）、骨骼（CT＞120 Hu）的标记区域。随后，使用SPM12工具箱（http://www.fil.ion.ucl.ac.uk/spm/software/spm12/）在水图上进行白质、灰质和脑脊液的标注，将白质和灰质分割结果合并，作为脑实质标注。其余未标注区域为软组织。流程见图3。组织成分的标注结果即为网络训练的金标准。

图3 基于CT和MR图像的组织成分标注流程

1.3.3 网络训练及预测 神经网络采用Segformer框架，网络结构见图4。该网络采用编解码结构，编码器（Encoder）中包含自注意力机制（Self-Attention）和混合前馈神经网络（mixfeed forward network,Mix-FFN），同时结合了轻量级多层感知器（multi-layer perceptron,MLP），可以更好提取特征。解码器（Decoder）采用MLP从不同的层聚集信息，结合全局注意和局部注意的同时避免复杂解码。

图4 Segformer网络结构图

在所有样本中随机选取30名作为训练集，共包含1 784张图像，剩余10名（包含618张图像）作为测试集。将IDEAL的水图、脂图、同相图组成三通道作为网络输入，先采用ImageNet 1K数据集上的预训练权重对网络进行初始化，使用mmsegmentation代码库进行训练。在训练过程中，采用数据扩增来增加网络的泛化性能，具体包括0.5～2.0倍的随机缩放、随机水平翻转和随机旋转（-30°～30°）。使用AdamW优化器对模型在数据集上进行16万次迭代，批大小为16。初始学习速率设为0.000 06，使用因子为1.0的指数策略动态调整学习率。

操作系统采用Ubuntu 20.04 LTS，CPU为Intel Core i7-9700F，GPU为NVIDIA GeForce RTX 2070 SUPER，使用pytorch框架构建网络。

1.4 性能评估 采用Dice相似性系数（Dice similaritycoefficient,DSC）、像素准确度（pixel accuracy,PA）、均交并比（intersection over union,IoU）等指标评价每种组织成分的分割性能，DSC、PA、IoU值越大表示该成分的分割效果越好。计算方法分别如公式1-3所示。

其中X代表分割金标，Y代表预测的分割图像，|X∩Y|是X和Y之间的交集，|X|和|Y|分别表示X和Y的元素的个数。FP为假阳性，表示背景预测错误；FN为假阴性，表示目标预测错误；TP为真阳性，表示目标预测正确；TN为真阴性，表示背景预测正确。

根据金标准中5种组织成分的像素数，统计每名志愿者的各组织成分在头部所有成分中所占的比例。如公式4所示，将各组织成分的占比与其评价指标做加权求和得到平均指标，Index1～Index5分别表示5种成分的评价指标，p1～p5分别表示5种组织成分的占比。

2 结果

2.1 组织成分占比 统计测试集10名志愿者的各组织成分占比，结果显示空气、骨骼、脑实质、脑脊液、软组织的占比分别为0.125±0.016、0.184±0.015、0.375±0.019、0.085±0.011、0.231±0.020。

2.2 网络分割性能评估 测试集加权平均的DSC为0.822±0.039，PA为0.931±0.015，表明网络能有效实现组织成分分割。在5种组织中，脑实质的分割效果最好DSC为0.953±0.006，颅内空气的最低DSC为0.720±0.071。各组织成分的分割结果及其加权平均指标见表1。

表1 Segformer对头部5种组织成分的分割结果

Segformer MIT-B0分割结果示例见图5（插页），头部IDEAL图像的5种组织（脑实质、脑脊液、软组织、骨骼、空气）都能清晰分割出来，在区域连通性上也有较好的表现。

图5 Segformer在不同层面上的组织分割结果例图

3 讨论

精确地分割各组织成分的区域对疾病诊断、放疗计划制定、解剖结构研究和病理生理学研究等都具有重要意义。MR和CT检查对不同组织成分的显示各有优势，如何在单一模态上进行多种组织成分的分割仍具挑战。本文采用基于注意力机制的Segformer网络在MR IDEAL图像上进行头部组织成分分割，展现了较好的性能。其中脑实质区域分割效果最好，DSC、PA、IoU值均在0.91以上，这也进一步证实了MR软组织对比的优势。与CT值标记的头骨区域相比，网络分割头骨的DSC为0.748±0.069，该结果与Gong等[6]结合mDixon和ZTE图像进行头骨分割效果相近。在各组织成分中，空气分割的DSC值最低，这可能与其在头部的占比最小有关，小目标区域的分割效果一般较差，这在其他研究中已经得到证实。

本研究采用临床常规采集的IDEAL图像作为组织成分分割的基础图像。该技术利用了物质的化学位移效应实现水脂分离，在一次采集中可以快速生成水相、脂相、同相位和反相位等多个对比图像，有研究者将其用于合成CT的研究[7]。本文将IDEAL多种对比图像结合组成多通道进行成分分割，除了对脂肪识别的天然优势外，同时对白质、灰质、脑脊液等可以提供良好的对比。本研究结果表明，在侧脑室及颅顶层面，脑脊液、脑实质、颅骨等成分分割与标注结果均具有良好的重叠度；而在靠近颅底层面，由于结构的复杂性，空气与骨皮质交界处、筛窦等区域难以实现精细分割，同时这些区域也容易受到个体差异性的影响。

深度学习技术已广泛应用于医学图像领域[3,8-10]，近年来研究者们也不断提出了新的网络框架。与传统的网络结构相比，注意力机制对提取的特征进一步加工，通过赋予不同的权重表示其重要程度，将关注主要集中于目标区域从而提高结果准确度，同时，利用注意力的方式捕获全局的上下文信息对目标建立远距离依赖，解决了长距离信息丢失的问题。目前基于注意力机制的神经网络如Transformer等已经在医学图像处理的多个领域中取得了突出的效果。本研究采用的Segformer网络，将基于注意力机制的Transformer网络与MLP相结合，在进行高效分割的同时避免了复杂的解码器，实现模型效果与效率的平衡。

本研究中在采用Segformer网络结构进行组织成分分割中体现出了良好的性能，但由于本研究使用的数据均来自同一个中心的同一台扫描设备，训练模型对其他设备、扫描参数及存在病变等情况下的泛化能力还有待进一步验证。

综上所述，本研究验证了通过MR单一序列IDEAL图像进行头部组织成分分割的可行性，通过基于注意力机制的Segformer神经网络可有效实现脑实质、脑脊液、颅骨、空气、软组织等5种组织成分的分割。