基于双模态磁共振成像和决策层融合的抑郁症辅助诊断

段逸凡，王瑜，付常洋，肖洪兵，邢素霞

北京工商大学人工智能学院，北京 100048

前言

抑郁症是最常见的抑郁障碍，以显著而持久的心境低落为主要临床特征，是心境障碍的主要类型，据世卫组织统计，目前全球约3 亿人患有抑郁症［1］。医生对抑郁症的诊断标准一般依照《国际疾病分类》第10 版（ICD-10）［2］和美国《精神障碍诊断与统计手册》第4版（DSM-IV）［3］。

Huang 等［4］粗略统计，在我国抑郁症的终身患病率为6.9%。根据该统计数据进行估算，到目前为止，我国患有泛抑郁症状的人数约有9 500 万，预防控制抑郁症成为我国医疗卫生工作的重点之一［5］。在抑郁诊断中，医生一般只能通过对患者进行某些特定问题的提问来进行诊断，诊断结果往往会受到医生的主观影响。磁共振成像技术能揭示大脑的结构与功能改变情况，抑郁障碍的基础病理机制是可塑性功能紊乱［6］，因此可结合形态学测量方法，深入分析抑郁症引起的灰白质比例、密度、脑叶及脑室形态等改变。Bora 等［7］对重症抑郁症灰质的改变进行Meta分析，重症抑郁症患者双侧前扣带回皮质、右侧额中回、额下回、右侧海马及左侧丘脑等脑区灰质体积明显降低，背外侧和背中线的前额皮质灰质减少，并在多次发作的患者中更明显。还有证据证明，抑郁症自杀患者也存在额叶-纹状体环路相关脑区的异常［8-9］。以情绪异常为例，抑郁症情绪相关回路上突触连接受损，突触内稳态失衡，其中涉及到若干紊乱的情绪神经回路，回路之间相互关联且错综复杂，除情绪加工异常外，抑郁及相关障碍由若干不同内表型构成［10-12］。有研究认为，抑郁症患者的默认模式网络（Default Mode Network,DMN）与前扣带回膝下部和背外侧前额皮层连接增强，是抑郁症情绪功能失调的特异性功能表征，抑郁症的心理行为表现与神经系统的结构、功能异常关系密切，主要涉及海马、前额皮层、杏仁核等几个重要脑区［13］。不同脑区异常对应着不同的抑郁症评估结果，为了辅助医生更好更准确地进行临床诊断与治疗方案的设制，目前很多研究者使用单模态磁共振成像（Magnetic Resonance Imaging, MRI）数据进行抑郁症分类。针对功能磁共振成像（functional MRI,fMRI），温洪等［14］基于广泛使用的自动解剖模板构建脑网络，发现抑郁症患者脑网络的特征路径长度和脑区的度、中间中心度等属性与正常人有明显差异。付常洋等［15］使用功能脑网络提取fMRI 数据并进行分类，实验结果显示诊断效果显著。针对结构磁共振成像（structural MRI,sMRI），由于深度学习的广泛使用和优秀表现，基于ADNI-Transfer 迁移学习方法［16］的三维密集连接深度学习网络［17］被设计和提出，并用来进行特征提取，实现抑郁症的准确分类。

由于多模态数据融合方法能够提取到更多的有效信息，He 等［18］结合多集典型相关分析（Multi-Set Canonical Correlation Analysis, MCCA）和联合独立成分分析（Joint Independent Component Analysis,JICA）的方法进行特征融合，最后输入分类器进行分类，结果显示多模态数据融合能够提取更加丰富完备的特征，明显优于单一模态特征的准确率。因此，本文将fMRI 数据与sMRI 数据信息进行融合，提出基于取fMRI 和sMRI 双模态数据融合的抑郁症分类算法，期望可以提取MRI 数据中更丰富的信息，以实现对抑郁症患者与健康对照组更加准确的分类，从而更好地辅助医生进行抑郁症临床诊断。首先利用功能脑网络和深度学习网络分别提取fMRI 和sMRI数据特征，并计算类概率，然后将两种分类结果使用软投票法和加权投票法进行融合，得出最终分类结果。实验结果显示，两种投票法均达到较高准确率，可有效辅助医生进行抑郁症的临床诊断。

1 研究方法与评价标准

本文在决策层对fMRI数据与sMRI数据的融合与分类进行研究，探讨了软投票法与加权投票法两种决策层融合方式对分类结果的影响，并且都取得了比单模态数据更好的分类效果。首先分别对fMRI数据和sMRI数据进行特征提取与决策，使用多尺度脑网络的构建方法［15］对fMRI数据进行特征提取，然后使用支持向量机（Support Vector Machine,SVM）［19］获得fMRI数据的输出类概率，同时使用ADNI-Transfer迁移学习后的3D-DenseNet264模型［17］，对sMRI数据进行特征提取，并分类，获得类概率结果。获得fMRI和sMRI两种分类结果后，在决策层进行融合，即在fMRI和sMRI两种模态数据分别完成分类决策的基础上，对两种分类的决策结果综合分析，得出最终决策结果，框架示意图如图1所示。

图1 本文提出方法框架示意图Figure 1 Schematic diagram of the framework of the proposed method

1.1 软投票法决策层融合策略

投票法是集成学习中一种针对分类问题的融合策略，基本思想是选择所有机器学习算法当中输出最多的那个类别，作为最终分类结果［20］。机器学习算法中，分类的输出有两种类型：一种是直接输出类标签，另一种是输出类概率，使用前者进行分类称为硬投票，使用后者进行分类称为软投票。由于本研究为二分类问题，输出类标签只有两类，很容易出现投票平局的情况，故选择软投票策略进行决策层数据的融合。

本研究将样本分成抑郁症患者组和健康对照组两类，规定抑郁症患者为正类（positive），健康对照者为负类（negative），因此定义健康对照者数据标签为0，抑郁症患者数据标签为1，在最终分类时都可映射在0 到1 之间，故对每一个被试，投票后分类标签如式（1）所示：

其中，L表示经过软投票法后的类标签，Lf表示fMRI数据的输出类概率，Ls表示sMRI数据的输出类概率，定义最终类标签L为0 时表示健康对照者，为1 时表示抑郁症患者。

1.2 加权投票法决策层融合策略

加权投票法是一种计入权重的投票方法，等同于加权平均法［21］。每个弱学习器的分类票数乘以权重，并将各个类别的加权票数求和，最大值对应的类别即为最终类别。普通的投票法将每种数据各自的分类结果都赋予相同的权重，但考虑到各数据信息对最终分类结果的贡献不一致，故本文尝试使用加权投票法为每一种分类结果赋予不同权重。

定义fMRI 数据的分类结果为Lf，其权重wf的计算方法如式（2）所示：

其中，Snf、Recallf分别代表对fMRI数据进行分类后，所使用分类器的准确度和召回率。准确率和召回率两个指标同时用来评价最终的分类性能，规定抑郁症患者为正类（positive），健康对照者为负类（negative）。TP（true positive）为将正类预测为正类的样本个数，FN（false negative）为将正类预测为负类的样本个数，FP（false positive）为将负类预测为正类的样本个数，TN（true negative）为将负类预测为负类的样本个数。

同理，定义sMRI 数据的分类结果为Ls，其权重ws的计算方法如式（3）所示：

其中，Sns、Recalls分别表示对sMRI 数据进行分类后得到的准确率和召回率。

本文定义健康对照组的数据标签为0，抑郁症患者的数据标签为1，故对每一个被试，经加权投票后的分类标签如式（4）所示：

其中，Lw表示经过加权投票法后的类标签，Lf表示fMRI数据的输出类概率，Ls表示sMRI数据的输出类概率。

1.3 评价标准

针对本文的二分类器性能选择以下4 个评价标准来进行评价。特异度Sp，表示所有负例中被正确预测的实例所占比例，即在所有没有患病的人当中，有多少人得到阴性结果。其计算公式为：

召回率Recall，表示正确预测为正的样本占全部实际为正的样本比例，即在所有患病的人中，有多少人得到阳性结果。其计算公式为:

F1 是对精度和召回率进行综合评价的指标，目的是使二者同时达到最高时取一个平衡，其值更接近于较小的那个指标，当这两个指标值相近时，F1 评分的值最大。其计算公式为：

精度Sn，表示正确预测为正的样本占全部预测为正的样本比例，即在所有预测为阳性的样本中，有多少是真的阳性。其计算公式（8）为：

2 试验准备

2.1 试验数据

本试验所用数据集中共有174 个样本数据，其中有99个首都医科大学附属安定医院招募的抑郁障碍患者和75个报纸广告上招募的在年龄、性别、受教育程度均匹配的健康对照者。由北京师范大学认知神经科学和学习国家重点实验室采集，使用设备为第3代特斯拉磁共振扫描仪（西门子公司，德国埃尔）。数据集中所有样本均依据美国精神障碍诊断与统计学手册第4版所列标准，经过严格筛选且签署知情同意书。

2.2 数据预处理

2.2.1 fMRI 数据预处理fMRI 数据使用基于Matlab语言的磁共振图像处理工具DPARSFA 软件进行预处理，具体流程如图2所示。首先去掉前10 个时间点的数据，以减少扫描前期信号稳定性不足对试验带来的干扰，然后分割出脑疾病分布所在的脑灰质部分，接着对磁共振图像进行时间尺度校正，在容许的头动范围内，使用算法校正信号，使其靠近真实值，把不同的样本数据对齐到同一个标准空间，移除信号中的高频信息，将线性趋势去除，避免其对信号正确性的影响，最后去除低频生理信号（比如呼吸和心跳）和高频随机噪声。

2.2.2 sMRI 数据预处理sMRI 数据使用基于Matlab语言的磁共振图像处理工具DPARSFA 软件进行预处理，具体流程如图3所示。首先把不同的样本数据对齐到同一个标准空间，去除非脑组织，然后分割出脑疾病分布所在的脑灰质部分，最后移除信号中的高频信息，增加更大空间尺度上信号的信噪比，通过牺牲空间分辨率减少个体间位置不匹配问题。

图3 sMRI数据预处理流程图Figure 3 Flowchart of sMRI data preprocessing

2.3 试验配置

将现有数据集进行预处理后的所有数据按照8：1：1 的比例进行划分，分成训练集、验证集以及测试集，试验中全部采用五折交叉验证，所有网络在训练中均使用交叉熵损失函数与Adam 优化算法［22］，因为特征数据的维数巨大，导致特征向量不紧致，同时增加运算成本，不利于后期的分类研究，故需进行特征选择和降维，防止后期分类模型训练过程中的过拟合，增强模型泛化能力。试验中特征选择与降维均使用主成分分析（Principal Components Analysis,PCA）方法［23］，试验选择径向基核函数（Radial Basis Function,RBF）的SVM进行分类，采用基于Python语言的机器学习模块Scikit-learn［24］，辅助完成SVM 算法的实现。

试验环境搭载在一台带有一块NVIDIA TITAN Xp GPU、四核Intel Xeon E3-1230 v5 3.41GHz 处理器的TP1201 服务器上，编程语言为Python3.6，深度学习框架为PyTorch1.0，数据预处理工具为Matlab2013a。

3 试验结果与分析

3.1 单独fMRI数据分类

在单独fMRI 数据分类构建脑网络中，将串联融合后的特征使用PCA 进行特征选择和降维，再应用RBF 核函数的SVM 分类器进行五折交叉验证，具体试验结果的分类精度、特异度、召回率和F1评分如表1所示。

表1 不同尺度脑网络下的分类效果对比（%）Table 1 Comparison of classification performances under different scales of brain networks (%)

从表1中的数据可以看出，在相同特征数量的情况下，融合多尺度脑网络特征后的分类精度，相比单独空间尺度下的脑网络分类精度有所提升，特异度、召回率和F1 评分也都有所提升，表明特征选择能够对分类器的训练起到积极影响，提高分类器的泛化能力。融合多尺度脑网络特征后，再对特征进行筛选，能更好地利用多尺度脑网络信息。

3.2 单独sMRI数据分类

在单独sMRI数据分类中，将预处理过后的sMRI数据分层输入网络，输入尺寸为121×145 像素，并采用投票算法，即对于每个被试，测试结果为正类的层超过一半时判定为正类，否则判定为负类，将二维网络三维化。

从表2中的数据可以看出，对网络进行三维化操作后分类精度、召回率、特异度和F1评分均有了显著提升，如3D-DenseNet264 的分类精度比二维的DenseNet264 提升了8.29%，表明三维网络能够有效挖掘出抑郁症sMRI数据中丰富的层间信息。

表2 2D网络与3D网络试验结果对比（%）Table 2 Comparison of test results between 2D networks and 3D networks(%)

将3D-DenseNet264 用ADNI 数据库做了预训练，并进行迁移学习（ADNI-Transfer），与直接用抑郁症数据训练（None）的实验结果，以及Chen 等［25］使用的迁移学习方法（Med3D-Transfer）和用ADNI 数据库迁移学习（ADNI-Transfer）在3D-ResNet 系列网络做的试验进行对比。

由表3中的数据可以看出，引入迁移学习后，3D-DenseNet264 在经过ADNI-Transfer 操作之后分类精度提升了3.25%，网络的分类性能有了提升，这说明迁移学习能够将其他领域的知识引入到抑郁症sMRI 数据的分类任务中，一定程度上解决了样本不充足问题，从而加快模型训练的效率，提升模型最终的泛化能力。进行ANDI-Transfer 的3D-ResNet200网络的分类精度要比进行Med3D-Transfer 的3D-ResNet200 网络高出1.95%，ADNI-Transfer 迁移学习方法在特异度、召回率、F1 评分和精度上均有更优表现。

表3 迁移学习试验结果对比（%）Table 3 Comparison of the test results of transfer learning experiments(%)

3.3 fMRI和sMRI数据决策层融合后的分类

将fMRI 数据和sMRI 数据在决策层进行融合，其分类效果与fMRI 数据和sMRI 数据单独进行分类时的最好结果进行比较，以验证双模态数据融合的优越性；同时，在决策层的融合中使用了软投票法和加权投票法两种方法进行对比分析。具体试验结果如表4所示。

表4 各种方法对比试验结果（%）Table 4 Comparison of classification performances among different methods(%)

由表4中的试验结果可以看出，通过软投票法进行的决策层数据融合策略，可以使精度上升至91.35%，特异度、召回率和F1 评分也有所提高，普通的投票法将每种数据各自的分类决策都赋予相同的权重，而加权投票法直接利用算法输出的类概率进行统计，避免了普通投票法出现投票平局的情况，此时的精度以及特异度较单一模态数据分类时有所提升。当两种模态数据分别给予不同权重，进行投票法决策融合时，可以将两种数据单独使用时分类效果之间存在的差距进行有效修正，且前期进行的特征选择与降维处理使模型精度提高而又不会过拟合，使精度上升至92.31%，特异度上升至92.08%，F1评分上升至94.58%，召回率上升至96.62%。由试验结果可以看出，使用软投票法和加权投票法两种融合方法，均能显著提升最终的分类结果，并且加权投票法在试验中显示出更好的性能。

4 总结

目前抑郁症的诊断，医生基本只能依据患者某些特定问题的答案，因此存在患者故意隐瞒，或过于依赖医生主观判断的问题，而利用机器学习和脑部医学影像辅助诊断抑郁症，可以有效避免或缓解上述问题的不利影响。为此，本文将决策层融合策略应用到抑郁症的结构和fMRI 辅助诊断中，更好地提取数据中的有效信息，获得了较单一模态数据更加优秀的试验结果。针对fMRI 数据，基于复杂网络理论，构建多尺度功能脑网络，提取局部和全局网络特征，计算类概率，针对sMRI 数据，基于三维密集连接深度学习网络，充分挖掘数据中的空间结构信息，然后引入迁移学习，对网络模型进行预训练，提取数据特征，计算类概率，最后运用加权投票法和软投票法对两种数据特征的类概率进行融合，得到最终分类结果。试验结果表明，本文提出的决策层融合方法，分类精度、特异度、召回率和F1 评分均有显著提升，尤其是加权投票法融合策略，分类精度和特异度高达92.31%和92.08%，证明本文提出方法能够更好地辅助医生对抑郁症做出正确的分析与诊断。