多模态网络融合在轻度认知障碍分类中的应用

王鑫　高原　王彬　孙婕　相洁

摘 要：針对早期轻度认知障碍（MCI）根据医学诊断认知量表评估极有可能无法判断的问题，提出了一种多模态网络融合的MCI辅助诊断分类方法。基于图论的复杂网络分析方法在神经影像领域的应用已得到广泛认可，但采用不同模态的成像技术研究脑部疾病对大脑网络拓扑结构属性的影响会产生不同结果。首先，使用弥散张量成像（DTI）与静息态功能磁共振成像（rs-fMRI）数据构建大脑结构和功能连接的融合网络。然后，融合网络的拓扑属性被施以单因素方差分析（ANOVA），选择具有显著差异的属性作为分类特征。最后，利用支持向量机（SVM）留一法交叉验证对健康组和MCI组分类，估算准确率。实验结果表明，所提方法的分类结果准确率达到94.44%，相较单一模态数据法的分类结果有明显提高。所提方法诊断出的MCI患者在扣带回、颞上回以及额叶和顶叶部分区域等许多脑区表现出显著异常，与已有研究结果基本一致。

关键词：多模态;轻度认知障碍;弥散张量成像;静息态功能磁共振成像;融合网络;支持向量机;分类

中图分类号： TP181文献标志码：A

Application of multimodal network fusion in classification of mild cognitive impairment

WANG Xin， GAO Yuan， WANG Bin， SUN Jie， XIANG Jie*

（College of Information and Computer， Taiyuan University of Technology， Taiyuan Shanxi 030024， China）

Abstract： Since the early Mild Cognitive Impairment （MCI） is very likely to be undiagnosed by the assessment of medical diagnostic cognitive scale， a multimodal network fusion method for the aided diagnosis and classification of MCI was proposed. The complex network analysis method based on graph theory has been widely used in the field of neuroimaging， but different effects of brain diseases on the network topology of the brain would be conducted by using imaging technologies based different modals. Firstly， the Diffusion Tensor Imaging （DTI） and resting-state functional Magnetic Resonance Imaging （rs-fMRI） data were used to construct the fusion network of brain function and structure connection. Then， the topological properties of the fusion network were analyzed by One-way ANalysis of VAriance （ANOVA）， and the attributes with significant difference were selected as the classification features. Finally， the one way cross validation of Support Vector Machines （SVM） was used for the classification of healthy group and MCI group， and the accuracy was estimated. The experimental results show that， the classification result accuracy of the proposed method reaches 94.44%， which is significantly higher than that of single modal data method. Many brain regions， such as cingulate gyrus， superior temporal gyrus and parts of the frontal and parietal lobes， of the MCI patients diagnosed by the proposed method show significant differences， which is basically consistent with the existing research results.

Key words： multimodal; Mild Cognitive Impairment （MCI）; Diffusion Tensor Imaging （DTI）; resting-state functional Magnetic Resonance Imaging （rs-fMRI）; fusion network; Support Vector Machine （SVM）; classification

0 引言

轻度认知障碍（Mild Cognitive Impairment， MCI）是指有轻度的记忆功能和认知功能损伤，是正常衰老与阿尔兹海默症（Alzheimers Disease， AD）的过渡状态[1]。研究表明，每年约有10%至15%的MCI患者转为AD，明显高于正常老年人的转化率（约为1%至2%）[2]。因此，MCI的准确诊断对于尽早治疗以推迟病情的恶化是非常重要的。实际上，MCI的诊断依旧是基于医生临床诊断和心理测量学评估，极大地浪费了人力物力资源，并且主观性的判断很容易造成误诊以及漏诊，导致病情的延误。尽管MCI患者的记忆力表现出现轻微减退，但这并不会对患者的日常生活造成实质性影响，所以根据医学诊断认知量表评估极有可能无法判断早期MCI的认知情况。因此，更好地发展医疗辅助诊断工具就更为必要，同时这些工具的开发在衡量新疗法的功效中可以发挥重要作用。

大脑的解剖结构和功能是密切相关的，解剖结构决定了功能，而大脑功能又是解剖结构的表征[3-4]。近几年，基于图论分析（Graph Theory Analysis）的发展为人脑连接组的研究提供了所必需的分析方法[5]。对大脑结构网络的研究，有助于对大脑不同区域之间真实的结构连接的直观了解，进而研究脑结构网络的拓扑性质。而大脑静息态功能网络的研究，对理解人脑在不同状态下的功能活动规律并探索大脑的功能组织模式有重要作用。因此大脑的结构网络和功能网络都可以对整个大脑的状况进行描述，并且在各种大脑相关疾病的病理生理机制的研究中有重要作用。然而，使用不同模态来研究大脑相关疾病对脑网络拓扑属性影响却可能会产生不同的结果[6]。此外，机器学习方法如支持向量机（Support Vector Machine， SVM）算法结合弥散张量成像（Diffusion Tensor Imaging， DTI）、功能磁共振影像（functional Magnetic Resonance Imaging， fMRI）的研究方法已广泛应用于MCI诊断中[7-9]。

崔会芳等[8]使用基于静息态fMRI的有向脑功能网络对拓扑属性进行组间差异分析，将异常的网络拓扑属性值作为分类特征，对正常对照（Normal Control， NC）、早期轻度认知障碍（Early Mild Cognitive Impairment， EMCI）和晚期轻度认知障碍（Late Mild Cognitive Impairment， LMCI）进行了基于SVM的分類研究。Alam等[10]利用结构磁共振影像（structural Magnetic Resonance Imaging， sMRI）数据提取脑萎缩的体积特征对NC与MCI进行了分类研究。武政等[7]通过静息态fMRI以及sMRI数据构建脑功能网络，将异常的网络拓扑属性和萎缩脑区的灰质体积作为分类特征，对NC、MCI和AD进行分类。现有研究大都是采用单一模态或针对大脑的某一个解剖区域进行研究，然而这种方式的弊端是获取的特征信息较为单一，且不利于没有先验知识的研究者进行研究。虽然也有研究采用了多模态数据进行研究，但只将不同模态下提取到的特征进行了简单的合并，没有充分发挥多模态特征的优势。

本文研究拟对大脑结构连接网络和功能连接网络进行融合，从多模态的角度更全面更可靠地研究MCI的病理生理机制，更准确有效地找到MCI患者在脑网络拓扑结构上所发生的变化。本文提出了一种多模态网络融合的MCI辅助诊断分类方法，通过图论的方法，分析融合网络的拓扑属性差异，形成特征向量，构建分类模型，实现对阿尔茨海默症患者的自动识别，以此来辅助MCI的诊断，为MCI的诊断提供新视角。

1 本文方法

本文基于多模态融合脑网络的分类方法所采用的技术路线如图1所示。首先，收集被试的DTI和fMRI数据，分别做预处理构建结构和功能连接;接着，融合结构和功能连接得到融合网络，计算网络全局属性和局部属性，并筛选NC、MCI两组中存在显著差异的全局属性，与局部属性作为分类特征。

1.1 数据采集

本文研究采用的DTI与静息态fMRI数据均来源于阿尔茨海默症神经影像计划（Alzheimers Disease Neuroimaging Initiative， ADNI）数据集（http：//adni.loni.ucla.edu/）。该公开数据集旨在通过对患者的各种医学成像数据的分析来研究AD的病理生理机制，并且此数据得到了研究者的广泛使用，其中包括46例MCI被试以及80例NC被试。被试的年龄、性别、教育、简易精神状态检查表评分（Mini Mental State Examination， MMSE）、临床痴呆评定量表评分（Clinical Dementia Rating， CDR）、社会活动功能量表评分（Functional Activities Questionnaire， FAQ）如表1所示。表1中，对NC组与MCI患者进行统计分析，a组为双尾卡方检验，b组为单因素方差检验，P值为显著性差异。两组被试在教育、性别上没有显著差异，而在年龄、MMSE、CDR和FAQ量表评分上有显著的差异。

数据采集使用通用电气医疗系统磁共振扫描仪，磁场强度为3T。DTI数据扫描参数设置为：Flip Angle=90.0°;Gradient Directions=48.0;Matrix=256×256×4320;FOV=0.9×0.9mm2;Slice Thickness=2.0mm;Echo Time（TE）=61ms;Repetition Time（TR）=7800ms。静息态fMRI数据扫描参数设置为：Slice Thickness=3.4mm;Echo Time（TE）=30ms;Repetition Time （TR）=3000ms;Slices=48。

1.2 数据预处理

DTI数据的预处理使用基于FSL5.0和Diffusion Toolkit的PANDA（a Pipeline for Analysing braiN Diffusion imAges）工具（http：//www.nitrc.org/projects/panda）[11]。图像预处理步骤为：首先，进行剝头皮、头动及涡流校正;随后，进行重采样，将图像配准至加拿大蒙特利尔神经病学研究所（Montreal Neurological Institute， MNI）标准空间;然后，进行高斯平滑。

fMRI数据的预处理基于DPARSF（Data Processing Assistant for Resting-State fMRI） v2.3工具[12]。针对每例数据的预处理流程为：首先，将前10s的功能图像丢弃;随后，将数据进行时间片校正和头动校正，只保留水平头动小于1mm或者转动小于1°的被试;接着，将图像使用平面回波成像（Echo Planar Imaging， EPI）模板空间配准至体素为3mm的MNI标准空间;然后，进行高斯平滑、低频滤波（0.06～0.11Hz），以降低图像数据中的低频漂移及高频的生物噪声。

1.3 网络构建

本文研究将分别构建大脑结构连接网络和功能连接网络，并且基于个体水平来构建大脑网络。

1.3.1 结构连接网络构建

节点是网络中最基本的元素，本文研究采用自动化解剖标记（Automated Anatomical Labeling， AAL）模板[13]，将预处理后图像划分为90个大脑区域，其中左右半球各45个脑区。然后，采用PANDA工具包进行白质纤维追踪来构建确定性结构网络。使用确定性纤维束追踪算法计算出脑区间的纤维数（Fiber Number， FN）与部分各向异性指数（Fractional Anisotropy，FA），由此得到一个90×90纤维束数量矩阵与一个90×90部分各向异性指数矩阵。在重建结构连接网络（Structural Connectivity， SC）过程中，当两个节点之间的纤维束数量大于3时，则存在连接[14]，并且FA作为结构连接网络（SC）权重。

1.3.2 功能连接网络构建

在本文研究中，不同大脑区域间的功能关系由大脑区域的时间序列之间的同步性来表示。与结构网络构建类似，功能网络构建也需要通过AAL模板将大脑划分为90个脑区，将每个脑区内所包含的所有体素的时间序列进行平均。然后，使用多元线性回归分析的方法来消除部分由头动和全局脑信号引起的误差。最后，计算每两脑区间的平均时间序列的皮尔逊相关性，由此得到一个90×90的相关矩阵。将功能连接网络（Functional Connectivity， FC）中的节点与结构网络中的节点以类似的方式进行处理[14]，并将相关矩阵的绝对值作为功能连接网络（FC）的权重。

1.4 网络融合

网络融合旨在将每个被试的大脑结构连接网络和功能连接网络的信息集成到融合网络中。首先，将结构连接矩阵与功能连接矩阵进行Min-Max标准化，计算过程如式（1）所示：

z=（x-min）/（max-min）（1）

式中：z为标准化结构连接网络矩阵SCz或标准化功能连接网络矩阵FCz中的任一元素，即SCzi， j或FCzi， j。SCzi， j表示标准化结构连接网络矩阵SCz中第i行、第j列的元素;FCzi， j表示标准化功能连接网络矩阵FCz中第i行、第j列的元素。x为结构连接网络矩阵SC或功能连接网络矩阵FC中与z对应的元素;min为结构连接网络矩阵SC或功能连接网络矩阵FC中元素的最小值;max为结构连接网络矩阵SC或功能连接网络矩阵FC中元素的最大值。

然后，对得到的标准化结构连接网络矩阵SCz和标准化功能连接网络矩阵FCz进行融合，从而得到基于结构连接网络与功能连接网络的融合网络矩阵FSC，计算过程[15]如式（2）所示：

FSC=ω（SCz）2+（1-ω）（FCz）2（2）

式中：ω为权值，取值范围为0～1。取ω=ωm满足min{COV（（ωm·SCzi， j），（1-ωm）·FCzi， j）}，即：当标准化结构连接矩阵与标准化功能连接矩阵的方差最小，期望标准化结构连接矩阵与标准化功能连接矩阵的数据尽可能地相似。其意义是考虑到个体差异的情况，尽可能地将结构和功能对大脑描述状况进行融合，同时将大脑结构连接网络和功能连接网络的异常连接信息都尽可能集中在融合网络中。ωm的取值范围为[0.01，0.99]，步长为0.01，并与m=1，2，…，99的取值一一对应（即ω1=0.01， ω2=0.02，…，ω99=0.99）。同时，为了排除由于噪声而不是病理原因造成的连接，本文研究对每一组被试的连接进行非参数符号检验并去除假连接[16]。

1.5 网络统计特征及分析

在构建融合网络之后，为了更好地描述复杂网络的拓扑结构需要一些方法来检测网络特征，因此对网络进行属性的计算。使用不同的网络拓扑属性指标可以从不同方面对融合网络进行刻画和分析。在本文用到了一些最基本的概念，如：1）节点度描述了网络节点之间互相连接的情况，刻画了主要网络演化的特性，节点在网络中的地位越重要则节点的度也就越大[5]。在加权网络中，节点度表示一个节点与其他节点连接的强度[17]。2）介数中心度是用来度量网络中节点对网络相对重要性的统计指标。3）标准化聚类系数反映了网络的局部功能的差异。4）标准化路径长度代表了整个网络信息的传递效率。5）大脑网络的小世界属性代表了一个高效的系统，其中大脑网络中功能分离与整合并存。为确保能够将分离模块内的信息进行高效整合，大脑网络需要使得模块化处理以及模块之间快速的信息传输共存[18]。

1.6 分类模型

SVM分类器是基于统计学习理论的机器学习算法，其主要思想是寻找一个超平面，使两组不同的高维数据尽可能地被超平面隔离，其特色在于通过核函数实现特征空间映射，通过结构风险最小化原则来尽可能地提升分类器的泛化能力，即较少量的训练样本也可以确保测试集的较小误差，从而有效地解决了分类中常见的小样本、高维数、非线性和局部極小点等问题，因此此分类器被MRI信号分类研究广泛使用[19-21]。而在本文研究中，由于样本量的限制，使用SVM算法更为合适。

融合网络基于全局属性与局部属性的计算产生了大量的原始特征。在构建分类器模型的过程中，特征的数量也是对模型进行评价的重要指标之一。因为低维度的特征空间将减小模型的复杂度，以此减少分类器训练和测试的时间，并且原始特征集中可能有不相关或冗余的特征降低分类器的性能;所以本文研究在构建分类器模型的过程中，按照特征的贡献度将特征排序，先加入贡献度最高的特征，再加入较低贡献度的特征。全局属性和局部属性的特征选择结果分别如表2、表3所示，本文研究将融合网络属性的单因素方差分析（One-way ANalysis of VAriance， ANOVA）结果中的F值和P值作为特征贡献度高低的依据，其中F值是方差分析中的一个指标，F值越大结果越可靠。

为此，本文研究采用单因素方差分析方法，对NC和MCI两组融合网络的拓扑属性进行比较分析[22]，提取差异显著的全局属性以及局部属性作为分类特征（如表2～3所示特征选择结果），选择SVM径向基核函数（Radial Basis Function， RBF）算法来构建分类模型。在本文研究中，通过对分类结果使用留一法交叉验证来对分类模型的性能进行评价。每次从待分类样本中选择一个用于测试样本集，其余作为训练样本集，对样本进行分类实验以获取分类灵敏度、特异度、准确率、受试者工作特征（Receiver Operating Characteristic， ROC）曲线和ROC曲线下面积（Area Under Curve， AUC）。对所有样本都重复进行一次，并将所有结果取均值用以评价分类性能。这一方法已经广泛地应用在同类研究中。

2 实验与结果分析

2.1 特征选择结果

对NC和MCI两组的融合网络的拓扑属性进行单因素方差分析，取P值小于0.001为两组被试间差异具有统计学意义，提取差异显著的全局与局部属性作为分类特征，结果如图2所示。其中MCI的全局属性如节点度等出现了显著差异，如图2（a）所示显著差异的全局属性;如图2（b）所示，在融合网络的局部属性分析中MCI患者的颞下回、丘脑等14个脑区的节点度发现显著降低。

2.2 SVM分类结果

不同网络模型的SVM分类结果如表4所示。

将所得到的差异全局属性和局部属性作为特征使用交叉验证对患者以及正常被试进行分类，每次随机从待分类样本中选择一个样本作为测试样本集，其余为训练样本集，然后得到准确率为93.65%;在加入MMSE、CDR、FAQ量表得分之后，准确率为94.44%。在使用同样的选择特征方法且同样的数据集情况下，基于结构网络对MCI进行分类其准确率为72.22%，而基于功能网络的MCI分类准确率为77.78%，均小于融合网络的分类准确率。在多模态但不使用文中融合方法而将分别从结构网络与功能网络选择出的特征进行合并的情况下对MCI进行分类，准确率为80.16%，小于基于融合网络的分类准确率。

2.3 结果分析

本文研究结果表明，MCI患者的融合网络中的一些属性都与正常对照组存在一定差异，这些差异与已有的研究结论较为一致。其中在全局属性上，MCI患者的节点度下降，说明患者的大脑部分区域已经开始萎缩。基于节点进一步分析，本文研究找到了节点度属性显著下降的主要脑区，其中主要包括扣带回、颞上回以及额叶和顶叶部分脑区等，可见MCI的萎缩模式与AD相似，富含核心节点的大脑区域（如顶叶、扣带回和额叶）在MCI和AD患者中容易受损[23]。此外，现有研究表明，MCI患者的认知功能受损的情况并非由个别脑区受损萎缩所导致，而是在全脑中多个脑区均有不同程度的损伤。文献[16]的研究发现，MCI患者都存在广泛的异常连接，这些异常连接涉及周围区域，可能会导致他们经历早期的记忆衰退，但是患者的核心连接相对保存了下来;并且，失常脑区大多与记忆、听觉、语言、注意力等认知功能联系紧密，部分脑区属于默认网络，而默认网络与各种高级认知密切相关。本文研究结果发现，MCI患者在认知功能障碍的行为表现是一致的，即MCI患者除了有轻度的记忆功能障碍之外，其他认知的功能如语言功能、视觉功能以及注意力功能等都受到了不同程度的影响。

此外，本文研究结果表明，本文所提融合网络的MCI患者介数中心度、标准化聚类系数、标准化路径长度、小世界属性和模块化都显著升高，与已有研究存在一致性。文献[26]利用静息态fMRI研究发现，MCI组小世界属性异常、聚类系数和最短路径长度升高。文献[27]研究也表明MCI患者的脑网络属性中小世界属性存在显著异常。同时，本文基于结构功能连接的融合网络研究结果也发现，融合网络技术对MCI的研究更有效并且更全面地发现了拓扑属性上的差异性。由于患者脑网络模式出现异常相关、患者脑网络最优脑结构组织逐渐丧失，出现了异常的模块分离以及整合，导致大脑信息交流传递出现异常[28]。

从分类准确率来看，本文所提方法的分类准确率高于已有基于单模态的分类研究，不同方法的MCI分类结果如表5所示。如：文献[10]利用sMRI数据取脑萎缩的体积特征进行分析，MCI患者与NC组之间的分类准确率为86.54%;文献[8]采用静息态fMRI数据构建大脑有向功能网络，提取异常的网络属性值作为分类特征，EMCI与NC分类准确率为88.24%（41个特征），LMCI与NC分类准确率为94.12%（38个特征）， 均低于本文方法NC与MCI分类的分类准确率（94.44%，23个特征）。本文方法使用更少的特征达到了更高的分类准确率，有效降低了计算量，减少了分类器训练和测试的时间，并且LMCI患者为MCI的晚期阶段，脑网络拓扑结构已经产生了显著的改变，因此相比之下本文方法构建的分类模型的性能更优。文献[9]将基于脑功能网络的异常属性作为分类特征，EMCI和NC的分类准确率为75.33%，LMCI和NC的分类准确率为83.79%。现有的分类方法中只针对单一模态数据进行研究，必然会使得信息不够充分，进而导致整体的分类性能受到局限。因此，先将多模态成像数据融合再进行分类研究的方法已经被越来越多的研究认可。

[23]ZHAO Z， FAN F， LU J， et al. Changes of gray matter volume and amplitude of low-frequency oscillations in amnestic MCI： an integrative multi-modal MRI study [J]. Acta Radiologica， 2015， 56（5）： 614-621.

[24]接标，张道强.面向脑网络的新型图核及其在MCI分类上的应用[J].计算机学报，2016，39（8）：1667-1680.（JIE B， ZHANG D Q. The novel graph kernel for brain networks with application to MCI classification [J]. Chinese Journal of Computers， 2016， 39（8）： 1667-1680.）

[25]CHEN X， ZHANG H， ZHANG L， et al. Extraction of dynamic functional connectivity from brain grey matter and white matter for MCI classification [J]. Human Brain Mapping， 2017， 38（10）： 5019-5034.

[26]WANG J， ZUO X， DAI Z， et al. Disrupted functional brain connectome in individuals at risk for Alzheimers disease [J]. Biological Psychiatry， 2013， 73（5）： 472-481.

[27]王湘彬，趙小虎，江虹，等.轻度认知功能障碍患者大脑fMRI网络小世界特性[J].中国医学影像技术，2014，30（5）：790-793.（WANG X B， ZHAO X H， JIANG H， et al. Small-worldness of brain fMRI network in patients with mild cognitive impairment [J]. Chinese Journal of Medical Imaging Technology， 2014， 30（5）： 790-793.）

[28]WANG J， KHOSROWABADI R， NG K K， et al. Alternations in brain network topology and structural-functional connectome coupling relate to cognitive impairment [J]. Frontiers in Aging Neuroscience， 2018， 10： Article No. 404.

This work is partially supported by the National Natural Science Foundation of China （61873178， 61876124， 61503272）， the Key Research and Development Program of Shanxi Province （International Science and Technology Cooperation） （201803D421047）， the Natural Science Foundation of Shanxi Province （201801D121135）， the Natural Science Foundation for Young Scientists of Shanxi Province （201701D221119）.

WANG Xin， born in 1996， M. S. candidate. His research interests include intelligent information processing， brain informatics.

GAO Yuan， born in 1995， M. S. candidate. Her research interests include intelligent information processing， brain informatics.

WANG Bin， born in 1983， Ph. D.， associate professor. His research interests include psychology， intelligent information processing， brain informatics.

SUN Jie， born in 1994， M. S. candidate. Her research interests include intelligent information processing， brain informatics.

XIANG Jie， born in 1970， Ph. D.， professor. Her research interests include intelligent information processing， brain informatics， big data management and analysis.

收稿日期：2019-05-28;修回日期：2019-07-25;录用日期：2019-07-29。

基金项目：国家自然科学基金资助项目（61873178，61876124，61503272）;山西省重点研发计划国际科技合作项目（201803D421047）;山西省自然科学基金资助项目（201801D121135）;山西省青年科技研究基金资助项目（201701D221119）。

作者简介：王鑫（1996—），男，山西忻州人，硕士研究生，主要研究方向：智能信息处理、脑信息学; 高原（1995—），女，山西长治人，硕士研究生，主要研究方向：智能信息处理、脑信息学; 王彬（1983—），男，四川内江人，副教授，博士，主要研究方向：心理学、智能信息处理、脑信息学; 孙婕（1994—），女，山西太原人，硕士研究生，主要研究方向：智能信息处理、脑信息学; 相洁（1970—），女，山西太原人，教授，博士生导师，博士，主要研究方向：智能信息处理、脑信息学、大数据管理与分析。

文章编号：1001-9081（2019）12-3703-06DOI：10.11772/j.issn.1001-9081.2019050901