深度学习在磁共振影像脑疾病诊断中的应用

朱健椿，魏嘉昕，毛浚彬，刘 坤，何鸿宇，刘 锦✉

1) 中南大学计算机学院，长沙 410083

2) 新疆大学软件学院，乌鲁木齐 830046

脑疾病的发生往往会影响人们的日常生活，且由于大脑的工作机制十分复杂，人类很难清楚地认知脑疾病的成因，许多脑疾病的诊断依靠人类的主观判断[1]，加重了脑疾病给人类所带来的风险.随着生物技术、信息技术的不断突破，脑疾病研究迅猛发展，脑疾病研究也越来越得到国家层面的重视：“中国脑计划”作为重大科技创新项目被列入“十三五”规划；中共中央、国务院发布的《健康中国2030 规划纲要》和科技部发布的《关于支持建设新一代人工智能示范场景的通知》均明确指出我国要大力发展医疗大数据的应用体系建设，大规模利用人工智能解决包括脑疾病在内的常见疾病的诊疗需求.在我国，包含脑疾病研究在内的脑科学研究已被列为我国重大的科技项目之一.磁共振影像可分为结构性磁共振影像和功能性磁共振影像，结构性磁共振影像包含有T1 磁共振影像、T2 磁共振影像、弥散磁共振影像等；功能性磁共振影像包含有静息态功能磁共振影像、任务态功能磁共振影像等.磁共振影像可以从横断面、矢状面、冠状面等多方位成像，所以对大脑组织结构有较高的分辨率，能够获得大脑准确的细节与丰富的组织脉络特征[2]，进而探索大脑的结构组织以及功能连接的变化，因此磁共振影像成为许多脑疾病临床检查、预测诊断的主要手段，广泛应用于脑疾病诊断领域[3−5].随着人工智能技术的不断发展，其在脑疾病诊疗领域的影响不断加深，而深度学习是人工智能技术的一个重要代表.深度学习是一种基于神经网络的算法，通过不断的非线性变换来自动学习复杂的特征，并且可以在大规模数据集上进行训练.这使得深度学习在图像识别、语音识别、自然语言处理等领域具有很大的优势.

本文的框架分为以下三个部分：首先综述了深度学习在三种典型的脑疾病诊断中的应用，其次汇总了在三种疾病中常用的数据集与开源工具，最后进行了总结与展望.

1 深度学习在磁共振影像脑疾病诊断中的应用

脑疾病会影响人们的生活，其出现的时期也各有不同.在青少年时期易于出现自闭症这样的神经发育障碍性疾病；在中青年时期，精神分裂症这种精神障碍疾病容易被诊断出来；在老年时期，阿尔茨海默病这种退行性大脑疾病会影响到患者的正常生活.本章汇总近年来深度学习在青少年、中青年、老年三个阶段代表性脑疾病上的应用.

1.1 深度学习在自闭症谱系障碍诊断中的应用

自闭症谱系障碍是一种常见的大脑神经发育障碍，患者主要特点是社交困难、重复行为、兴趣受限和认知问题[6].根据国际发病率估算，中国约有300 万～500 万的自闭症谱系障碍儿童[7].当前自闭症病因尚不明确，诊断标准在不同国家与地区之间存在差异等，这些原因导致当前自闭症的准确诊断是一个具有挑战性的问题.

功能连接可以反映个体在认知和行为功能上的重要差异，在预测自闭症谱系障碍发挥着重要的作用.由于目前研究大多使用的是来自同一个成像中心单个模板的数据，而忽略了多个模板间的互补信息，所以Huang 等[8]提出了一种基于不同的预定义模板，使用基于Pearson 相关性的稀疏低秩表征，为每个受试者构建多个功能连接大脑网络的多模板多中心学习模型，实现自闭症谱系障碍的自动诊断.考虑到在以往的研究中较少关注大脑的静息态功能磁共振影像全局网络结构随时间的演变，Wang 等[9]提出了一种可以同时挖掘全局网络结构的动态模式，并对每个时间戳的特定网络特征进行建模的时间动态学习方法.考虑到数据由于多站点采集以及不同预处理方法所造成的差异性，导致现有的方法对疾病的识别性能较低的问题，Wang 等[10]提出了一种连接组形势建模方法，可以挖掘跨站点一致的连接组形势，并提取功能连接网络表征用于自闭症谱系障碍的识别.为了对重要脑区间的连接进行进一步的研究，Li等[11]提出了一种图神经网络框架用于挖掘分类任务有关的区域和跨区域的功能激活模式，通过在图卷积层中设计了一种新的基于聚类的嵌入方法，解决了在所有节点上应用相同嵌入的局限性.由于当前研究可能会忽略了非影像学信息和受试者之间的关系，无法识别分析与疾病相关的局部脑区和生物标志物，Zhang 等[12]通过设计局部感兴趣区域图神经网络生成的特征嵌入来学习多个主体之间的关系；通过设计自适应权重聚合块生成每个受试者的多尺度特征嵌入，提出了一种由局部到全局图神经网络用于自动识别自闭症谱系障碍.由于将不同模态的数据互补地整合到一个统一模型以提高自闭症的诊断效果是具有挑战的，Huang 和Chung[13]提出了一种新的图卷积学习框架，制定了一个具有变分边的自适应人口图模型，以补充基于种群的疾病预测的多模态数据.本节在表1 展示近三年自闭症谱系障碍诊断的研究进展.

表1 基于深度学习方法的自闭症诊断概述Table 1 Overview of using deep learning-based methods to diagnose autism spectrum disorder

1.2 深度学习在精神分裂症诊断中的应用

精神分裂症是一种复杂的伴有感知、行为等多方面障碍的精神疾病，会严重影响患者的日常生活[24].精神分裂症尚无明确的诊断标准，其诊断方法依赖于对具有明显精神症状的人的定性检查和患者的自述[25].

当前对精神分裂症进行研究的方法大多只简单考虑了大脑静态网络的功能连通性，而没有考虑动态功能连通性，如何将静态功能连通性与动态功能连通性联合分析是一个挑战，Huang 等[26]提出了一种使用了两种类型的扩散连接来促进静态路径和动态路径之间的信息传递的卷积神经网络，用于分析静态–动态功能脑网络.由于大多数构建动态功能连接网络的方法不能很好的聚合脑拓扑结构和与脑区功能相关的变化信息，Zhu 等[27]提出了一种块结构和稀疏局部结构来对动态功能连接进行构造和表示，并将其应用于脑部疾病的诊断.当前研究较少将随时间动态变化的大脑活动状况与功能连接网络进行联合分析，Zhao 等[28]提出了一种将卷积递归神经网络和深度神经网络相结合的混合深度学习框架，旨在同时提高分类精度和可解释性.随着神经影像学的发展，人们对精神分裂症早期发病时大脑结构的改变进行了不同程度上的探究.SupriyaPatro 等[29]提出了一种能够从三维体积磁共振影像扫描中提取空间和光谱特征，并使用带有集成策略分类器进行分类的轻量级三维卷积神经网络的框架，用于基于磁共振影像的精神分裂症诊断.随着数据量的不断增长，训练和测试数据之间存在特征不匹配的问题；同时由于在数据采集时，不同地点的人群、仪器以及采集协议之间的不统一又进一步限制了算法的临床应用，针对领域内适应以及领域间泛化的问题，Wang 等[30]提出了一个领域适应框架，通过预训练的模型在两种范式中适应新的成像条件来克服领域内适应和领域间泛化的问题.考虑到较少研究利用复值功能磁共振数据，而从复值功能磁共振影像数据衍生的空间源相位图噪声更小，对精神障碍引起的空间激活变化更敏感，因此Lin 等[31]构建了一个带有两个卷积层的3D-CNN 框架，以充分探索来自空间源相位图中3D 结构和体素之间的关系.通过前面的描述可以了解近年来精神分裂症诊断的研究方向，本节将其整理成表2 以供查阅.

表2 基于深度学习方法的精神分裂症诊断概述Table 2 Overview of using deep learning–based methods to diagnose schizophrenia

1.3 深度学习在阿尔兹海默症诊断中的应用

阿尔兹海默症是一种退行性精神疾病，会逐渐破坏脑细胞，影响记忆、行为以及推理能力，并逐渐影响到日常的生活[40].据报道，每年新增约1000万例，根据世界卫生组织报告，预计到2050 年，阿尔兹海默症患者将会达到1.52 亿[41]，阿尔兹海默症的诊断十分具有现实意义.本文将分别从单模态数据和多模态数据两个方面进行概述.

在当前利用功能磁共振影像数据的研究中，由于数据中存在噪声，受试者间的异质性，同时前人的方法专注于从单个功能连接网络进行分析等缘故，导致疾病诊断性能不佳，于是Gan 等[42]研究了一种多图融合方法来探索两个功能连接网络之间的共同和互补信息，对静息态功能磁共振成像数据进行脑部疾病诊断.在现有的功能连接网络的构建方法中，很多方法忽略了网络构建中的高阶网络特征，Jie 等[43]定义了一种新的加权相关核来测量大脑区域的相关性，通过数据驱动的方式学习加权因子来表征不同时间点的贡献；此外，他们构建了一个基于加权相关核的卷积神经网络框架，通过使用功能磁共振数据来学习疾病诊断的分层特征.仅从功能连接网络的角度来分析疾病可能会忽略了非结构化的拓扑信息，但是目前现有的图构建技术通常将分析限制在单一的空间尺度上，只关注到感兴趣区域之间的成对关系，忽略了受试者之间的信息关联.为解决此问题，Yao 等[44]提出了一个多尺度三元组图卷积网络来分析大脑的功能和结构连通性，用以诊断阿尔兹海默症.由于站点间数据的异质性问题，Guan 等[45]为多站点磁共振一致性分析提出了一种注意力引导的深度域适应框架，并将其应用于多站点核磁共振成像的脑疾病自动识别.除了单独使用磁共振成像数据进行研究外，多模态数据可以提高疾病的诊断性能.当前利用多模态数据的研究中，大多数采用了简单的策略来联合分析不同来源的特征，达到的效果并不能令人满意.针对这类问题，Ko 等[46]提出了一种新的深度生成和判别学习框架，联合分析脑疾病诊断和认知评分预测的表型和基因型数据.将不同模态的数据处理为功能连接网络的方法中，有构建静态功能连接网络和动态功能连接网络的两种方法，但是目前动态功能连接网络的建模方法，大多采用滑动窗口的方式提取动态交互信息，其性能对窗口参数异常敏感[47−48].由于很少有研究能够提供具有足够说服力的窗口参数的最佳组合，所以基于滑动窗口相关性的分析方法可能并非捕获大脑活动时间变化信息的最佳方法，因此Li 等[49]提出了一种新的基于静息态功能磁共振成像和弥散张量成像数据的自适应动态功能连接估计模型，并进一步提出了一种深度时空特征融合方法，以实现更全面的多域表示.目前大多数基于图的方法使用的是单一模态数据进行手动定义图，然后再加入其他的模态信息后进行图表征学习，这导致模态之间复杂的相关性被忽略.为解决这个问题，Zheng 等[23]提出了模态感知表示学习，利用模态之间的相关性和互补性来聚合每个模态的特征；同时设计了一种轻量级自适应图学习方法，为下游任务构建最优图结构用于疾病预测.本文将在表3 中展示基于深度学习的阿尔兹海默症诊断的研究近况.

表3 基于深度学习方法的阿尔兹海默症诊断概述Table 3 An overview of the application of deep learning–based methods to diagnose Alzheimer’s disease

2 数据集与开源工具

2.1 数据集

在脑疾病诊断的研究中使用了大量的数据集，常见的数据集如表4 所示.

表4 公开数据集Table 4 Open databases

2.2 开源工具

深度学习在磁共振影像脑疾病诊断中的应用是一项复杂的工程，实现这些深度学习方法需要花费研究人员大量的时间.为了方便研究人员继续深入研究，促进深度学习的应用，本文所收集的开源工具如表5 所示.同时在不同研究中会使用相应的数据预处理工具，一并在表5 中进行展示.

表5 开源工具Table 5 Open source toolkits

3 总结与展望

本文调研了近三年深度学习在磁共振影像脑疾病诊断上的应用.深度学习在磁共振影像脑疾病诊断研究中的发展较为短暂，却已展现出强大的性能表现，这证明了深度学习有着巨大的发展潜力，但同时也存在众多挑战：深度学习对超参数的设置十分敏感，其性能表现可能会受到不同超参数设置带来的巨大影响；深度学习模型需要海量的数据进行训练，多站点数据采集，不同的采集标准可能会导致数据存在较大的异质性，这可能会影响深度模型的表征.本文总结了几种深度学习在磁共振影像脑疾病诊断的应用未来发展的方向.

(1) 小样本问题：当前的研究中，由于隐私性等原因，导致可以公开获得的数据量十分稀少，而深度学习模型需要大量的数据来进行训练才能够达到更加令人满意的性能，所以小样本问题是一个很显著的问题.针对此类问题，Ali 等[63]提出了一种神经扩散模型来合成图像数据.Godasu 等[64]提出了一种多阶段迁移学习方法，以缓解数据有限的问题.Dhinagar 等[65]提出了一种站点不可知元学习方法，来解决训练数据少的问题.扩散模型虽然可以通过生成新数据来增加数据量，提高模型性能，但扩散模型存在生成时间慢、训练成本高，在医学图像领域研究尚未成熟等问题.迁移学习虽然可以在已有的大规模数据集上先进行预训练，再将训练好的模型应用到小样本数据集上，但是效果并不理想.元学习可以帮助模型在少量样本下快速学习，但需要多个不同且相关的任务支持，当任务间差异较大或样本任务过少时，模型可能过于依赖先前所学知识，从而导致对新任务的泛化性降低.对于小样本问题，可以探索新的算法，针对数据量过少的问题，可以从生成对抗网络、元学习、迁移学习等思路来设计更合适的方法以获得更多有用的特征，从而更好地分析脑疾病的成因.

(2) 多模态融合：在脑疾病诊断的研究上，很多研究者认为不同模态的数据包含有利于脑疾病诊断的信息，所以越来越多的研究者将多模态数据应用于脑疾病的分析中.但多模态数据如何有效融合是一个具有挑战性的问题.当前研究中，多模态融合方法集中在数据融合、特征融合以及决策融合这三个方面.Xu 等[66]提出了一种无监督增强医学图像融合网络，来减缓常见的多模态数据融合方法导致信息失真，进而限制融合性能的问题.Liu 等[67]提出了一种多模态多视图图表征知识嵌入框架来诊断轻度认知障碍患者，并且提出了一种多步决策融合方法来提高诊断性能.Bi 等[68]利用多模态数据的互补性进行表征融合以提高模型新能.数据融合可以通过多个数据源信息进行融合，但在面对异构数据时有很大的局限性.决策融合能够融合多个决策以降低单一决策的风险和错误，进而提升决策的可靠性，但不能直接利用多模态数据进行联合学习.特征融合方法可以将深度学习模型中不同层次的抽象表征合并在一起，提升特征的表达能力进一步提高模型的鲁棒性等，但不同的融合方法适用于不同的特征和任务，不同模态的特征的有效融合方法是一个值得研究的问题.因此多模态融合方法也是一个值得研究方向.

(3) 可解释性：传统的机器学习算法的特征提取是基于医学专家的先验知识，具有较好的可解释性，而深度学习通过设计多层叠加的非线性变换的复杂网络来获得原始数据的新表征，但这种深度变换导致数据缺乏可解释性.Eslami 等[69]提出了一种使用支持向量机与深度学习的混合方法来解释基于功能磁共振成像检测自闭症谱系障碍的研究.Nigri 等[70]提出了一种专门为大脑扫描任务设计的可解释方法，该方法描绘了大脑中最能区分阿尔兹海默症的区域，以临床医生可以理解的方式为模型的决策提供了可解释性.Shojaei 等[71]将基于遗传算法的遮挡图方法与一组基于反向传播的可解释性方法相结合，为阿尔兹海默症患者找到了一个具有可解释性的大脑面罩.因为医生需要对模型的输出结果进行验证和解释，以便更好地进行诊断和治疗，所以可解释性是一个非常重要的问题.而目前本领域内的可解释性研究主要包括模型的可解释性、数据的可解释性以及结果可视化解释等，可解释性还存在一些不足之处.例如，模型的复杂性导致其决策过程难以解释；在某些情况下，模型的输出结果可能会受到一些干扰因素的影响，导致输出结果的不确定性，这将使模型的可解释性变得复杂；同时，本领域内也缺乏一个标准的解释方法.在未来的研究中，需要进一步探索如何提高磁共振影像脑疾病领域的可解释性，并加强对模型输出结果的验证和解释，所以深度学习在磁共振影像脑疾病诊断领域的可解释性是一个具有探索价值意义的方向，以便更好地将深度学习方法应用于临床实践中.