基于深度学习的大脑性别差异分析

温景熙，于胡飞，辛江，唐艳

中南大学计算机学院，湖南 长沙 410083

1 引言

研究表明，不同性别的人在认知、行为和智力[1-2]等方面存在差异。人脑功能在性别之间的差异也非常明显，主要表现在情感处理[3]、身体感知[4]、数学运算[5]和运动控制[6-7]等方面。然而，尽管有许多针对性别功能差异的研究，但大多未得到一致的认可。本文致力于大脑性别差异研究，进一步发现和证明男女之间的大脑差异。

磁共振成像（magnetic resonance imaging，MRI）是一种非侵入性成像技术，它利用磁共振原理从人体获得电磁信号，从而重建出人体信息。目前，基于MRI的人脑研究已得到广泛应用。弥散张量成像（diffusion tensor imaging，DTI）是一种特殊的MRI技术，它通过追踪大脑纤维束中水分子的移动方向来表征神经纤维的结构。弥散张量成像可以通过计算各向异性分数（fraction anisotropy，FA）来定量评估神经纤维的各向异性。研究发现，通过计算FA可以观察大脑发育、衰老过程中的细微变化[8-9]。目前，有非常多的研究者致力于DTI的性别差异研究。参考文献[10]通过DTI来观察不同性别中的白质微观结构；参考文献[11]则发现了不同性别与行为发展之间的联系。然而也有研究认为，研究的现状尚不能确定男女大脑是否存在差异，仍需要更多的研究来证明[12]。

深度学习是一种非常强大的机器学习方法，它通过深层网络提取数据中的非线性特性，并通过堆叠多个非线性层来构建复杂的函数模型，这使得深度学习拥有非常强的表征和学习能力[13]。同时，深度学习还展现了强大的小样本学习能力[14-16]，尤其是迁移学习方法，它通过冻结预训练模型的浅层网络，仅重新训练最后几层网络即可达到小样本下模型的快速学习目的。因此对于难以采集的MRI数据的研究，深度学习方法显得尤为重要。目前，深度学习已经被广泛应用到MRI的研究中，并且取得了不错的效果。在参考文献[17]中，研究人员利用深度学习对肿瘤进行分类，得到了97%的准确率，而他们的实验数据只有66个MRI样本；在参考文献[18]中，作者利用深度学习确定了大脑中用于区分不同年龄的关键脑区。在大脑性别分类方面，同样有非常多基于深度学习的研究[19-21]。

研究大脑性别差异，特征可视化是必不可少的。在传统的机器学习方法中，特征由人手工构造。而在深度学习中，随着隐藏层的加深，特征被不断地抽象，人们越来越难以理解，而提取关键特征也变得非常不易。在一项基于深度学习性别分类的研究中，研究人员尝试采用逐次保留一个脑区的方式来证明不同大脑脑区的性别差异，并且根据神经网络第一个隐藏层的特征图的均值和信息熵，提出男性大脑比女性大脑更为复杂的可能性[21]。在深度学习的研究中，已有许多可靠的特征可视化方法相继被提出，其中导向梯度类激活图（gradient-weighted class activation mapping，Grad-CAM）方法[22]被广泛推崇。在深度学习MRI领域，Grad-CAM方法也逐渐被应用于大脑的差异分析。在参考文献[23]关于大脑MRI的年龄预测中，通过Grad-CAM方法发现了大脑额叶区与年龄变化相关。

本文收集了大量DTI数据，通过预处理得到标准大小的FA；然后根据FA构建3D卷积神经网络（3D-CNN），实现大脑性别的可靠分类；最后通过构建3D导向梯度类激活图结构实现性别特征的可视化，并根据可视化结果进行性别差异分析。

2 DTI性别分类及特征可视化方法

为了研究不同性别之间的大脑差异以及在性别分类中不同脑区的重要性，首先需要保证深度学习模型分类的可靠性；然后提取数据在不同类别中的显著特征，通过显著特征得到一般性（平均）大脑性别差异；最后将差异对应到各个脑区上，得到脑区的重要性情况。本节将详细介绍如何通过3D卷积神经网络进行性别分类，并通过神经网络模型的可视化方法得到与类别相关的重要特征。在此，输入神经网络的数据是DTI的全脑FA，即大小为182×218×182的三维脑图。

2.1 基于3D卷积神经网络的性别分类模型

本文采用3D卷积神经网络进行性别分类。3D卷积神经网络模型结构如图1所示，模型分为输入、卷积、全连接和输出4个部分。其中输入是一个三维脑图，输出是性别分类的结果。在卷积过程中，本文采用全卷积的形式，即在下采样的过程中使用移动步长为2×2×2的卷积代替步长为2的池化。模型中包含7个卷积层，卷积核大小都为3×3×3，卷积核数量分别为16、32、32、64、64、128、128。在每个卷积层的后面，都有一个批归一化层[24]和一个LeakyReLU激活层[25]。在最后一层卷积完成后，将特征图伸展成一维，然后进入全连接层。模型中包含2层全连接，第一个全连接层有64个神经元，紧接着一个ReLU激活层[26]。由于样本标签编码采用独热编码的形式，第二个全连接层共有2个神经元，全连接层后面紧接着Softmax激活层。

图1 3D卷积神经网络模型结构

2.2 基于3D导向梯度类激活图的特征可视化方法

神经网络能够很好地预测性别，但是不能直接得到深层网络提取到的性别特征。导向梯度类激活图是神经网络模型可视化的一种方法[22]，它同样适用于本研究中3D图像的特征可视化。该方法的可视化结果由导向反向传播图和特征热图两个矩阵点乘得到。导向反向传播图由深层特征图导向反向传播得到，该图表示网络模型提取到的所有性别特征。特征热图先通过类别对深层特征图求梯度，该梯度表示特征图对预测类别正负影响的大小，然后对i、j、k3个方向进行全局平均池化（global average pooling，GAP），得到单个通道上的特征图权重：

其中，p表示最后一层特征图序列中单个通道上的特征图，c表示单个输入对应的类别，yc表示预测值，表示第p个通道的特征图在i、j、k上的体素，Z1表示最后一层特征图中单个通道特征图的体素数量。接着，根据这个特征图权重对特征图进行加权和计算，并执行一次ReLU操作（去除与当前类别无关的值）得到特征热图：

最后，对特征热图进行上采样（线性插值），得到与原图大小相同的特征热图。

在全连接之前的特征图大小为8×10×8，缩放后大小为182×218×182。线性插值的过程会使得特征热图变得非常模糊且不准确。于是本文对Grad-CAM做了一些改进，如图2所示。首先通过反向求导得到最后一层特征图的梯度值φ，然后对该梯度进行一次ReLU操作来去除与类别无关的数值；接着对倒数第二层下采样（即倒数第三层卷积）后的特征图进行一次反向求导，得到对最后一层中与类别相关的信息的贡献值，并进行一次全局平均池化操作，得到单个通道上的特征图权重：

图2 DTI性别分类特征可视化结构

最后，将两个特征热图根据一定的权值（λ、µ）相加，得到最终的特征热图：

3 实验与结果分析

3.1 数据集及预处理

本文数据来自美国南加州大学的人类连接组项目（human connectome project，HCP）的公开数据集[27]。该数据集包括1 055个健康成年人脑的弥散张量成像数据，其中男性487个，女性568个，年龄范围为22～35岁。

在预处理过程中，本文将数据放入功能磁共振成像软件库FSL（FMRIB software library）[28]进行格式转换、B0提取、波脑、涡流矫正和计算张量等，得到各向异性分数。由于FA是一个不标准的三维脑图，与标准的DTI 1 mm各向同性模板（FMRIB58_FA）存在差异，需要进行一次非线性配准，将FA配准到该标准空间中[29]。最后得到一个大小为182×218×182的三维脑图。

3.2 全卷积神经网络分类结果比较

由于DTI数据量较少，本文模型采用十折交叉验证的方式进行模型评估。首先将数据随机分成10份，并保证每份数据的男女比例尽可能相等，然后分别将其中的一份作为验证集进行模型验证。在模型优化中，采用交叉熵损失函数来计算损失，优化器采用Adam（学习率为0.000 1，衰减率为0.5）。通过反向传播对模型参数进行优化。

通过本文实验设计的全卷积神经网络，10次验证的平均分类结果达到了96.2%的准确率。在数据相同且同样十折交叉验证的条件下，普通3D-CNN的模型分类准确率为93.3%[21]，相比之下，本实验模型准确率有了2.9%的提升。而对比机器学习方法支持向量机（support vector machine，SVM）78.2%的准确率，本文模型的准确率提升更大。

3.3 可视化方法对比

基于Grad-CAM的可视化方法可以得到导向反向传播和类激活图2个三维矩阵，如图3所示。其中导向反向传播矩阵包含了从最深层特征图中提取到的所有特征，这些特征同时包含了男性和女性的全部特征，对类别并不敏感，如图3（a）所示。特征热图则与类别相关，其中由最后一层特征图得到的特征热图在较大范围内显示了关键特征所在的位置，但图片面积较大、脑区分布较多，导致显著区域过大，难以判断关键特征所属脑区，如图3（b）所示。相比之下，本文提出的特征可视化方法得到的特征热图不仅能观察到更准确的特征位置，同时还保证了不损失最深层特征图提取到的重要信息，如图3（d）所示。

在特征热图的权重选择中，当λ=1、、µ=0时，特征位置非常不明确，无法判断关键特征所在脑区，如图3（b）所示；当λ= 0 .5、µ= 0 .5时，特征位置相对改善，但仍然存在一些不明确的区域，如图3（c）所示；而当λ= 0 .3、µ= 0 .7时达到最佳，特征位置非常明确，同时还尽可能地保留了最深层特征图的信息，如图3（d）所示。

图3 可视化方法结果对比

3.4 性别分类中的重要脑区分析

白质和灰质是人脑的重要组成部分，研究者根据大脑区域功能的不同进行脑区划分。根据国际脑图谱协会的划分标准，将大脑白质分成48个感兴趣脑区（白质标签JHU-ICBM-labels）。同时，根据人类脑网络组图谱（human brainnetome atlas）的划分方法，将大脑灰质分成246个感兴趣脑区（灰质标签BN_Atlas_246）。由于预处理时将FA配准到了标准空间，可确定每个输入数据的脑区位置是固定的，可以根据不同脑区对应特征热图的体素值之和，得到不同脑区在性别分类中的重要性排名。如图4和图5所示，在性别分类中不同脑区对类别的贡献是不一样的，有些脑区对性别分类起到了非常重要的作用。

在图4中，男性和女性排名最高的两个白质脑区都为胼胝体压部和小脑中脚。胼胝体横跨纵向裂缝的一部分，连接左右大脑，从而使它们之间能够进行通信[30]。有研究认为，男性胼胝体与半球内的联系更大，而女性胼胝体与半球之间的联系更为紧密[31]。小脑中脚是连接小脑与脑桥的结构，是将小脑与脑桥相联系的高级神经中枢，它保证了随意运动的精确和有效[32]。研究表明，运动和运动强度与小脑功能连通性变化相关[33]。因此，本研究结果显示，小脑中脚存在性别差异，可能与成年男女运动强度和运动量有关。

图4 白质感兴趣区域体素和排名（各脑区根据体素和大小升序进行标签）

在图5中，男性排名最高的两个灰质脑区分别为左脑顶叶下叶腹侧区（IPL,A39rv_L）和额上回中间区（SFG, A9m_R），女性排名最高的两个灰质脑区分别为右脑顶叶下叶腹侧区（IPL, A39rv_R）和梭状回腹腔区（FuG, A20rv_R）。顶叶下叶腹侧区是顶叶的一部分，该区域跟语言功能、数学运算和身体形象感知等功能有关[34]。本研究中男性左脑顶叶下叶和女性右脑顶叶下叶分别排名较高，体现了不同性别在该脑区存在差异，同时揭示了在左右脑的顶叶下叶之间存在功能差异的可能性。此外，额上回是与自我意识相关的脑区，与感觉系统的动作相关[35]。梭状回的功能目前尚不清楚，有研究认为该脑区可能与颜色信息处理相关[36]。

图5 灰质感兴趣区域体素和排名（各脑区根据体素和大小升序进行标签）

3.5 男女平均显著特征对比及分析

为了显示一般情况下显著特征所在脑区，需要找到显著特征所在位置。因此在不同性别的全脑中，本文将特征热图按体素求平均，得到平均结果。如图6所示，平均显著特征主要分布在胼胝体压部和左脑基底神经节背尾状两个脑区。其中，基底神经节是一组大脑皮层下核的总称，它与大脑皮层、丘脑和脑干等脑区紧密相连。基底神经节具有多种功能，包括控制自主运动、程序学习、认知和情绪等[37-38]。此外，基底神经节在性别中也存在差异，如参考文献[39]认为不同性别可能会影响基底神经节的体积。从图6（b）、图6（d）可知，不同性别在左脑基底神经节背尾状的特征都较为显著，这可能是该脑区在不同性别中的结构或者纤维束存在差异。该实验结果至少揭示了在控制自主运动能力、程度学习能力或者情绪变化等大脑功能中的一种或几种性别差异。

图6 男女显著特征对比

3.6 男女之间不同脑区的差异

在参考文献[21]中，作者通过神经网络第一个隐藏层得到的特征图的均值和信息熵，发现男女之间存在差异。尤其是信息熵，在32个特征图中男性信息熵大于女性的明显较多。该研究发现，在特征热图分脑区的体素值求和中，男性数值大的脑区也明显多于女性。其中，在白质中男性体素值之和大于女性的脑区为39个，女性大于男性的脑区为9个；在灰质中男性体素值之和大于女性的脑区为239个，女性大于男性的脑区为7个。这些结果进一步发现和证明了男女大脑之间存在非常大的差异。

4 结束语

本文使用深度学习方法在DTI数据上进行了性别分类，并使用深度神经网络可视化方法对性别特征进行了提取和分析。在模型分类中，本文提出的全卷积网络模型达到了更高的分类精度。在可视化方法中，本文通过最后两层下采样后的特征图获得特征热图，从图3可以看出，在可视化的结果中显著特征的位置更为准确。本文根据特征热图的体素值来进行脑区排名和求平均显著特征。从图4和图5可以看出，不同脑区在不同性别中的重要性是不同的，尤其表现在白质中的胼胝体压部和小脑中脚，灰质中男性的左脑顶叶下叶腹侧区和额上回中间区及女性的右脑顶叶下叶腹侧区和梭状回腹腔区。从图6可以看出，性别分类的显著特征主要表现在胼胝体压部和左脑基底神经节背尾状两个脑区。本文还通过特征热图的分脑区的体素值求和发现，无论在白质中还是在灰质中，男性数值大的脑区都远远多于女性。上述所有结果都证明了男女大脑之间存在明显差异，尤其是胼胝体、顶叶下叶和基底神经节等多个脑区，它们与运动能力、数学运算、身体形象感知和情绪控制等方面相关。

本文提出的可靠的深度学习分类方法将有机会被用于临床分析。通过模型得到的一般性男女大脑结构将有利于发现与性别相关的疾病患病情况和观察大脑的病变过程。本文设计的深度学习分类模型以及可视化方法也为以后对大脑MRI的各种研究提供了参考。本文在可视化结果中进一步发现和证明了大脑的性别差异，其中主要的差异表现在胼胝体、顶叶下叶和基底神经节等脑区中。该结果对分析大脑性别差异具有一定的参考价值，同时也为以后更深入、更具体的性别差异分析提供了一定的指导。

然而，本文的深度学习模型虽然能够准确地预测性别，但本文数据来自单个数据域，并不一定能够很好地解决来自不同数据域的性别分类问题。此外，MRI特征可视化一直都是非常重要的研究内容，尤其在DTI数据中，当前的研究仍然缺少有效的方法。在未来的工作中，笔者将继续研究不同性别的人的大脑MRI数据，从而进一步发现和证明男女之间的大脑差异。