用于脑网络连接加权图比较的可视分析系统设计与实现

姬笑楠，朱玉颖，吴亚东

(1.西南科技大学 计算机科学与技术学院，四川 绵阳 621010；2.中国科学技术大学 中科大医学影像中心，合肥 230026；3.四川轻化工大学 计算机科学与技术学院，四川 自贡 643002)

0 引言

近些年，对于人脑的研究逐渐成为一个热点课题。对于人脑的研究其核心是大脑中的神经连接，针对这一问题，大脑连接组学应运而生[1]。连接组学研究的目的是通过了解大脑的接线机制[2]来创建脑功能网络连接的完整表示。连接组的表示可以帮助人们增加对大脑功能连接的认识，以及大脑状态是如何从其潜在的结构中出现的[3]。

在研究中发现，被试者的脑网络连通性通常会受到诸如年龄、性别、受教育程度、遗传病史和疾病状态等各种因素的影响。例如在阿兹海默综合症患者中，与记忆相关区域的连接水平明显低于相匹配的健康对照组[4]。研究这些连接特征的差异可以提高对人脑功能连接的了解，并且在疾病预测、基因工程和许多其他相关方面的应用中也都有重大意义。然而想要完全掌握人脑的功能连接，是一项异常艰巨的任务。首先，需要高质量和大规模的脑网络测量数据，因为大脑各区域之间的网络连通性特征都是非常高维的，当数据量不够多、被试者人数很少时，很可能会导致过拟合，这将致使产生的结果不可靠；其次，在复杂的脑网络研究中，对领域专家所提出的众多计算模型的验证也是花费巨大的。

然而，可视化工具可以用于解决高维连接模式下的脑网络比较问题。一方面，可视化工具提供了一个可以融合多个脑网络以及多名被试者数据的交互式平台；另一方面，可视化可以对数据进行针对性的展示，帮助领域专家进行分析和比较，能够快速、有效地对数据进行评估。

1 相关研究

Xia等人开发了可视分析工具BrainNet Viewer[5]用于研究人脑功能网络，该工具使用节点链路模型来展示各脑区之间的功能链接，保留了人脑中脑区的真实位置，提供了拖拽、旋转等基本的交互功能。但是在数据量比较大时，该工具会产生严重的视觉混乱及遮挡，同时又缺少提示，大大增加了对于有用信息的获取难度。Laplante等人提出并开发了可视化工具Connectome Visualization Utility(CVU)[6]，CVU基于人脑的块状结构，能够对单个模块进行识别和可视化，并增强了交互功能，使信息获取更加容易，但是它缺乏对模块间以及整体的功能分析。

并且目前用于人脑功能网络比较的视觉表示方法中，常用节点链路图的表示方法和关系矩阵的表示方法，这两种方法都具有非常低的任务准确性和较差的时间效率。为了解决这一问题，时磊等人[7]将Henry等人[8]提出的NodeTrix表示方法运用到了大脑网络连接中，它考虑了人脑网络中固有的功能块结构，将上述两种传统的方法结合，通过模块化脑网络来进行可视分析。此方法相较于传统的节点链路图和关系矩阵图，结合了感兴趣区域(ROI，region of interest)的块结构以提高人类大脑网络分类的预测性能，在低级检测和高级检索的链接任务中，NodeTrix方法的性能明显优于节点链路表示法和关系矩阵表示法，提高了检索任务的准确性和完成时间。

但是在领域专家最关注的差异性表示上，现有的可视分析工具与方法，并不能高效地表现出病人与正常人脑功能网络之间的差异性。

为了解决这些问题，本文开发了一个用于脑络连接加权图比较的可视分析系统，这项工作的主要贡献如下所示：

1)提出了一个新的可视方法。不同于传统的双视图并列展示的方式，基于NodeTrix设计了一定的规则，将患者与正常人的数据叠加到同一视图中对数据进行展示，以突出差异。

2)使用聚类算法对脑区进行再聚类。对病人与正常人数据分别进行聚类，以两次聚类结果为依据，突出其模块化差异。

3)使用力导向边绑定算法来绑定视图中的连线，以减少视觉混乱。此外，增加了一系列的交互设计，以更直观、简单、有效的方式呈现患者与正常人的差异，加强理解。

4)进行了一组对照试验，以验证所开发的系统在大脑功能网络比较任务中的有用性。并使用两个真实数据集来做案例分析:一个比较阿尔茨海默病患者与健康对照组，另一个比较正常人和抑郁症患者的平均脑网络。

2 整体架构

2.1 系统整体架构

本文用于脑络连接加权图比较的可视分析系统，其框架如图1所示。系统采用B/S的架构，使用Vue+Three.js作为系统框架，将预处理完的功能磁共振(fMRI，functional magnetic resonance imaging)图像数据存入MySql作为后台数据库。

2.2 脑网络链接加权图的构建

将fMRI图像构建成脑网络链接加权图的方法通过3个步骤完成[9]。

1)使用专门用于fMRI影像数据处理的工具SPM(statistical parametric mapping)分别对影像数据进行时间层校正、头动校正、空间标准化、去线性漂移、滤波、空间平滑处理，得到全脑的时间序列数据，处理完之后的图像由约四十万的体素点构成，将这些体素点按照在生物学中应用较广的AAL(anatomical automatic labeling)模板归类到具体的90个感兴趣区域ROI(region of interest)中。

2)以ROI为单位，计算各时间序列下，ROI内体素所对应的血氧依赖数值的平均值。基于此值计算各ROI之间的Pearson相关系数，公式如下：

(1)

3)相关系数的值用来表示两个ROI之间的功能链接强度，相关系数的绝对值越接近1，则相关性越强，相关系数越接近于0，则相关性越弱。再对某一被试群组计算平均值，即为平均脑网络。

3 可视化系统设计

本文设计并实现的可视分析系统主要有4部分组成：(A)三维视图，(B)并置NodeTrix视图，(C)叠加NodeTrix视图及差异参数，(D)控制面板。在控制面板中选取某一界面，页面即可跳转到相应界面，并将控制面板收起在右上角。如图2所示。

图2 可视分析系统示意图

3.1 加权图比较视图

Alper[10]等人的研究表明，在脑功能网络的对比中，叠加视图比并置视图更能突出群组之间的差异。于是，在NodeTrix的基础上添加了一些规则，提出了一种新的叠加NodeTrix可视方法用于该可视分析系统。

图3描绘了使用NodeTrix结合叠加设计展示块状脑网络比较的实例。在这个脑网络中，每个矩阵对应的是人脑中的脑叶，例如在图2中左半脑从上至下的矩阵分别代表左额叶、左边缘叶、左颞叶、左顶叶、左枕叶。矩阵中的每个行/列表示单个ROI，例如最上方的两个矩阵为左右额叶，每个额叶包含12个ROI。ROI的编号和名字与AAL模板保持一致，例如图3中鼠标悬停位置代表左额叶关系矩阵中11号ROI(岛盖部额下回)与13号ROI(三角部额下回)的关系单元。

图3 叠加视图对比脑功能网络

在每个矩阵内部，用颜色编码内部ROI连接，色彩的饱和度用于表示每个功能连接的强度，颜色越饱和，连接强度越高。大的单元格是由病人数据所映射的，每个关系单元格内都嵌套了一个更小的单元格，更小的单元格是由正常对照组的数据所映射的。每个大的单元格和他内部的小单元格，表示的是相同的两个ROI之间病人和正常人的连接强度关系数据。矩阵内部权重编码规则如图4所示。

图4 矩阵内部权重编码规则

在矩阵之间的功能连接，即各个脑叶间ROI的功能连接，结合节点链路与叠加表示来呈现。在矩阵之间绘制弯曲边缘，其中两个端点位于源和目标ROI行/列的边缘上。弯曲边缘采用的颜色编码方式为对应脑区正常对照组数据减去对应脑区病人数据，用差值编码颜色的饱和度。矩阵之间权重编码规则如图5所示。

图5 矩阵之间权重编码规则

3.2 三维视图

系统在将脑功能网络之间的差异更直观二维展示的同时，也提供了三维化的选项。参考球棍模型的方式，保留各脑区位置信息的同时，将他们之间的功能链接用连线的方式予以表现，其中颜色的深浅表明链接的强弱。

并使用Louvain社区聚类算法对被试组的脑区进行聚类。由于两组被试组的脑功能链接不同，最终聚类结果必然不同。在三维视图中，将归为同一类的脑区用同一种颜色进行渲染，便可以直观的从可视分析系统中观测出两组被试组中差异大的脑区。公式如下所示[11]：

(2)

∑Cin表示社区C内部链接的权值总和，∑Ctot表示连接到社区C内部的权值总和，ki所有连接到节点i的链接的权值总和，ki，in表示C内部点连接到i的链接的权值总和，m表示所有链接的权值总和。当所求得的值大于0时，表示节点i应与社区C聚为一类。

如图6所示，为阿尔茨海默患者与正常对照组在可视分析系统中的三维视图。聚类结果如图中所示，正常人的脑区聚成三类，而阿尔茨海默患者脑区聚成一类。

图6 基于Louvain聚类算法的三维分析视图

3.3 脑连接边绑定

为了缓解由于ROI之间关系紧密、连线数量多而造成的视觉混乱现象，在可视化中加入了力导向的边绑定算法，将这些边缘捆绑在一起。该算法参考力学中引力与斥力的概念，为每条边选择适当的控制点，将所有连线的控制点朝控制点更集中的方向移动，在视觉上将边绑定在了一起，从而减少了视觉混乱。本文中使用了Holten和Wijk等人[12]的力导向算法，由以下公式得出:

(3)

Ce=Ca·Cs·Cp

(4)

其中:Dist0表示两个控制点之间的初始距离。Ca,Cs,Cp分别表示基于这两个控制点的角度相容性，长度相容性与距离相容性。

3.4 交互设计

在可视分析系统中，加入了一套交互设计以促进用户在大脑网络上的视觉比较任务。基本的交互包括，将鼠标放到对应矩阵内单元格，或矩阵间连线上，会在鼠标悬停位置处弹出提示框，提示框内容包括所处脑区名字、源ROI、目标ROI以及相对应的连接强度值。当点击一个或多个ROI可以实现对这些ROI的突出显示，即图中只显示与所选ROI有直接联系的功能连接，以此来满足某些针对性的任务或者用户的个性化需求。并且还加入了连接强度过滤选项，调节过滤器可以实现对视图中连接强度数据的过滤，将低于设定值的数据予以隐藏。对于同一个疾病，不同的病人之间可能存在个性的问题导致所呈现的脑功能连接图存在差异，所以在交互面板中，可以选择加载单个病人的数据，以此来突显这个病人可能存在的个性化问题。

为了突出叠加对比的效果，支持将正常对照组数据与病人数据左右并置的NodeTrix表示，或者将两组数据叠加展示的选项。同时还加入了三维展示脑功能连接的选项。最重要的是加入了对比度过滤选项，其中对比度的概念是指正常对照组连接强度数据减去对应脑区病人连接强度数据。调节交互面板中的对比度，图中显示出来的就是两组数据中差异值大于设定对比度的脑区，从高往低调节对比度，可以直接显示出两组数据中差异最大的一个或者几个脑区。

4 评估

进行了一项对照试验，比较了并置NodeTrix设计(图7)与叠加NodeTrix设计(图3)两种可视化方法，以验证叠加NodeTrix表示法在进行脑功能网络比较任务中的有用性。

图7 并置NodeTrix表示法比较脑功能网络

4.1 用户任务评估

实验设计：招募了8名拥有数据可视化经验的计算机专业研究生，其中6名男生，2名女生。本实验将所有的可视化设计对测试者进行测试。实验分为对可视化的训练课程和测试课程。在训练课程中，通过指导用户了解系统以及在预先设置的阈值上完成简单的对比任务来进行预热训练(例如，相对较少的节点以及连接下进行比较)。为确保测试者了解该系统，在进行下一步之前，检查了每个训练任务的结果并解决了所有问题。

任务：下面列出的4项任务都是在141名受试者(包括95名AIDS患者和46名正常对照组)的脑功能网络加权图上进行的，用以比较脑网络间的差异。

T1(局部连接)：与AIDS患者相比，右额叶内部的整体联系是增加或减少？

T2(脑叶—脑叶连接)：与AIDS患者相比，右颞叶和右顶叶的整体边缘权重是增加或减少？

T3(脑叶—ROI连接)：与AIDS患者相比，额叶和其他所有ROI之间的整体边缘权重是增加或减少？

T4(ROI连接检索)：识别一个ROI在两个脑网络，是否具有较大的整体权重差异？

对于每个可视化任务，控制比较中的难度差异，保证同一任务在两种表示方法中对每个被测者都难度相当。对于每项任务，记录测试的结果和完成时间。在受试者阅读问题之后才开始计算时间，以此来消除因测试者阅读能力的不同而对测试结果产生影响。

4.2 评估结果

将从任务准确性和完成时间两方面分别讨论结果。

任务准确性：每项任务用户完成的准确性总结如图8(a)所示。对于T1，即局部连接对比任务，并置表示法与叠加表示发都有着相当高的精度(并置表示法：0.90，叠加表示法0.92)，两者之间的差异微乎其微。对于T2，即脑叶—脑叶的连接对比任务，叠加表示法(0.94)比并置表示法(0.80)的精度更高，这是因为在个别对照数据中，存在某两个脑叶间连接强度基本一致的情况，顾左右并置视图很难比较出两者之间的差异，而叠加视图可以同看观察连接的连接线的颜色很容易地辨别出两者差异。对于T3，即脑叶—ROI的连接对比任务，叠加表示法(0.90)比并置表示法(0.86)有更高的平均准确性。对于T4，针对单个ROI连接的检索任务，并置表示法(0.90)相比于并置表示法(0.66)要有明显的精度提升，原因是因为，脑叶内部的连接能够通过对比单元格和其内部更小的单元格的颜色饱和度来判断两者的差异，脑叶之间的连线其颜色、饱和度是通过对两份数据之差来进行编码的，所以能直接通过颜色以及饱和度来获取差异信息，从而使任务更容易完成。

图8 两种方法的用户评估结果

完成时间：用户在各项任务的完成时间在图8(b)中。对于T1，叠加表示法(5.0 s)和并置表示法(4.8 s)在完成任务中花费的时间基本一致，差异不明显。对于T2，T3，叠加表示法完成任务消耗的时间比并置表示法消耗的时间略少，但基本一致。对于T4，针对单个ROI连接的检索任务，并置表示法(22.0 s)花费的时间明显比叠加表示法(13.0 s)要高，原因是因为即便对于简单的比较任务而言，并置视图要覆盖的距离也要远远高于叠加视图。并且随着图形变大，差异会显著增加，花费的时间就越多，而叠加视图省掉了这些时间。

4.3 小结

用户实验结果表明，不论是在低级检测还是高级检索的连接对比任务中，叠加NodeTrix设计在任务准确性以及任务完成时间上都要优于并置NodeTrix表示。特别是针对T4的高级检索任务中，叠加NodeTrix表示法明显要优于并置NodeTrix表示法。这证明了叠加NodeTrix表示法在进行加权图对比任务中的优越性，同时也证明了整个可视分析系统的有用性。

5 案例分析

将两组真实的大脑网络数据应用在所设计的可视分析系统中进行评估。实验中所使用的fMRI数据均来自美国阿尔茨海默病公开数据库(ADNI，alzheimer′s disease neuroimaging initiative)，ADNI收集了超过 800名来自全球59个地区的测试者，为阿尔兹海默症(AD,alzheimer disease)的研究提供了丰富的数据支持。

第一组数据为阿尔茨海默病患者与正常对照组数据，使用了50例被试的fMRI图像，被试人员年龄介于55～90岁之间，其中阿尔茨海默病患者26名，正常对照人员24名。基于AAL模板，将原始脑网络划分为116个ROI，使用叠加NodeTrix可视化系统对这26名AD患者和24名对照者的平均脑网络进行了分析，将连接强度阈值设置为0.8过滤掉强度较低的连接，以减少连线较多所带来的视觉上的混乱。然后切换到叠加NodeTrix模式，调整对比度滑块来过滤掉两个群体中数据差异低于设定值的连接。结果如图9所示，可以快速地识别出AD患者与对照组脑连接差异主要集中在左半脑。正如Daianu等人[12]和Thompson等人[13]所研究的结果，AD患者的大脑网络倾向于以不对称的方式退化，并且主要是在左半球，此外，Buckner等人[14]对1 138名受试者进行的5项研究结果也表明，阿尔茨海默病在左半球后皮层区域退化更显著。实验结果与他们的研究结果相一致。并且还观察到两个群体之间的差异大多数位于左顶叶、左额叶对其他叶片之间的连接，这一观察结果仍有待验证。

图9 阿尔茨海默病案例

第二组数据为抑郁症患者和正常对照组数据。使用30例被试者的fMRI图像集，其中抑郁症患者15名，正常对照组15名，他们的年龄介于18～26岁之间。目前对于抑郁症的精神病理机制研究，主要定位于边缘系统—皮层—纹状体—苍白球—丘脑神经环路(LCSPT,limbic-cortical-striatal-pallidal-thaiamic)[15]，这一结论得到广泛认可，已有大量的研究表明，抑郁症与LCSPT有密切联系，如患者前额叶皮质、前扣带回、基底节区、丘脑、海马、杏仁体体积减少[16-18]，左侧岛叶皮质和扣带回激活反应明显增强[19]，同样发现LCSPT相关区域连接异常，如前扣带回与海马、杏仁核及岛叶的功能连接降低[20-21]。经过对比度过滤后，结果如图10所示，可以看出，对照组脑区连接强度总体高于抑郁症患者，其中左右前额叶内部的连接尤为明显，实验结果与这些研究基本一致，再次验证了这些发现，并且证明了叠加NodeTrix表示法的有用性。

图10 抑郁症案例

6 结束语

针对人脑功能网络加权图的比较任务进行了可视化的设计。这是一项与临床研究高度相关的任务，旨在对人脑网络进行直观的可视分析。当比较紧密互联的真实脑网络时，节点链路图和关系矩阵的精度较低，而左右并置的表示法在时间效率上又存在较大问题。于是提出了叠加的NodeTrix表示法来解决这个问题。并设计了一套定制的交互，用来提升用户的信息获取速度。通过加入力导向边绑定算法来减少视觉上的混乱。最后通过用户实验以及真实脑网络的案例分析，证明了方法在块状脑网络比较中的有效性。但由于现实世界人脑网络的巨大复杂性和不确定性，仍有很多未解决的挑战。当前的设计支持脑叶和脑叶之间两级网络层次结构，而高分辨率的人脑连接需要更多层次结构，从块和ROI级别上升到体素和神经元级别。未来的工作将放在探索新的可视化和交互设计，以应对这一实际挑战。其次，所提出的叠加NodeTrix方法关注的是个体脑网络内部的可视分析，我们计划扩展上升到以个体为基本单位，寻求个体与个体之间的差异性，从而帮助生物学家或医学家进行研究。