基于脑电信号相位传递熵的谎言机制研究

韦思宏，张家琦，黎峰，康倩若，高军峰

(中南民族大学 生物医学工程学院 认知科学国家民委重点实验室，武汉430074)

说谎可以定义为故意掩盖真相以谋取个人利益和进步的行为，是人类社会普遍存在的社会及心理现象。测谎的真实有效性虽存在争议，但其对刑事调查、机场安全、反恐等领域具有重要的意义[1]。早期的心理学专家主要通过观察受试者的言语和非言语行为来进行测谎研究[2]，随后出现了通过检测受试者的血压、脉搏及皮肤电等生理指标的多道仪测谎技术[3]。说谎的本质是一个复杂的认知过程，涉及不同脑区之间神经元的信息传递，单纯依靠言语、血压、脉搏等生理指标无法准确区分诚实组和说谎组之间的差异。脑电图（electroencephalogram，EEG）可以记录大脑神经细胞的电生理活动在头皮上的总体反映，能够更加真实地显示大脑活动的整体信息。因此，基于EEG 的测谎研究将为人们在探索说谎的认知机制中提供更多的可能性[4]，基于脑电的测谎技术在测谎领域的应用越来越多且取得了较为理想的结果[5-6]。Wang 等[7]基于P300，利用图论对欺骗条件下大脑的功能连接进行分析发现，与诚实组相比，说谎组有更高的网络密度，脑网络的连接边更为复杂；Wang 等[8]利用脑网络对欺骗任务进行研究，分析发现，欺骗状态下额叶与颞叶之间导联连接显著增强；Kohan 等[9]利用有向定向函数对谎言信息进行功能连接分析，结果显示，导联的连接方向主要是由额叶连向顶叶和颞叶。因此，说谎行为需要不同脑区的共同参与，这些大脑区域的功能连接为神经元网络的复杂动力学提供了新的信息。进一步根据不同脑区之间的统计依赖关系对脑网络进行完整的描述是当前测谎领域的研究重点。

研究表明，非线性分析方法更加适用于计算非平稳信号的复杂度，而脑电信号具有典型的非平稳特性[10]，因此，利用非线性分析方法能够更好地分析脑电信号。近年来，样本熵、近似熵、相位传递熵（phase transfer entropy，PTE）等非线性分析方法成为研究脑认知加工过程的重要工具。2014 年，Muriel等[11]首次提出PTE 的概念，并将其用于脑电信号的定向连接性分析。相较于仅可以计算信号复杂度的样本熵和近似熵，PTE 可以基于相位关系检测不同脑区之间的效应连接，而且其对噪声具有较强的鲁棒性。PTE 已在多项研究中发挥重要作用。2016 年， Hillebrand 等[12]采用PTE 研究发现静息态下大脑信息流的方向与频率有关；同年，Meenakshi 等[13]采用PTE 研究发现路易体痴呆患者脑区之间的定向信息流被中断；2020 年，Fatemeh 等[14]采用PTE 研究发现重度抑郁症与大脑网络中脑区间的链接缺失有关。

以上研究表明，PTE 可用于大脑信息流和功能脑网络的定向连接分析。本文通过PTE 对说谎的神经活动机制进行研究，记录说谎组和诚实组的脑电信号，利用PTE 提取特征，并选择具有统计性差异的特征送入全连接神经网络（fully connected neural network, FCNN）分类系统进行分类，根据分类结果构建脑网络，分析了诚实组和说谎组不同脑区之间的效应连接差异。

1 相位传递熵的基本原理及全连接神经网络

1.1 相位传递熵的基本原理

传递熵[15]（transfer entropy, TE）可以表示为在时间序列上信号X(t)对 信号Y(t)不确定性大小的改变。传递熵可以衡量非线性系统变量之间的因果关系，因此，被广泛应用于神经信号的非线性分析。2014 年，Muriel 等[11]对传递熵的算法进行改进，利用信号X(t)和 信号Y(t)的瞬时相位时间序列来计算传递熵，并将改进的算法称为PTE。PTE 是基于相位关系的信息流测量方法，具有鲁棒性强、计算效率高等优点，适用于人类大脑功能的定向连接估计。对于信号X(t)， 为了获得其瞬时相位 θx(t)，将解析信号定义为

对信号Y(t)进行相同的操作获取其瞬时相位θy(t)。 在 获 得 信 号X(t) 和Y(t)的 瞬 时 相 位 后，信 号X(t)到Y(t)的PTE 定义为

式 中： θx(t′) 和 θy(t′)分 别 为X(t) 和Y(t)在 过 去t′=t-δt的瞬时相位时间序列， δt表示分析时延；I(.)表示互信息；H(.)表示香浓熵。

对PTE 进行标准化[13]：

式中： d PTE 的取值范围为0～1，0.5

1.2 全连接神经网络

与大多数深度神经网络结构相比，FCNN 使用更少的网络层结构避免了复杂的数学运算，使模型更简单易懂。FCNN 是一个有监督学习的网络，由输入层、隐藏层和输出层组成[17]。从输入层开始，上一层神经元节点的计算结果经过激活函数归一化后作为下一层神经元节点的输入，直到输出最终结果ypredict。 为使输出结果ypredict和 真实值ytrue之间的损失降至最小，在训练期间可利用梯度下降法对网络进行反向传播，反复调节节点之间的链接权重W和偏置b。本文所使用的激活函数为Softmax 函数。Softmax 函数可以对有限项离散概率分布的梯度对数归一化，将线性预测值转为类别概率，从而进行多分类。将n个输出{Z1,Z2,...,Zn}通过Softmax函数，使得输出满足概率分布要求，该函数可以定义为

其中：X为上一层神经元节点的输入向量，大小为N×1；Z为大小为M×1的输出 向量。将大 小为N×M的 权重矩阵W的 转置乘以输入向量X再加上偏置向量b，就可以将输入样本向量转换为输出样本向量，b的 大小为M×1。

2 实验设计与数据预处理

2.1 测谎协议

本文实验招募了60 名平均年龄21 岁左右的健康在校大学生作为受试者，所有受试者均签署了知情同意书。随机分为诚实组和说谎组，每组各30 名受试者。通过Wilcoxon 秩和检验比较2 组成员的性别和年龄，性别（p=0.28）和年龄（p=0.32）的p值表示诚实组和说谎组之间没有显著性差异。

实验采用标准Guilty Knowledge Test （GKT）三刺激实验模式，GKT 是一种生理技术，可用于检测受试者是否刻意隐瞒事实。在GKT 中，通常向受试者呈现3 种刺激[18]：①探测刺激（P）。与隐藏信息有关，只有说谎者认识。②靶刺激（T）。与隐藏信息无关，所有受试者对此刺激熟悉。③无关刺激（I）。与隐藏信息无关，所有受试者对此刺激不熟悉。

实验开始前，准备6 条不同的手链，还有手链对应的图片和1 个保险箱，并随机选取2 条手链放入保险箱中。对说谎组，实验要求受试者从保险箱中拿出手链，认真观察这2 条手链的尺寸、形状、颜色等外观信息后偷走其中的1 条，并将被偷走的手链作为探测刺激（P 刺激），另外1 条作为靶刺激（T 刺激），其余4 条手链作为无关刺激（I 刺激）。对诚实组，受试者从保险箱中随机抽取1 条手链，认真观察后作为T 刺激，保险箱中的另外1 条手链和其他4 条手链分别作为P 刺激和I 刺激。每次实验过程中，6 张不同手链的图片在电脑屏幕上共出现30 次，其中P 刺激和T 刺激分别出现5 次，I 刺激出现20 次。受试者需要尽可能准确地以点击鼠标的形式对出现的图片进行反应操作，见过该手链点击鼠标左键，未见过该手链点击鼠标右键。当电脑屏幕上出现P 刺激和I 刺激时，受试者按下鼠标右键，出现T 刺激时按下鼠标左键，即要求说谎者仅对P 刺激做出说谎行为，诚实者均做出诚实的行为。每位受试者进行10 次实验。单个试次时长为1.6 s，每次实验间隔为5 min（见图1）。

图1 测谎实验示意图Fig. 1 Schematic diagram of polygraph experiment

2.2 EEG 数据采集及预处理

实验脑电数据采集设备为电极位置符合国际标准10-20 的32 导脑电帽和德国BP 公司的脑电图仪，采样频率为500 Hz，导联阻抗小于5 kΩ。在静止状态下，记录受试者的EEG 信号5 min。实验过程中，使用E-Prime2 对受试者进行视觉刺激。实验采集了所有受试者的EEG 数据。

本文采用EEGLAB 工具箱对EEG 数据进行预处理，使用带通滤波器（0.05～35 Hz）对信号进行滤波去除伪影；根据标记对P 刺激前300 ms 和刺激后1 300 ms 的数据进行分割，并将此作为一个epoch；为了更好地分析P 刺激对受试者产生的影响，选择P 刺激前的300 ms 作为基线对每个epoch 进行基线校正；对数据进行独立成分分析，使用Adjust 插件去除由眨眼、肌肉紧张等成分导致的伪影；选择双侧乳突导联对数据进行电极重参考；对每5 个epoch 进行一次叠加平均。最终获得诚实组和说谎组各300 个800× 30 的数据集。EEG 信号处理流程如图2 所示。

图2 EEG 信号处理流程Fig. 2 Flow chart of EEG signal processing

2.3 特征提取及分类

本文将不同导联之间的 dPTE 作为神经网络的分类特征。首先，对受试者数据进行特征提取。分别计算预处理后2 类人群的 dPTE ， 获得600 个30×30 的 d PTE 有效连通网络矩阵。图3 为说谎组和诚实组的总平均 dPTE邻接矩阵对比。图中显示，说谎组和诚实组的平均 dPTE邻接矩阵存在差异，尤其是电极P4 和F7 到其他电极的d PTE值，说谎组显然高于诚实组，直观显示说谎组不同导联之间信息流强度更大。注意的是，本文计算出来的说谎组和诚实组的平均 dPTE邻接矩阵，除对角线元素为0 外，其余元素均大于0.30 且小于0.65，因此为了更好地从图3 中显示说谎组和诚实组的差异性，图中的颜色刻度范围为[0.30,0.65]。矩阵的每一行和每一列都对应一个电极通道，每一个元素表示横坐标电极通道到纵坐标电极通道的链接权重。然后，对2 组受试者的所有矩阵进行整合，去除对角线元素，其余元素（870）作为特征向量，最终获得2 个300×870 的特征矩阵。对特征矩阵中每个特征单独进行2 组受试者间的独立样本T-test 检验，使用Bonferroni多重校正方法检验特征的差异性，可以得到有差异的特征。对具有显著性差异（p<0.05/870）的特征进行F-score 值[19]计算，F-score 值越大，表征该特征在诚实和说谎2 种状态下的差异越大。将所有特征根据F-score 值进行降序排序，并将排序后的特征依次添加到特征集作为神经网络的分类特征。这可以减少神经网络训练参数数目，加速网络收敛，同时可以快速找出具有显著性差异的导联对。由于同一导联对的信息流流向由X流向Y和由Y流向X时 dPTE 值 之 和 为1，则 当 信 息 流 由X流 向Y的dPTE 值 表现出较大的诚实-说谎差异性时，由Y流向X的信息流也必将表现出较大的诚实-说谎差异性，故各特征在差异性排序表中总是以导联对的形式成对出现。

图3 组平均d PTE邻接矩阵对比Fig. 3 Comparison of group average dPTE adjacency matrix

将获得的特征集送入FCNN 分类器，本文使用的FCNN 分类器结构如图4 所示，隐藏层神经元个数是5，输出层神经元的个数是2（说谎和诚实）。采用6 折交叉验证[20]，将训练集送入FCNN 进行训练。模型训练完成后进行测试，平均6 个测试结果准确率（ACC）即为分类器平均测试准确率，该值代表了分类器的泛化能力。同时计算6 个分类准确率的标准差（SD），直观反映准确率的离散程度。

图4 FCNN 结构示意图Fig. 4 Structure schematic diagram of FCNN

3 实验结果

3.1 统计及分类

本文选取诚实-说谎差异性较大的 d PTE 值作为特征输入到神经网络中进行训练和分类。统计分析后的特征数据集输入到神经网络分类训练时发现，当输入12 维特征，即对应诚实-说谎差异性最大的6 个有向导联对（P4-T8, P4-Pz, FCz-F7, FP2-T8,P4-FT8, F7-FT8）时，平均分类准确率可以达到最大值96.75%（SD=±0.575）。本文同时通过传统的SVM 分类器[21]对上述特征集进行分类，利用箱线图与FCNN 分类结果进行对比，结果如图5 所示。可以看出，FCNN 比SVM 分类准确率高，且准确率波动程度比SVM 小，表明FCNN 分类效果好且鲁棒性更强。因此，最终选用FCNN 用作本文的特征分类器。

图5 FCNN 与SVM 分类准确率对比Fig. 5 Comparison of classification accuracy between FCNN and SVM

3.2 效应连接分析

基于上述得到的6 个具有显著性差异的有向导联对进行统计分析，结果如表1 所示，这6 个有向导联对共包括7 个不同的电极（P4、Pz、F7、FP2、FCz、T8、FT8）。表中电极对对应的 dPTE分别是说谎组和诚实组的平均 dPTE值。Koessler 等[22]研究表明，Brodmann 分区与10-20 电极放置系统具有相关性，故本文将电极位置投影到大脑皮层，如表2所示，后续讨论将在电极对应的脑区中进行。

为了更加直观地突出说谎状态下大脑信息流的流向，图6 利用BrainNet[23]画出了大脑网络信息流图。图中：蓝色节点表示所选的电极，箭头方向表示信息流流向，链路颜色表示链接权重。结合表1 和表2，从图6 可以看出，相较于诚实组，说谎状态下电极对之间信息流强度有所升高。说谎状态下，脑网络信息流主要由顶叶和额叶流向颞叶，平均 dPTE值维持在0.6 左右；诚实状态下，相对于说谎状态刚好相反，信息流主要由颞叶流向顶叶和额叶，且平均 dPTE值较为恒定，维持在0.53 左右。这进一步说明，说谎状态下，大脑的顶叶、额叶和颞叶被激活，这些脑区之间的信息流动较强。

表1 具有显著性差异的6 个有向电极对平均dPTE 值统计分析结果Table 1 Statistical analysis results of average dPTE of 6 directed electrode pairs with significant differences

表2 电极及其相应的投射皮层区域Table 2 Electrodes and their corresponding projection cortical areas

图6 说谎与诚实受试者脑网络平均对比Fig. 6 Average brain network comparison between lying and honest subjects

4 讨 论

目前的主流测谎方法如BAD、BCD 等，仅专注于EEG 信号的时频特性，虽然可以在一定程度上揭露说谎状态下局部大脑的活动规律，但无法探知整个大脑及各个脑区之间的功能模式。PTE 理论是一种基于相位关系的信息流量化方法，可用于EEG 各导联信号之间的定向连接估计。为了更好地揭示说谎过程中大脑的工作模式，本文利用PTE 理论量化大脑各节点之间信息流的方向与强度，并将归一化后的PTE 邻接矩阵构建加权有向网络，对计算结果进行统计分析，选取具有显著性差异的导联对作为神经网络的分类特征，分类准确率为96.75%，说明 dPTE可以准确探知到大脑在说谎状态与诚实状态下的差异信息。以上证据表明，本文方法可以有效探索人类说谎时大脑的认知机制，同时也是一种有效的测谎方法。

实验结果表明，在说谎状态下，部分脑区之间的信息流强度相较于诚实状态下更高，尤其是前额叶皮层、后顶叶皮层和颞叶皮层（见图6）。在说谎激活的相关脑区中，这些脑区之间的信息流动可以解释为需要协调和使用更多的大脑资源才能有效地执行欺骗行为。记忆编码、抑制控制、任务转换是实现欺骗行为最基本的神经活动[24]。后顶回参与了视觉注意功能，并且在记忆更新中起关键作用[25]。一些关于fMRI 的欺骗研究表明，在欺骗过程中激活了后顶回[26]，并且Sun 等[27]发现后顶回在欺骗的后期过程中被激活，表明其通过操纵真实信息以达到欺骗的目的。本文将说谎组与诚实组进行比较后发现，2 组的后顶回和顶上小叶（R-IPG→M-SPL）之间存在相反的信息流传递，不仅为后顶回参与欺骗过程提供了新的证据，而且揭露了后顶回在欺骗过程中的信息传递规律。另外有研究表明，颞叶在长期记忆中起重要作用[28]，本文结果发现，说谎类人群与诚实类人群在后顶回与颞叶（RIPG→R-MTG, R-IPG→R-STG）之间存在相反的信息流传递，可能表示传入的视觉信息引发了情节性记忆的检索，然后进行了记忆更新。关于前额叶，本文发现，前额叶的额上回和额下回（L-IFG→MSFG）之间有很强的信息交流，其与人的思维、决策、记忆等脑认知活动存在密切的联系。说谎行为需要抑制、判断、决策、记忆等多项认知功能的共同参与，前额叶在复杂而协调的认知活动中起着至关重要的作用[29]。进一步，考虑到颞叶皮层反复参与长期记忆过程[27]，说谎状态下前额叶与颞叶（RSFG→R-MTG, L-IFG→R-STG）之间的强信息流动表明，犯罪人员在看到与被盗物或犯罪现场相关的场景时会不可避免地回忆犯罪过程或细节等信息，并对这些信息进行记忆检索和思维决策等认知处理。总的来说，以上研究结果表明，欺骗会导致大脑中的信息流向重新分配和增强，这可能与说谎者在反测谎过程中更为复杂的脑部活动有关。

虽然当前国内外不同学者对测谎进行了许多研究，但由于测谎协议、特征提取方式及数据处理方式的不同，会导致部分研究结果之间存在差异。本文利用 dPTE对欺骗状态下脑网络的信息流进行研究，结果显示信息流主要由额叶和顶叶流向颞叶，这些结果部分支持了国内外其他研究结果[7-9]，同时也有新的研究发现。不同的测谎协议及特征提取算法之间的对比研究也是未来的研究内容之一。

5 结 论

1） 本文针对P 刺激对受试者产生的影响进行脑电信号分析，使用归一化后的PTE 来度量脑区之间的信息流模式。根据网络的信息流模式来探索一个大脑区域对另一个大脑区域的直接因果影响，探索欺骗和说真话的认知差异，为揭示欺骗状态下大脑的神经活动机制提供新的见解。

2） 根据脑网络分析结果，额顶叶和颞叶之间的信息交互增强，表明欺骗任务在某些皮质上引起了更强的激活，这在很大程度上与先前关于欺骗的许多研究发现是一致的。

3） 本文仅对头皮脑电信号进行了简单分析，未对大脑皮层的网络结构进行研究，将来会利用溯源的方法进一步分析皮层脑功能网络的定向连接，以对谎言机制进行更深入的研究。