事件相关电位（P300）脑电信号解码的两个问题及其解决方法

张鸿飞，殷浩钧，于银虎，许林峰，岳洪伟，王洪涛

（五邑大学 智能制造学部，广东 江门 529020）

脑机接口（Brain-Computer Interface,BCI）是上世纪80年代初兴起的一个非常前沿、活跃的研究领域，具有高度的学科交叉性，它可以提供一种大脑和外界进行信息交换的直接通道.而基于脑电信号的脑机接口正成为一种实用、先进的脑机接口方式[1].其中，事件相关电位（P300）是小概率刺激发生后300 ms左右出现的一个正向波峰.基于 P300的脑机接口优点是由于外在刺激引起的诱发电位，使用者无需通过复杂训练即可将大脑产生的脑信号转化为电子设备的指令[2].虽然 P300具有稳定的锁时性和高时间精度特性，但上述特性需要通过多次迭代才能获得[3].这就造成脑电信号解码面临的第一个问题：在 P300脑机接口系统中既要考虑目标的分类准确率，同时又要保证一定的信息传输速率（Information Translate Rate，ITR），即：在尽可能使用较少轮次（要求轮次数小于等于 5）的情况下准确解码.问题二：原始脑电数据量较大，其中包含较多的冗余信息.（在 20个脑电信号采集通道中，无关或冗余的通道数据不仅会增加系统的复杂度，且影响分类识别的准确率和性能），针对特定受试者，如何筛选出最优的通道组合.

因此本文针对问题一，首先实现P300样本的扩展，使得P300诱发脑电信号的正、负样本均衡.进一步提出了一种多尺度卷积神经网络模型，达到了较少轮数和较高准确率的平衡，取得了较高的ITR.针对问题二，本文首先设计了一个通道选择算法，筛选出更有利于分类的面向特定受试者的通道名称组合.

1 问题一的建模与分析

1.1 问题一分析

由于 P300特定的同步运行机制和信号微弱性，这就需要多次迭代才可以获得比较好的分类精度，导致了检测时间较长[4].因此如何使用较少的重复次数来正确检测P300是主要的挑战.为了解决这个问题，我们在前期研究基础上[5-6]建立了一种多尺度卷积神经网络模型（Multi-scale convolutional neural network，Ms-CNN）.

1.2 脑电信号预处理

1）信号预处理：为捕捉 P300发生的过程，从刺激开始截取0～600 ms的时间窗，在空间域中产生150（采样点）×20（通道）矩阵.然后用平均公共参考值导联法[7]处理该段，并进行去趋势、去除平均值等操作，然后以0.1～20 Hz带通滤波器滤波.这些预处理方法有助于提高脑电信号的质量，避免工频干扰影响.

2）特征提取：采用单次数据进行进一步分析.

3）数据增广：脑电图数据包括随后不平衡的目标 P300（T-P300）和非目标 P300（N-P300），即T-P300数量为120和N-P300数量为600.对于神经网络，分类精度高度依赖于训练数据的数量.针对特定训练样本较少且不平衡问题，本文采用扩展单次P300样本的方式进行样本扩充.在实验中所有的行和列都会闪烁一次，而包含目标字符的行和列只闪烁两次.为了提高P300的提取，本文使用闪烁次数为1的P300样本来增加样本数量.这样，合成后的T-P300和N-P300数据集相等，总数为1200用于特定受试者迁移学习（即T-P300和N-P300均为600）.

4）Ms-CNN网络：

L1：输入层.用于加载待识别的脑电信号数据.

L2：卷积层.它由多个卷积核组成，其大小等于信号信道的数量（即 20）.类似于传统的信号统计处理方法，包括加权叠加平均和公共空间滤波，这种操作可以在去除冗余空间信息的同时有效地提高信号的信噪比.具体计算过程如下：

L3：卷积层.该层由 3个并行排列的卷积层组成.每个卷积层的卷积核的数量是相同的，而每个核的大小是不同的.对于同一输入，不同尺度的卷积核可以提取不同的信息，增加特征的复杂度.在本研究中，对L2的输出信号在不同的时间尺度上进行时间滤波.这样可以在不同的时间段提取数据特征以信息最大化.3个不同尺度的卷积核的卷积运算介绍如下：

L4：连接层.从L3层的不同过滤尺度提取的特征映射被堆叠，这将用于整合提取的特征.

L5：最大池化层.大小为 2的集合过滤器形成最大池化层，从而让 L4层获得的要素地图数量最大化.这种合并操作有助于减少网络参数，从而加快计算速度并防止少量训练样本的过度拟合.

L6：卷积层.它是标准的通用卷积层，使用10个大小为5的卷积核，继续对L5层得到的特征进行卷积滤波运算，提取更抽象、更深入、更有利于分类的特征.同时，这种方法减少了最后一个全连接层的网络参数.计算过程如下：

其中w代表权重向量.最后，每行和每列的输出由softmax函数以概率的形式获得.众所周知，在每一轮重复中，所有的行和列只闪烁一次，这十二次闪烁中有两次包含P300.更准确地说，唯一行和唯一列应该包含 P300，否则将是对目标字符的错误预测.目前工作中的决策策略是找到 P300的最大概率分别形成行和列，如下式所示：

其中r和c代表行和列.Pr和Pc代表P300表格行和列的概率.m代表行数和列数.一旦确定P300包含的行和列，就可以正确预测目标字符.

在本研究中，交叉熵损失函数用于测量网络的分类误差.L2层采用正则化方法，以降低过拟合的风险，系数设置为0.04.用梯度下降优化器训练权值初始学习率为0.01，衰减率为0.9995，最大重复次数为30 000.

1.3 实验结果

表1给出了5位受试者5轮测试结果.图1为受试者1的5轮迭代脑电地形图.

表1 5位受试者第1轮至第5轮的预测结果

图1 受试者1的五轮迭代脑电地形图

2 问题二的建模与分析

2.1 问题二分析

需要在20通道脑电信号采集中，筛选出特定受试者的最优通道组合.即：针对不同的受试者，并移除“不重要”的通道，选出最优的通道.为了解决这个问题，笔者在多尺度卷积神经网络模型基础上，采用随机森林和遗传算法进行通道选择，分别获得了5位受试者的最优导联组合.

2.2 随机森林

随机森林（Random forests，RF）是一种集成的机器学习方法[8].它利用随机重采样技术bootstrap和节点随机分裂技术构建多个决策树，然后投票得到最终的分类结果[9].RF对噪声数据和缺失数据具有良好的鲁棒性，学习速度快.其可变重要度测度可以作为高维数据的特征选择工具.近年来，RF被广泛应用于各种分类、预测、特征选择、离群点检测等问题[10-11].

2.3 遗传算法

遗传算法是一种随机的全局搜索和优化方法[12].它可以在搜索过程中自动获取和积累有关搜索空间的知识，并自适应地控制搜索过程以获得最佳解[13].

遗传算法从一组随机染色体开始优化过程.对于二进制遗传算法使用以下公式：

其中Xi是第i个基因，ri是[0,1]中为每个基因分别生成的一个随机数.在连续遗传算法中使用以下等式随机初始化基因：

2.4 通道选择

在 20个脑电信号采集通道中，无关或冗余的通道数据不仅会增加系统的复杂度，还影响分类识别的准确率和性能.这就需要进行通道选择.通道选择算法如下：第一步，将预处理后的二维脑信号转换为一维，然后利用随机森林计算其权重.第二步，计算每个通道上一维权重的方差，并通过方差选择一些具有“较好”特征的通道.第三步，在遗传算法的初始种群中选择第二步处理的一些通道作为部分个体，然后随机生成一些个体.第四步，使用遗传算法选择具有最大曲线下面积（Area under the curve，AUC）的通道，最后使用多尺度卷积神经网络进行分类[15].该算法流程图如图2所示.

图2 通道选择算法流程图

特定受试者的通道选择结果如图3所示，红点为入选电极.

图3 5位受试者的最优通道选择结果

2.5 结果与讨论

采用通道选择后的5位受试者的P300字符解码预测结果如表2所示.本次测试包含10个字符.图4和图5是5位受试者在不同轮次下进行通道选择的准确率和信息传输速率.从图4可以看出，对于5位受试者其识别准确率随迭代次数增加呈现总体上升趋势，这与我们前期的研究是一致的[16].从图5可知，随着轮次的递增，识别消耗时间也随之递增，对于5位受试者信息传输速率随迭代次数增加呈现总体先升后降的趋势.

图4 5位受试者不同轮次进行通道选择及其平均的准确率

图5 5位受试者不同轮次进行通道选择及其平均的信息传输速率

表2 通道选择后受试者字符识别预测结果

综上，5位受试者进行了特定通道选择后，随着迭代轮次的增加，时间消耗增加了；5位受试者的平均准确率在逐渐增加，最高可达到 72%；5位受试者平均的信息传输速率呈现先递增后递减的趋势，最高信息传输速率为35.7 bits/min.因此采用本文模型可以较好实现在较少迭代次数下获得较高的信息传输速率，从而实现迭代次数和信息传输速率平衡.

3 结论

本文根据P300脑电信号在时域、频域的特点完成了P300脑电信号预处理，设计了多尺度卷积神经网络模型，进一步采用随机森林和遗传算法实现了脑电信号的通道选择，解决了 P300脑电信号的解码过程中特定被试的优化通道选择问题.本文提出的多尺度卷积神经网络模型具有较好的鲁棒性，在2019世界机器人大赛-脑控机器人大赛和第十七届中国研究生数学建模竞赛C题中均获得应用并取得较好名次.综上，本文所研究的事件相关电位（P300）脑电信号解码的两个问题及其解决方法，对于P300脑电信号的有效解码具有参考意义和应用价值.