基于SSVEP脑机接口的残疾人出行辅助系统

王辅国

摘 要 如何辅助残疾人进行空间的移动一直是困扰人类的命题，尽管当前市场上已经出现了一些能够辅助残疾人进行移动的设备，例如拐杖、轮椅，但这些辅助设备使用者的肢体健康状况有一定要求（例如绝大多数设备都不适用于渐冻症患者）。文章介绍了一种新的辅助系统，使用者在使用时只需要移动眼球、转移目光，就可以对电动轮椅发出明确的移动/停止信号。其基本原理是通过注视稳定频率的视觉刺激来诱导大脑皮层产生响应（SSVEP），使用傅里叶变换对用户脑电信号进行频谱分析，进而将相关分量输入到神经网络中进行判断、分类，最后将判断的指令输出给电动轮椅进行辅助移动。

关键词 SSVEP；傅里叶变换；神经网络；辅助移动

中图分类号 TP3 文献标识码 A 文章编号 1674-6708（2018）224-0143-02

据中国残疾人联合会发布的数据显示，目前我国残疾人总数超过8？500万，其中肢体残疾人数近2？500万。

对于肢体残疾的人来说，身体的残疾不仅给日常生活带来了不便，也阻碍了他们进行正常的社会活动。而现有的辅助残疾人进行运动的装置仍然对使用者的身体健全状况有着较高的使用要求，例如拐杖和普通轮椅都需要使用者有较强的臂力，就算是较先进的辅助运动设备，其与人的交互方式都是通过声音、按钮等传统方式进行的，而这对于很多老年人、残障人士或完全丧失自主控制肌肉的能力的病患来说，操纵难度大、使用难度高。所以需要一种更加方便、使用门槛更低的辅助设备。

脑机接口为该问题提供了一个优秀的解决方案，脑机接口不需要用户的额外运动就可以直接将人的脑电信号提取出来，输入给电脑，加以分析，帮助用户发出指令。

该方案的基本原理是：用户面前会有7个不同频率的刺激（例如牛顿环）分别代表7种运动/控制指令（前后左右，停止，确认/返回），产生运动指令后，该系统将人的脑电信号提取并加以识别，判断被试所需要的运动状态（前后左右运动或是停止），并由机动轮椅实现运动。

1 脑电信号与SSVEP

1.1 脑电信号与脑机接口

脑电是一种使用电生理指标记录大脑活动的方法[ 1 ]，是大脑在活动时，大量神经元同步发生的突触后电位经总和后形成的。它记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。根据采集过程中是否需要将采集电机插入头部皮层，可以将脑机接口分为侵入式与非侵入式。

在采集过程中，由于侵入式脑机接口具有一定的危险性，容易引发免疫排斥反应，所以采用非侵入式的脑机接口，方便于佩戴人体上，但是颅骨对信号的消减作用较强，并影响信号的稳定性，信号信噪比较低，需要进行后期处理。因此在实际应用中，经常配合导电膏使用非侵入式脑机接口来获取用户脑电数据。

1.2 视觉稳态诱发电位（SSVEP）

尽管脑电有着巨大的应用前景，但其噪声多、信号弱、应用条件相对苛刻的特点也对其推广造成了一定的阻碍。实际上，在实际应用中我们主要使用两种脑电信号（及其对应的实验范式）进行研究与应用：P300、SSVEP。

P300：P300信号是指当被试者视觉受到外界特殊刺激后脑电信号会出现一个正向波峰，该波峰大约出现在相关事件发生后的300ms。P300？电位是脑机接口中经常使用的信号，是事件相关电位的一种。P300电位的产生主要依赖于人对某种刺激的反应，而不依赖身体状况，通常由包含靶刺激的小概率事件和非靶刺激的大概率事件的刺激序列诱发。但值得注意的是，在使用P300信号的脑机接口实验范式中，被试者往往需要长时间专注，因此非常容易疲惫，这对于脑机接口的推广是有一定负面作用的。

SSVEP：稳态视觉诱发电位是指当给用户一个固定频率的视觉刺激时，我们能够在该用户的大脑皮层观察到一个与刺激频率的基频或倍频相关的连续响应[ 2 ]。这个响应是被称为稳态视觉诱发电位。相对于使用以P300为首的事件相关电位的脑机接口系统而言，使用稳态视觉诱发电位的系统和实验设计更加简便，而且需要的训练次数也比较少。

那么如何对SSVEP信号加以识别呢？正如前文所言，脑电信号弱、干扰多、复杂程度高，为了在纷繁复杂的信号中将有用的、珍贵的信息提取出来，就必須对信号进行大量的数据处理。如果单纯地将脑电信号输入到相对基础的神经网络（比如多层感知器）中，势必需要非常复杂的网络（比如层数特别深，或者神经节点特别多）才能实现比较理想的分类，甚至无法完成目标函数的收敛。这对于该系统的泛用性和可靠性都是非常不利的。因此，理想的情况是我们对脑电信号进行相对简单的特征提取，将提取出来的特征进行识别。为此，我们引入傅里叶变换。

2 傅里叶变换

傅里叶变换是一种在频域上对信号进行处理和分析的方法，就其本质而言，傅里叶变换将一般信号分解为若干（可能是无数）个正弦信号的叠加（对于周期信号，可直接分解为傅里叶级数，对于非周期信号，可将其视作周期为无限大的周期信号进行分解），即将我们的视角转到频域上，这样我们可以很方便地查看该信号是由哪几种频率的正弦信号叠加而成，并通过比较它们的幅值大小来判断哪种信号起主要作用（幅值大的信号），哪种信号作用较小，在实际中可以忽略。

正如前文所说，当人接收到一个稳定的固定频率（这个频率需要满足一定的要求）的刺激后，会在脑中产生谐振峰，即在频谱上对应该频率的基频或倍频的幅值会有明显的增加。

因此，我们可以通过判断人的脑电信号中哪个频率的幅值发生明显增加来判断被试接收到了哪个频率的刺激，进而判断被试在注视哪个区域。

然而从人脑中提取的电信号是离散而非连续的，因此我们需要引入离散傅里叶变换。通过离散傅里叶变换，我们将某一个具体的窗口中的离散数据扩展到整个时间维度上（即扩展为离散的周期信号）后再进行傅里叶变换，即可得到在这个窗口中的频谱。

这样，我们就不必从时域上研究脑电信号，而是使用一种更加简洁的形式对脑电信号加以分析和识别。或者说，我们将脑电信号的“特征”提取了出来。

3 神经网络

自反向传播算法广泛应用以来，神经网络进入了高速发展时期。

其在图像处理、语音识别、自然语言处理等领域大方异彩，比起其他方法，神经网络在實现复杂分类、特征提取等方面更加有优势。就其本质而言，神经网络的基础是以sigmoid函数为代表的激活函数所实现的二元分类，通过堆叠神经元（实际上可以将每一个神经元理解为一个二元分类器）来增加分类次数，值得注意的是在同一个隐藏层上单纯地增加神经元只是增加了分类的次数，但不同的分类之间并无逻辑关系，因此除去增加神经元，我们还需要增加神经网络的层数（即隐藏层数），以实现逻辑的复杂化。

在输入通道数量固定、label固定的条件下，通过调整隐藏层和每层神经元的数量，我们可以改变神经网络的结构，进而对神经网络的表现（比如收敛速度、准确率）产生影响（既可能是积极的，也可能是消极的）。

为了训练神经网络，我们需要储备训练数据。在训练过程中，被试需要依次注视七种刺激，并给响应的脑电波段贴上对应的“label”（例如注视“前进”这一刺激，并将刺激后的脑电信号进行傅里叶变换，输入到神经网络中去，并将这此训练的label设置为“前进”）。

结构确定后，我们便可以将提取出来的特征（在本项目中，是窗口内信号经过傅里叶变换后各个频段的功率谱）和对应的label（前后左右、停止）输入到神经网络的两端，经过训练后便可获得我们识别所需要的网络。

在本系统中，我们需要构造的是一个多通道输入（注意，输入的是频谱而非信号本身）、单输出的神经网络。该网络的输出是具体的运动指令。经过多次训练后，即可得到一个比较精准的分类器。

值得注意的是，对于不同的人而言，相同频率的刺激引发的响应是有差异的，因此对于不同的使用者，我们需要单独进行训练，这也是该项技术后期需要优化的问题之一。

4 系统构造

系统由以下几部分组成：刺激信号产生装置（显示器），脑机接口，信号处理系统（包括信号预处理与神经网络），机动轮椅，工作流程见图1。

当系统处于工作状态时，由显示器显示4个方向、停止命令、确认、返回共七个频率刺激（每个频率之间的差异应该足够大以防止误判）。用户注视具体频率刺激后，脑机接口将信号提取并源源不断地输送给信号处理系统，而信号处理系统的工作分为3部分：基础的信号预处理（例如滤波）、特征提取（离散傅里叶变换）和信号识别（神经网络），经过系统识别后将具体指令（前后移动、左右转动、停止）发送给机动轮椅，实现辅助移动。

从硬件来看，我们需要刺激硬件（例如显示屏）、处理硬件（进行相应的数学运算）和移动硬件（例如电动轮椅）。

从软件来看，我们需要刺激产生软件（支持不同频率甚至不同颜色的刺激），信号处理软件和控制软件（控制轮椅）。

5 结论

文章介绍了一种辅助残疾人进行移动的系统，这种系统由主要由4部分组成：刺激部分、信号提取部分、信号处理部分、运动辅助部分。刺激部分负责诱发人的稳态刺激，该部分可以由显示器完成，也可以由VR、AR等先进技术代为完成；信号提取部分，即脑机接口，负责将人的脑电采样并输送给信号处理系统；信号处理部分负责对脑电信号加以识别，并判断用户想要发出的具体指令，并将这种指令传输给运动辅助部分；运动辅助部分，即电动轮椅，根据信号处理部分的指令做出响应，实现对人的运动辅助。

显然，该系统的核心在于信号处理部分，如何处理信号来得到具体的指令是我们最关心的问题。为此，我们介绍了傅里叶变换和神经网络。这两种方法的结合在理论上能够帮助我们进行高精度的识别。

通过上述不同部分的集成“合作”，使用者可以在不移动身体任何一个部位的情况下，仅仅通过注视眼前的不同选项，就可以对轮椅发出指令。

当然，该系统仍有许多有待改进的地方。在实际应用中，我们还要考虑功耗、速度、便携性等一系列问题，所以本文所介绍的系统只是最基础的“原型机”，相信在不远的未来，以本文所介绍的内容为基本思路的民用辅助系统一定能够出现在市场上，大放异彩。

参考文献

[1]周志勇，程建新，王诗傲，等.脑电研究在工业设计领域的现状与趋势分析[J].包装工程， 2018（6）.

[2]郑军.基于稳态视觉诱发电位的脑-机接口研究[J].科学技术与工程，2011，11（33）：8149-8154.