张 江,陈汝佳,周晋文,田 雨,于粤雯,曹进炜,熊 慧
(天津工业大学 控制科学与工程学院,天津 300387)
脑机接口(Brain Computer Interface, BCI),指在人或动物大脑与外部设备之间创建的直接连接,实现脑与设备的信息交换。BCI技术起始于20世纪70年代,是一种囊括神经生物科学、信号采集和检测、信号处理、模式识别、通信技术等多学科在内的新兴技术。同时,BCI技术具备重大的现实意义。1999年开展的第一届脑-机接口国际会议,明确了BCI技术的基本目标是使BCI成为全世界严重残疾人的可行、实用并且购买得起的替代通信方式。随着科学技术的高速发展和现代产业的新型革命,BCI技术已经逐渐成为国内外研究的热点,被广泛应用在医学研究和工程应用等领域。
BCI技术涉及脑电信号(Electroencephalogram, EEG)的采集处理。由于脑电信号具有非平稳、高噪声、高随机这三大特点,使得脑电信号的特征提取成为了亟待解决的问题。针对脑电信号的特征提取,共空间模式算法(Common Spatial Pattern, CSP)得到了较为广泛的应用。CSP是一种两分类任务下的空域滤波特征算法,通过寻找最优空间投影使得目标信号功率达到最大,因此它能实现任务相关信号成分提取,并去除与期望不相关的成分和噪声。
对于准确分类样本而言,机器学习领域的支持向量机(Support Vector Machine, SVM)方法具有一定应用价值。SVM是一种二元分类的广义线性分类器,通过对学习样本求解最大边距超平面(Maximum-margin hyperplane),实现对多特征数据的二元分类处理。
当前市面上的相关系统能够实现脑电信号的初步采集,但是在脑电信号的实时处理和直观显示方面的效果都有待改进。这类系统专业性强、使用较为复杂,只适合从事脑电领域的研究者使用,不适合广泛地普及。因而,开发一套直观易操作的脑电采集和判别系统可以有效弥补这一不足。在该前提下,本设计利用CSP进行特征提取和SVM分类,同时结合嵌入式技术设计了一套脑电小车控制系统。该系统可以实现在现实环境下的有效应用,具有较大的科研价值和市场价值。
本系统主要分为两大模块:①在软件算法方面,应用PyQt设计上位机,实现脑电信号的接收,同时内部调用Python程序进行CSP特征提取和SVM分类,并设计一套基于PID的控制算法对小车进行精准控制。最终实现四元任务分类,对处理结果及脑电信号进行上位机数据可视。②在硬件层面上,以Arduino单片机为核心,设计外围TB6612驱动电路控制小车,通过HC-05蓝牙模块进行通信功能。整体上实现对四种运动想象状态下的脑电信号进行精准分类并转化为命令控制小车。系统的主要结构如图1所示。
图1 系统整体设计框图
人体在进行运动想象时,大脑对侧的运动感知皮层被激活,该区域中的代谢及血流量均增加,神经元活动加强,脑电信号独立性增强,同步化程度降低,进而μ节律(8~12 Hz)和β节律(14~35 Hz)能量减少;同时大脑同侧的运动感知皮层的神经元活动被抑制,导致μ节律和β节律能量值升高,在本设计中基于该规律对脑电信号进行动态分析。但是EEG信号具有易受影响、微弱、频率低的特点,所以在数据预处理阶段需要去除伪迹,例如工频干扰、电磁干扰以及脑电信息中存在的眼电、心电、肌电干扰。这些伪迹具有较高的频率,本设计通过带通滤波的方法将其去除,同时保留带有有效信息的波形。
FIR滤波器即有限长单位冲击响应滤波器。该滤波器能保证任意幅频特性,并具备严格的线性相频特性;同时单位抽样响应是有限长的,因而该滤波器是稳定的系统。为了尽量保证滤除干扰信号,本文采用512阶带通滤波器,对原始脑电信号()作变换,得到变换后信号(),即:
在域变换中设置上下截止频率,得到能体现运动想象状况的脑电数据,如图2所示。
图2 脑电信号
经带通滤波处理后的脑电信号需要经过特征提取环节提取其所包含的特征。
CSP共空间模式算法属于一种空域滤波技术。其基本原理是利用矩阵的对角化,找到一组最优空间滤波器进行投影,使得两类信号的方差差异最大化,得到具有较高区分度的特征向量。该算法对运动想象类的脑电信号处理效果较好,常用于二分类多维数据的特征提取。
CSP算法主要有求解协方差矩阵、构造空间滤波器和特征提取三个部分。在训练集的种分类数据中取X标签数据的第个矩阵单位,计算其数据矩阵的均值空间协方差矩阵C,即:
根据奇异值分解定理进行特征分解,对特征向量矩阵进行白化,白化后将白化矩阵作用于各分类的共同空间模式并进行主分量分解得到特征矩阵。通过特征矩阵和白化矩阵得到用于分类的投影矩阵。将空间矩阵C通过滤波器滤波得到各分类的特征矩阵Z。以测试集为样本,计算投影后信号的方差作为特征,得到最后的特征向量f,即:
传统CSP算法适用于二元任务分类,能识别两种不同的运动想象,并进行两种相应的控制。本文针对传统CSP算法进行了改进,采用“一对一”的方法,使其能进行多元任务分类问题的处理。
采用“一对一”法提取每两个分类的投影矩阵。每个类别内的特征相对统一,便于找到使两类差别最大的投影方向。对于本系统中的四分类问题,采用“一对一”的分类方法,把脑电信号进行两两组合,计算其投影矩阵并提取特征,由此得到6个滤波器。分类思路如图3所示。
图3 “一对一”法分类思路
提取各类的特征后,需要确定运动想象结果的类别。
本系统采用了支持向量机(Support Vector Machine,SVM)的方法。SVM是一种二元分类器,目标是寻找一个超平面,并使用两类数据离超平面越远即越优的结论,达到分类效果。二分类的SVM主要分为寻找最优分类线、利用拉格朗日乘子解决最优、构建最优决策函数三个部分。整体思路为通过拉格朗日乘子法求解出在以为维度变量的最优超平面中的系数矩阵和常量矩阵,即可确定出点到超平面的距离最小值,即:
对于本系统中的四分类问题,依次采用“一对一”的方法,将四分类问题转化为六个分类任务,避免了数据不可分和数据集偏斜问题。在六个分类器产生最终输出结果时,采用了判断决策函数值的方法。该方法的主要思想是利用SVM分类器在分类过程中返回的判断决策函数值,该值的绝对值大小反映了SVM的判断能力。因此,将六组分类器中判断决策函数值绝对值最大的分类器的判断类别作为最终的输出,如图4所示。
图4 SVM分类流程
本设计中上位机采用PyQt编程。除将小车运动的控制代码烧录到Arduino单片机外,其余软件设计均采用Python语言实现。在此基础上采用PyQt编写的上位机可以很好地嵌入到整体的算法设计,保证系统有较高的集成度。上位机显示界面直观实时显示当前想象的原始脑电信号;对运动倾向经过数据预处理、特征提取和分类,同时配有蓝牙串口的连接状态,确保小车和上位机实时通信;通过按击启动停止按钮即可进行整套系统的自动运行和停止实验。上位机界面如图5所示。
图5 上位机界面
本系统使用的小车为双电机履带小车,如图6所示。
图6 履带小车实物图
小车依靠履带传动,控制思路采用输出-反馈-输出的闭环控制。主控在蓝牙模块与上位机成功通信后将分类结果读出,进行四种运动状态的相应指令输出;对应四种运动模式设置四种电机初始PWM,在控制指令发出后通过测速读回速度值,作为输入进入调试完毕的PID模型,得到二次输出,实现四种运动状态的精准可控。
本设计采用博睿康科技的NeuSen-W可穿戴无线数字脑电采集设备。该设备具有8-64通道的无线同步数据采集,最大采样频率为16 kHz;采集信号通过无线网络下的TCP/IP协议传输给接收设备,速度可达到5 GHz WiFi数据传输,数据同步速率小于1 ms。
图7为电帽信息通信中转控制器和脑电极分布图。
图7 电帽信息通信中转控制器(左)和脑电极分布图(右)
本系统的微控制器选用核心处理器为AVR的ATMRGA328作为主控芯片,闪存容量为32 KB,烧录Arduino固件之后将其作为指令中转主控。该芯片具有出色的低功耗性能和较快的响应速度,可以实现小车长时间地持续运动。
本系统的通信模块采用HC-05高速蓝牙模块。该模块集成度高、稳定性好,最高可达到1 382 400波特率通信,通信距离较长且信号稳定,支持主从一体模式,可实现准确接受上位机发送的脑电波分类指令,通过串口方式向中转主控数据缓存区写入数据,实现上位机和主控之间的数据通信。
TB6612FNG是TOSHIBA公司出品的一种输出晶体管为低导通电阻的MOS结构的直流电机驱动芯片,具有大电流MOSFET-H桥结构,双通道电路输出,每通道输出最高1.2 A的连续驱动电流,可同时驱动2个电机。两个I/O输入信号就能实现四种运动状态的选择,PWM信号支持频率宽且电路集成度高、外围电路少,使用方便。
在测速上本系统选取了500线的光电码盘测速。该测速模块转动一周产生A、B两相500个脉冲,相位相差90°,主控芯片根据两个脉冲信号相位差和单位时间脉冲数确定电极转速和小车运动方向,通过主控中的速度PID算法达到运动闭环,实现对小车的精确控制。整体电路设计原理如图8所示。
图8 整体电路设计原理图
实验设备信息采用NeuSen-W进行采集,采样率为500 Hz。实验在全封闭的房间中进行,以便被试者集中注意力进行运动想象任务。手机、电脑等能够产生电磁波的设备均处于关闭状态。实验室内只有被试者和实验人员,尽量减少外界噪声。实验中被试者直坐在椅子上,面前只有一台电脑以及桌子,被试者可以将双手放在桌子上,做与提醒界面相同的姿势,更有利于被试者进行想象动作。共进行100次实验,测试时间是在晚上七点,被试者根据屏幕随机出现动作进行对应的想象,每次想象持续4 s,每个动作间隔3 s,实验场景如图9所示。
图9 运动想象实验现场图
利用训练好的模型对每次产生的信号片段进行分类,分类结果通过蓝牙传至下位机小车进行结果表达。
实验完成后,统计小车内部的运动状态计数,与视频随机出现的动作顺序进行比对,结果如图10所示。
图10 小车运动和动作顺序对比
实验结果表明,系统采集的数据和最终分类控制的结果都较为准确;同时在实验过程中本系统工作稳定,能够达到预期目标。
本设计实现了对人体运动想象产生的脑电信号的采集,并根据相应的想象脑电进行特征提取和分类,最终得到一套基于运动想象的脑控智能车系统,实现了通过运动想象对小车进行实时控制。相比传统运动想象系统,该系统准确度更高、成本更低,同时在实时性上也有一定提升,在脑-机接口的其他领域具有推广和应用价值。