李明爱 张方堃 刘 雷 郝冬梅
1(北京工业大学人工智能与机器人研究所,北京 100124)2(北京工业大学生命科学与生物医学工程学院,北京 100124)
基于B样条小波变换的视觉诱发电位的识别方法
李明爱1*张方堃1刘 雷1郝冬梅2
1(北京工业大学人工智能与机器人研究所,北京 100124)2(北京工业大学生命科学与生物医学工程学院,北京 100124)
针对已知的视觉诱发电位信号处理及特征提取存在的抗干扰能力差及识别率低的问题,提出一种基于B样条小波变换与BP神经网络的视觉诱发电位(VEP)的特征提取及识别方法。首先,对VEP进行少次平均预处理,以增强信号的信噪比;其次,基于B样条小波变换对VEP进行特征选取,并通过BP神经网络分类器对特征进行分类。与现有方法相比,所提出的方法能够较好地提取视觉诱发电位特征,对于含噪声的信号具有较好的抗干扰能力和识别能力。实验结果表明,采用B样条小波变换结合BP神经网络的方法,对视觉诱发电位的平均识别率为90.4%,优于其他方法,验证了所提出方法的正确性和有效性。
脑机接口;视觉诱发;识别;小波变换;神经网络
脑机接口(brain computer interface,BCI)是不依赖于脑的正常输出通路(外周神经系统及肌肉组织)的脑—计算机(或其他装置)通讯系统。作为一种新颖的人机接口方式,BCI已在生物医学、军事、娱乐特别是康复工程等领域显示出很好的应用前景和研究价值。要实现这样一种人机交互方式,实时或短时对脑电信号进行提取和分类是关键。
视觉诱发电位(Visual Evoked Potential,VEP)是神经系统接受视觉刺激(如图形或闪光刺激)所产生的特定脑电活动,是一种特殊的事件相关电位(Event Related Potential,ERP),具有与目标刺激或任务存在锁时关系的特性,并且波形较为稳定。从时间分布上看,视觉诱发电位特征主要集中在刺激出现100 ms后的波形上,频率范围为1~30 Hz,主要由P100、N200和P300成分组成。笔者将重点研究特定视觉刺激下视觉诱发电位的特征提取与识别问题。
目前,视觉诱发脑电信号处理及特征提取方法主要有以下几种:1)累加平均法。该方法是电生理测量中提高信噪比最常用的方法,但进行信号累加计算所需的时间太长,实时性较差。2)维纳滤波法。该方法适用于信号与噪声的频率成分互不交叠的情况,但对于非平稳且时变的诱发电位信号却难以取得好的效果。3)参数模型法(adaptive auto regression,AAR)。该方法把待研究信号看成是由某一输入信号激励某一系统所产生的,要求该系统的输出与待研究的信号具有相似的性质。但在诱发脑电信号的处理中,由于信号和噪声具有非平稳性,刺激前记录到的噪声可能与检测到的实际噪声差别较大,采用参数模型法会导致较大误差。4)频谱分析法。该方法采用快速傅立叶变换(FFT)对视觉诱发脑电信号进行频谱分析,具有算法简单、比较容易实现的优点,缺点是对诱发电位特征提取的运算时间较长,且仅适用于稳态视觉诱发电位。5)独立分量分析法(Independent Component Analysis,ICA)。访方法用统计学方法把观测到的多导随机信号变换成为统计意义上尽可能独立的成分,但由于脑电信号的非平稳性,静态ICA算法对脑电数据的独立分量提取往往难以得到有效的结果。
根据诱发电位和背景噪声的时频特性,尝试利用小波变换的多分辨率分解特性,对视觉诱发脑电信号进行处理。小波变换所采用的基波具有不同的时间和频率分辨率,采用小波来提取诱发电位,在减少刺激次数、提高信噪比方面有着明显的效果。因此,选取 BP神经网络为分类器对特征样本进行分类,取得了良好的识别效果。
视觉诱发脑电信号采集实验,主要包括视觉刺激器设计与脑电信号实时采集两大部分。其中,视觉刺激器的设计是在Windows环境下参考美国Illinois大学Oddball实验范例自行设计的。该刺激器具有图1所示的3种棋盘格式界面,利用闪烁翻转棋盘格对受试对象以伪随机的顺序施加两种不同的视觉刺激,75%的刺激为由图1(a)转换至图1(b)的非目标刺激(Not Goal Stimulus,棋盘格颜色全部翻转),25%的刺激为由图1(a)转换至图1(c)的目标刺激(Goal stimulus,棋盘格颜色翻转一半)。为了防止受试者对视觉刺激产生适应性从而降低目标刺激的脑电信号强度,两种刺激方式分别在2.5 s~3.5 s之间随机改变,刺激频率约为6 Hz。脑电信号采集设备为便携式数字脑电图仪(NT9200,北京中科新拓仪器有限公司,中国)。该仪器采用22导USB接口全数字脑电放大器,脑电信号的采集由左枕骨区(O1)通道获得,以耳垂为参考点记录电极,采样频率为256 Hz。
图1 棋盘刺激器界面。(a)刺激器起始状态;(b)非靶刺激图像;(c)靶刺激图像Fig.1 Chessboard stimulating interface. (a)original state; (b) non-goal stimulus; (c)goal stimulus
选取5名年龄在22~27岁的受试者进行实验,他们均知情同意。受试者均无精神病史,实验前经过充分休息。对每个受试者重复200次实验,以提取视觉诱发电位的数据,剔除外部环境干扰所致的无效实验,平均每个受试者选取150~170组有效刺激数据,其中120~130组为训练样本集,其余为测试样本集。
在脑机接口实验中,单次记录信号的信噪比低,诱发电位信号的单次提取很困难,为此,对诱发脑电信号进行少量次累加平均的预处理,以提高其信噪比和信号识别率。由于视觉诱发脑电信号主要集中在低频段,故而设计0.1~70 Hz的带通滤波器,记录并保存靶刺激发生前后约2 s数据,包括256个刺激前数据和256个刺激后数据。
设TO表示脑电信号Oi的N次实验的平均瞬时功率,并定义
式中,Oi为第i次实验所测的诱发脑电信号。
图2为含噪声的3组诱发脑电信号波形,图3是经过3次累加平均滤波后的信号波形。可见,信噪比得到显著提高,诱发脑电信号特征更加明显。这样通过累加平均处理后的脑电数据表示出了目标刺激出现之前与之后各1 s的 VEP均值数据共512个。
图2 含噪声的3组诱发脑电信号波形Fig.2 3 Groups of VEPs with noises
图3 3次累加平均滤波后的脑电波形Fig.3 VEPs after 3 times progressive average
视觉诱发电位的特征主要由 P100、N200和P300成分组成。P100和N200分别是刺激出现后诱发电位中大约在100 ms之后出现的正的波峰和200 ms之后出现的负的波谷;而P300峰值则出现在目标刺激发生后的300 ms,非目标刺激则不会产生P300波形,这是诱发电位的一项重要特征。
P300诱发响应是在目标刺激出现大约300 ms以后出现的一个正的波峰,它是诱发电位的主要成分之一,在顶骨中心位置最为明显。实验研究表明P300成分与认知过程有关,因此P300特征量可以作为BCI系统的控制信号。BCI系统的信号处理目的就是要保证所识别的信号是真正所需的EEG信号,而不是其他一些伪迹,因此 BCI信号处理技术直接决定了BCI系统的速度和准确率。
从图3可以看到经累加平均滤波后的脑电波形可在目标刺激出现后大约100 ms处,即第280个数据点附近,有一个正的波峰 P100;在200 ms处,即第305个数据点附近,有一个负的波谷N200;在400~500 ms处,即第360个数据点到385个数据点,有一个最大的正波峰 P300,而且,VEP的能量主要集中在刺激出现后的100~600 ms时间段。这个特点为视觉诱发电位的特征提取提供了生理学依据。
选用Bior小波作为基本小波,对脑电信号f(t)进行有限层分解,即
式中,L为分解层数,AL为低通逼近分量,Di为不同尺度下的细节分量。
信号的整个频带划分为多个子频带,设信号f(t) 的采样频率为 fS,则 AL,DL,DL-1,…,D1各量所对应的子频带依次为
若选用Bior小波对信号进行5层分解,即f(t)=A5+D5+…+D1,则各分量所对应的子频带依次为 0 ~4、4 ~8、8 ~16、16 ~32、32 ~64、64 ~128 Hz。尺度层的大小,直接决定了低频部分划分的精细程度。图4是VEP原始信号和各频段的信号分解图,可见,当尺度层数为5时,诱发电位的低频部分细节已经能够在尺度图上得到很好的表现,故将分解的尺度层数选为5。
图4清楚地表明,D1、D2频段上没有出现明显的波形波动,而在 A5、D5、D4、D3频段的 P300时间段上波形有明显的幅值变化。由于视觉诱发电位VEP主要体现在P300上,所以该频段必须能很好地体现P300的特征,从而确定要剔除的是只与自发脑电背景噪声相关的小波系数,以及需保留的与P300密切相关的小波系数。
图5为小波分解系数的选择,图6为原始VEP波形及经Bior小波分解并按图5进行小波系数选择重构后的波形。可见,A5、D3、D4、D5频段包含了明显的P300信号特征,重构后的信号为
图4 VEP信号及其各频段的信号分解Fig.4 The VEP signal and its frequency decomposition
图5 小波分解系数选择Fig.5 Choice of wavelet decomposition coefficients
图6 VEP波形。(a)原始VEP波形;(b)重构波形Fig.6 VEP waveform(a)original VEP waveform;(b)VEP after reconstruction
式中,S(t)为原始信号经Bior小波变换后的重构信号,A5、D5、D4、D3分别为 A5、D5、D4、D3 各频段上的细节分量。
利用VEP信号的时 -频特性,并根据 VEP各组成成分与刺激时间的锁时关系,进行VEP信号的特征向量选取。从以上实验设计及分析可知,0 s~1 s的数据是刺激前的自发脑电数据,不包含视觉诱发特征信息,因此对前256个测试数据不予考虑。诱发电位的能量主要分布在刺激出现后600 ms的时间区间内,而且其频率低于40 Hz,故将D1、D2及600 ms以后的小波系数都置为零,并结合脑电信号的时频特性,只需选取 A5、D3、D4及 D5四个频段上小波系数的后一半为有效特征参数,即选取A5层[9,15]范围内的小波系数、D3 层[34,38]范围内的小波系数、D4[17,23]范围内的小波系数及 D5层[8,12]范围内的小波系数构成特征向量,其维数为24。
BP神经网络具有自适应功能、泛化功能以及很强的容错能力,本研究选用BP神经网络作为脑电数据样本分类器。由于选取的特征量包含24个小波系数,因此神经网络输入层选用24个神经元,输出层为一个神经元。隐含层神经元个数的选择,先根据经验确定大致范围,再通过对不同神经元数进行训练对比,观察实际训练效果后再微调予以确定。通过对受试者的训练样本集进行训练的识别率考察,最终确定隐含层神经元个数为9个。
表1为5名受试者检测样本数据的识别率。由其可知,除1名女性受试者可能受环境等因素影响导致识别率较低外,其余受试者的识别率均达到了较好的实验效果。
表1 检测样本识别率Recognition rate of tested samples
图7为某受试者视觉诱发电位数据基于BP神经网络的分类结果,共有检测样本36组,横坐标为检测样本序号。其中1表示分类正确,-1为分类错误,分类正确率达到93%以上。
图7 基于BP神经网络的分类结果Fig.7 The classification results based on BP neural network
为验证本研究方法的有效性,将所提出的基于B样条小波变换和BP神经网络的VEP识别方法与参数模型法(AAR)、快速傅里叶变换法(FFT)、独立分量分析法(ICA)进行了比对实验。图8为每种方法的识别率比较,充分说明了所提出的方法准确率较高。
图8 4种方法识别率比较Fig.8 Comparison of recognition rate of four methods
由图8可以看出,基于AAR的参数模型法的识别率最低,主要是由于该方法适用于平稳信号的分析,而对于包含大量非平稳信号的视觉诱发电位则略显“力不从心”。采用快速傅里叶变换法(FFT)较为简单,但运算处理时间过长,且识别率并不出众。相对前两种方法,独立分量分析法(ICA)识别率有所提高,但同样该算法只适于平稳信号的处理,抗干扰能力不强,对于未经过滤波去噪的脑电信号识别率较低。针对视觉诱发电位 VEP,提出了一种基于B样条小波分析提取脑电特征及BP神经网络分类的方法。该方法通过少样本平均来提高信号的质量,应用B样条小波变换提取VEP特征向量,以BP神经网络为分类器对VEP识别问题进行了研究,并以实测的实验数据进行了仿真研究,获得了较好的识别效果。
实验验证了本方法对于视觉诱发电位识别的有效性,为BCI系统应用于目标选择系统提供了新的思路。同时可以看到,本研究的识别方法是离线进行的,还不具备实时识别的能力。因此,下一步将主要针对实时提取与识别视觉诱发电位的信号进行研究。
[1] 葛哲学,沙威.小波分析理论与 MatlabR2007实现[M].北京:电子工业出版社,2007.
[2] Liu WQ.Fast tracking of evoked potential variations using correlated scale function designed by multiresolution analysis[D].Hong Kong:The University of Hong Kong,1998.
[3] Bayliss Jessica D.A flexible brain-computer interface[D].Rochester:New York:University of Rochester,2001.
[4] 王兆源,周龙旗.脑电信号的分析方法[J].第一军医大学学报,2000,20(2):73 -80.
[5] 李勇,高小榕,高上凯.诱发脑电的时间-空间分析[J].生物医学工程学杂志,2002,19(1):158-161.
[6] 季忠,秦树人,彭丽玲.脑电信号的现代分析方法[J].重庆大学学报,2002,25(9):108 -111.
[7] Cilliers Pierre J.A system for vep detection and stimulus phase discrimination[D].South Africa:University of Pretoria,1996.
[8] 侯媛彬,杜京义,汪梅,神经网络[M].西安:西安电子科技大学出版社,2007.
[9] 龚茜玲,钱梓文.生理学(第二版)[M].上海:上海医科大学出版社,1992,215 -216.
[10] 周元庆.利用小波变换少样本均值提取视觉诱发电位[D].武汉:华中科技大学,2000.
[11] 何庆华,彭承琳,吴宝明.脑机接口技术研究方法[J].重庆大学学报,2002,25(12):106 -109.
[12] 何庆华.基于视觉诱发电位的脑机接口实验研究[D].重庆:重庆大学,2003.
[13] 何庆华,彭承琳,吴宝明,等.基于视觉诱发电位的脑机接口实验研究[J].生物医学工程学杂志,2004,21(1):93-96.
[14] 张继武,郑崇勋,耿中行.用奇异性检测技术提取诱发电位[J]. 中国生物医学工程学报,1999,18(3):295-303.
The Recognition of Visual Evoked Potential with B-spline Wavelet Transform
LI Ming-Ai1*ZHANG Fang-Kun1LIU Lei1HAO Dong-Mei2
1(Institution of Artificial Intelligence and Robot,Beijing University of Technology,Beijing 1000124,China)
2(Life Science and Institute of Biomedical Engineering,Beijing University of Technology,Beijing 100124,China)
With the aim to solve the problems such as weak anti-disturbances and low recognition rate in signal processing and feature extraction of visual evoked potential(VEP),a method based on the B-spline wavelet transform and BP neural network was proposed to extract and recognize the features of VEP.VEP was preprocessed by a few times of average to enhance the signal-noise ratio;Then based on the B-spline wavelet transform,features were extracted and classified with BP neural network classifier.Compared with existing methods,the experimental results showed that the proposed method could accurately extract the features of VEP,and display betterperformance on anti-disturbancesand classification. The experimentresults demonstrated that the method based on B-spline wavelet transform combined with BP neural network had an average recognition rate of 90.4%,displaying the feasibility and the effectiveness of the proposed method.
brain-computer interface;VEP;recognition;wavelet transform;neural network
R318.08
A
0258-8021(2010)03-0353-05
10.3969/j.issn.0258-8021.2010.03.006
2009-09-08,
2010-03-03
国家自然科学基金资助项目(30670543);北京市委组织部优秀人才培养项目(20071B0501500198)
*通讯作者。 E-mail:limingai@bjut.edu.cn