基于伪随机序列调制彩色视觉刺激的脑机接口*

刘大成 胡 南 常春起 孙 兵

(1.苏州大学电子信息学院，苏州，215006； 2.深圳大学生物工程医学院，深圳，518060)

基于伪随机序列调制彩色视觉刺激的脑机接口*

刘大成1胡 南1常春起2孙 兵1

(1.苏州大学电子信息学院，苏州，215006； 2.深圳大学生物工程医学院，深圳，518060)

脑机接口(Brain-computer interface，BCI)是一种新颖的人机交互方式，是通过人的大脑意图和计算机直接进行交流。本文提出了一种基于伪随机序列调制彩色视觉刺激，产生彩色瞬态视觉诱发电位(Chromatic transient visual evoked potential, CTVEP)的BCI系统设计与信号处理方法。根据视觉特性，彩色圆环的交替呈现与消失作为视觉刺激被证明更加舒适和安全。在本文研究中，屏幕上同时呈现36个彩色圆环刺激，每个刺激的呈现与消失模式由相互正交的36个伪随机Gold序列中的唯一的一个给定。针对采集的枕区脑电信号，利用Gold序列的正交性，本文给出CTVEP的解码方法，通过匹配滤波判断被试注视的刺激图案。通过对20名被试的实验，给出了系统的识别准确率，验证了此系统在“翻译”被试选择时的可靠性。

脑电图；脑机接口；Gold序列；彩色瞬态视觉诱发电位

引 言

脑机接口(Brain-computer interface，BCI)系统通过计算机或其他电子设备在人脑与外界环境之间建立一条对外直接交流的控制通路[1-3]。在医学上，肌萎缩性脊髓侧索硬化症、脊髓损伤和中风等患者不能与外界直接交流，BCI技术可以帮助他们与外界重新建立联系[4,5]。此外，BCI还可以应用于开关控制、机器人、娱乐和军事等诸多领域[6]。目前对BCI的研究已成为国内外医学和工程领域的热点。目前可用于BCI的脑电信号有脑电图(Electroencephalography , EEG)、功能性核磁共振、脑磁图和正电子放射层扫描等[7,8]。功能性核磁共振和脑磁图的技术复杂、成本高昂；正电子放射层扫描和功能性核磁共振依赖于代谢过程，时间周期长，不适合快速脑机沟通。EEG因其具有时间分辨率高、操作方便和测试无创等特点，被广泛应用于BCI系统。依据采集脑电信号的电极位置不同，EEG分为植入式和非植入式，其中非植入式EEG具有无创、廉价、简便和高时间分辨率等特点[9]。目前大多数BCI系统依靠3种脑电信号：想象动作思维引起的事件相关去同步电位、事件相关电位和稳态诱发电位[10]。本文使用的是一种重要的诱发电位-视觉诱发电位(Visual evoked potential，VEP)。VEP是大脑枕叶视皮层对视觉刺激产生反应的一簇电信号，具有可供选指令集多、使用前不需要训练和稳定性好等特点，其中P300和稳态诱发电位因其信号易于提取，得到了广泛的关注[11]，但P300和稳态诱发电位必须通过有规律的重复闪光或者图形刺激视网膜[12]。赵丽等[13]应用LED作为刺激器，12个LED同时以不同的频率闪烁，对应手机按键界面上的12个键，一旦这些诱发的脑电信号被转换为控制命令，就会实现对手机拨号，通过对5名被试的实验，该系统具有较高的正确率；郑军[14]利用计算机显示器作为刺激器，多个图形呈现在计算机显示器上，以设定的频率进行黑白闪烁，从而刺激频率和图形呈现在同一个显示器上，简化了BCI系统，试验证明此BCI系统可以应用于字符输入、家电集成和脑控轮椅等。虽然黑白重复闪光可以获得较好的试验结果，但是这种频率闪烁的刺激容易诱发癫痫症发作，另外不停变化亮度的刺激容易使人感到疲劳[15]，所以目前很多基于视觉诱发电位的BCI技术缺乏安全性和舒适度。彩色瞬态视觉诱发电位(Chromatic transient visual evoked potential, CTVEP)，可以减少癫痫发作的风险和减轻疲劳，同时诱发出来的信号具有高质量性[16]。本文采用瞬态彩色圆环作为视觉刺激，利用伪随机序列实现BCI的多输入指令。

1 实验设计

1.1 刺激图形设计

图1 等亮度色彩刺激的VEP波形Fig.1 VEP waveform evoked by equivalent brightness chromatic stimulus

在视觉范围内，当一个彩色的视觉刺激快速呈现时会诱发CTVEP，其引起色差的视觉刺激类似于视觉诱发电位。由于视锥细胞在视网膜上分布不均匀，位于黄斑区的视锥细胞密度比周围高，产生的CTVEP信号更强。这种效应被称为“皮质放大”。根据人类视觉系统的特性，在色彩空间里有三对拮抗色适合作为色彩刺激，包括黑白对(LUM)，红绿对(LM)和蓝黄对(S)。黑白对相当于亮度调制，容易带来疲劳；蓝黄对具有更少的鲁棒性，对CTVEP需要更长的时间反应；相比之下，红绿对可以呈现等亮度的图像，减轻亮度闪烁带来的疲劳感，提高舒适度和安全性，提高CTVEP的幅度。本文实验采用等色等亮度的瞬态红绿圆作为视觉刺激图案，刺激产生的CTVEP如图1所示。

1.2 刺激模式设计

实验采用的图形呈现方式为出现/消失模式，如图2所示。一个图形刺激周期为100 ms，出现/消失的占空比为33%，如图3所示。视觉刺激按照Gold序列闪烁，即当Gold序列为1时，以出现/消失模式出现；其为0时，在100 ms时长内保持消失状态。

图2 图形出现/消失模式 图3 一个图形刺激周期(Gold=1) Fig.2 Pattern appearance/disappearance mode Fig.3 One pattern stimulus period (Gold=1)

1.3 GOLD序列设计

本文采用伪随机序列(Gold序列)调制刺激图形。Gold序列是以m序列为基础的一种PN序列，由一对码长、周期和速率相等的互相关值小的m序列模2和得到的。本文利用Gold序列的自相关性强、互相关性弱的特点，将其刺激目标扩增至36个，选择长度为127位的Gold码，一次刺激的时长设为12.7 s，以保证BCI的准确率和判断信息效率。

本实验的视觉刺激界面如图4所示。由6×6矩阵组成的视觉刺激界面作为BCI的输入界面，每个圆环图案表示一个目标输入，36个圆环分别代表了A～Z的26个字母和0～9的10个数字。在圆环闪烁的同时，向并口发送脉冲信号，通过适配器在时间轴上打上标记，为后期的数据分析做好准备。

1.4 脑电信号采集设计

实验采用德国Brain Products脑电仪，采样频率为5 000 Hz，采用32导联电极帽的Oz电极对大脑枕叶区进行数据的采集，其实验系统架构如图5所示。

图4 视觉刺激界面 图5 视觉刺激实验系统的架构 Fig.4 Visual stimulation interface Fig.5 Architecture of visual stimulation experiment system

2 脑电信号处理方法

2.1 信号处理流程

本实验中需要将被试所注视的目标图案识别出来，并将其脑电信号转换为对应的字母或数字输出。信号处理过程主要包括解码(解调)、平均、匹配滤波、线性分类和对应的字母或数字输出，它们的关系如图6所示。

图6 信号处理流程Fig.6 Signal processing procedure

数据处理如下：利用伪随机序列(Gold序列)对视觉界面的36个彩色图案进行调制，由于Gold序列自相关远大于互相关的特性，通过平均连续多次的相关事件，保存相关信号，同时抑制不相关信号或者噪声，解调出可识别的脑电信号；匹配滤波是经过适当的模板与信号计算，求互相关系数；线性分类基于互相关系数对信号进行分类，控制电脑输出对应的字母或数字的命令，从而实现BCI的多输入指令功能。

2.2 信号解码

实验中视觉刺激系统采用36个长度为127位的Gold平衡码(64个1，63个0)对36个刺激图案进行调制。在每个Gold码周期内，当Gold码为“1”时，出现闪烁，此时出现一次CTVEP；当Gold码为“0”时，闪烁消失，则不出现CTVEP，只有自发脑电信号与噪声。Gold码的频率为10 Hz，即每一位Gold码持续的时间为100 ms，而大脑完成一次CTVEP的持续时间为300 ms，因此采集的数据在出现CTVEP的周期内可能是重叠的，需要设计适当的算法进行解码。

现在假设被试正在注视第m个图案(即对第m个图案进行选择)，第m个图案对应的127位Gold码向量gm调制的图案对人脑的刺激产生了127个向量，即xm(1),xm(2),…,xm(n),…,xm(127)。由于CTVEP持续300 ms，所以每个向量的长度均设为1 500。将每个向量均分为3段，每一段为500个点(即100 ms时长)，即

(1)

若1次闪烁刺激产生的CTVEP的1 500点向量为s,将向量s同样均分为3段s1,s2,s3，即

(2)

每次刺激产生的CTVEP，可认为其波形相同(图1)。对于第m个Gold码的第n位gm(n)，当gm(n)=1时，xm(n)=s；当gm(n)=0时，xm(n)=01 500(1 500×1维全零向量)，因此有xm(n)=sgm(n)。结合式(1)与式(2)，可得

(3)

当刺激开始时，将每500个点(即100 ms时长)作为一个向量进行记录。由于最后一位Gold码在为1的情况下能刺激出300 ms长度的CTVEP，因此从序列刺激开始时刻最终记录129个这样的不交迭向量。令ym(l)为被试注视第m个图案时EEG采集到的第l个数据向量，则其可表示为

(4)

式中n(l)表示第l段数据中存在的与刺激反应无关的干扰信号向量，主要来源于自发脑电和线路噪声。

在被试注视第m个图案的情况下，将采集到的数据向量ym(l)(l=1,2,…,129)组合成数据矩阵Ym，可表示为

(5)

将式(4)代入式(5)，Ym可表示为

(6)

式中：I为500×500维单位矩阵；0500为500×1维全零向量；Xm,i=[xm,i(1),xm,i(2),…,xm,i(127)]，i=1,2,3；N=[n(1),n(2),…,n(129)]。另外由式(3)可得

(7)

则将式(7)代入式(6)，可得最终数据的表示形式为

(8)

以前的建模都是在假设m已知的条件下给出的，然而本文中描述的BCI系统的核心问题就是从采集的EEG数据中给出对m的估计值，即对被试注视图案的解码。解码过程首先对Ym右乘一个权重矩阵Wn，获得数据矩阵Dm,n，即

(9)

(10)

式中1127为127×1维全1向量。结合式(8)与式(9)，经计算可得

(11)

经计算，当m=n时，v11=v22=v33=1；当m≠n时，v11=v22=v33=0；在两种情况下v12，v23，v13，v21，v32，v31最大不会超过0.1，所以令它们都约等于0。因此，Dm,n可以写成

(12)

式中Kronecker函数δm,n=1,m=n；δm,n=0,m≠n。

(13)

式中vec (·)表示将矩阵的后一列依次堆叠到前一列的下方以构成一个向量。由式(12)近似有

(14)

2.3 匹配滤波

(15)

3 实验结果

图7 单次刺激的解调信号Fig.7 Demodulation signal of a single stimulus

本次实验对象为10名健康男性、10名健康女性，让他们按固定的程式注视36个图案中的1个。实验分别做了单次刺激、2次平均、3次平均和4次平均各100次，实验结果如表1所示。

表1 不同次数的平均比较

实验表明，虽然单次刺激被试需要注视的时间短，相对更舒适，但是单次刺激的准确率比较低，因此需要做3次以上的平均来提高信噪比和准确率。但如果增加被试者的注视时间，将导致被试者疲劳。因此，本文选择3次平均是可以接受的较好实验方式。

4 结束语

基于伪随机序列调制彩色视觉刺激的脑机接口系统实验表明，通过Gold序列调制彩色瞬态视觉图案，可同时将输入增加至多个。本文采用瞬态等亮红绿对双色圆环刺激，增加了被试的舒适度和安全性。EEG信号的处理利用了Gold码的特殊性进行解调和匹配滤波，提高了系统选择的正确率。通过比较4种不同次数平均下的系统正确率，本文最终选择3次平均，既能正确地“翻译”出人脑的选择，同时被试也不会因为注视的时间太长而感到疲劳。由此可见，基于Gold码调制的CTVEP作为一种新颖的脑电诱发方式，具有多输入指令特点和较高的选择准确度，在BCI领域具有很好的应用潜力。本文已给出基于伪随机序列调制彩色视觉刺激的脑机接口的离线系统，今后将进一步研究基于该方法实时系统。

[1] McFarland D J, Wolpaw J R. Brain-computer interfaces for communication and control[J]. Communications of the ACM, 2011, 54(5): 60-66.

[2] Ahn S, Ahn M, Cho H, et al. Achieving a hybrid brain-computer interface with tactile selective attention and motor imagery[J]. Journal of Neural Engineering, 2014,11(6):132-135.

[3] 王洪涛,邹鹤良,李达强.基于左右手运动想象的在线算法设计与应用[J].数据采集与处理,2013,28(5):828-833.

Wang Hongtao, Zou Heliang, Li Daqiang. Left/right-hand-motor-imagery-based online algorithm design and its application[J].Journal of Data Acquisition and Processing,2013,28(5): 828-833.

[4] 余炜,周娅,马晶晶,等. 基于EMD和LVQ的信号特征提取及分类方法[J].数据采集与处理,2014,29(5): 683-687.

Yu Wei,Zhou Ya,Ma Jingjing,et al. Signal feature extraction and classification method based on EMB and LVD neural network[J].Journal of Data Acquisition and Processing,2014,29(5): 683-687.

[5] Severens M, Van der Waal M, Farquhar J, et al. Comparing tactile and visual gaze-independent brain-computer interfaces in patients with amyotrophic lateral sclerosis and healthy users[J]. Clinical Neurophysiology : Official Journal of the International Federation of Clinical Neurophysiology, 2014, 125(11): 2297-2304.

[6] Tsui C S, Gan J Q, Roberts S J. A self-paced brain-computer interface for controlling a robot simulator: An online event labeling paradigm and an extended Kalman filter based algorithm for online training[J]. Medical & Biological Engineering & Computing, 2009,47(3):257-265.

[7] Raichle M E, Mintun M A. Brain work and brain imaging[J]. Annual Review of Neuroscience, 2006, 29: 449-476.

[8] Raichle M E. Functional brain imaging and human brain function[J]. Journal of Neuroscience, 2003, 23(10): 3959-3962.

[9] 何庆华, 彭承琳, 吴宝明. 脑机接口技术研究方法[J]. 重庆大学学报:自然科学版, 2002,25(12): 106-109.

He Qinghua,Peng Chenglin,Wu Baoming. Research methods of brain-computer interface technology[J]. Journal of Chongqing University:Natural Science Edition, 2002,25(12): 106-109.

[10]Wolpaw J, Wolpaw E W. Brain-computer interfaces: Principles and practice[M].Oxford University Press, 2012.

[11]赵均榜,张智君.基于皮层诱发电位的脑机接口研究进展[J]. 航天医学与医学工程, 2010,23(1): 74-78.

Zhao Junbang,Zhang Zhijun. Progress in brain-computer interface based on cortical evoked potential[J]. Space Medicine & Medical Engineering,2010,23(1): 74-78.

[12]潘家辉. 基于P300和SSVEP的高性能脑机接口及其应用研究[D].广州:华南理工大学，2014.

Pan Jiahui. A study on P300 and SSVEP-based high-performance brain-computer interface and its application[D]. Guangzhou: South China University of Technology, 2014.

[13]赵丽，孙永，郭旭宏，等.基于稳态视觉诱发电位的手机拨号系统研究[J].中国生物医学工程报,2013,32(2):253-256.

Zhao Li,Sun Yong,Guo Xuhong，et al. Research on mobile phone dialing system based on steady-state visual evoked potential[J]. Chinese Journal of Biomedical Engineering, 2013,32(2):253-256.

[14]郑军.基于稳态视觉诱发电位的脑机接口研究[J].科学技术与工程,2011,11(33):8149-8154.

Zheng Jun. An research on brain-computer interfaces based on the steady state visual evoked potentials[J]. Science Technology and Engineering, 2011,11(33):8149-8154.

[15]Fisher R S, Harding G, Erba G, et al. Photic- and pattern-induced seizures: A review for the epilepsy foundation of America working group[J]. Epilepsia, 2005, 46(9): 1426-1441.

[16]Lai S M, Zhang Z, Hung Y S, et al. A chromatic transient visual evoked potential based encoding/decoding approach for brain-computer interface [J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2011, 1(4): 578-589.

Brain Computer Interface System Based on Pseudo Random Sequence Modulated Chromatic Visual Stimulation

Liu Dacheng1, Hu Nan1, Chang Chunqi2, Sun Bing1

(1.School of Electronic and Information, Soochow University, Suzhou, 215006, China; 2.School of Biomedical Engineering, Shenzhen University, Shenzhen, 518060, China)

Brain-computer interface (BCI) is a novel way for interaction between human and machine, which enables direct communication between the people′s mind and the computer. BCI system and its signal processing method are proposed based on pseudo random sequence modulated color visual stimulation and the chromatic transient visual evoke potential (CTVEP). According to the properties of human visual system, it has been demonstrated that chromatic visual stimulation is safer and more comfortable for various subjects. In the proposed BCI system, a number of spatially separated chromatic con-central rings will be simultaneously presented on and off, with on/off pattern each specified by a distinct sequence form 36 pseudo random Gold sequences. For the received data from occipital region, we have proposed a demodulation method based on the orthogonality among Gold sequences, and the subject focusing pattern is ultimately determined by using matched filtering. After experiments on 20 subjects, the identification accuracy of the proposed system was achieved, which has verified the validity of the system in translating the ideas of the subjects.

electroencephalography (EEG)；brain-computer interface (BCI); Gold sequence； chromatic transient visual evoked potential (CTVEP)

江苏省高校自然科学研究面上项目(14KJB310020)资助项目;苏州市科技计划(SYS201521)资助项目。

2015-12-22；

2016-03-08

TP334; R318.6

A

刘大成(1989-)，男，硕士研究生，研究方向：脑机接口，E-mail:20144228016@stu.suda.edu.cn。

胡南(1986-)，男，博士，副教授，研究方向：脑电信号处理、多传感器阵列信号处理。

常春起(1972-)，男，博士，教授，研究方向：生物医学信号处理、统计信号处理、机器学习与模式识别。

孙兵(1968-)，通讯作者,女，博士，副教授，研究方向：生物医学信号处理，E-mail:sunbing@suda.edu.cn。