张 朕,焦学军,杨涵钧,徐凤刚,姜 劲,曹 勇,潘津津
(中国航天员科研训练中心人因工程国家重点实验室,北京100094)
航天噪声环境对脑机接口的影响研究
张 朕,焦学军∗,杨涵钧,徐凤刚,姜 劲,曹 勇,潘津津
(中国航天员科研训练中心人因工程国家重点实验室,北京100094)
针对目前研究较薄弱的脑机接口在舱内噪声环境下的适应性问题,通过调整天宫一号舱内噪声录音至60 dB以完全模拟太空舱内环境噪声,探究了P300、SSVEP和运动想象三种脑机接口在模拟天宫一号舱内噪声环境下分类正确率和特征的变化。结果显示:模拟天宫一号噪声环境与安静环境(20~40 dB)相比,P300靶刺激幅值发生了较显著提高,但是分类正确率无显著性改变;SSVEP的各频率信噪比和分类正确率无显著性改变;运动想象正确率下降且显著,但仍在适用范围。表明脑机接口在载人航天噪声环境下具有较强适用性。
脑机接口;载人航天;噪声;P300;SSVEP;运动想象
脑机接口(Brain⁃Computer Interface,BCI)[1]能够将脑信号作为外部设备的控制命令,增加人机间信息交换与控制通道,还能够降低因人实际动作引起的体力负荷,能够应用于神经康复,机器控制,疲劳监测等方面。在载人航天领域,航天员的体力负荷受到了太空环境的多重影响,如失重环境引起的骨丢失和肌肉萎缩[2]、低压缺氧环境引起的疲劳困乏感甚至恶心呕吐[3]、太空压力环境变化引起的减压病[2]和舱外航天服给航天员带来的行动不便[4⁃6],而且随着我国载人航天事业的发展,航天员在轨作业时间逐步增长,航天员更容易受到体力疲劳的影响。因此,将脑机接口应用于载人航天领域对降低航天员的体力负荷、增强空间作业效率和增强控制指令集具有潜在价值。
噪声是舱内极其重要的环境因素,如舱内风机、风阀机构、气动噪声、电子设备等都会产生噪声,且难以避免,如天宫一号舱内虽然进行了一系列噪声抑制,但仍存在60 dB左右的噪声[7]。而噪声会影响航天员工作效率和引起航天员疲劳。因此,脑机接口技术应用于空间环境需要探究噪声对脑机接口的影响。目前脑机接口技术常规实验常在安静环境下进行,很少在噪声环境下进行探究,即关于脑机接口对实际应用环境适应性的探究存在不足,仅有两篇论文讨论了噪声环境下脑机接口适应性问题:Falk发现基于前额近红外信号音乐想象脑机接口在持续背景噪声和惊吓性噪声下分类正确率有所下降[8];Nam通过五名被试实验发现基于脑电P300信号脑机接口在噪声环境(70~120 dB)下正确率与信息传递速率降低,但是噪声对其影响不具有显著性[9]。为探究多种基于脑电的脑机接口范式在空间舱内噪声环境下的适用性,并增强统计学意义,本课题招募20名被试对P300、SSVEP诱发式脑机接口和运动想象主动式脑机接口三种常规脑机接口范式进行了噪声环境实验,噪声来源于天宫一号舱内噪声录音,音量调整至60 dB左右以完全模拟舱内噪声环境。本文通过比较噪声环境下三种脑机接口识别正确率、特征的变化,探究舱内噪声环境对脑机接口的影响。
2.1受试者
研究共招募了20名受试者,均为中国航天员训练研究中心研究生和中国农业大学学生,均为男性,平均年龄32,标准差9.7。被试之前未进行过脑机接口实验,无精神疾病和运动障碍。
2.2实验范式
对于每种脑机接口范式,每组实验包括:
P300:基于经典的Oddball范式,采用6×6行列拼写器,闪烁间隔为133 ms,每个字符注视16 s,休息2 s,共20个字符。
SSVEP:4个正方形周期性闪烁,闪烁频率分别为7 Hz、9 Hz、13 Hz、15 Hz。每个目标注视时间为5 s,休息2 s,共48个目标试次。
运动想象:被试根据提示想象左手或右手运动每次想象5 s,休息5 s,共32个试次。
每种范式都包括四组实验,其中前两组为对照组,噪声控制在20~40 dB内。最后两组播放天宫一号舱内噪音录音,调整至60 db,采用多个音箱进行噪声添加,实际噪声等级采用杭州爱华仪器公司的AWA6270+型产品测定,测定要求被试四周声音分贝皆为60 dB。每名被试在进行正式实验前,需进行两次无噪声干扰环境训练,要求两次训练后三种脑机接口范式正确率无明显下降,排除学习效应。三种脑机接口界面如图1所示。
2.3数据采集
采集设备采用美国BIOPAC公司B⁃ALERT脑电数据采集器,采集脑电通道为10~20系统的Fz、Cz、C3、C4、P3、P4、Pz、POz、Oz共计9个通道。通道阻值在20 kΩ以下,采样频率256 Hz。脑电通道如图2所示。
2.4数据处理
P300:截止频率为40 Hz的低通滤波去除工频干扰,带通滤波频率1~15 Hz,降采样至25 Hz,采用LDA分类器分类。特征提取包括靶刺激幅值、Fisher系数和靶刺激潜伏期。
SSVEP:考虑二倍频率大小,设计5~68 Hz带通滤波器,50 Hz陷波滤波器去除工频干扰,快速傅里叶变换算法(Fast Fourier Transform,FFT)提取频域特征,采用典型相关分析(Canonical Cor⁃relation Analysis,CCA)分类各频率刺激。提取特征为各频率刺激下脑电信号对应于该频率响应功率的信噪比。
运动想象:8~30 Hz的宽频带滤波,抑制低频和工频噪声,通过共空间模式(CSP)提取特征,提取特征后采用线性核的支持向量机作为特征器进行二分类。
对于提取的特征和分类正确率,采用配对t检验比较噪声和非噪声环境下的统计学差异。
3.1P300
对于P300实验,靶刺激指被试注视的字符点亮时的脑电信号,非靶刺激指被试没有注视的字符点亮时的脑电信号,靶刺激幅值为P300信号幅值,Fisher系数表征两种脑电信号的可分性,结果如图3所示。
噪声与安静环境下P300特征与准确性配对t检验p值如表1所示。
表1 噪声对P300影响Table 1 Influence of noise on P300
结果表明,在噪声环境下,P300范式的靶刺激幅值、Fisher系数、靶刺激潜伏期有上升趋势,尤其靶刺激幅值上升程度较大,且较显著(p=0.02<0.05)。但是噪声对运动想象正确率无显著性影响。要识别出当前所注视的字母,需要满足行的靶刺激/非靶刺激和列的靶刺激/非靶刺激同时识别正确。正确率对应的闪烁刺激共10轮,包括120次闪烁(其中20次靶刺激标签为1;100次非靶刺激,标签为0)的字符识别正确率。而靶刺激幅值来源于20次靶刺激信号的叠加,非靶刺激来源于100次非靶刺激的叠加。因此,对于叠加的靶刺激幅值不能反应每一次靶刺激幅值的提高,而是反映了靶刺激均值的提高,其与字符识别正确率之间没有绝对的正比关系。对此,进一步分析单个被试每一轮靶刺激在噪声和非噪声环境下的幅值变化,未发现显著性差异。
3.2SSVEP
计算所有被试在不同频率刺激下枕区POz导联的平均脑电信号信噪比均值,四种频率刺激识别的正确率和总正确率,结果如图4所示。信噪比能够表征该频率刺激下相应频率或脑电功率谱频率处响应大小。
噪声与安静环境下SSVEP各频率下信噪比和准确性配对t检验p值如表2所示。
表2 噪声对SSVEP影响Table 2 Influence of noise on SSVEP
从图2可以看出在噪声环境下,各个频率的信噪比和正确率相比于安静条件下无规律性变化,且信噪比大小与正确率大小无对应关系。进一步从表2所示配对检验中看出,噪声干扰对SS⁃VEP各频率下信噪比和分类正确率无显著影响,因此可认为天宫一号舱内噪声环境对SSVEP无影响。
3.3运动想象
噪声对 MI正确率影响见图5,p=0.01<0.05,影响较显著,且分类正确率下降明显,即在噪声干扰下,运动想象正确率发生了明显下降。
在模拟天宫一号舱内噪声环境下,P300靶刺激幅值发生了较显著提高,结果与Nam[9](70~120 dB)研究结果一致,虽然模拟噪声提高了靶刺激幅值,但对于识别正确率的提高影响不大,可能的原因是靶刺激的提高幅值不足以使分类正确率产生显著增长。对于噪声环境下靶刺激幅值增高,Nam认为在噪声环境下使人更加专注。P300范式下,被试需要将注意力集中于目标字符,因此注意程度与正确率是相关的。对于这一点要指出的是,其前提是噪声具有一致性,不会产生突变而使人分心或包含情绪效应(如惊吓、恐怖感)的噪音[10⁃11],否则会对人情绪状态等产生影响,最终影响脑机接口的实际应用,而空间舱内噪音主要包括风机、风阀机构、气动噪声、电子设备和大型控制力矩陀螺等,噪声较稳定,频带范围较宽,因此人对舱内噪声适应性较强。噪声引起了运动想象分类正确率的显著下降,分析可能原因为运动想象为主动式脑机接口,而前两种为被动式脑机接口,主动式脑机接口更容易受到外界干扰从而引起正确率下降。
总之,噪声对基于脑电脑机接口影响不大,脑机接口仍处于可用识别正确率范围,而有研究发现噪声对基于近红外脑机接口影响比较大[8,10],可以验证基于脑电脑机接口的抗噪声能力强的优点。空间密封舱内噪音水平为55~62 dB[7],本课题设置天宫一号噪声录音至60 dB充分模拟空间舱内噪声环境,可以验证脑机接口在空间环境下的适用性。但本课题噪声为短时噪声,而在空间中航天员要长期在噪声环境下工作与生活,已有研究证实噪声导致的工作绩效下降、注意力下降、加速疲劳[11⁃12],因此下一步还需要考虑在长时间噪声影响下产生的烦扰、疲劳等状态对脑机接口性能的影响,并进行在轨验证实验。本文研究针对航天噪声环境音量调整至60 dB,下一步可继续探究不同噪音音量和频率对脑的影响。同时,对于噪声所引起的EEG脑机接口绩效改变,可以考虑融合多生理参数方法增强其鲁棒性,增强脑机接口适应范围[8],以满足复杂环境对复脑机接口的需求。
本文采用P300拼写器、SSVEP、运动想象三种常规脑机接口范式,探究其在模拟控间舱内噪声环境下(60 dB)脑电特征与分类正确率的变化。结果证明:脑机接口短时间应用于空间环境的适用性,对提高航天员空间作业能力、降低风险性具有实际意义。下一步将在此基础上探究长时间噪声环境对脑机接口性能的影响,进一步深入研究噪声环境对大脑认知活动的影响。
致谢:感谢提供天宫一号噪声录音的高慧老师。
(References)
[1] Nijboer F,Furdea A,Gunst I,et al.An auditory brain⁃com⁃puter interface(BCI).[J].Journal of Neuroscience Meth⁃ods,2008,167(1):43⁃50.
[2] 陈善广,王春慧,陈晓萍,等.长期空间飞行中人的作业能力变化特性研究[J].航天医学与医学工程,2015,28(1):1⁃10. Chen Shanguang,Wang Chunhui,Chen Xiaoping,et al. Study on changes of human performance capabilities in long⁃duration spaceflight[J].Space Medicine& Medical Engi⁃neering,2015,28(1):1⁃10.(in Chinese)
[3] 蔡翘,封根泉,杨员辅.航空与空间医学基础[M].北京:国防工业出版社,1979:6. Cai Qiao,Feng genquan,Yang Yuanfu.Fundamentals of A⁃ viation and Space Medicine[M].Beijing:National Defence Industry Press,1979:6.(in Chinese)
[4] 王晓东,王政,李昊,等.基于生物力学的舱外服对人体上肢施力能力影响预测[J].航天医学与医学工程,2015,28(5):319⁃325. Wang Xiaodong,Wang Zhen,Lihao,et al.Prediction of EVA spacesuit’s influence on human arm strength capability based on biomechanics[J].Space Medicine&Medical Engi⁃neering,2015,28(1):1⁃10.(in Chinese)
[5] Holschuh B,Waldie J,Hoffman J,et al.Characterization of structural,volume and pressure components to space suit joint rigidity[C]//International Conference on Environmental Sys⁃tems.2009:1057⁃1065.
[6] Wriessnegger S C,Kurzmann J,Neuper C.Spatio⁃temporal differences in brain oxygenation between movement execution and imagery:A multichannel near⁃infrared spectroscopy study[J].International Journal of Psychophysiology,2008,67(1):54⁃63.
[7] 杨宏,魏传锋,满广龙,等.天宫一号目标飞行器载人环境设计与实施[J].中国科学:技术科学,2014(2):119⁃124. Yang Hong,Wei Chuanfeng,Man Guanglong,et.al.Design and implementation of the manned environment of Tiangong⁃1 spacecraft[J].China Science:Science and Technology,2014(2):119⁃124.(in Chinese)
[8] Falk T H,Guirgis M,Power S,et al.Taking NIRS⁃BCIs out⁃side the lab:towards achieving robustness against environment noise[J].IEEE Transactions on Neural Systems&Rehabili⁃tation Engineering,2010,19(2):136⁃46.
[9] Nam C S,Johnson S,Li Y.Environmental noise and P300⁃based brain⁃computer interface(BCI)[J].Human Factors&Ergonomics Society Annual Meeting Proceedings,2008,52(12):803⁃807.
[10] Falk T H,Paton K,Power S,et al.Improving the perform⁃ance of NIRS⁃based brain⁃computer interfaces in the presence of background auditory distractions[C]//IEEE International Conference on Acoustics Speech&Signal Processing.2010:517⁃520.
[11] Valentina G,Oleg K,Kimmo A,et al.Effects of auditory distraction on electrophysiological brain activity and perform⁃ance in children aged 8⁃13 years[J].Psychophysiology,2004,41(1):30⁃6.
[12] Zhu Y,Tian X,Wu G,et al.Emotional Influence on SSVEP based BCI[C]//2013 Humaine Association Conference on Affective Computing and Intelligent Interaction.IEEE Com⁃puter Society,2013:859⁃864.
(责任编辑:龙晋伟)
Influence of Cabin Noise on Brain⁃Computer Interface in Space
ZHANG Zhen,JIAO Xuejun∗,YANG Hanjun,XU Fenggang,JIANG Jin,CAO Yong,PAN Jinjin
(National Key Laboratory of Human Factors Engineering,China Astronaut Research and training center,Beijing 100094,China)
BCI(Brain⁃Computer Interface)can control remote machines through brain signal which is of great significance for the human spaceflight.The study of BCI is usually conducted in silent en⁃vironment,but the noise in space environment(60 dB)is almost in⁃avoidable.Since there is few study of BCI in noise environment,the feasibility of BCI in the noise environment of the space cabin was explored in this paper.The noise recording was used in the cabin of Tiangong⁃1 to simulated the noise environment in the space cabin and three kinds of BCIs:P300,SSVEP and MI(Motor Image⁃ry)were studied.The results showed that:for P300⁃BCI,the target amplitude increased significant⁃ly but the classification accuracy was not affected by noise;for SSVEP⁃BCI,the SNR and classifica⁃tion accuracy were not affected by noise;For MI,the classification accuracy decreased significantly but was still in the normal range.Thus,the feasibility of these three kinds of BCI in noise environ⁃ment of manned spaceflight was confirmed.
brain⁃computer interface(BCI);manned spaceflight;noise;P300;SSVEP;motor im⁃agery
R318
:A
:1674⁃5825(2017)02⁃0274⁃05
2016⁃08⁃10;
2017⁃03⁃07
国家自然科学基金(81671861);中国航天医学工程预先研究项目(YJGF151204);中国航天员科研训练中心人因国家重点实验室自主课题(SYFD150051805)
张朕,男,硕士,研究实习员,研究方向为脑机接口。E⁃mail:47148593@qq.com
∗通讯作者:焦学军,男,博士,副研究员,研究方向为航天工效学。E⁃mail:jxjisme@sina.com