基于Hololens的增强现实脑-机接口研究

张力新 张裕坤 柯余峰 杜佳乐 许敏鹏# 明 东,2#

1(天津大学精密仪器与光电子工程学院生物医学工程系，天津 300072)2(天津大学医学工程与转化医学研究院，天津 300072)

引言

脑-机接口(brain-computer interface，BCI) 是在人脑和计算机或其他电子设备之间建立不依赖于常规大脑信息输出通路的全新对外信息交流和控制技术[1]。由于脑电图(electroencephalography, EEG)时间分辨率高、易于获取、价格低廉等优势，被广泛应用于非侵入式BCI中。目前常用于BCI的脑电信号成分或种类主要包括：事件相关同步电位和去同步电位(event related synchronization/desynchronization, ERS/ERD)、稳态视觉诱发电位(steady-state visual evoked potentials, SSVEP)、慢皮层电位(slow cortical potentials, SCP)、P300以及μ节律、β节律等。其中SSVEP-BCI向用户呈现多个具有不同频率、相位的周期性视觉刺激(repetitive visual stimulus, RVS)，当用户将注意力集中在某个RVS上时，其主视觉皮层中会诱发出具有特定特征的EEG信号，即SSVEP信号。其频率成分主要包括相应视觉刺激频率及其各次谐波。能有效诱发出SSVEP的视觉刺激频率集中在1～100 Hz范围内[2]。通过识别脑电信号中的SSVEP成分即可实现用户意图识别，近年来SSVEP-BCI已能够达到非常高的识别正确率和信息传输速率[3-6]。

尽管脑-机接口的性能正在不断提升，目前脑-机接口应用还主要集中在辅助、增强和修复人体的认知和运动感觉等神经功能方面[7]，如何将该技术广泛应用于日常生活中还有待研究。以SSVEP-BCI为代表的高性能BCI往往需要借助较大尺寸的显示设备提供视觉刺激，目前最常用的显示设备是计算机屏幕。然而，在日常生活中计算机屏幕难以随时携带，这限制了BCI的便携性和适用范围。通过增强现实(argument reality, AR)技术与BCI技术相结合，可以很好地解决这一问题。可穿戴的AR设备可以让BCI摆脱屏幕，随时随地向用户呈现视觉刺激，诱发具有特定特征的EEG信号，从而实现便携式的脑-机控制系统。AR与BCI相结合(AR-BCI)将使BCI技术向日常生活中应用迈进一步。

目前，AR-BCI及其类似研究所采用的范式主要包括P300-BCI和SSVEP-BCI。2009年Kansaku等通过在机器人身上安装摄像头捕捉现实场景，并将画面传输到液晶屏幕上，诱发P300所需的视觉刺激也同时呈现在液晶屏幕当中，用户可以通过注视特定的视觉刺激控制机器人前后左右移动，当机器人摄像头捕捉到特定AR标志时将切换为台灯控制模式，此时用户可以通过P300控制台灯打开、关闭、亮度增加或降低[8]。2010年，Lenhardt等采用透视式头盔显示器(see through head mounted display)呈现P300刺激，这样用户可以直接看到现实中的真实物体，也可以看到叠加在真实物体上的P300视觉刺激。该系统集成了一套工业机械臂系统，使用户可以控制机械臂抓取、放置桌面上的物体[9]。2011年，Kouji等改进了Kansaku于2009年进行的研究，将视觉刺激从屏幕上移植到透视式头盔显示器中，进行了控制台灯和电视的实验[10]。2015年，Horii等通过头戴式显示器(head mounted display, HMD)设备将摄像头捕捉到的现实场景和SSVEP视觉刺激投射到人眼中，该设备不同于透视式头盔显示器，用户不能直接看到真实场景，而是通过摄像头捕捉眼前场景再传输到HMD中呈现给用户，该研究中被试完成了选取物体的实验[11]。2017年Faller等进行了利用AR-BCI控制小机器人在桌面上移动的实验，他们同样采用摄像头捕捉真实场景并传输到HMD设备中，而SSVEP视觉刺激则固定在机器人周围，随机器人移动[12]。总结这些研究发现，AR-BCI仍处于初步探索阶段，早期由于AR技术不成熟，研究中采用其他方法实现类似AR的效果，目前AR-BCI的研究仍处于探索阶段，这些研究中BCI的识别正确率和速度都较低(如表1所示)。此外，还有一些其他研究团队进行了AR-BCI的相关研究[13-17]，但并没有报道详细的识别正确率、速度情况。

表1 AR-BCI相关研究Tab.1 AR-BCI related research

分析以上相关研究可以看出，目前AR-BCI相关研究还处于初级阶段，如何提升 AR-BCI的速度和正确率还有待研究。虽然AR技术能提升脑-机接口的便携性、实用性，但如果AR-BCI系统没有较高水平的识别正确率和速度，也很难实际应用。目前SSVEP识别算法不断更新，而基于SSVEP的AR-BCI相关研究没有采用最先进的识别算法，这可能是其正确率、速度较低的原因。本研究结合先进的SSVEP识别算法和微软Hololens AR设备，设计了一种AR-BCI系统，进行了在线和离线实验，并在识别正确率和信息传输率参数方面与基于计算机屏幕的BCI系统进行了对比。

1 方法

1.1 实验系统

实验系统包括基于Hololens的AR-BCI系统和基于普通计算机屏幕的BCI系统，系统结构如图1所示。两系统除了采用不同设备诱发SSVEP外其余部分均相同。基于普通液晶屏幕和Hololens的实验系统分别由便携式计算机的液晶屏幕和微软Hololens设备产生SSVEP视觉刺激，同时通过局域网与脑电放大器进行同步，脑电放大器采集到的信号通过局域网传输至便携式计算机。实验系统硬件主要包括：自主研发8通道脑电放大器、17 in液晶屏幕便携式计算机、无线路由器、微软Hololens AR设备。脑电放大器采集8导联的脑电信号(POz、PO3、PO4、PO5、PO6、Oz、O1、O2)，以头顶Cz通道为参考，采样率为1 000 Hz。

1.2 实验设计

在液晶屏幕上诱发SSVEP的视觉刺激通过Matlab Psychtoolbox生成，如图2所示。采用的视觉刺激为8个正方形SSVEP刺激，采用频率分别为8、9、10、11、12、13、14、15 Hz的正弦波闪烁，初始相位分别为0 π、1.75 π、1.50 π、1.25 π、1.00 π、0.75 π、0.50 π、0.25 π。实验采用的屏幕尺寸为17 in，刷新率60 Hz。被试距屏幕约58 cm，每个刺激方块相对被试所成视觉夹角为6°，相邻方块间间隔相对被试所成视觉夹角为3.6°。每个trial包含提示阶段和刺激阶段，提示阶段通过白色十字提示被试需要注视的位置，持续1 s，刺激阶段为SSVEP视觉刺激，持续2 s，被试根据提示依次注视各个频率的闪烁刺激。在普通屏幕上的SSVEP实验中，每个block包含40个trial，分别为8种频率各5个trial。离线实验与在线实验采用相同的视觉刺激程序。每名被试完成2个block离线实验和1个block在线实验。在线实验中，利用离线实验数据建立的模型进行在线实时识别，采用的数据长度为1 s，识别结果通过声音实时反馈给被试。

图1 系统结构Fig.1 Architecture of the system

图2 屏幕SSVEP视觉刺激Fig.2 SSVEP visual stimuli on screen

在Hololens上产生的视觉刺激采用Unity 3D制作实现，如图3所示。每个trial包括空白阶段和刺激阶段，空白阶段持续1 s，此时被试可以看到8个亮度较低的红色方块，方块颜色、亮度保持不变，用来提示被试闪烁刺激将出现的位置。刺激阶段将在同提示阶段相同位置产生8个SSVEP刺激，刺激频率、相位、位置和视角、持续时间均同屏幕刺激一致。每个block含16个trial，每个频率各2个trial。被试完成5个block离线实验、4个block在线实验。在线实验中利用离线实验数据建立的模型进行在线实时识别，采用的数据长度为1 s，识别结果通过声音实时反馈给被试。

本研究共对12名被试进行试验，其中8名男性4名女性，被试年龄22～26周岁之间。每名被试都需要进行在屏幕上和在Hololens上的两种SSVEP实验，被试进行两种SSVEP实验的先后顺序随机。实验场景如图4所示。

图3 Hololens SSVEP视觉刺激Fig.3 SSVEP visual stimuli on Hololens

图4 实验场景。(a)屏幕实验；(b)Hololens实验Fig.4 Experiment scene. (a) Screen experiment；(b) Hololens experiment

1.3 数据处理与分析

1.3.1数据预处理

为了提取特定频段的脑电信号用来进行SSVEP识别，去除高频噪声、工频干扰以及低频成分，首先对每名被试每个block的离线数据进行高通、低通和陷波处理。所采用的滤波器分别为截止频率4 Hz的4阶切比雪夫1型高通滤波器、截止频率90 Hz的8阶切比雪夫1型低通滤波器和阻带为45～55 Hz的4阶切比雪夫1型带阻滤波器。采用零相位滤波方法为以免影响信号相位信息。

1.3.2识别算法

每名被试的离线数据为四维向量：χ=(χ)njkh∈Nf×Nc×Ns×Nt，其中，n为频率序号，Nf为刺激频率数量，J为导联号，Nc为导联数量，k为数据点，Ns为每个trial的数据长度，h为trial序号，Nt为trial数量。

SSVEP识别算法采用带模板的滤波器组典型相关分析(filter bank canonical correlation analysis, FBCCA)[3]。将每名被试的多组训练集数据进行平均得到个人信号模板，即

(1)

(2)

式中，ρ(a,b)表示a与b之间的皮尔森相关系数。

按照

(3)

得到该测试样本与各频率模板的综合相关系数。

最后按照

(4)

(5)

得到决策结果，其中a(m)=m-1.25+0.25，为经验值[18]。

1.3.3BCI性能评价

本研究采用识别正确率和信息传输率(information transfer rate, ITR)作为BCI系统性能的评价指标。其中，离线正确率和ITR基于离线实验数据采用十折交叉验证求得平均值，既依次选取10组离线实验脑电信号中的一组作为测试集，其余9组作为训练集。在线实验中采用基于全部离线数据所建立的模板对每组在线数据实时进行识别，得到在线识别正确率和信息传输率。

信息传输速率是BCI研究中广泛应用的评价指标[19]，其表示的是单位时间内传输的信息量，单位为 bit / min。每完成一次判断输出的信息量为

(6)

式中，N为目标数量，p为识别正确率，则信息传输速率为

ITR=B(60/T)

(7)

式中，T为每输出一个指令所需时间，s。

可见，信息传输率受识别正确率和输出单个指令所需时间的双重因素影响。在本研究的离线数据分析中，每输出一个指令需要的时间为识别所需数据长度加刺激间隔。在线数据分析中，每输出一个指令所需时间为实际刺激时长加刺激间隔[20]。

本研究分析了每名被试在屏幕、Hololens上的离线和在线SSVEP识别正确率和信息传输率，并通过统计分析分别比较了离线和在线实验中识别正确率和信息传输率在基于计算机屏幕的BCI与基于Hololens的AR-BCI之间的差异。

2 结果

2.1 正确率

首先计算并比较了采用不同数据长度(0.5～2.0 s，间隔0.1 s)时12名被试在Hololens、屏幕下离线、在线实验的正确率，如图5所示。在此特别对比数据长度为0.5、1.0、1.5、2.0 s时的分类正确率，其均值如表2所示。可见，分类正确率随数据长度增加而升高，当数据长度达到1 s时4种条件下平均正确率均达到87.1%以上，数据长度达到1.5 s时4种条件下平均正确率均达到95.0%以上，数据长度达到2 s时4种条件下平均正确率均达到97.5%以上。当数据长度较小时(小于1 s)，基于Hololens的AR-BCI识别正确率较低，且明显低于基于屏幕的普通BCI，而当数据长度较大时(大于1.5 s)，AR-BCI与普通屏幕BCI的差异不明显。

分别对离线、在线分类正确率进行双因素方差分析，统计分析视觉刺激设备(屏幕、Hololens)与数据长度(0.5、1.0、1.5、2.0 s)对正确率的影响，其结果如表3所示。在离线和在线条件下，设备因素和数据长度因素均对识别正确率有显著影响，刺激设备与数据长度之间均存在显著的交互作用，结合图5和表2可以看出，数据长度较大时设备因素对SSVEP识别正确率影响较小。

图5 屏幕、Hololens下离线与在线识别正确率Fig.5 Classification accuracy for offline and online experiments with normal screen and Hololens

表3 正确率方差分析结果Tab.3 Result of ANOVA for accuracy

为了深入探究不同数据长度下两种设备间正确率差异，分别对离线和在线条件不同数据长度时(0.5、1.0、1.5、2.0 s)屏幕与Hololens正确率进行配对t检验，比较屏幕与Hololens之间正确率差异,其结果如表4所示。可以看出，无论离线或在线条件下，当数据长度较小时，基于屏幕的BCI正确率显著大于基于Hololens的AR-BCI，且随着数据长度增加显著性降低，当数据长度达到2 s时屏幕与Hololens之间SSVEP的识别正确率无显著差异。

表4 正确率配对t检验结果Tab.4 Result of paired t-test for accuracy

2.2 信息传输速率

图6为离线实验中12名被试在屏幕和Hololens下采用0.5～2.0 s长的数据进行识别所得的信息传输速率及其平均值，数据长度为0.5、1.0、1.5、2.0 s时的信息传输率如表5所示。可见，当数据长度较短时基于屏幕的BCI明显高于基于Hololens的AR-BCI，当数据长度接近2 s时各种条件下的信息传输率差异不明显。

此外，信息传输率随着数据长度增加均有先增大后降低的变化趋势，主要是因为信息传输率受数据长度和识别正确率双重因素的影响，当数据较短时识别正确率较低，而识别正确率较高时数据长度也较大。因此，当数据长度适当时信息传输率最大。在屏幕上，数据长度为0.7 s时平均信息传输速率最高，此时离线信息传输速率为 93.7 bit/min。在Hololens上，数据长度为1.1 s时信息传输速率最大，此时离线信息传输速率为64.2 bit/min。

对离线信息传输速率进行双因素方差分析，统计分析视觉刺激设备(屏幕、Hololens)与数据长度(0.5、1.0、1.5、2.0 s)对信息传输速率的影响，其结果如表6所示。离线条件下，设备因素和数据长度因素均对信息传输速率有显著影响，且刺激设备与数据长度之间存在显著的相互作用。结合图6和表5可以看出，数据长度较大时设备因素对信息传输速率影响减小。

图6 屏幕、Hololens下离线信息传输速率Fig.6 Information transfer rate for offline experiments with normal screen and Hololens

为了探究不同数据长度下两种设备间信息传输速率差异，对数据长度为0.5、1.0、1.5、2.0 s时的屏幕与Hololens离线信息传输速率进行配对t检验，对比屏幕与Hololens之间离线信息传输速率差异,其结果如表7所示。可见，当数据长度较小时，基于屏幕的BCI信息传输速率显著高于基于Hololens的AR-BCI，当数据长度达到2 s时屏幕与Hololens之间SSVEP的信息传输速率无显著差异。

在线实验中，SSVEP闪烁刺激持续2 s，刺激间隔为1 s，每次输出指令时间为3 s。在屏幕和Hololens下在线实验信息传输速率如图7所示。

在线实验中，屏幕和Hololens下信息传输速率平均值和方差分别为(52.5±9.3)和(44.0±7.2)bit/min。对两种条件下在线信息传输速率做配对t检验，得到屏幕与Hololens在线信息传输速率间存在显著差异(P<0.05)，屏幕在线信息传输速率显著高于Hololens。

表6 离线条件下信息传输速率方差分析结果Tab.6 Result of ANOVA for ITR in offline experiment

表7离线条件下信息传输速率配对t检验结果

Tab.7Resultofpairedt-testforITRinofflineexperiment

数据长度/s自由度t值P0.5113.76<0.011.0113.07<0.051.5113.42<0.012.0110.56>0.05

图7 在线实验中12名被试信息传输速率Fig.7 ITR for 12 subject in online experiment

3 讨论

本研究在AR环境中采用1、2 s长的数据可以达到88.7%和98.6%的平均在线识别正确率，在线信息传输速率达到44.0 bit/min。相较已有AR-BCI及其类似研究，本研究在更短的数据上得到了更高的识别正确率。

但同时也发现，当所用数据段较短时，Hololens AR情境下诱发的SSVEP其识别正确率低于屏幕下诱发的SSVEP识别正确率，这与背景环境干扰以及被试对Hololens的适应程度有一定关系。此外，通过分析发现，由于Hololens设备只能采用无线网络与放大器数据进行同步，而基于屏幕的脑-机接口系统采用有线网络与放大器进行数据同步，因为无线网络相较有线网络延时更高(无线网络延时估计在16～32 ms，有线网络延时估计在3～4 ms以内)，更不稳定，造成Hololens AR刺激与脑电采集设备之间的同步信号时间误差较大、且稳定性更低，致使获得的个人平均模板质量降低、模板与测试数据相位差异大，从而导致识别正确率降低。最后发现，当所采用的数据长度达到2 s时，屏幕与Hololens诱发的SSVEP识别正确率无显著差异，均达到很高水平。

笔者在实验中选取了红色闪烁诱发SSVEP信号，选取红色是因为Hololens设备显示方式不同于液晶显示器，液晶显示器在刷新画面时同时刷新每个像素的三原色(red, green, blue, RGB)值，而Hololens设备采用三原色加背景光(red, green, blue, white, RGBW)轮流刷新的方式呈现画面，这使得如果使用白色正弦闪烁刺激，实际产生的将是RGBW等4种颜色正弦刺激相差π/2依次闪烁的叠加，只有采用单元色闪烁刺激才能避免这种情况，诱发出期望的SSVEP信号。各个原色中红色最先刷新，与时间同步信息发送时间最接近，故选择红色闪烁刺激。

笔者认为可以通过以下两方面努力进一步提升AR-BCI系统的信息传输速率。一方面，采用更好的AR设备。在显示性能方面，Hololens存在可呈现画面的视角范围小(约32°)、刷新速率低(60 fps)且稳定性不足、RGBW依次刷新等问题，在时间同步方面，Hololens只能采用无线网络实现与脑电采集设备的通信，时间延迟较大、且不稳定，难以准确截取脑电数据，此外其质量较大，用户体验不佳。采用呈现画面视角范围较大，刷新速率高且稳定，各原色同时刷新且能够通过有线传输时间同步信息的AR设备，将有望提升AR-BCI系统诱发更稳定的SSVEP信号的能力。另一方面，当前AR-SSVEP相较屏幕上的SSVEP系统仍有较大差距，其中一个重要因素就是AR-BCI中用户会受到背景环境的干扰。通过算法上的改进，提高在复杂、混乱背景中识别SSVEP信号的能力，也将是提升AR-BCI系统的识别正确率和信息传输速率的重要途径。

4 结论

本研究总结了AR-BCI相关研究，并设计了一种基于Hololens的AR-BCI在线系统。AR技术与BCI技术相融合可以在一定程度上解决当前BCI系统的便携性问题。本研究采用微软Hololens AR设备构建了一种基于SSVEP的AR-BCI系统。参与实验的12名被试可以在AR情境中成功诱发明显的SSVEP，且利用1 s的数据长度可以达到平均88.67%(78%～100%)的在线识别正确率，采用2 s长的数据可以达到98.6%的平均在线识别正确率。该研究表明，AR-BCI能够实现较高的正确率和速率，有望实现在日常生活中实现可穿戴的便携化高性能控制型BCI系统。