一种基于脑机接口的头盔显示/瞄准系统设计

王 宁，孙广金，刘学文

（中国电子科技集团公司第二十七研究所，河南 郑州450047）

一种基于脑机接口的头盔显示/瞄准系统设计

王 宁，孙广金，刘学文

（中国电子科技集团公司第二十七研究所，河南 郑州450047）

传统的头盔显示/瞄准系统通过头盔瞄准具将传感器耦合到头盔瞄准线，由传感器产生的图像通过头盔显示器显示给观察者，从而形成闭环系统。提出了一种基于脑机接口的头盔显示/瞄准系统设计，并给出了系统的工作流程与算法设计。仿真表明，该系统具有较高的目标识别准确率、较快的系统响应速度以及良好的人机交互体验，具备深入研究的价值。

脑机接口；头盔显示/瞄准系统；稳态视觉诱发电位；运动准备视觉诱发电位

0 引言

传统的头盔显示/瞄准系统（Helmet Mounted Display and Sight System，HMDASS）是指头盔显示器和头盔瞄准具组合起来的系统，它既具有头盔显示器的功能，可以显示笔划字符和光栅图像，也具有头盔瞄准具的功能，可以测量和计算头盔瞄准线的位置[1]。头盔瞄准具确定头盔瞄准线，用头盔瞄准具产生的信号驱动在系统中使用的传感器，以使它指向头盔同一方向。来自传感器的图像显示在头盔显示器上。这样，通过头盔瞄准具将传感器藕合到头盔瞄准线，由传感器产生的图像通过头盔显示器显示给观察者，从而形成闭环系统。

然而在现代战争中，军事武器的机动性越来越强，单纯靠目视来锁定目标越来越困难，并且需要大量的计算机运算来提供精度的保证，而事实上，使用者本身的误差使得系统精度很难高于5 mrad（RMS）。

头盔显示/瞄准系统究其根本是一个人-机交互的系统，当前的头盔显示/瞄准系统已经发展到“所见即所得”的程度，为了更进一步提高系统性能，实现人机同感、人机合一、人在回路中，“所思即所得”的人-机智能交互系统，本文设计了一种基于脑机接口（Brain-Computer Interface，BCI）[2]的头盔显示/瞄准系统。

在这个BCI系统中采集了多种EEG信号，使用稳态视觉诱发电位（Steady State Visual Evoked Potential，SSVEP）来快速选择打击目标，使用运动准备视觉诱发电位（Motion Onset Visual Evoked Potential，MOVEP）进行任务分类，使用异步运动想象（Motion Image，MI）[3]作为开关，实现自如的EEG与传统控制方式的转换。实验验证，该系统具有较好的效果。

1 一种基于脑机接口的头盔显示/瞄准系统设计

针对脑电信息获取与解析的脑机接口技术研究是人机协同控制的发展趋势，基于脑机接口的头盔显示/瞄准系统设计的目标旨在初步实现人机同感、人机合一、人在回路中，“所思即所得”的人-机智能交互系统[4]。

其中多模态BCI在线控制系统以单人多模态人机

融合技术为基础，以识别结果和时序为优化条件，设计具有自主更新的任务分配范式，通过构建具有高效的自适应脑电信号处理算法以及实现快速有效的意识指令编码及通信，实现人机智能融合[5]。该系统工作流程为：通过脑电放大器采集及记录多模态脑电信号；将原始脑电信号进行信号预处理；使用异步MI脑电信号来识别任务状态；根据任务识别结果判断信号类型属于指令编码还是目标编码；针对目标编码和指令编码，使用SSVEP及MOVEP脑电信号对应的特征提取及分类识别算法；将分类识别结果转化为指令编码或者目标编码，指令编码可以对应飞机各操作指令，目标编码对应雷达锁定目标选择。系统工作流程如图1所示。

图1 系统工作流程图

（1）多模态脑电信号采集及记录

实验采用美国 Neuroscan公司生产的 64导 EEG采集分析系统进行实验设计和EEG信号采集。该系统包括用于采集EEG信号的 Quik-cap电极帽、SynAmps2专用EEG信号放大器，该采集系统的精度较高。

（2）信号预处理

由于脑电信号具有非线性、非平稳性且易受干扰的特点，单纯采用ICA分解得到的IC在排序上具有不确定性、运算速度较低等因素，故采取伪迹识别与ICA相结合的预处理算法。

算法的基本思想：记录各被试主动眼动的信号，选取有代表性的眼动信号的空间分布作为先验知识；求ICA分解出的各个独立成分的空间分布与先验知识中眼动的空间分布的相关系数，把相关系数大于一定阈值的认定为眼电伪迹；再将这些眼电伪迹成分予以去除，将得到没有伪迹的数据。

（3）使用异步MI脑电信号识别任务状态

μ、β节律的ERD现象是目前运动想象分类算法设计中最主要的特征之一，其基本原理是人在进行运动或者想像运动时，会导致相应运动皮层功能区EEG信号中μ（8～14Hz）、β（18～30Hz）频段能量的下降。当停止运动或者想象运动时，上述频段能量则会恢复。这种频域能量的变化一般称为事件相关同步与去同步现象（Event-Related Desynchronization/Synchronization，ERD/ERS）。根据这一原理，通过设计合理的空域滤波器进行μ、β节律的ERD特征提取与分类，以及通过在线频谱能量估计进行μ和β节律频段优化选择，实现两类运动想像任务的在线异步检测，可以识别两种任务状态。

被试执行运动任务时的大脑活动分布如图2所示。

图2 被试执行运动任务时的大脑活动分布图

图2中A为右手实际运动，B为右手运动想像，C为被试休息（实线）与想象（虚线）条件下的电压频谱，D为对应的 r2频谱。

（4）使用SSVEP来快速选择打击目标，使用MOVEP进行任务分类

SSVEP具有明显的周期性特征，给受试者提供一个特定频率的视觉刺激时，将在视皮层诱发出频率跟随特性的SSVEP信号，因此在枕区记录到的脑电信号的功率谱将在刺激频率处出现明显的谱峰。试验研究发现，SSVEP频谱包含有一系列与刺激频率成整数倍关系的频率成分，其中以基频和二倍频成分最为显著，并可由此设计基于SSVEP的目标选择原型范式。系统提供给受试代表不同意义的以不同频率闪烁的多个方块图形，并通过脑电信号频率的检测来确定注视目标的选择。

典型的Motion-onset VEP信号包含3个主要的信号特征：P1、N2、P2。N2主要出现在60 ms～200 ms，是很显著的信号特征，产生于颞枕区并与顶叶皮层区域相关。P2主要出现在240 ms左右，其强度随着视觉运动刺激的复杂程度的上升而上升。

当被操控人员注视着目标模块时，模块内的可视目标的短暂运动会诱发出MOVEP信号，其是与该动作的开始相锁定关联的，其信号幅值远大于周围其他模块信号。因此，EEG数据段里包含有与所选目标的动作起始时刻锁定的MOVEP信号，其具有显著的动作相关VEP特征。通过VEP特征能够找到操控者在当前状态下所注视的任务模块，从而确定目标，给出结果。

2 系统实验与结果

2.1 系统实验

2.1.1 SSVEP

实验流程如下：操控者坐于监视器前 1.2 m处，头戴实时EEG电极帽进行EEG数据采集。监视器显示一组频率刺激图像，实验开始后，各频率块以不同的频率闪烁，同时要求操控者在一个实验中集中注意力观察自己选择的目标框。

由于个体的差异，在进行基于SSVEP-BCI系统设计之前，需要对操控者进行刺激频率的选择。由于在频率域上每个操控者可用的频率并不是太多，为了实现多任务的操控目的，在实验中采用多频序列编码范式，其利用频率在时间尺度上的置换完成对SSVEP-BCI系统刺激模块的编码，是一种周期性的直接编码方案[6]。

多频序列编码原理如图3所示。

图3 多频序列编码原理

2.1.2 MOVEP

MOVEP的刺激形式如图4所示，4号位的一条线从方框右边向左边快速移动，在本系统中，线从右到左的移动时间是250 ms。若被试注意线起始出现的时刻，那么在后顶部位的电极处便可记录到MOVEP特征信号。

图4 MOVEP刺激

由于被试间的N200和P200的潜伏期存在差异，为了优化系统的性能，根据双样本t检验和ANOVA方法为每个被试选取最优的时间窗。在优化后的时间窗内，按一定的降采样率提取特征点。

MOVEP时域信号特征如图5所示。

图5 MOVEP时域信号特征示意图

图5是从P3电极处采集的EEG信号经过叠加平均后的信号特征图，其中实线代表目标刺激的EEG信号，虚线代表非目标刺激的EEG信号。

2.2 实验结果

通过实验验证SSVEP-BCI系统目前达到的技术指标为：（1）能实现对屏幕上同时出现的6种目标进行区分选择；（2）控制精确度大于80%；（3）锁定时间约500 ms。

MOVEP-BCI系统目前达到的技术指标为：（1）能实现对屏幕上同时出现的 6种任务进行区分选择；（2）控制精确度大于80%；（3）任务选择时间约500 ms。

3 小结

本文使用SSVEP来快速选择打击目标，使用MOVEP进行任务分类，使用异步MI作为开关，实现自如的EEG与传统控制方式的转换，取代单纯靠目视来锁定目标的传统头盔。经过实验验证，该系统通过和机载火控雷达及专业任务系统的紧密配合，在对超高速、小型目标的快速锁定及脑控任务选择上具有较好的效果。

[1]王永年.头盔显示/瞄准系统[M].北京：国防工业出版社，1994.

[2]VIDAL J.Toward direct brain-computer communication[J]. Annual Review of Biophysics and Bioengineering，1973，2（1）：157-180.

[3]WOLPAW J R，BIRBAUMER N，MCFARLAND D J，et al. Brain-computer interfaces for communication and control[J]. Clin Neurophysiol，2002，113（6）：767-791.

[4]尧德中.脑功能探测的电学理论与方法[M].北京：科学出版社，2003.

[5]尧德中，刘铁军，雷旭，等.基于脑电的脑-机接口：关键技术和应用前景[J].电子科技大学学报，2009，38（5）：550-554.

[6]吴正华.稳态视觉诱发电位在脑机接口及认知过程中的应用研究[D].成都：电子科技大学，2008.

Design of an HMDASS based on BCI

Wang Ning，Sun Guangjin，Liu Xuewen
（The 27thResearch Institute of China Electronics Technology Group Corporation，Zhengzhou 450047，China）

The traditional helmet mounted display and sight system（HMDASS）uses targeting tool coupling sensors to line of sight.Images from the sensors are showed to observers with monitor of the helmet.Accordingly a closed-loop system comes into being.This paper puts forward the design of an HMDASS based on brain-computer interface（BCI）.Meanwhile the workflow and algorithm design of the system are given.The simulation indicates that the system has high target recognition accuracy，fast system response speed and good interactive experience.Thus the system has the value of in-depth study.

BCI；HMDASS；SSVEP；MOVEP

TP391

A

0258-7998（2015）05-0149-03

10.16157/j.issn.0258-7998.2015.05.037

2015-01-15）

王宁（1982-），男，工程师，主要研究方向：数字信号处理。