多模态人机混合交互智能控制技术

王振亚　代京

【摘 要】人机融合智能操纵技术是人机混合智能的一个重要研究方向，旨在通过采集人体脑电信号、眼动轨迹等生理特征参量，建立人-机-环境一体化的协作通路，实现非常规物理操作通道下对外部产品的实时控制。本文创新性的提出一种脑控、眼控、增强现实等多种人机交互手段复合应用的新型人机融合智能操控技术框架，并建立相关的演示平台，提升针对单通道交互的人机融合控制精度与鲁棒性，实现人-机-环三个方面的安全保障、性能提升和能力拓展。

【关键词】人机融合；脑机接口；眼动跟踪；增强现实

中图分类号： TP242 文献标识码： A 文章编号： 2095-2457（2018）09-0011-002

DOI：10.19694/j.cnki.issn2095-2457.2018.09.004

军委科技委主任刘国治认为“人机混合智能将是未来智能的最高形式”，人机融合作为混合增强智能发展的一个关键方向，对未来载人航天，遥操作探测等领域能够起到重要的支撑作用。随着计算机技术、传感器、可穿戴设备及人工智能技术不断取得阶段性的进展，人机一体化也越来越广泛地引起了人们的关注，其研究核心是利用新型交互逻辑实现人体行为机能增强，建立异源多模态的人机交互范式，实现人与装备之间智能、自然的人机交互能力，建立一体化协同的信息流通机制。

本文针对人机协作的应用场景，创新性的提出一种脑控、眼控、增强现实等多种人机交互手段复合应用的新型人机融合智能操控技术框架，并构建一个全作业场景的视觉环境和便捷的辅助信息获取途径，重点解决人机协同作业中控制通道不足的问题。首先，進行头盔显示器与视点跟踪式眼动仪的结构一体化设计，开发与数字头盔相匹配的集成嵌入式增强现实作业环境，实现基于眼动跟踪的机械臂自由度选择和动作预选，然后通过对脑机接口稳态视觉诱发范式控制信息的识别，实现机械臂六自由度控制动作的稳定意图理解和精细控制。与现有技术相比，解决了单通道控制能力较弱、鲁棒性和稳定不足的问题。

1 头盔显示器与视点跟踪式眼动仪的结构一体化设计

本文采用的数字头盔显示功能为脑-机交互提供指令呈现，通过视觉跟踪检测和脑-机信号检测，实现对控制意图的解析，数字头盔是脑眼协同控制的硬件平台，其内置CPU、GPU和专门的全息处理器。黑色的镜片上包含了透明显示屏，并内置了一整套的传感器用来实现各项预置功能。双透明镜片各显示左右眼的内容，通过使用者的大脑，合成真实的3D全息图像，但使用者同时可以看到真实空间的物体。头盔上的电脑可以自主实现全息计算。使用者只要用目光和语音与内置的功能齐全的计算机互动即可。

数字头盔基于主动投射共外线光速来提取特征，本文设计的装置是以双透明镜片为基础，每只眼睛周围设置8个低功耗红外LED，将眼球追踪传感器置于眼镜片下。检测装置采用模块化开发，使其很好的整合在头盔之中，同时可以根据使用者的特性将镜片置于特定位置，追踪速度达到120～380Hz，能够跟上眼睛的运动速度，实现准确、低时延的眼球追踪。

2 基于数字头盔的嵌入式增强现实环境设计

针对智能操纵任务需求，本文在数字头盔中建立增强现实场景环境，为基于脑电信号和眼动轨迹的新型人机交互控制模式提供支撑。该交互场景以太空作业环境为背景，包括机械臂建模、背景建模、控制轨迹建模等。

机械臂建模：按照真实的六自由度机械臂进行三维建模。各个自由度单独建模，结构细节和尺寸与真实结构相同，然后按顺序组合到一起。每个自由度在运动时，不影响另外自由度的状态，但是，整个机械臂按照从下往上的主从关系动作。即底座旋转时，带动其上部分；机械手旋转时，带动机械手动作，但子部件动作时，主部件不跟随运动。每个自由度的颜色有正常纹理颜色和高亮颜色二种。高亮颜色为红色，表征该自由度已经被选中，将要进行步进或连续动作。

背景建模：近处建立几个星球模型，以模拟太阳系的九大行星，在各自的椭圆轨道上运行。星球模型的表面贴图与真实太空中的星球一致，给操作者以处于真实太空的感受。机械臂放置于星球表面上，用一带星球表面纹理贴图的大平面来表征，为操作者提供真实沉浸的感受。

控制轨迹建模：对被抓持物体，建立出球体和正六面体。被持物初始状态置于地面上。动作轨迹符合机械臂的操作原理，每次只有一个自由度动作，然后换为下一个自由度动作。动作时间与真实的六自由度机械臂的对控制者做出的操作响应一致。

3 基于脑电信号与眼动信号的自然交互方法

本文提出了一种基于脑眼融合的智能控制与操纵方法，该方法主要针对在作业过程中脑电信号识别较慢等问题，将眼动跟踪和脑电信号相融合，首先通过视点估计确定大致的相对位置关系，然后利用脑电信号分类实现更为准确的位置定位。

3.1 眼动跟踪算法

在硬件设备的基础上，本文眼动跟踪控制的核心是通过角膜反射法实现关注点的精确测量。当眼球运动时，光以变化的角度射到角膜，得到不同方向上的反光，使得角膜表面形成的虚像因眼球旋转而移动，再经信号处理得到可定位的眼动信号。

眼动视觉数据的处理包括噪声滤除、识别定位及局部校准与补偿等，核心目标是提取出用于人机交互所必需的眼镜定位坐标。眼动跟踪算法设计主要分为特征点坐标提取和数据中断处理两个部分。

（1）特征点坐标提取

该部分主要完成角膜反射光斑中心坐标和瞳孔中心坐标位置的提取工作。首先，利用二值法提取普尔欣影像中的最亮斑点（中心点）的坐标，并通过求解公式（1）的极点作为亮度的最佳阈值。以最佳阈值为门限二值化眼图后，找到面积最大的反射光斑，然后求取其几何中心坐标（xcomea，ycomea）作为角膜反射光斑的中心位置。

在此基础上，本文利用延展星射线法来实现瞳孔轮廓特征点提取，即从图像中一个初始点延伸出数条等角度间隔的射线，然后沿着这些射线向外，对射线上的点逐像素求导。当某一点的灰度导数的变化大于某个门限阈值的时候，说明图像上这个点的灰度值发生了突变，很有可能是瞳孔轮廓上的特征点。

（2）数据中断处理

在处理连续数据的时候，有时候会遇到睫毛或眼睑部分遮蔽了瞳孔的情况，或由于眼睛本身的固有抖动，以及眨眼等因素，造成了算法无法提取出相应地数据，即所谓的数据中断，进而造成视线在跟踪视场上目标注视存在一定困难，无法适应现场快速变化的情况。为此，本文利用前几帧获得的数据来平滑预测当前帧中的数据。假设原函數f（t）在N个顺序时刻的测量值为f（ti）（i=1，2，3，…，N），且f（t）可以用如下公式进行最佳线性逼近：

则Ti时刻测量值与逼近值之间的误差可计算为：Δεi=f（ti）-a0-a1ti，对N个点估计的均方差为：

对缺失点平滑逼近的核心就是对公式（3）取最小值，本文采用最小二乘法建立E（Δεi）关于自变量a0和a1的二元函数，进而利用消元法求解，实现对缺失点数值的有效估计。

2）脑电信号信息识别算法

在眼动跟踪的基础上，本文脑电信号刺激生成的方法是稳态视觉诱发算法（SSVEP），分类识别选用的算法是线性判别式分析（LDA）。LDA在脑-机接口领域中有着十分广泛的应用，且达到了令人满意的效果，它把高维样本投影到最佳的鉴别矢量空间，投影后保证原样本在该新的子空间中有最佳可分离性。

LDA算法的具体过程是：

对于特征为d维的N个样本X=[x1，x2，…，xn]T，其中在类别ω1中有N1个样本，另外N2个样本在类别ω2中。用ω表示投影方向，则样本X经过ω投影之后可表示为：y=ωTx。当x为二维时，只需找到一条投影后能使特征点分离的直线即可（方向为ω）。

测试样本经过特征投影后，其决策值加和的符号决定了分类类别，也就是对应的控制输出。在本文实验中，每轮刺激都各会触发一次SSVEP信号。在线判断时，只需要将刺激套用LDA模型投影后，判断最大投影值，并对其交叉后就可以得到控制输出目标了。

本文可在AR环境中，生成脑机控制所需的刺激界面。以SSVEP刺激为例，需要在增强现实环境中，建立不同频率闪烁的刺激块，对操作者形成相关的刺激。该刺激应与电子屏幕上的刺激形式保持一致，保证人接收刺激的有效性，刺激可采用菜单式的方式来呈现。

4 案例验证

在脑电信号测试方面，本文构建了离线和在线模块，采用留一法对脑电信号进行测试。在数字头盔控制过程中，得到脑眼协同控制信号的初始和抓取标定逻辑如图2所示。

机械臂6个自由度的运动状态如下表所示，通过建立视觉诱发刺激，可以建立相关的脑电识别模型，包括自由度1：底座的持续旋转；自由度2：竖直平面内的持续转动；自由度3：竖直平面内的步进式（步进角度较大）；自由度4：竖直平面内的步进式（步进角度较大）；自由度5：机械手底座步进式（步进角度较小）转动；自由度6：往复进行抓取动作。

在协同控制过程中，本文将离线训练的停止标准设为：连续两个试次的十轮平均正确率都在0.85以上。同时，为了保证离线模块既能准确建模，又不至于花费太长时间，将试次数控制在5～20之间，经过离线动态停止的优化后，经过充分训练的被试者脑眼协同控制正确率可达到95%左右，脑电信号识别正确率达到90%以上。

【参考文献】

[1]李琳.基于稳态视觉诱发电位的脑机接口系统设计及相关算法的研究[D].浙江理工大学，2017.

[2]程时伟，孙志强.用于移动设备人机交互的眼动跟踪方法[J].计算机辅助设计与图形学学报.2014（08）：1354-1361.

[3]余威.基于脑机接口技术的智能小车控制系统的研究与设计[D].武汉理工大学，2015.