面向陆上分队战术的多人多模态人机交互

周 清,马玉磊,赵 辰

(国防大学联合作战学院,河北 石家庄 050084)

陆上分队战术训练要求作战人员具有迅速的反应、准确的判断、正确的决策和深度的协同能力。虚拟仿真训练以其近似真实的虚拟战场环境、虚实兵力与装备的混合运用、角色沉浸的作战体验、战斗行动的数据评估,成为陆上分队战术实兵实装训练的重要辅助,是实战化训练的有效手段之一。当前陆上分队战术虚拟仿真训练大多基于桌面式系统开展,存在人机交互方式较为单一、自然交互程度不高以及受训者无法实现空间运动等问题,致使受训者的沉浸感、体验感和自主性不足,作战技能易产生负向迁移,在一定程度上制约着陆上分队战术虚拟仿真训练的质量和效益[1]。因此，探索基于多人多模态人机交互开展陆上分队战术虚拟仿真训练的新方法,有助于破解基于桌面式虚拟仿真训练系统的技术瓶颈问题,可以提供真实可信的训练环境和沉浸自然的对抗战斗,进一步提升陆上分队作战能力。

运动捕捉是利用机械装置、光学或传感器等设备获取人体或其他物体运动数据,并将这些运动姿态重现的技术[2]。从技术的角度来说,运动捕捉的实质就是要测量、跟踪、记录物体在三维空间中的运动轨迹[3]。从原理上可分为机械式、声学式、电磁式、光学式、惯性式等,可从捕捉运动范围、定位精度、实时性、抗干扰性、多目标捕捉能力、使用方便程度以及与应用系统融合程度等方面进行评价。如今主流的技术方向有光学式和惯性式。光学式动作捕捉有被动光学式和主动光学式,一个标记点位通过2台摄像机拍摄就可以测量出标记点的三维空间位置,捕捉精度高,使用方便,采样速度高,会因遮挡而影响捕捉,价格昂贵。解决方案主要有:国内的Nokov、uSens、青瞳视觉,国外的美国魔神(Motion Analysis)、英国Vicon、美国OptiTrack。惯性式动作捕捉主要用的惯性测量单元(IMU)和传感器,将IMU放置在人体上,可以测量转向、运动加速度和位置变化,捕捉精度较高,抗干扰性好,采样速度高,设备成本低,但使用时间一长会发生位置漂移。解决方案主要有:诺亦腾、幻境、国承万通,国外的Xsens等。

常用室内定位技术主要有红外线定位技术、超声波定位技术、蓝牙定位技术、Wifi定位技术、超带宽定位技术、射频识别定位技术以及地磁定位技术[4]。定位技术均存在一定的局限性,使用时需要采取不同的解决方案。红外线定位技术的精度相对较高,环境部署相对简单,但因波长长、频率低、能量小,使得穿透能力差,且容易被室内的其他灯光干扰[5];超声波定位技术的精度相对较高,但在空气中传输时会出现较大的衰减,传输范围有限,成本高[6];蓝牙定位技术是一种较为流行的定位技术,使用较为广泛,但定位的范围相对较小,易受室内的其他信号干扰;Wifi室内定位技术的精度较高,成本较小,环境搭建简单,但信号带宽小,复杂的信号传播环境会有较大误差[7];超宽带技术是一种新型的无线通信技术,信号带宽大,信道衰落不敏感,被广泛使用于室内范围近距离精确的定位;射频识别定位技术的精度高、定位时间短,但作用距离短;地磁定位技术依托大量的数据采集工作网,不需要额外硬件设备,成本低,但易受室内环境中磁场影响而干扰信号。

1 面向陆上分队战术的多人多模态人机交互设计

陆上分队战术训练是以班组、排、连为单位展开的战术训练,单兵是分队战术训练的最小单元。因此,要达到训战一致的目的,面向陆上分队战术的多人多模态人机交互设计既要依据战术虚拟仿真训练的目的,又要突出受训者作战技能正向迁移的要求;既要满足单兵多维感知、高度沉浸和作战体验,又要满足分队战术指挥和多人协同对抗;既要适应成建制的实兵穿戴单兵仿真终端展开训练，又要适应部分实兵穿戴单兵仿真终端、实兵操控鼠标/键盘和计算机生成兵力混合编组的展开训练。

1.1 多人多模态人机交互的模态设计

陆上作战地理环境细微、复杂、多变,协同者与对抗者皆是具有复杂逻辑思维、生理心理变化、空间关系变动的“人”或“人群”,在这种作战环境下,受训者需要通过眼睛和耳朵感知、通过头部转动观察、通过声音传达或听到命令、通过操控手持武器瞄准和射击、通过真实行进和完成战术动作,呈现出视觉、听觉、嗅觉、触觉和味觉等多模态交互状态。依靠单一模态交互的虚拟训练环境已无法为受训者提供高度沉浸式的作战体验,难以形成作战能力的正向迁移。多人多模态人机交互的模态设计可以通过视觉、听觉、触觉、身体姿态等四种模态与计算机进行交流,实现非接触实时自然的多模态交互,完成多个实体与虚拟人的双向映射和空间关联[8]。

1.2 多人多模态人机交互的设备选择

面向陆上分队战术的多人多模态人机交互设备应满足以下几点:一是满足人体动态数据采集,如头部包括转向、俯仰等观察动作的数据,肢体数据包括走、转向、跑、跳、跪、卧、匍匐、涉水、站立待机、休息待机、后退等战术动作的数据,手势数据主要包含一、二、三、握拳、注意等指挥动作的数据;二是满足携带武器动作数据采集,如半实物仿真武器上的前进、后退、左移、右移、上/下车、上/下楼等按钮动作数据,半实物仿真武器击发动作、换弹匣以及瞄准与退出瞄准切换动作数据,半实物仿真武器转向、抬高、压低的动作数据;三是满足受训者的精确位置数据的采集;四是满足多人多模态数据的融合处理。主要设备可选择综合头盔、动作捕捉系统、数据手套、半实物仿真武器等输入输出设备,背负式计算机、位置定位设备、无线通信网络设备以及相应服务器和计算机等。其中,综合头盔将头部运动、姿态和声音信息输出,动作捕捉系统通过各传感单元采集完成人体姿态和运动数据,半实物仿真武器采集持枪姿势、动作以及功能操作键的数据,数据手套采集和识别手语指挥数据;这些动态数据传送给计算机,经过对多人多模态数据解算、融合、输出,最终呈现于综合头盔的3D视频眼镜。

2 面向陆上分队战术的多人多模态人机交互策略

多人多模态的人机交互是一个非常复杂的信息传输、处理、呈现的过程,既涉及多模态的交互,又涉及多受训者的交互,如何能使多人多模态人机交互及时响应,需要确定其交互策略[9]。依据陆上作战的特点、单兵战术行为规律和虚拟仿真训练系统的多模态融合功能,面向陆上分队战术的多人多模态人机交互策略,主要可有驱动场景变化的策略、驱动映射虚拟实体的策略以及优先驱动的策略。

2.1 场景驱动策略

场景驱动是指通过人机交互来驱动虚拟场景发生变化,呈现并反馈于综合头盔3D视频眼镜,继而推动下一轮交互[10]。传统的场景驱动主要是通过鼠标/键盘的操作,实现第一人称视角下虚拟场景的前、后、左、右或旋转等变化;多模态的场景驱动是通过综合头盔、动作捕捉和数据手套等设备,实现第一人称视角下虚拟场景随实兵动态数据的变化而变化。

多模态场景驱动策略主要有三种:一是戴有综合头盔的实兵,通过头部左右转动、俯仰等姿态变化,实现虚拟场景相应实时变化;二是手持半实物仿真武器的实兵,通过左右转向、抬高或压低以及功能按键的上、下、前进、后退等操作,以及持枪瞄准时场景转换为瞄准镜的视景,实现虚拟场景相应实时变化;三是穿戴动作捕捉的实兵,通过行进、转动、跳动等变化,实现虚拟场景相应实时变化。

2.2 映射驱动策略

映射驱动是指通过不同模态的人机交互驱动映射虚拟实体的变化,呈现并反馈于综合头盔3D视频眼镜,继而推动下一轮交互[11]。映射交互强调的是实兵与虚拟实体的姿态与动作同步、实时、自然映射,其呈现方式可有单兵视景、指挥者视景和全局视景三种。单兵视景下可以看到单兵映射虚拟实体的同步动作,指挥者视景下可以看到二维小窗口中分队映射虚拟实体的动态变化;全局视景下可以看到多个映射虚拟实体的动态和空间实时变化。

单实体映射驱动是指单兵通过真实的战术动作驱动其映射的虚拟实体,使虚拟实体同步映射单兵行为。其策略主要有三种:一是通过对单兵战术动作数据采集、传输和处理,驱动映射虚拟实体的变化,屏幕显示出单兵与映射虚拟实体的战术动作同步,如跑、跳、站、蹲、卧、匍匐前进、屈身前进等;二是通过对半实物仿真武器的动态数据采集、传输和处理,屏幕显示出单兵与映射虚拟实体的持枪、瞄准、射击等动作同步;三是通过对数据手套的动态数据采集与识别,屏幕显示出指挥员与映射虚拟实体的动作同步。多实体映射驱动是指在同一虚拟场景中多个实兵同时进行人机交互,各自驱动对应的映射虚拟实体的变化,且多实兵间的映射虚拟实体互不交叉、互不影响,保持与真实环境下的空间关系。

2.3 优先驱动策略

基于多人多模态的人机交互时,一种、两种或两种以上的模态可能产生相同的交互效果[11]。如驱动场景变化时,可以通过头部姿态、半实物仿真武器姿态和方向按键、身体姿态等不同模态实现,但以一种模态为主还是多个模态同时,需要在不同情况下设定先后排序、驱动优先有效。一是运动时,大场景中以半实物仿真武器姿态和方向按键的动态数据驱动有效,小场景中以动作捕捉的身体姿态数据驱动有效;二是静止时,观察中以头部姿态的动态数据驱动有效,瞄准时以半实物仿真武器的动态数据驱动有效。

3 面向陆上分队战术多人多模态人机交互的过程

面向陆上分队战术多人多模态人机交互过程主要包括实体动态数据采集、实体实时数据传输、实体动态数据解算、交互信息融合输出,由此形成了一个交互行为的闭环,并不断迭代更新产生新的交互。

3.1 实体动态数据采集

实体动态数据采集包括对人体动作数据采集、实兵位置数据采集和半实物仿真武器动作数据采集。通过受训者穿戴的综合头盔、数据手套和动作捕捉节点,实时捕捉受训者的头部、肢体和手势数据;通过设置在综合头盔上的定位标签,实时采集受训者的精确位置数据;通过半实物仿真武器的动态变化、操作动作、按钮指令和持枪变化,捕捉受训者的动作数据。

3.2 实体实时数据传输

通过传输协议,实时向服务器端传送实兵动作数据、实兵位置数据和半实物仿真武器动作数据,并从服务器端接收三维虚拟战场景况。

1)动作捕捉数据传输

动作捕捉数据上传过程:综合头盔、动作捕捉系统和半实物仿真武器将动态数据采集后,发送到背负式计算机,背负式计算机通过无线通信网络把数据上传到服务器。动作捕捉数据上传网络通信结构如图1所示。

图1 动作捕捉数据上传网络通信结构

2)室内定位数据传输

室内定位数据上传过程:单兵仿真终端的定位标签实时向定位锚点(至少3个)发送数据,定位锚点把接收到的数据再发送给桥接点,定位标签的位置就能得到确定,桥接点再通过无线通信网络把位置数据发送到服务器端。室内定位数据上传网络通信结构如图2所示。

图2 室内定位数据上传网络通信结构

3.3 实兵动态数据解算

实兵动态数据解算是依据实兵解算模型与算法完成的,如数据手套的传感器算法与手势定义、手势编码与判定,基于人体骨骼节点的仿真枪械位姿控制,虚拟仿真平台的骨骼节点控制,动作捕捉设备与仿真枪械控制下的位移转换,“骨骼+视角”的智能匹配等。例如:数据手套的手势编码与判定。战术手势包括“握拳”、“一”、“二”、“三”、“OK”和“注意”等六种,每种手势都需要特定的手指做指定的动作来完成。以二进制的形式对战术手势进行编码,如将“握拳”编码为“00000”,将“一”编码为“01000”,将“二”编码为“01100”,将“三”编码为“01110”,将“OK”编码为“00111”,将“注意”编码为“11111”,可以有效地滤除做特定手势时不相干手指状态不稳定的干扰。手势编码完成后,可通过对特定手指的判断进入下一状态,并进行下一轮判定或手势状态输出,判定过程如图3所示。

图3 手势状态判定过程

手势状态判定首先从小指状态开始,当判定小指为伸直状态时,继续判定食指状态,若食指状态为伸直,则判定手势状态为“注意”,若食指状态为弯曲,则判定手势状态为“OK”;当判定小指为弯曲状态时,继续判断中指状态,若中指状态为伸直,则继续判断无名指状态,如果无名指状态为伸直,则判定手势状态为“三”,如果无名指状态为弯曲,则判定手势状态为“二”;若中指状态为弯曲,则继续判断食指状态,如果食指状态为伸直,则判定手势状态为“一”,如果食指状态为弯曲,则判定手势状态为“握拳”。

3.4 交互信息融合输出

实体实时数据经过解算后,与虚拟仿真场景、人物、武器装备等关联融合,同步生成同一虚拟环境下的虚拟实体的实时状态,通过无线通信网络发送到背负式计算机,计算机再把场景画面传送到3D视频眼镜,综合头盔的3D视频眼镜将三维虚拟战场景况实时呈现给受训者,同时语音实时传送回来。综合头盔数据接收网络通信结构如图4所示。

图4 综合头盔数据接收网络通信结构

当受训者视觉接收到实时三维虚拟战场景况,耳麦接收到场景内同步的声音和战斗指令,及时作出行为和语音响应,于是进入下一个交互过程。当多个实体交互信息同时呈现在同一个虚拟战场环境中,受训者的战场感知更加真实、团队意识更加强烈、作战体验更加沉浸。

4 面向陆上分队战术的多人多模态人机交互实现意义与训练价值

面向陆上分队战术的多人多模态人机交互,使受训者产生强烈的沉浸感,实现受训者在设定的现实训练场地中,模拟复杂多变的虚拟战斗环境,能够支持陆上分队开展虚拟环境下多科目、强对抗的沉浸式战术训练,达成了作战技能的正向迁移,为作战能力的积极有效转化提供了方法。

4.1 多人多模态人机交互的实现意义

首先,真正实现自然、沉浸、实时的交互。在受训者头戴综合头盔、手持半实物仿真武器的基础上,采用动作捕捉技术,对受训者的姿态数据采集、传输、处理、显示,及时响应并反馈,实时还原受训者的手势和动作,展现其手势指挥和跪、蹲、卧、跳等动作,实现了现场实兵动作与虚拟实体战斗行动的“实虚映射”和无缝融合,改变了战术虚拟仿真训练的“人机”交互模式,增强了“人机”交互深度。

其次,打破受训者空间运动的局限。以往的虚拟仿真训练系统,可以支持通过3D视频眼镜左右上下运动驱动场景、通过半实物仿真武器左右上下运动或前进后退按键驱动场景,但受训者在实景中是没有位置变化的。在动作捕捉技术基础上,采用高精度的位置定位技术,受训者能够依战术训练过程施展战斗行动,直立行走、高低姿匍匐前进、跨越虚拟障碍等,用自然的运动驱动场景的相应变化,突破了现实空间和虚拟空间的局限,实现了虚实坐标实时融合和虚拟双映射,使受训者有了全新的沉浸体验。

第三,有效支撑分队战术虚拟仿真训练。基于精确定位和动作捕捉的多实兵姿态信息,依据步兵战术行动规则和实兵体感解算模型,分析提取实兵动作“语义”,并与虚拟战场环境关联融合,突破了多个实体的虚拟映射和空间关联等技术难题,生成了LVC专业化训练环境,支持多个穿戴单兵仿真终端的实兵开展对抗训练,使分队战术虚拟仿真训练成为可能。

4.2 多人多模态人机交互的训练价值

一是强化自我意识,激发了战术训练热情。受训者沉浸在高度仿真的战场环境中作战,手持半实物仿真枪瞄准、射击和更换弹匣,随作战进程实施战斗指挥、战斗动作……训练中充分展现了“我在战场中”“我在侦察”“我在射击”“我在指挥”“我与战友们配合作战”的“我在训”状态,真实感、主动性、战斗欲尽显发挥,激发起受训者的训练热情。

二是增强训练记忆,有利于战术技能正迁移。基于多人多模态的人机交互,更使受训者主动地感知战场环境,锻炼出研判战场环境的能力;多科目、多角色、多重复的战术训练,不仅有所经历而且尝试过错误,更加增强了对场景、行为、过程、战法的记忆,提升了快速反应能力,促进了分队对抗战术思维的形成,有利于战术技能的正向迁移。

三是锤炼默契配合,提升了团队作战能力。在真实环境下进行虚拟仿真训练,不再是与冰冷的系统交互,能感受到战友的近在气息,感应到战斗行动的配合协作;多次训练可使受训者更加熟悉队友作战风格,不断增强的协作自信和默契度,促进了团队作战能力的有效转化。

5 结束语

面向陆上分队战术的多人多模态人机交互,改变了战术虚拟仿真训练的人机交互方式,增进了受训者多维感知、高度沉浸和作战体验,提升了陆上分队战术虚拟仿真训练的质量和效益。本文研究了面向陆上分队战术多人多模态人机交互的需求、策略、过程以及实现意义和训练价值,期望为陆上分队战术虚拟仿真训练提供有益参考。在新编制、新装备、新任务下,为适应未来作战需要,多人多模态人机交互将会支持陆上分队战术虚拟仿真训练发挥更大效能,可以推演作战方案,验证作战方法,检验作战效能,不仅能促进“像打仗一样训练”,更能推进“像训练一样打仗”。