军事指控系统多通道人机交互技术

陈建华,崔东华,罗 荣,肖玉杰,王 亮

(海军研究院,北京 100161)

1 军事指控系统

现代战场信息来源繁多,战争态势瞬息万变。而目前的军事指控系统仍然停留在“以机器为中心”的阶段,大多采用基于图形用户界面的单一人机交互模式,导致作业人员认知负荷大、交互效率低等,难以满足信息化战争对人机交互提出的新要求。

为适应现代战争高度紧张复杂的战场环境,未来新型指控系统应当是一个具有适应性、以决策为中心的可视化人机环境。多通道交互正是这样一种“以人为中心”的自然高效人机交互技术。由此可知,多通道人机交互技术的研究和开发,对战场指挥决策意义重大,其必将在下一代新型军事指控系统中发挥巨大价值。

2 军事指控系统与人机交互技术

随着计算机技术的发展,人机交互技术的主要发展经历和趋势可以分为四个阶段[1-2]。第一阶段为字符界面——命令字符交互方式,通过固有命令行的形式实现计算机命令字符的输入以及显示,它是最原始的人机交互形式,信息内容单一、人机交互困难,具有可操作性差、交互效率低的缺点。第二阶段为图形界面——操作点击交互方式,通过各类直接点击图形的手段(如采用鼠标或直接触屏式),实现快速准确执行人机交互任务。目前最常见的形式为GUI/WIMP(Graphics User Interface/Windows Icons Menus and Pointing Device,图形用户界面/窗口图标菜单定点设备),它是目前军事指控系统采用的主要方式。第三阶段为影音环境——语音激励交互方式,如在常见的WIMP界面上,集成音频输入输出设备,实现人与计算机自然交流方式。它集成了智能语音语义理解、翻译和发音等关键技术,已在民用市场得到了推广。第四阶段为拟态环境——行为激励交互方式。随着日后可穿戴技术、图像处理技术、全息成像技术和虚拟现实技术等的进一步发展,指挥人员可身临其境地在模拟环境中实时与真实环境进行自由交流,态势呈现更为逼真。

人机交互方式对军事指挥系统至关重要,随着电子人机交互技术的出现、发展和演变,军事指挥系统也是应运而生、应势而长,呈现出不同的变化和发展趋势,以至于军事指挥的划代主要依据就是根据采用的人机交互方式的不同。据此可将军事指控系统显示交互发展和趋势分为三个阶段。第一阶段基于命令行方式的指控系统阶段,主要采用人机交互的字符交互方式,通过按钮或字符的方式实现指挥人员对武器装备的操纵。第二阶段为基于图形用户界面的指控系统阶段,大屏显示器、立式指挥桌等设备逐渐得到装配,实现了独立式指控系统到集中式指控系统的转变,也是目前应用最广泛的军事指控系统。随着智能语音、虚拟显示等第三代、第四代人机交互方式的发展,军事指控系统也将进入第三阶段:基于多通道人机界面阶段。

3 多通道人机交互基础技术

多通道交互是指具有两个及以上输入通道的人机交互方式,如采用“键盘+语音”的组合方式,这使得在指挥控制过程中允许作业人员使用更多更方便自如的交互方式。一般通过在传统的指挥人机交互系统中叠加一种或几种更自然的交互方式,强调“以人为中心”,使作业人员能以最本能的交流方式实施作业指令,不仅能够大幅提高交互的自然性和高效性,还能衍生出如跨平台协同作战指挥等新型指控样式。目前,国内外对多通道交互开展了较为深入的研究,并取得了一定的研究成果。

1) 肢体语言交互技术

肢体语言是人类最自然的行为,与人的认知特点相吻合,体现了“以用户为中心”的交互理念,是适应指挥人员与指控系统间自然和谐对话的一种新的交互技术[3]。

该技术在民用领域已较为成熟,市场上也推出了多款体感交互设备。早在1999年,Pierce等人就开发了一套基于数据手套的双手交互系统——“Voodoo Doll”,主要用于对象间的相对位置关系调整,可用于简单的动作控制,如双手移动与缩放对象。2010年微软发布的Kinect体感交互设备(如图1所示),采用具有深度传感器摄像头得到人体深度数据,准确识别人体全身肢体行为,然后在计算机中重建三维场景,具有识别速度快、识别精度高、识别稳定性好的特点,目前已广泛应用于动画制作、人体运动测试、游戏互动等领域。

图1 Kinect体感交互设备

2013年,Leap公司发布了Leap Motion控制器(如图2所示),它通过两个摄像头捕捉红外线LED对双手在空气中的相对位置进行感知和测量,可对包括指尖位置、方向的运动及运动趋势进行识别,可用于浏览网页、阅读文章、翻看照片、绘画涂鸦等的虚拟控制,理论精度达到了0.01 mm。

图2 Leap Motion控制器

在军事指控系统中,双手交互是最有可能用于拓展指挥空间的肢体语言。美国Applied Minds开发的TouchTable双手触摸交互系统具有双手操作输入以及可视化界面,解放了士兵复杂的操作,已经装备美军[4]。美国MERL开发的DiamondTouch平台采用了光学触控技术,实现了双手交互及多人协作[5-6]。

在国内,国防科技大学等单位[7-8]从分布式认识模型出发,研制出了一种支持双手多指触摸的光感应触控平台,为指挥空间内双手交互的设计提供依据。中科院软件研究所也对虚拟现实环境下的双手交互技术展开了长期研究,并在实际中得到应用[9]。

2) 显示操控交互技术

显示操控交互技术目前已广泛应用于军事武器装备中,是影响指挥决策能力和效率的重要因素[10-11]。电子地图就是最典型的军事作战应用,随着显示操控技术的发展,电子地图从最原始的二维绘图逐步向三维地图过渡,未来的显示操控技术将使得军事地图更加逼真地模拟真实战场环境,表达的形式和内容更加丰富多样。

文献[12]指出未来舰艇指控系统显示技术技术体系包括三维显示、虚拟现实、全息现实、体感交互、电子沙盘等。目前多项关键技术已经得到了研究和利用。20世纪90年代,美国MIT实验室就已经构造出了第一个3D动态全息显示系统。后来国外进行了多次军事应用的尝试,如美军的CATT、SIMNET、C4ISR等现代军事电子沙盘,集中应用地理信息技术、虚拟现实技术、多媒体技术,实现了沙盘的智能化,为战术演练和军事指挥提供了更直观可达的认知。

3) 语音技术

语音输入可以解放作业人员的双手,作为一种未被利用的交互通道,可以很好地与其他通道融合[13]。目前对语音识别的技术越来越成熟。国内外的公司如微软、苹果、科大讯飞等都推出了较为成熟的语音识别软件,阿里巴巴、京东等电商也推出了数款内置语音助手的智能音箱。未来可见的是,随着云计算和人工智能的发展,更为成熟的智能语音技术的门槛将越来越低,使得语音识别技术更为通用和普及,促进其在军事指控系统中的良好应用。

4) 其他方面

在多通道人机交互系统中还可以存在其他几种方式,但因为较前几种而言它们的使用用途比较受限,这里只做简单介绍。目前正在进行的研究的包括脸部表情、视觉、力觉触觉、脑电信号等多种通道方式[3,14-18]。

4 多通道融合技术

多通道交互界面集成了传统交互设备、自然语音理解、肢体语言输入等多种输入通道,能够多维提取作业人员交互意图,弥补单通识别准确率和交互效率等带来的不足[19]。早在1989年,Cohen等人就证实了通过语音方式与鼠标的结合能够避免键盘与鼠标之间不自然的切换过程,提高交互效率。Hauptmannn和Oviatt等人早期的研究也表明将语音、手势等多通道融合起来交互,得到更多人的使用倾向,证明多通道人机交互充分利用人类不同的感觉通道,使得作业人员感觉更本能自然,体现了未来发展以人为本的思想[20-21]。由此可知,多通道人机交互不仅可以提升作业人员的交互舒适性和自然性,还能提高计算机准确识别作业人员指控意图,对未来武器装备性能的发挥将起到重要作用[22]。美国开发指挥和控制软件陆军未来指挥所(CPoF),是一个流动的信息和决策协作环境,可提供三维空中/地面视点和二维协同环境,通过多种方式可视化战场,已在伊拉克和阿富汗被美军和其联军使用,未来将在指控系统中展开多通道人机交互应用研究。为了促进多通道人机交互技术在军事指控系统中的应用,国内外研究人员开展了多通道融合技术研究。

Nigay L等人提出了一种称为“融合槽”的融合算法,将各通道交互信息融合在一起,成为多通道交互研究初期广泛应用的方法[23]。聂岩峰等人[24]针对传统指控系统中WIMP弊端,研究了包含手势、笔式等自然交互方式的多通道融合,提高了指挥控制系统的交互效率和能力。廖虎雄等人[25-26]提出了一种面向指挥所的多通道交互指挥空间架构,并根据设计的原型系统进行了任务分析验证试验。李昌岭等人[27]针对现有人机交互系统高效性、自然性和全面性不足的缺点,提出了一种面向战场指挥决策的多通道交互模型,并用于飞行智能体的语音激励和手势控制双通道交互验证试验。张国华等人[28-29]研究了能够多点触摸的双手手势与语音两个通道的人机交互模型,并应用于C2指控系统中,满足了指控过程中人机交互自然高效的要求以及多人协作有效性的要求。黄波等人[13]针对战场指挥过程中的多通道整合问题,提出了一种基于元动作的多通道整合模型,采用了多种融合方式,提高了系统对多通道任务的理解和执行能力。

在多通道融合方面,目前的指控系统交互设备并不具备并行协作的基础架构。为实现多通道交互,需要对不同通道、不同形式的交互信息进行融合研究,最重要的是对多通道整合层进行技术攻关,可针对不同通道输出的任务进行基础任务分解,通过任务槽将不同通道的交互整合在一起,初步构架如图3所示。

图3 多通道系统整合模型框图

5 结束语

多通道交互方式大大降低了传统单交互方式输入单一、作业人员认知负担等造成的失误操作概率,因此是目前的军事指控系统发展的亟需技术。本文对多通道交互方式的基本融合模式进行了介绍,并着重分析了各项单通道人机交互方式的研究进展,指出:肢体语言交互肢体语言是人类最自然的行为,目前市场已具有成熟的肢体语言识别设备,是最有可能用于拓展军事指挥空间的交互方式之一;显示操控交互技术是影响指挥决策能力和效率的重要因素,已广泛应用于军事武器装备中,未来采用虚拟现实、全息现实等增强效果用于智能军事电子沙盘可助于战场态势感知;语音识别也是较为成熟的技术,是军事指控系统中一种未被利用的交互通道,可以很好地与其他通道融合。目前,国内外学者已经广泛开展多通道人机交互技术在军事指控系统中的应用研究,在多通道融合、多人协作等方面取得了不少进展。该技术具有广阔的应用情景,如在舰艇指控系统中,可用于战场态势图形指挥,通过多种交互手段全方位、多维度地对战场态势情报信息进行更为准确和精细的处理,提高战场指挥控制效能[12,30]。此外,该技术的界面集成更类似平常所用的手机界面,增加了作业人员的乐趣,在潜艇等枯燥环境中具有较好的应用前景[31-32]。另外,该项技术军民两用,还可以用于普通民用电子应用,如读书读报、新闻视频、家电控制等。