智能指挥空间概念与架构

杨 强,苗馨月,杨朝晖

(1.海军研究院,北京 100036;2.江苏自动化研究所,江苏 连云港 222061)

军事指挥所是一种多信息源、多用户协同、多显示交互设备的态势感知与决策环境,不同指挥人员基于该环境执行态势分析、运筹决策等任务,环境的易用性、便利性、智能性直接影响任务的执行效率,最终影响态势感知与决策效率。云计算、大数据、人机交互等技术的应用,给指挥所带来如下三种变化:1)人机关系变化,从人适应计算机到计算机适应人。计算机从之前被动地接收指令,到主动地提供服务。在执行任务过程中,计算机逐渐能够感知任务状态、指挥人员的个性需求,主动进行信息推荐、功能提示等服务。上述人机关系的变化导致指挥人员获取信息的模式随之改变,进而促使指挥流程也要相应调整。2)设备部署位置变化,从前端逐渐移动到后台。各类计算和感知设备逐渐放到云端,传统的计算机逐渐从指挥人员的视线中隐身,“机”作为人机交互的媒介出现两个趋势,一是逐步隐身,二是更加醒目地表现为“人形”计算机,无论哪一种方式,都导致“人-机-信息-人”这一回路逐渐过渡到“人-信息-人”,存在逐渐回归到“人”与“人”之间自然交互的趋势。3)交互方式变化,由于上述人机关系变化、设备部署位置变化,指挥环境中用户与设备之间的多对多对应关系的变化,传统单一的键鼠交互方式以及手势、语音等显式交互方式已经不能满足人与人之间自然交互的需求,基于情境的隐式交互[1]等方式越来越重要。

上述三种变化反映了指挥环境正逐渐转变为通过环境智能提高指挥人员的战场态势感知与决策能力的智能指挥环境。特别是随着人工智能的发展与普及,人工智能技术最终也要通过环境智能的形式,改变现在的指挥现状,形成智能指挥空间。

1 智能指挥空间相关研究

有多篇文献涉及环境智能系统的研究[2-4],其中文献[2]对环境智能的定义进行了总结,提出了环境智能系统应具备灵敏性、响应度、适应性、透明性、普适性、智能性6个特征,但是针对特定应用,不需要满足所有特征。有关环境智能系统的研究,常常最终落地为对智能空间(Smart Space)的研究。智能空间的应用场景较多,通常包括智能家居、医学监视、智能会议室、决策室、监控室、智能工作区等不同场景。智能空间是指一个嵌入了计算、信息设备和多通道传感器的工作空间,由于在物理空间中嵌入了计算机视觉、语音识别、墙面投影等多通道交互能力,使隐藏在视线之外的计算机可以识别该物理空间中人的姿态、手势、语音和情境信息,进而判断出人的意图并做出合适的反馈或动作[5]。

Gartner将智能空间技术列入2019年十大战略技术之一[6],并指出2020年所列的十大战略技术都可以依托智能空间来进行集成和评估[7],从而说明技术的发展已经从对单设施、单工作台模式的支撑,强化为对整个环境的支撑。在智能空间技术方面,Bhardwaj等提出了一种综合的智能空间体系结构[8],并对其语义互操作性进行了详细讨论,提供了未来智能空间开发的路线图。WiWho[9]通过Wifi的信道状态信息对用户步态进行分析,提出了一种用户无佩戴设备的、低暴露隐私的用户识别方法,特别适合在智能空间内进行用户识别。另外,Smart Room[10]、Intelligent Knowledge System[11]、Ambient Assisted Living[12]、Smart Indoor Spaces[13]等,也都是有关智能空间的研究。

在军事指挥领域,美国诺斯罗普格鲁曼、洛克希德马丁等公司都在研发高性能的指挥、控制、通信、计算机、情报、监视和侦察(C4ISR)系统[14],这些系统作为复杂的信息集成系统,主要依赖人机交互界面来完成与指挥人员的信息传递,其中有数字用户界面代替物理设备用户界面,或是更加高级的增强现实(AR)与混合现实界面(MR)。增强现实(AR)界面中,当指挥人员靠近设备即向其显示定制的人机交互界面[15]。其原理是通过对图像编码的图像识别来实现对器件的识别,利用 AR 或沉浸式虚拟环境,可以对指挥中心进行数字化的环境重构。其他的诸如“未来指挥所”(Command Post of Future,CPoF)[16]项目、“精确信息环境”(Precise Information Environment,PIE)[17]项目、“未来情报分析中心”[18]等也与指挥相关,探讨在指挥空间内指挥与人机交互的结合问题。

上述工作,通过对单项技术研究或多项技术的集成验证,在整体上对智能空间的能力描述较少,特别是对指挥领域的特点很少涉及。

2 智能指挥空间概念与特征

借鉴智能空间概念,结合军事领域特点,作者提出智能指挥空间(Smart Command Space)概念。智能指挥空间是通过在指挥场所内嵌入计算设备、传感设备、交互设备、信息呈现设备以及信息组织、显示、交互的各类基础运行服务,为指挥人员提供的具备环境智能特征的感知决策与指挥控制环境。

在定位上,智能指挥空间是军事指挥所的高级形态,面向下一代指挥所,在信息组织、显示、交互等方面都具备跨越式的鲜明特点,能够为新一代军事指挥所的设计与建设提供思路。上述定义中,环境智能是智能指挥空间的最主要特征。环境智能融合“知识管理带来的智能”和“灵活显示、高效交互体现的智能”[19],主要表现为5个能力特征:以任务为中心的设计、主动服务、自发交互、显示融合、精细互联,对应信息、交互、显示、链路等方面。

1)以任务为中心的设计

智能指挥空间涉及的所有实体,包括人员、装备、资源、界面等都是围绕军事任务的实施展开与设计,以军事任务的执行为中心,本文称为以任务为中心的设计(Task-centered Design,TCD)或任务驱动。与以用户中心的设计(User-centered Design,UCD)有所不同,UCD强调用户可用性的过程体验,TCD强调高效、协同的完成任务。具体来说,UCD强调在产品/系统设计过程中考虑用户特征、习惯、偏好等个性化因素,也就是产品/系统是围绕用户需求设计的,而不是让用户去适应产品/系统。但在军事领域,用户需求更多体现的是多用户更高效地执行军事任务,高效执行任务才是需求的最终落脚点,反而对用户个性化特征以及环境的舒适性、沉浸感等可用性因素强调并不突出。在达不到UCD标准的情况下,参谋用户的个人素养或使用习惯对任务完成的影响会更突显。因此在军事应用中应更强调以任务为中心的设计。

2)主动服务

主动服务是指智能指挥空间或指挥环境能够主动为用户提供所需的信息、资源等服务,其前提是环境能够感知用户需求状态。除了用户明确指定的需求以外,计算机还可以从用户属性(权限、身份、偏好、指挥习惯等)、操作行为、生理特征、任务情境(阶段、状态、类别等)、环境属性(布局、数量、交互接口等)等情境信息中推断用户的需求。杨松[20]提出利用显示设备的组织管理情境、可视化过程的情境、人员视觉规律情境、态势感知模型情境、态势感知沉浸感情境6方面的情境信息来提高战场态势感知界面的智能性,上述情境信息同样适用于智能指挥环境,可以作为主动服务的输入因素。智能指挥空间在获取各类情境的基础上,能够理解指挥人员的交互行为,进一步提供界面自适应、资源推荐、多用户协作推荐等智能响应,从而提高指挥人员对战场态势的觉察、理解与预测能力。

3)自发交互

目前存在多种交互方式,可以分为鼠标、键盘、触控等接触式交互和手势、姿态、语音等非接触式交互。智能指挥空间更为强调非接触式交互，特别是无须佩戴设备的自然交互方式。在非接触式交互过程中,体现环境智能的最大特征是具备自发交互(Spontaneous)能力。在智能指挥空间中,由于传统的计算机逐渐从指挥人员的视线中隐身,用户的交互对象变成整个环境,这种情况下交互通道的建立只能由环境辨别用户交互意图并提前预判,自发交互成为必然。自发交互反映的是用户与环境之间建立交互通道的方式,用户不需要寻找键盘、鼠标等交互中介即可建立与环境的交互通道或映射关系,从而将用户的注意力更多地放在执行任务本身。而且自发交互体现的是环境在检测到用户的交互需求后的主动响应,这种交互需求既可以是显式交互需求,也可以是隐式交互[1]需求。

在军事指挥环境中,如果环境能够识别用户的隐式交互需求,说明环境具备了一定的智能性;如果能够在此基础上能够自动建立交互通道,则智能更进一步;而如果还能甄别多用户的交互需求并自发建立独立的交互通道,则系统的智能更为突显。上述三种交互的智能性代表着自发交互的三个层次。

4)显示融合

智能指挥空间中的各类非接触式交互方式,带来了多屏幕的显示融合需求。指挥人员在进行非接触式交互时,环境需要判断指挥人员当前的交互对象,而指挥所内通常会部署众多屏幕,如果不从逻辑、物理上对这些屏幕进行统一管理,就很难在显示上对指挥人员的交互行为做出灵活响应,因此需要从整体上对所有的屏幕进行统一托管,并开展显示、交互等的重定向,这就是显示融合。

显示融合可以提高显示空间的利用率、灵活性,并便于任务开展,提高指挥环境的易用性、智能性。主要融合思路为:① 将显示屏幕与主机之间的一一对应关系进行解耦,将显示作为一项单独的“显示资源”独立出来;② 在逻辑上将上述显示资源融合成“一个屏幕”,并作为一项服务对外共享;③ 以任务为中心实现显示资源的重新组织,利用用户属性、任务属性、环境属性等各类情境信息实现诸如多屏幕联动显示、临近显示、叠加显示等灵活的显示方式,同时在多屏幕之间体现出屏幕之间的因果关系、解释关系、扩展关系等潜在关联性情境特征。

显示融合必须建立在任务驱动、自发交互、主动服务的基础上,即在坚持以任务为中心的设计理念情况下,环境通过自发交互,通过主动服务将显示资源提供出来。在此场景下,显示作为一项资源独立出来,成为与计算、存储、网络等相并列的重要资源。

5)精细互联

为提高多用户、多任务场景下指挥人员的协同能力,降低互相干扰,智能指挥空间能够按照各类情境从逻辑上实现对网络层的精细权限管理。从物理链路上看,所有用户已在同一网络,但在获取指挥人员任务分工、级别、位置等情境后,在应用层上对网络使用进行分组,并依据分组设定更加细粒度的访问权限,比如具备界面抓取、机密信息共享、远端控制等权限,而且上述权限不是按照传统的固定网段、固定权限来控制,可以动态调整。比如,依据用户群体的位置划分为位置组,依据一群人中的最高权限设立首长组等,从而自动授予不同的访问权限。具备精细互联能力要求智能指挥空间在物理网络及设施上具备自主发现、位置感知等能力。

3 智能指挥空间架构

基于上述分析,本文给出一个典型的智能指挥空间架构,主要包括5个部分,如图1所示。

图1 智能指挥空间架构

1)智能指挥空间基础设施。包括指挥空间内的各类计算资源、存储资源、网络资源、交互资源(含各类传感器)、显示资源等,构成智能指挥空间的硬件基础设施,支撑上层各类服务及应用的实现。

2)情境感知服务。在智能指挥空间基础设施资源基础上,实现对用户、任务、硬件设施、指挥环境等情境信息的采集、融合、推理工作。

3)共用服务。提供任务管理、界面管理、交互管理、用户管理、设施管理等基础服务,并将获取的情境信息嵌入其中,为上层智能指挥空间的特征服务提供支撑。

4)特征服务。对照智能指挥空间环境智能的5个特征,在共用服务基础上,提供信息聚合、信息抽取与过滤、信息定制与推荐等主动服务,提供交互意图理解、交互通道建立、多通道融合等自发交互服务,提供屏幕注册、空间管理、全局共享界面管理等显示融合服务,提供用户位置感知、分组管理、动态权限控制等精细互联服务。

5)智能指挥空间典型应用场景，详见第4节。

4 智能指挥空间典型应用场景

依据上述典型的智能指挥空间架构,作者从技术角度给出如下几种应用场景,具体到实际的指挥所,下述各类技术可以进行组合应用,以支持更大的应用场景。具体包括:

1)多任务保持与切换:根据军事领域多任务并发场景,支持多任务保持,并依据任务优先级、操控流程等综合优化显示顺序与位置。支持以任务为中心,在临近屏幕或用户相近位置显示同一子任务或相关联的信息,并根据任务执行情况,支持一键式任务场景切换。

2)跨域集成设计与应用:针对“马赛克战”中对大量低成本传感器、指挥控制节点的链接控制需求,在智能指挥空间内,以智能交互技术为突破点,开展链接不同系统的工具、程序原型设计,快速构建跨域的指控装备系统,以高效费比的方式灵活应对各类指挥决策任务。

3)多级多通道告警:以听觉、视觉甚至触觉等多感官通道刺激的方式,保障指挥人员对紧急危险情况及时作出响应。根据权限,在不同范围内进行告警,根据用户位置,机密性告警以不干扰他人的方式在用户关注的屏幕或视线方向上显示,重大事件进行全局告警,适当采取多通道告警方式,确保信息能够第一时间通知到指定人员。

4)多用户轻量级即时协作:以情境信息为界面管理的驱动力,在感知多用户的协助需求后,能够即时、轻量地建立协作,并直接在界面中进行响应,而不需要借助传统的需要复杂安装和配置的协作软件。

5)多屏幕跨设备关联显示:为方便指挥人员之间快速交流、会商,支持跨设备、多屏幕之间设备的关联显示,并支持跨屏幕的显示自适应,以保障不同设备、不同角色、不同任务对信息的要求,提供初步的自适应显示能力。

6)指挥人员状态监控及显示优化:针对指挥人员承担的任务以及注意力、疲劳度等不同状态,通过信息层的有效组织以及界面的表达样式、时效性、时机、醒目性等因素的调整提供个性化的高效感知环境。

5 结束语

指挥人员与指挥环境的交互效率一直以来都是影响态势感知、指挥决策的重要因素,随着云计算、人机交互等技术的进步,人们逐渐能够采用人与人自然交互的方式和指挥环境交互,从而让指挥环境体现出更多的环境智能特征。作者从环境智能角度提出智能指挥空间概念,描述了其具备的5个特征,并设计了一个典型的智能指挥空间架构,提出部分应用场景,预期可以为下一代军事指挥所的构建提供思路借鉴。下一步,围绕智能指挥空间概念,可以进一步开展如下工作,如构建智能指挥空间集成验证环境,开展智能指挥空间对军事指挥流程的影响研究等内容。