混合现实技术在军事中的应用综述

王 崴，李恒威，刘海平，瞿 珏，邱 盎

(空军工程大学 防空反导学院， 西安 710051)

1 引言

混合现实(mixed reality，MR)技术提供了一种真实世界和虚拟世界的融合环境，其最终目标是实现虚拟信息与现实世界的完美融合和实时交互，作为辅助技术，提高用户的任务认知能力和态势感知能力，是虚拟现实(virtual reality，VR)技术和增强现实(augmented reality，AR)技术的进一步融合发展。1966年，Ivan Sutherland发明了世界上第一个头盔显示器，并在2年之后创建了第一个增强现实系统，同时也是第一个虚拟现实系统[1]。但是由于技术条件的限制，该系统只能融合显示简单的线框模型，用户体验不佳。随着计算机图形学、机器视觉等关键技术的不断进步，MR硬件设备和软件系统持续改善。2015年问世的微软HoloLens，带来了全新的混合现实体验。

混合现实可以看作Steve Mann提出的介导现实(mediated reality)概念的一个真子集。本文采用的是米尔格拉姆[2](Paul Milgram)于1994年在论文《混合现实视觉显示的分类》中提出的处于真实与虚拟之间的“真实-虚拟连续体”(reality-virtuality continuum)的定义，如图1所示。

图1 真实-虚拟连续体示意图Fig.1 Reality-virtuality continuum

目前，MR的概念并没有明确边界，MR较AR/VR拥有更加广泛的概念内涵[3]。Ronald T.Azuma提出了AR的3个基本特征[4-5]：虚实结合，实时交互，和三维注册。AR并不具备环境感知能力，是对现实的补充，而不是完全取代它[6]。AR无法产生虚拟信息和真实环境的混合体验，特别是对遮挡的处理，同时虚拟信息与真实环境不存在交互。VR是通过计算机的三维仿真技术，向使用者提供关于视觉、听觉、触觉等感官的模拟[7]。VR具备沉浸感(immersion)、交互性(interaction)、想象力(imagination)3个基本特征[8]。用户处于一个计算机制造的纯虚拟世界，根本看不到真实环境。

MR可视化环境中不单单存在人机交互，虚拟世界和真实世界也可以实时互动。MR的虚实融合不仅是指可以将虚拟信息添加到真实世界中，还可以将真实物体添加到虚拟环境中实现虚实融合。米尔格拉姆认为，MR技术可以实现物理现实和数字现实的无缝融合，用户很难区分真实物体和虚拟物体。

当代军事革命催生军事领域的信息化和网络化变革，也对相关技术提出了更高的要求。目前，MR技术在军事领域已经进入实质性应用阶段。近年来，国内外对于混合现实在军事领域的应用研究不断深入。MR技术与军事训练、装备维修和战场指挥控制等领域的结合更加紧密。

2 混合现实概述

2.1 混合现实技术原理

混合现实技术具有情景交融、真实感强，和沉浸感强的特点[9]。MR可视化环境中包括了虚拟世界和现实世界，既需要VR技术的支持，也需要AR技术的支持。因此，MR系统具备场景采集系统、场景建模系统、场景注册系统，和成像系统4个基本子系统，系统结构如图2所示。

MR场景采集系统负责识别搜集真实环境信息和数据，包括环境的轮廓和物体在真实环境中的坐标等信息，提供给其他系统。微软HoloLens的场景采集系统主要有6个内置摄像头：1个惯性测量单元(inertial measurement unit，IMU)，负责感应头部的方向；1个深度摄像头，负责感应周围的环境；4个环境感知摄像头，负责感应头部相对位置的偏移。

MR建模系统包括三维建模和场景重建2种形式[10]。采用专业建模软件(如Unity3D)对虚拟信息建模，而现实场景重建则要更加复杂。目前效果较好的MR三维场景重建方法是利用Kinect Fusion读入深度图像，转换成三维点云并计算每一点的法向量，然后更换相机位置反复扫描获得多视角下的点云，这样循环获得完整的场景[11]，如图3所示。

MR的场景注册系统的作用是对虚拟世界坐标系和真实世界坐标系进行配准。 HoloLens利用场景采集系统提供的环境三维图像，结合单目即时定位与地图构建(simultaneous localization and mapping，SLAM)，通过图像的变化反推出头部的运动，实现跟踪注册。

MR成像系统目的在于实现高度真实感的虚实融合效果，为用户呈现可视化融合环境。基于视频透视的混合现实技术，通过三维场景重建系统提供的数字化真实场景融合虚拟模型，通过计算机算法实时渲染，实现最终的虚实融合效果。

2.2 混合现实关键技术

混合现实要实现彻底的虚实难分的融合效果，就要保持虚实物体之间的几何一致性与合成一致性[12]。实现几何一致性，就必须要有精准的三维注册；实现合成一致性，就必须进行融合场景重建。此外，MR系统还必须具有自然的交互效果。与之对应，混合现实涉及的关键技术主要有注册跟踪技术、空间映射技术和交互技术。

2.2.1注册跟踪技术

注册(registration)，就是虚拟坐标系和真实坐标系实时对准的过程。MR中，需要在用户改变空间位置和姿态的同时，确定虚拟信息在融合场景中的位置，实现虚拟景象和真实景象的实时同步。由于虚拟信息在混合空间中的位置是事先设定的，在融合过程中起关键作用的就是用户的空间位置和姿态。系统需要实时获取用户头部的位姿来计算虚拟物体的位姿，实现虚实融合，这就是跟踪(tracking)。注册跟踪过程如图4所示。

图4 注册跟踪过程框图Fig.4 Registration and tracking process

因此，三维注册的目的就是实时准确地计算出用户头部(摄像机)的位姿，使虚拟物体准确地放置在真实场景中[13]。坐标转换公式为：

(1)

式(1)中：x，y，z表示现实世界中某点的坐标；u，v是该点在平面图像坐标系中的坐标；K表示摄像机内部参数矩阵；R和T矩阵分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移矩阵；Zc表示该点在摄像机坐标系中坐标Z方向的分量。在摄像机内参矩阵K已经标定得到的前提下，注册的目的就是获得R和T矩阵[13]。

目前的注册跟踪技术主要分为基于传感器、基于视觉和混合注册技术等3种[10]。其中，基于传感器的注册跟踪技术一般是利用机械、磁场、声学、光学、惯性或者GPS传感器进行跟踪注册[14]。曲毅等[15]为了克服传统注册方法难以在户外大规模应用的缺陷，设计实现了结合GPS与Xsens惯性传感器的跟踪注册策略。实验表明，基于GPS和惯性传感器的AR系统基本可以满足户外使用的实时性和准确性要求，但是依旧难以解决基于传感器的注册方式存在的设备昂贵、易受环境影响的问题。基于视觉的注册跟踪方式是目前的研究热点，并且在该领域应用最为广泛，主要包括基于标识(marker)和无标识(markerless)注册等2种。刘嘉敏等[16]为了解决传统黑白标识与自然特征区别度大、难以融入环境的问题，设计了一种彩色标识实现跟踪注册。但增大了对标识识别处理的难度，AR系统的实时性和准确性均有所下降。基于标识的注册方式鲁棒性差，无标识的跟踪注册方式则存在计算量大导致实时性差的问题。混合跟踪注册方法综合了多种注册方式，是一种取长补短、实现优势互补的有效途径。刘书曼等[17]利用Kinect深度传感器，结合标定摄像头，很好地改善了远距离跟踪注册效果。

2.2.2空间映射技术

MR将真实空间和虚拟环境融合的技术叫做空间映射(spatial mapping)[11]，如图5所示。HoloLens实现空间映射技术主要依靠6个前置摄像头，实时扫描搜集识别环境信息，采集真实环境位置坐标等数据。这些信息传输到全息处理单元(holographic processing unit，HPU)，生成一套可以用来渲染、碰撞、遮挡的周围环境3D模型。为了解决虚拟物体只跟随虚拟空间产生的不稳定现象，空间锚(world anchor)技术应运而生。虽然空间锚在虚拟世界中的坐标一直在变动，但是在现实世界中的坐标却是十分稳定的。这样，虚拟物体在融合空间中就有了一个足够稳定的坐标系，避免产生“飘忽不定”的现象。在李瑞杰等[18]设计的基于混合现实的管网巡检系统中，为了解决管网模型的定位问题，设计了一种空间坐标转换方法完成虚拟管网模型与真实管网的空间映射，同时，利用空间锚技术很好地解决了虚拟管网模型在真实空间中的显示稳定性。

图5 空间映射示意图Fig.5 Schematic diagram of spatial mapping

确保融合空间中虚实物体之间的几何一致性、光照一致性与合成一致性[12]，呈现更加真实的融合效果，是MR空间映射技术的目标。几何一致性指的是虚实物体的相对位置、大小、互相的遮盖关系保持一致。光照一致性是指融合环境中的光源模型、虚拟物体的光照和真实环境保持一致。合成一致性是指虚拟物体和真实环境的相互作用要和实际情况保持一致，比如由于虚拟物体的遮挡会产生阴影。正如文献[19]研究的一样，常规解决遮挡问题的方法是X射线可视化方法。文献[20]提出了一种更为有效的方法——Melt可视化。实验表明，添加深度线索的Melt可视化，相比于X射线可视化对遮挡的处理效果更为理想。MR的最终目标是实现虚实难分的完美融合，如何提高几何一致性、光照一致性，和合成一致性是MR空间映射技术关注的重要方面。

2.2.3交互技术

MR技术强调自然交互。交互方式可概括为4种交互方式和3种空间技术[11]。视线(gaze)、手势(gesture)、语音(voice)、协同分享(sharing)和空间映射(spatial mapping)、空间坐标(spatial coordinate)、空间声音(spatial sound)，如图6所示。

图6 MR交互技术示意图Fig.6 MR interactive technology

视线交互手段可以进一步分为注视功能和瞳孔测量，注视功能包括凝视、扫视、驻留和过渡等[21]。

此外，用户、环境和MR系统之间还可以通过触觉、生理信息(如脑电、心电)等多种手段进行交互。

系统延迟、位置感知、真实感、疲劳是MR中重要的人因[22]。MR交互技术研究的目的是使系统具有更好的自解析性、易学性、较高的用户满意度和错误容忍度，降低MR系统的延迟[24]。

3 MR的军事应用

信息化条件下的作战需求加速了MR在军事领域的应用。目前，MR在军事领域的应用研究主要集中在军事训练、装备维修和作战指挥控制等方面。MR在军事领域的应用情景如图7所示[25]。研究表明，MR应用于军事领域显著增强了作战人员的任务认知水平和战场态势感知能力，从而在一定程度上提升了军事活动的效率。

图7 MR在军事领域的典型应用情景示意图Fig.7 Typical application scenarios of MR in the military field

3.1 MR辅助训练

当前的军事训练领域，存在着4个突出的矛盾：训练场地上的矛盾，各种装备间的战术协同矛盾，军事训练和安全性问题的矛盾，和训练成本和训练效果的矛盾[27]。混合现实辅助训练可以在提高训练效果的同时，节省成本并确保士兵的安全，从整体上提高军事训练的效率。

早在2005年，美军就已经拥有了第一个意义上的MR士兵辅助训练系统——Hughes C E等[28]开发的MR士兵训练系统。该系统使用的是头戴式显示器，士兵在训练过程中，可以感受到真实环境中的光线、声音，甚至百叶窗的变化，与计算机制造的虚拟对象在虚拟任务环境下作战一致，实现了概念意义上的混合现实。利用该系统进行训练，能够有效地提高士兵的战术素养、降低训练成本。最近的一个应用案例则是2019年，美国海军宣布引入微软高端MR眼镜HoloLens2用于军事训练辅助，在确保安全性基础上提高士兵军事素质和技战术水平，同时节约成本。基于HoloLens的MR单兵训练辅助系统如图8所示。

图8 MR单兵训练辅助系统示意图Fig.8 MR individual training assistance system

美国ARA公司正在为陆军开发一种沉浸式训练系统，可以为MK-19自动枪榴弹发射器的操作人员提供可视化爆炸效果的能力，并允许对射击进行现实的修正[29]。演示效果如图9[29]所示。该系统采用的是基于光学传感器的武器定位方式。ARC4的可穿戴式处理器可以进行弹道轨迹和弹着点的显示，其头部跟踪设备对用户的位姿进行实时跟踪。该系统同时具备辅助射击的能力，射手可以在正式射击前通过该系统进行虚拟射击修正，提高作战射击的命中精度和杀伤力。但是对于目标的精确瞄准，系统的精度仍未满足要求。目前该系统只实现了射手静止状态下的射击辅助，对于搭载战车进行移动射击等状况有待进一步研究。

图9 基于ARC4的沉浸式训练系统示意图Fig.9 Immersive training system based on ARC4

国内对MR应用于军事训练的辅助也做了广泛的研究。文献[30]提出了一种基于混合现实的空战演训系统，弥补了传统嵌入式演训系统的不足。该系统包括作战部署系统、战况观摩系统、战机终端、战场子系统、虚拟战机仿真控制端和战场态势动态解算服务器等6个部分，在真实的作战环境下融合虚拟战场信息和其余战场信息，能同时实现超视距及视距内空战训练，而且具有更高的战场环境真实度和模拟逼真度[24]。系统的战机终端是改造真实战机得到的MR融合终端，同时采用非侵入方式，将MR可穿戴显示设备和飞行员头盔结合[31]得到MR融合头盔，如图10所示。

图10 MR融合头盔示意图Fig.10 MR fusion helmet

与之类似，罗斌等[32]设计了一种基于混合现实的新型轻量级飞行模拟器系统，制作了样机，进行了设计方案的验证。通过系统测试，证明了该模拟器在多机配合编队训练方面的优势。该模拟器系统采用基于多固定摄像机的虚实融合方法和2D四点纹理映射技术[33]，将摄像机采集到的座舱端交互区域真实图像和虚拟座舱融合，得到了虚实融合的座舱视景。基于混合现实的新型轻量级飞行模拟器座舱子系统[32]如图11所示。

图11 MR座舱子系统示意图Fig.11 MR cockpit subsystem

3.2 MR辅助维修

在军事装备技术密集化的背景下，装备维修时常会面临单人难以应对、维修效率低的状况。然而，VR的沉浸式环境难以满足使用辅助维修系统的同时实施维修的功能。因此，VR装备维修系统多用于维修教学，只具有一定的辅助性。MR技术具有良好虚实融合的真实感。利用MR技术辅助维修，可以实现对维修步骤的实时引导和维修信息的实时显示。这极大提升了维修能力和维修效率，已经在军事装备维修领域得到了较好的应用。

爱荷华州立大学的Rafael Radkowski等[34]将微软HoloLens和体感外设Kinect结合，完成了辅助装配操作[35]，如图12所示。哈尔滨工业大学的郝秀峰等[36]对AR卫星诱导装配系统进行了研究，提出了一种基于可穿戴增强现实的卫星装配诱导系统方案。在该方案中，研究人员设计了基于多位置探测区的四点定位算法，进一步提高了注册的精度。

图12 MR辅助装配示意图Fig.12 MR auxiliary assembly

长安大学的柳有权等[37]开发了一种基于MR的远程协同式装配维修引导系统，如图13所示。该系统通过改进手势识别算法，将专家端的二维手势操作转换为用户端的三维动画标识，实现了专家-用户模式的远程协同工作模式。但是，远程协同对通信链路的依赖性大，对通信质量的要求高。降低远程协同中存在的延迟、减小卡顿、避免掉线等有赖于通信技术的进步和MR数据传输硬件的革新。

图13 系统框图Fig.13 System frame diagram

西北工业大学的王增磊等[38]对MR辅助装配中存在的复杂人机交互问题进行了研究，提出了基于眼动追踪和手势识别的多通道交互方法。该方法的交互过程分为预选取和确认并操作2个阶段。在预选取阶段，起主要作用的交互方式是眼动追踪，采用的是注视线和注视点检测的算法。预选取结束之后通过手势识别进行目标确认和下一步的操作。手眼交互方法的流程[38]如图14所示。该MR协同装配交互系统采用Leap Motion(LM)进行手势指令识别，完成指令触发和对目标对象的平移、旋转、缩放等物理操作。该手眼交互系统的优势是可以稳定地完成对遮挡对象、微小尺寸对象的选择和对远距离对象的操作。

图14 面向协同装配的手眼交互方法流程框图Fig.14 The flow of the hand-eye interaction method for collaborative assembly

文献[39]介绍了意大利空军(Italian air force，ITAF)利用混合现实技术解决装备维修问题。ITAF已经着手将MR应用于指挥、控制、通信、计算机和情报(command，control，communication，computer，and intelligence，C4I)系统的维修和日常维护[39]，如图15所示。MR可以减少不必要的维修环节，把专家、资源集中在更为重要的维修领域，是一个有效的组织装备维护维修的工具[39]。ITAF针对其使用的C4I系统，通过空中交通管制雷达系统、无线电通信系统和无线电导航系统的MR辅助维护案例，验证了MR辅助军事装备维修的有效性。当前在实际应用中最为迫切的是MR系统的标准化问题，以降低系统操作人员的认知负荷和错误的发生率。

图15 ITAF将MR应用于装备维修示意图Fig.15 ITAF applies MR to equipment maintenance

国内学者对MR技术应用进行了初步的研究。空军工程大学的崔波等[40]设计了一种装备诱导维修系统，由跟踪注册模块、数据管理模块、诱导信息生成与输出模块和人机交互模块组成，并通过军用车辆发动机的引导维修实例进行了可行性验证。典型的MR装备诱导维修系统如图16所示。该系统能够在装备维修过程中，根据维修任务、交互式电子技术手册(interactive electronic technical manual，IETM)等数据库资源生成虚拟图像、维修步骤等内容，为装备维修人员提供虚实融合的引导信息，辅助完成装备维修过程。系统的跟踪注册模块采用的是基于多传感器的混合注册方式，同时可以通过语音指令、手势指令进行实时的人机交互，并且数据管理模块可以对各类维修文档资料进行有序的存储和管理。目前广泛应用的瓶颈在于装备数据库资源的不足或缺失，导致无法生成有效的诱导信息。同时，穿戴式HMD产生的虚拟模型漂移尚未找到有效的解决办法。

图16 基于标识的装备诱导维修系统示意图Fig.16 Mark-based equipment guidance maintenance system

3.3 MR在作战行动指挥控制中的应用

MR技术在作战行动的指挥控制中也有很多应用。例如文献[41]指出，美国研究人员正在积极寻求将MR在战略决策工作中进行应用，通过混合现实技术创建美国国防综合协作环境(defense integrated collaborative environment，DICE)，支持国家战略决策的整个周期。

任务指挥一直是美军的核心原则和理念，Michael Jenkins等[42]利用HoloLens平台，基于地面作战空间可视化图、分布式训练操作通用图和用于空间态势感知的用户定义操作图像等3个原型系统，通过用户反馈情况对MR应用中的问题进行了研究。MR地面作战信息可视化[42]如图17所示。MR整体的显示效果受到硬件属性、观看环境、用户特征和偏好等多种因素的影响。图形缩放或者图形密集会存在叠加的问题，增加辨识的困难，甚至无法识别。此外，由于设备的渲染能力和分辨率的限制，对于复杂模型或大量简单模型的渲染存在问题，虚拟文本的可读性也不佳。同时，MR信息显示的设计也需要一个标准的指导框架。

图17 基于MR的地面作战信息可视化示意图Fig.17 Visualization of ground combat information based on MR

与此类似，Bryan等[43]对美军的指挥与控制协作沙盘(command and control collaboration sand table，C2-CST)项目进行了研究[43]，如图18所示。该系统基于微软HoloLens，可以通过凝视、手势和声音多种方式交互，具备共享协作的独特功能。C2-CST采用了一种简化的分类滤波方法，对环境中显示的多种信息进行过滤分类。该项目仍需对基于语音的交互和远程协作的效果作更加深入的研究，并且还没有通过全面的用户调查实验获得反馈。

图18 HoloLens显示的C2-CST图像Fig.18 C2-CST image displayed by HoloLens

装甲透视，即借助车载分布式传感器获取外界影像，通过头盔显示器或车载显示器，使装甲乘员能够在封闭的装备舱内“透过”车辆装甲，实现对战场信息的实时感知与运用。装甲透视的概念起源于早期辅助战机飞行员驾驶和火力瞄准的头盔系统[44]。F-35飞行员头盔系统如图19所示。

图19 F-35飞行员头盔系统示意图Fig.19 F-35 pilot helmet system

以色列埃尔比特公司2017年研制出的“铁视觉”头盔显示系统[45]以航空飞机传感器和系统架构为基础，车体周围安装有3个或6个昼夜光电摄像头，为驾乘人员提供360°无缝视场和垂直90°环境状况的等角图像。“铁视觉”系统[45]如图20所示。摄像机拍摄的周围环境图像，经算法清晰化处理后直接显示在乘员眼前头盔的护目镜上，实现了完全的闭窗作战。该系统能收集车内外各种信息，可以显示和跟踪乘员感兴趣的目标[45]。同时，研制人员采用混合现实头部追踪技术和失真校正算法很好地解决了驾乘人员的视觉变形和眩晕问题。但是，如何克服装甲车辆中始终存在强烈的电磁场保证显示效果，仍亟待解决。

图20 “铁视觉”系统示意图Fig.20 “Iron Vision” system

1997年，美国海军陆战队作战发展司令部概念司提出，城市将成为未来军事行动的主战场[46-47]。城市分队的作战人员所处的环境较为复杂、混乱，对态势感知能力的需求较为迫切[48]。美国ARA公司发布的“ARC4”军用增强现实软件系统[48]一定程度上提高了分队人员的城市作战态势感知能力。ARC4应用情景[29]如图21所示，图21(a)集成了ARC4传感器组件的DARPA ULTRA-Vis头盔套件，图21(b)是安装在轨道上的ARC4头部跟踪传感器与透明显示器机械部件，图21(c)是安装在增强型夜视镜上的ARC4头部跟踪传感器，图21(d)～图21(f)是ARC4系统用户界面。该引擎具有士兵户外位姿跟踪、地理配准信息的表达与可视化以及网络通信管理等功能。通过融合GPS、惯导、气压和DEM等数据，具有较高的地理配准精度，同时能够完成配准精度的实时在线评估。

图21 ARC4系统硬件配属和应用情景示意图Fig.21 ARC4 system hardware allocation and application scenarios

ARC4系统的优势在于视觉辅助惯性导航系统，利用地标匹配、地平线匹配和太阳匹配等多种跟踪注册方式，可以对士兵的头部位姿进行准确而稳健的估计。ARC4用户界面由3个透明信息图层叠加而成[29]，如图22所示。其中，静态叠加图层位于视野顶部，负责显示警报信息；动态叠加图层负责将战术图标信息叠加在真实环境中的对应位置；态势叠加层则为士兵提供其周围所有情况，包括视野内部和视野外对象。但是，采集太阳图像进行特征匹配时，CMOS传感器的“偏蚀”特征会对匹配精度造成很大影响[29]。同时，系统还未实现城市地形的有效匹配。

图22 ARC4系统用户界面Fig.22 ARC4 system user interface

4 存在的问题和未来趋势

4.1 存在的问题

经过长期的发展，MR技术取得了较为明显的进步，但总体上MR在军事领域的应用还处于初步探索阶段。MR要实现在军事领域的普遍应用，需要经历一个较长的技术周期，面临许多的问题与挑战。

4.1.1跟踪注册问题

对于MR的跟踪问题，跟踪误差和视角参数是2个重要指标。但是由于传感器技术的限制，当头部姿态急剧变化时，空间失配的现象仍然十分明显。在三维注册技术上，定位精度、定位速度和时间延迟是注册时效性的三大挑战，虚实物体的实时对准仍不够稳定。时间延迟造成眩晕，引起不适。

同时，无论是基于标识的跟踪注册方式还是无标识的跟踪注册方式，虚拟物体在真实环境中都会发生漂移。一方面会影响用户的使用感，另一方面，在对精度有要求的军事领域，这将是致命的。而且，在光线不佳或者缺少自然特征的环境中，MR设备容易丢失空间，无法使用。显然，军事活动一般都在户外进行，而且环境往往是恶劣的，这极大地限制了MR在军事相关领域的应用，开发一种环境依赖性低、鲁棒性更好的跟踪注册方式迫在眉睫。

4.1.2显示输出问题

MR中对物体遮挡，即物体之间的前后关系问题的处理，对用户的判断有很大影响，也是显示输出领域的研究重点。遮挡处理不仅需要改善用户的深度感知效果，而且要求对物体进行细致的侧影轮廓线处理。除此之外，MR显示输出中存在或大或小的图形畸变问题也是影响MR使用的重要因素。很多研究人员对MR显示中的图形畸变问题进行了研究，比如文献[49]提出的基于视频投影中的画面畸变的视点质量评价方法和场景自动路径规划方法。

在显示输出方面，由于图像渲染技术的限制，当前的MR技术基本上无法实现虚实物体区分这一点，用户体验不佳。同时，由于硬件的限制，MR中视场过小、分辨率低等问题并没有得到很好的解决。

4.1.3交互方式

MR交互问题需要考虑的有3个方面[16]：一是交互方面存在的技术问题；二是人机交互的界面范式问题；三是交互方式的用户接受度。在MR领域，依旧存在因为技术原因导致用户无法理解交互场景、界面范式单一、多通道交互方式的应用性不强等问题。同时，虚拟信息的动态行为对真实场景造成的影响难以实时处理，影响虚拟环境和真实环境的交互效果。因此，如何实现虚实世界之间的实时交互，确保虚实融合的高度真实感，也是当前混合现实领域研究的重要方向。

4.2未来趋势

1) MR与人工智能

MR和人工智能(artificial intelligence，AI)的结合将为用户带来全新的混合现实体验。借助于云计算等相关技术，人工智能技术将会迎来快速的发展，继而将会引发混合现实在关键技术上的突破。

2) 多样化交互方式

人机交互是MR中的重要技术。目前，多通道交互方式是当前MR人机交互领域的一个研究热点。不仅仅局限于手势、语音等传统的交互方式，听觉、触觉、振动、生理计算等多种交互方式也在诸多MR系统中得到了应用。当前，多通道人机交互方式研究瓶颈在于提出更多的感知与表达方法，以进一步改善人机交互效果。

同时，虚拟世界是通过计算机构造的，而现实世界是人类所存在和活动的空间。从这个角度看，机器人既具有虚拟的属性，又具有现实的属性。把机器人作为沟通用户、虚拟世界和现实世界的媒介，也可能会成为未来MR人机交互领域发展的一个趋势。

3) 多端协同共享

现在的全息体验仍然是孤立的，但未来的MR必将会构建一个可共享的虚实融合世界，共享场景的力量将是巨大的。远程协同式的MR应用将会是领域内的一个研究热点。

4) 光学系统的革新

显示输出是影响MR中用户空间深度感的重要因素。光学硬件设计是当前MR领域发明专利的热点[50]。对于显示输出而言，光学是核心技术。目前，国内MR眼镜的壁垒主要在于光学硬件上。光学系统的革新势必会进一步推动MR的实际应用。

5 结论

混合现实技术在军事领域有广阔的应用前景，也必将走向普及，给未来军事斗争形式带来革命性的转变。

当前MR技术并不成熟，在关键技术上还存在许多问题。跟踪注册不稳定、对准误差大、空间失配等问题亟待解决。在显示输出上，物体遮挡、图形畸变、视场角小、分辨率低等一系列问题对虚实融合的真实感造成了不可忽视的影响。此外，MR中的人机交互仍不够自然，一定程度上对用户的操作产生障碍。但从诸多成果中，可清晰地看到MR良好的实用性和可用性。期待MR技术能早日实现彻底的无缝虚实融合，在军事领域取得突破。