基于团队协作和移动式混合现实的高仿真战现场急救训练平台构建

杜文琼，张 杰，宗兆文*，钟 鑫，蒋仁庆，贾益君

（1.陆军军医大学陆军卫勤训练基地战救技能训练教研室，创伤、烧伤与复合伤国家重点实验室，重庆400038；2.解放军77635部队，西藏山南867600）

0 引言

近年来，新兴技术与医学领域的深入交叉融合加速推动着医学教育教学的改革。有研究指出：移动学习、分析技术、混合现实（mixed reality，MR）、人工智能、区块链和虚拟助理6项技术将成为促进高等教育的关键技术[1-2]。随着科学信息技术的发展，MR等新兴技术越来越多地应用到医疗培训和教育等领域[3-5]。有研究人员预测，到2035年MR等技术将成为一个颠覆性的产业，其可提供令人叹服的体验，比如允许人们在身体细胞中旅行、可以遇见历史古老战场等[5]。由此可见，人类正步入一个以创造、参与、感知等技术为核心的体验时代，这些技术也给教育行业带来了全新的思路和方式。

当前，MR、虚拟现实（virtual reality，VR）和增强现实（augmented reality，AR）等技术在军事训练领域逐步得到重视并广泛应用[6-9]。其中，MR是指通过计算机、图像处理、人工交互技术等生成的虚实结合的可视化环境[10]，实现使用者与现实世界和虚拟世界交互以及虚拟世界和现实世界的内容交互[11-12]。美军对于MR等模拟技术的开发应用比较早，且已经进入了实践阶段，直接为实战服务，研发有虚拟军事指挥系统和虚拟Augmented Reality Combat Training系统，可支持作战人员、作战环境、作战装备与虚拟作战实体相结合来组织训练；美军曾采用VR技术模拟战场场景培训作战人员，以使其在其他国家展开军事行动时对周围的地理环境不感到陌生[5，13]。我军目前基于VR等技术的军事训练应用已经很成熟，对于MR技术的应用还处于技术完善或研发突破阶段[6]。

战伤急救训练具有自身的特殊性，如战救技术需要和战术背景结合进行训练、常需要团队协作完成等；同时战伤自救互救很多情况下是由作战人员实施，他们通常没有医学背景，缺乏战现场急救的救治决策知识。针对战现场急救的特殊性，本研究以我军重要战略方向为牵引，建立以高原山口作战为战术背景、以MR为基础的高仿真战现场急救训练平台，以期解决我军自救互救训练长期存在的战术背景与战救训练脱离、官兵普遍缺乏战术背景下的战现场急救正确决策以及救治过程中的组织实施和团队协作能力等问题。

1 设计思路

本平台由导控软件、战现场急救决策软件以及硬件部分组成。导控软件依托计算机终端部署，可实现平台操控、任务部署和指导、观摩示教、结算评分等功能。战现场急救决策软件在自救互救决策架构体系建立以及3D伤情数据、战场环境模拟、战斗场景模拟、虚实结合技术开发、可移动大空间团队协作和虚拟交互系统开发等核心模块构建的基础上形成。具体决策思维的训练通过虚拟世界问答式、选择式、情景判断式结合现实具体行动实现，然后由人工智能和后台观察端进行评判。决策训练设置训练和考核2个模式，可实现对受训人员的培训和考核。硬件部分主要由进行了特殊设计的智能枪支和战术背心构成，可实现虚实结合训练功能。最终通过综合性软硬件技术建成以高原作战为背景的、基于团队协作和移动式MR的高仿真战现场急救训练平台。本平台可提供战术背景下对敌战斗、伤员产生、实施救治、完成战术任务的全流程体验。平台整体架构图如图1所示。

图1 高仿真战现场急救训练平台架构图

2 具体设计

2.1 导控软件的建立

导控软件采用客户端/服务器（Client/Server，C/S）架构、自定义C++服务器、MySQL数据库和虚幻引擎UE4进行开发，包括训练科目设置、训练指导和观摩、训练考核评估、未来拓展等4个功能模块。（1）训练科目设置功能。根据训练需求创建训练场景，包括场景设定、任务目标、完成时限、参与人数、难度系数等，可具体针对不同层次教学对象和参训人员情况灵活设置训练任务及要求。（2）训练指导和观摩功能。训练全过程都可通过综合显示屏显示，教员可根据需要实时切换不同受训人员的操作界面，也可通过上帝视角，显示训练过程中多人协作救治场景整体界面，满足教员对训练过程的观摩、指导、示教和教学需求。（3）训练考核评估功能。采用人工智能和后台观察端相结合的方式，从团队协作、完成战术任务、完成救治任务3个方面进行综合评价，提供训练整体效果分析。（4）未来拓展功能。考虑到未来修改完善、新功能增加以及战伤救治训练不断发展的需求，提供可拓展升级功能。

2.2 战现场急救决策软件的建立

战现场急救决策软件采用MR、VR、仿真建模、空间定锚共享和定锚修订算法等核心技术分步骤进行开发，结合战现场急救决策流程和步骤，利用虚幻引擎UE4提供的可视化图形编辑环境进行软件编程。战现场急救决策软件包括3D伤员模拟、战场地理环境3D模拟、战斗场景3D模拟、团队协作和急救决策模拟4个功能模块。（1）3D伤员模拟功能：根据急救训练设定进行伤员模拟，提供伤员受伤后的状态、伤口形态以及动态伤情呈现等模拟功能。（2）战场地理环境3D模拟功能：以我军重要战略方向为牵引进行高原高寒特殊作战环境模拟，提供高原地形、地貌、地物、气候、水文等模拟功能。（3）战斗场景3D模拟功能：针对战术背景和战救训练相结合的需求进行战斗场景模拟，提供战斗人物、武器装备、战斗协同、战斗氛围等模拟功能。（4）团队协作和急救决策模拟功能：根据训练核心目的进行团队协作完成救治任务模拟，提供战术背景下组织指挥和团队协作决策、火线救治决策、救治时机决策、伤情评估、伤情判断、救治器材选择、救治实施等模拟功能。具体设计如下。

2.2.1 建立战现场自救互救决策架构体系

根据战现场自救互救决策模拟训练需求及救治流程，综合考量复杂战术背景及随机伤情下不同救治方式决策、不同救治阶段决策、战术决策、团队组织指挥与协作决策等训练要点，形成从伤员产生—火线抢救—伤情评估—现场急救的自救互救决策训练体系流程（如图2所示），为后续的软件构建提供理论支撑。

图2 战现场自救互救决策训练体系流程图

2.2.2 建立3D伤情数据库

根据现代战伤流行病学特点，确定了四肢大出血、气道阻塞、张力性气胸、开放性气胸、颌面部烧伤、肠脱出、开放性骨折、闭合性骨折8种核心伤情[14-17]。其中，前4种为导致可预防战伤死亡的主要伤情[18-19]，是战现场急救的重点内容；后4种为战场上比较常见的伤情[18-19]，需要进行强化训练。

伤情种类确定后，通过3D次世代建模技术进行伤情的高仿真模拟，对创面的大小、形态、颜色进行1∶1高度还原；此外，通过设置动态条件触发和调用不同伤情对应动画来呈现动态伤情，可动态呈现喷射样大出血、呼吸急促等体征（如图3所示）。

图3 3D伤情

2.2.3 战场地理环境3D建模

战场地理环境3D建模一共分成5层，即地形层、地表层、植被层、建筑层和环境层。地形层通过高精度低面还原技术和基于等高线综合的三维地形生成算法生成还原；地表层是在对地表材质进行采样和分析的基础上，采用复合材质球技术进行制作；植被层和建筑层主要根据模拟战场植被情况、训练任务和假想敌目标情况使用3D次世代建模技术进行制作；环境层主要根据训练内容模拟不同的作战时间相对应的真实环境光和天气。基于上述技术模拟高原山口作战的地理环境，包括山脉、河流等地形地物，杂草、灌木等植被，边防哨所、掩体等建筑以及高海拔地区常年被雪覆盖的场景（如图4所示）。

图4 3D战场地理环境

2.2.4 战斗场景3D建模

战斗场景3D建模包括战斗人物、武器装备、战斗协同、战斗氛围营造等。首先，通过3D次世代建模技术构建高精度的士兵、战斗武器、装甲车辆等模型；模型构建完成后，基于VR定位追踪系统运行变量和条件判定模拟物体状态参数，再通过该系统运算生成动画；最后，通过动画同步系统同步真实世界士兵动作和虚拟世界士兵显示动作，我军士兵通过MR装备采集数据进行匹配，敌方士兵通过人工智能系统根据训练脚本进行动作控制完成3D动画显示。基于上述步骤，模拟具体战斗环境，包括作战士兵、装备、车辆以及战场常见的爆炸场景，同时建立匹配战斗的敌我士兵行走、跑步、射击等数十套动画，并通过背心、武器等智能设备进行肢体运动捕捉，在动画同步和人工智能系统支撑下最终能达到真实世界和虚拟世界士兵动作同步（如图5所示）。

图5 3D战斗场景

2.2.5 虚实结合技术的开发

虚实结合技术主要包括3D模拟伤情虚实重叠和伤员产生虚实同步，通过在伤情模拟的软件程序中设置控制智能硬件对象的参数及电信号触发条件，同时设置对应硬件，使其在实际应用中将自身状态参数更新上传给软件系统，从而实现软硬件对象状态参数与实际保持同步，达到虚拟世界和现实世界伤员产生同步，且3D模拟伤情可以覆盖在真实世界的伤员身上。

2.2.6 可移动大空间团队协作和虚拟交互系统开发

为实现大空间内团队协同训练且现实世界和虚拟世界同步，借助空间定锚共享核心技术，辅以定锚修订算法将所有人的虚拟世界根点锚定到现实世界的定锚点上，使处于不同空间位置的人相对虚拟空间位置和现实空间位置完成无误差的多人交互。在此基础上，再结合内向外追踪定位方法和先进的便携式计算机计算单元，开发适用于高仿真战现场急救训练平台的大空间团队协作和虚拟交互系统。

2.3 虚实结合的智能硬件开发

通过定制仿制实物，在实物表面通过信息数据覆盖和定位器连接技术以及MR、VR等技术开发可实现虚实结合的智能枪支和智能战术背心。智能枪支弹夹底部安装触摸感应器，射击时拍击弹夹底部进行更换弹夹模拟；枪支内部安装伺服电动机并进行专门电路设计，每次射击都会产生电磁机械模拟撞击，通过撞击产生6 N/cm2的力，由枪身传递给身体从而实现后坐力模拟。智能战术背心通过数据传输实现高仿真被击中模拟。在背心上安装了6组力反馈机构，虚拟世界的人物模型上有相对应的6组碰撞体，当碰撞体被虚拟射击命中以后通过433 MHz加密数据无线通信控制力反馈震动电动机发生震动，震动的部位和虚拟世界人物模型被击中部位相同。智能硬件如图6所示。

图6 智能硬件

3 应用效果

本平台已于2020年6月17日完成了现场安装和运行调试工作，并于2020年7月投入到某大学2017级本科学员战伤救治实训课程中使用，用于训练学员战术背景下战现场急救决策能力和团队协作能力，如图7所示。从使用效果看，本平台大大地提升了学员的学习兴趣，从课程结束后的问卷调查结果看，95.87%的学员认为在课程中使用仿真模拟、MR等训练手段有助于提升学员的学习积极性和参与度；98.35%的学员认为仿真模拟训练方法与传统的实践课训练方法相比能更好地提高救治技能水平。从反馈的平台训练体验效果看，大部分学员普遍认为本平台模拟的紧张的战术氛围、情景化和全流程的体验可以激发起学员的行为和思维反应，锻炼其快速反应能力和心理承受能力，具有实战背景模拟逼真、沉浸体验感强、训练针对性强等独特优势，这是常规的军事训练手段难以达到的效果。

图7 高仿真战现场急救训练平台应用场景

4 讨论

4.1 本平台强化了虚实结合的沉浸式训练和感知效果，能最大限度地贴近实战进行培训

本平台在MR等技术的支持下，一是解决了战伤自救互救训练战术背景与救治脱离的问题。美军的成功经验显示，将战术和救治结合的战现场急救策略使得伊拉克和阿富汗战争中伤员死亡率降至历史最低点[20]。战术与救治脱离一直是我军自救互救训练的难点问题，这将使训练效果无法有效地转化为战救的实际能力。本研究通过MR技术等将真实的战场环境还原到平时的训练中，并且紧密结合陆军主要战略方向，构建了作战的战术背景，以进一步聚焦实战练兵。二是虚实结合智能硬件和技术的开发大大增加了学习体验的真实感。Pantelidis等[21]、Bridget[22]指出AR、VR技术虽然已经在教育领域取得了重大进展，但仍然需要在优化处理器性能、提高分辨力和发明更先进的触觉设备等方面寻求突破，以实现高仿真的学习环境。本研究主要使用的MR技术充分吸收了VR和AR的优点，并且通过枪支、背心等智能硬件以及伤情实时同步和多人作战虚实协同技术的开发，打通了现实世界和虚拟世界之间的多条通道，将虚实学习空间有机融合，使得学习的沉浸感更加真实，从而使学员难辨真假，为其有效学习、体验提供了保障。三是深度互动的数字学习环境有助于提升训练效果。本平台创建的虚拟仿真、沉浸式体验和交互性的数字学习环境将知识从书本中提炼出来、从PPT及二维图像中跳跃出来，以3D视觉和情景化等方式呈现在学员眼前，变被动式学习为交互探索式学习，可弥补二维可视化困难的不足、增加学习的趣味性，更重要的是让学员沉浸其中自主互动，将知识点以更高效的方式传授给学员，这些都是传统课堂所不具备的。

4.2 本平台重在进行战现场救治决策及团队协作能力训练

Judith等[23]认为21世纪学习者所需要的重要技能如系统思维、创造力、抽象思维等很难教授，但VR等提供的身临其境的体验在应对这些教育挑战时可以发挥独特的作用。战现场急救决策能力的高低直接关系救治的成败，而决策思维是一种逻辑抽象能力，这种能力的教授和培养是目前面临的训练难点。本平台借助MR和人工智能等技术，将抽象的知识点具体化，将战现场急救中出现的各种可能及救治的关键点组合设置并与战术背景结合，在学员体验过程中设计不同复杂情况下救治以训练其决策思维。Azimi等[3]研究发现，使用MR技术进行医疗救治流程团队培训，可缩短训练人员完成救治任务的时间，并提高训练人员进行紧急和危重救治的信心。本平台通过构建可移动大空间团队协作和虚拟交互系统等，可提供团队协作全流程救治培训。众所周知，战伤救治讲究的是团队协作，单个战救技术水平的提高并不能形成战救的综合能力。建立针对团队的模拟战伤救治训练平台，开展结合战场环境的团队协作训练，可提高战救训练的实战化水平，并最终提高战伤救治水平。

5 结语

本平台是科技新兴技术应用于军事训练的又一实践，其建立实现了战术背景与战救技术训练相结合、现场救治决策和团队协作训练，是推进实战化训练、促进战斗力生成的实际举措。但是受限于当前对MR等技术开发的程度等，本平台还需要在以下几个方面进行改进：（1）8种3D伤情的设定是依据现代战伤流行病学特征及规律分析救治需求所得，均是战现场急救的重点内容，但伤情设置涵盖不够全面，后期会在平台升级中根据训练目的增加不同部位伤伤情。（2）虚实结合技术尚需进一步开发，以达到虚拟世界和现实世界相互交织、难以分辨的训练体验效果。（3）平台硬件设备多、充电要求高且展开复杂，不便于平时训练的展开，下一步需要在硬件设备性能与便携化上做进一步改进。（4）平台虽已投入使用但还在根据应用反馈完善和调试，所以目前对于平台的应用效果评估偏简单，待平台成熟后会进行相应的量化评估。可以预见，未来随着计算机等硬件设备处理能力的提高、MR等新技术的深度开发以及人们对科技信息领域与教育训练领域交叉融合研究的不断深入，本平台将得到不断完善，对于实战化军事训练的助力也将更进一步提升。