AR 远程指导系统在抗击新型冠状病毒肺炎疫情中的临床应用

肖若秀，鲁媛媛，何昆仑*，李俊来*，王 亮，常秀娟，宋海晶，张 颖，王 军，秦 屹，贾晓黎，刘 晶0，赵 雷，陈 鹏，叶哲伟，左秀然，唐金海，宋景春，刘 伟，贡立军，聂玉胜

（1.北京科技大学计算机与通信工程学院，北京100083；2.解放军总医院，北京100853；3.河北省胸科医院，石家庄050041；4.解放军总医院第五医学中心，北京100039；5.战略支援部队特色医学中心，北京100105；6.解放军总医院第八医学中心，北京100039；7.陆军第82 集团军医院，河北保定071051；8.中国康复研究中心北京博爱医院，北京100068；9.西安交通大学第二附属医院，西安710004；10.大连医科大学附属第一医院，辽宁大连116021；11.华中科技大学同济医学院附属协和医院，武汉430022；12.湖北省公安县人民医院，湖北公安434399；13.华中科技大学同济医学院附属武汉中心医院，武汉430014；14.南京医科大学第一附属医院，南京210029；15.联勤保障部队第908 医院，南昌330002；16.北京维卓致远医疗科技发展有限责任公司，北京100070；17.首都医科大学附属北京朝阳医院，北京100043）

0 引言

新型冠状病毒肺炎（COVID-19，以下简称“新冠肺炎”）[1-2]是一种新型呼吸道传染病。自2019 年12月以来，新冠肺炎已在我国大部分省市、世界多个国家迅速传播[3-4]。北京时间2020 年1 月30 日，世界卫生组织（World Health Organization，WHO）正式宣布新冠肺炎疫情为国际关注的突发公共卫生事件[5]。截至2020 年3 月12 日16 时，中国累计确诊80 981 例，累计死亡3 173 例，疫情防控形势十分严峻[4，6]。强传染性是此次疫情的重要特征之一[7-10]。由于时间紧迫，在新型冠状病毒各项研究开展的同时，如何最大限度地减少与病源接触成为本次抗疫的迫切需求。

增强现实（augmented reality，AR）是一种通过将计算机绘制的虚拟信息叠加在真实场景中的技术，能够提升用户对真实世界的感知和指导体验[11]。目前，AR 技术已广泛应用于军事、医疗、工业、教育等领域[12]。如美军最新研究表明，通过远程AR 手术指导系统可以使非医学专家在5 min 内完成髂血管手术[13]。在未来的多领域战场概念及远程和分散作战的情况下，AR 技术能够提高伤员的生存率和保肢率[14]。AR 远程指导系统作为最早研发并投入使用的“智慧抗疫”系列产品之一，着重解决此次疫情的医患传播痛点问题，通过音视频传输和AR 实时视频融合技术，实现污染区一线值班医护人员与清洁区医护人员、工程师等技术人员对同一动态视野或场景进行高效、直观、精确的指导，有效降低了医源性交叉感染风险，节省了防疫物资消耗，提高了诊疗效率。

为更好地将智能医学应用于疫情防控，高效提升疫情防控效果并加速社会秩序恢复，有效控制疫情进一步扩散或复发，本文收集并整理了全国多地抗疫一线医院的AR 远程指导系统的临床应用资料，以期为COVID-19 相关防控及治疗提供参考，为开展下一步的科学研究提供临床资料。

1 系统组成及应用优势

1.1 系统组成

AR 远程指导系统由北京科技大学与北京维卓致远医疗科技发展有限责任公司共同研发，系统由硬件、软件和无线传输网络3 个部分组成。其中，硬件主要包括：（1）指导端的可采集专家指导方案视频的个人计算机或移动平板计算机；（2）被指导端的移动平板计算机。软件包括语音传输模块、视频融合模块（指导端与被指导端的视频融合）和指导端的画笔勾画模块（可选择不同颜色、形态的画笔）。无线传输网络选择通信服务商的4G/5G 网卡。

AR 远程指导系统的工作流程如下：

（1）采集本地移动平板计算机（被指导端）上摄像头获得的视频图像信息发送到远程指导端专家的屏幕上。（2）专家根据指导端屏幕上的实况图像在指导区域用手势或指导笔在空白背景中标注指导方案。指导区域由专业摄像机同步采集图像，并将信息同步发送回本地的被指导端。（3）在移动平板计算机上通过图像融合技术将返回的指导端图像和本地的被指导端采集的实况图像进行融合，实现可以同时看到专家指导信息和被指导端的真实场景图像，即AR 的虚实融合，如图1、2 所示。

图1 远程专家会诊场景

图2 医疗设备参数调节场景

1.2 应用优势

（1）零接触。远程专家无需进入隔离病区，可避免接触传染。

（2）便携性。本系统可在救治现场将远程专家的指导意见传递给每位患者。

（3）便于操作。用语音、手势或软件画笔工具等实现指导端与被指导端视野中的实时交流，尤其是在操作人员身穿防护服语音交流有障碍时更显现出优势。

（4）协作指导低延迟。双方进行实时音视频沟通，远程专家可同步观察救治现场的诊疗情况。

（5）网络条件易满足。对使用环境没有特殊要求，4G 网络下开机即可使用，无需施工部署。

（6）安全性强。云服务器可根据院方服务要求提供院私有云部署，数据信息安全、可控。

2 资料与方法

2.1 资料

采集使用AR 远程指导系统的新冠肺炎患者收治医院，包括解放军总医院第一医学中心、解放军总医院第五医学中心、战略支援部队特色医学中心、解放军总医院海南医院、河北省胸科医院、西安交通大学第二附属医院、陆军第82 集团军医院、空军军医大学第二附属医院、江苏省人民医院、华中科技大学同济医学院附属武汉中心医院、华中科技大学同济医学院附属协和医院、武汉火神山医院、武汉雷神山医院、大连医科大学附属第一医院、宁波市第一医院、湖北省公安县人民医院、中国康复研究中心北京博爱医院、首都医科大学附属北京朝阳医院、联勤保障部队第908 医院，共19 家医院，涵盖了我国9 个省/直辖市。

使用人群主要包括：（1）医疗人员：值班、主管等一线医生及护士；本院或上级医院医疗专家；本院及上级医院多学科会诊医生等。（2）非医疗人员：建筑工程人员、设备调控技术人员；管道线路检查人员等。

2.2 评价指标

收集云服务器的使用频次、时间及地域，被指导端记录系统操作的具体内容及使用结果（问题解决与否）。

评价指标：（1）是否完成医疗远程指导（包括医生指导、护理指导和非医疗指导）；（2）是否减少了工作人员出入污染病区的次数，避免了交叉感染；（3）是否降低了隔离服、口罩等防疫物资的消耗。

2.3 统计学方法

应用SPSS 25.0 软件并采用描述性统计方法对原始数据进行统计学分析与处理。计数资料以例（%）表示，根据地域、人员及任务类型等分类进行统计、描述和分析。

3 调查结果

3.1 临床应用数据

本系统自2020 年1 月28 日至2 月15 日正式在19 家医院内投入使用，其中湖北省武汉市使用医院共5 家，如图3 所示。截至2020 年3 月12 日，本系统每日最低使用频次为3 次/d，最高使用频次为18 次/d，共计使用频次2 201 次。其中，医生指导、护理指导以及非医疗指导使用频次分别为328次、436 次和1 437 次，非医疗指导使用频率显著高于医生指导和护理指导。以本系统每次使用减少1套防护用品（1 件防护服、1 个口罩和1 副医用护目镜）来计算，共计减少使用防护用品6 603 件；以每次操作平均节约工作人员时间成本30 min 计算（包括穿脱防护装备时间、路程时间等），共节约时间成本1 100.5 h；减少与确诊患者密切接触次数＞2 201 次。

图3 AR 远程指导系统的使用地区及数量分布图

3.2 临床应用具体场景

此次疫情中AR 远程指导系统具体应用场景主要包括：（1）医生指导：气管插管（48 次，2.18%）、外科操作（29 次，1.32%）、内科检查（132 次，6.00%）、检验操作（99 次，4.50%）、本院多学科协同会诊（9 次，0.41%）、院内专家会诊（11 次，0.50%）。详见表1。（2）护理指导：呼吸机使用（132 次，6.00%）、医疗设备参数调节（255 次，11.59%）、吸痰（38 次，1.73%）、导尿（2 次，0.09%）、清创（9 次，0.41%）。详见表2。（3）非医疗指导：病房内管线巡检（733 次，33.30%）、非医疗设备参数设置（496 次，22.54%）、医院建设中远程部署（38 次，1.73%）、医疗人员保障服务（170 次，7.72%）。详见表3。

表1 医生指导使用统计结果（n=328）

表2 护理指导使用统计结果（n=436）

表3 非医疗指导使用统计结果（n=1 437）

由表1～3 可知，使用次数最多的是病房内管线巡检，占总使用次数的33.30%，成功率高达99.73%；使用次数最少的是护理指导中的导尿操作，仅占总使用次数的0.09%。在护理指导中，以医疗设备参数调节为主要需求，常规基础护理操作使用次数相对较少。3 类指导使用率之间的比较为非医疗指导（65.29%）＞护理指导（19.81%）＞医生指导（14.90%），指导成功率之间的比较为非医疗指导成功率（98.89%）＞护理指导成功率（97.48%）＞医生指导成功率（79.27%），如图4 所示。

图4 医生指导、护理指导和非医疗指导使用次数及指导成功次数统计图

AR 远程指导系统涉及多地、多家医院，各医院情况差异大，部分操作是根据医院实际需要提出的指定性服务需求，例如多学科协同会诊、专家会诊、医院建设中远程部署（管线维护或建设施工）等，但本系统未对其他可能涉及的服务需求提出使用意见或说明，这必然会造成一定程度的限制和阻碍。同时，AR 远程指导系统作为新应用的信息化系统，大多数医院未对其建立完善的医疗使用流程，当需要处理应急情况时，可能不能及时、有效地得到相关人员的指导，从而造成指导操作的局限性。另外，本研究中发现，使用了本系统的人员，尤其是使用频次较多的医护人员，在后续治疗中更倾向于选择使用本系统。这说明使用习惯等因素都会影响到相关人员对本系统的使用。

4 讨论

大数据、人工智能、5G 通信及云计算等技术的重要性在此次疫情中被进一步认知，从新冠肺炎疫情的分析预测、实时查询、精准摸排密切接触人员，到辅助资源的调度与防控决策，各项高新技术都做出了卓越贡献。

新冠肺炎疫情期间，污染区与清洁区之间医护人员的交流、院内会诊指导和非医疗指导（临时救治医院的建设、医疗机构的生活服务保障等）呈暴发式增长。受到地域、防疫措施等因素的限制，很多医学专家无法到达现场进行医疗指导。同时，突如其来的新冠肺炎疫情造成了短时间内防护服、口罩和医用护目镜等防护用品的短缺。如何降低院内感染风险，有效避免患者和医务工作者的交叉感染成为了医学研究的重要任务之一。由于支援医疗队来自四面八方，同一个病区经常由不同口音的医务人员共同管理，这无疑增加了沟通难度。因此，手势、文字等简明扼要的远程指导方式必不可少。在传统的基于音视频传输技术的远程会诊系统中，指导端的专家只能不断地通过语言和手势动作指导实际操作人员，无法直观地将信息传递到操作人员的视野中，这就要求操作人员具备极强的专业知识和领悟能力。而AR技术能够将指导端专家的手势、标记等图像信息，通过图像融合的形式直接叠加到被指导端操作人员的屏幕上，使操作人员不仅能看到实际场景中的真实信息，还能看到指导专家的手势信息。这种方式非常直观，在此次抗击新冠肺炎疫情的救治中（无论是专业的医生指导和护理指导，还是复杂的非医疗指导）有效降低了沟通成本，有利于组织和实施跨地域、跨学科的联合救治。

从此次疫情中的实际临床应用效果来看，AR 远程指导系统在非医疗指导及护理方面的医疗指导上体现出了高使用量及高成功率，充分验证了AR 远程指导功能在操作指导上的可行性及稳定性。在医生指导方面，内科检查指导占比最高。这是由于新冠肺炎患者以呼吸内科病症表现为主，且病情多变，而患者年龄跨度大，基础病变复杂，对呼吸症状的病因及病情变化需要结合多项检查指标及视、触、听诊等情况。在护理指导方面，以呼吸机的使用及医疗设备参数调节的使用频次最高，这些均与新冠肺炎的症状特点相符合。

由图4 可以看出，非医疗指导的使用频次和成功次数均高于其他2 种指导需求。究其原因，主要有以下几点：（1）本研究采集的数据以院方非医疗指定性需求为主。（2）AR 远程指导系统采用的是新型、智能诊疗方式，在使用中会受到医护人员对系统操作熟悉程度、使用习惯等主观因素的影响，这在一定程度上限制了医疗指导的应用。（3）AR 远程指导系统是针对此次疫情研发的应急产品，存在医疗指导流程不够完善而影响指导效果的情况。由表1～3 可知，AR 远程指导系统的医疗指导种类还是相对单一，且以基础类操作为主，所以还难以确定本系统在医疗指导应用中的优劣势。下一步需要在系统的应用诊疗流程（指导端与被指导端配合机制）、使用培训、试用体验等方面逐步完善，使系统价值得到更有效的发挥。

目前，在整体的医疗支援中，AR 远程指导系统无论是在医疗指导还是非医疗指导方面，均表现出了较高的使用价值。本系统的应用不仅大幅降低了医护人员的感染风险，控制了疫情传播，实现了全国各地专家与疫区医院一线医务人员共同救治患者和对疫区工作的远程支援，还明显降低了医护人员反复出入污染区的频次，节省了大量防疫物资消耗及防护用品的穿戴时间。同时，系统实时、直观的“手把手”临床指导大大提高了诊疗效率，提升了患者的治疗效果。

值得一提的是，AR 远程指导系统的硬件、软件及云服务平台都完全是在国产设备上进行开发的，为我国实现关键核心技术自主可控、安全可信的科技产品国产化做出了典型应用示范。

虽然AR 远程指导系统的应用取得了良好效果，但是仍然存在一些局限性。如实时交互功能是本系统的突出优势，但相比于非医疗指导和护理指导的高使用率及成功率，医生指导的使用频次及成功率较低。究其原因，医生进行交互指导时，难度较大的技术类指导难以在短时间内成功实现。另一方面，AR 远程指导系统在使用过程中出现电量不足而无法连接的情况，所以需要专人对系统进行管理和维护，避免因此类原因造成指导失败。从长远来看，本系统可以进一步增加交互功能，使指导端专家可以通过人工智能技术实时对被指导端获取的视频图像信息进行分析并得到反馈；通过可穿戴设备将患者的生理数据在系统内进行实时显示，使医生会诊过程中得到更全面的信息以支持其决策；从信号稳定性、视频清晰度、便携性以及多视角探查方面，结合会诊实际需求，对医生会诊功能持续优化。

4 结语

本研究通过对AR 远程指导系统的临床应用进行分析，证明了本系统在新冠肺炎这种突发性、暴发式传染性疾病上具有较高的使用价值。AR 远程指导系统不仅可以减少医疗防疫物资损耗、降低医源性感染风险，还可以利用精准的实时指导功能使年轻的医护人员快速掌握临床技能、应对临床突发问题，从而达到快速提升临床医护人员救治效能的目的，具有广阔的应用前景。