基于5G+VR的手术仿真交互技术的应用

祝忆春 赵 晖 徐培哲 中国联合网络通信有限公司江西省分公司 南昌市 330000

1 心血管疾病现状

心血管疾病严重威胁人民群众的身心健康。心脑血管疾病具有“发病率高、致残率高、死亡率高、复发率高，并发症多”的特点，我国心脑血管疾病患者已经超过2.7亿人，我国每年死于心脑血管疾病近300万人，占我国每年总死亡病因的51%。而幸存下来的患者75%不同程度丧失劳动能力，40%重残。

血管介入手术是其重要治疗方法之一，随着介入治疗在临床上的普及，越来越多的医生开始接触学习介入手术技术。然而介入手术复杂，病人病情不一，手术并发症多，需要术者技术高超、经验丰富。从事血管内操作的专科（如血管外科、介入心脏病学和心胸外科、神经外科）包含很多微创手术操作，要求术者具备影像（如X线透视、超声）辅助下血管内精细操作技能及视觉空间技能，以进行穿刺活检，导丝、导管插入等血管内和组织内操作。直到今日，复杂和核心的介入技能训练仍主要依靠传统的师徒带教模式，在指导医师监督下学员直接以病人为对象进行侵入性医疗操作的学习和临床实践，这必将增加手术并发症的风险，不利于患者身体健康和生命安全，这种模式面临巨大的风险和挑战。江西省人民医院在探索血管介入手术的教学治疗方面走出了一条不同的道路。

2 江西虚拟现实产业背景

早在2016年2月，全国首个城市级虚拟现实科技产业集群就在南昌揭牌。在VR浪潮的席卷下，江西省开始了对VR产业的大力投入和扶持。这之后，江西省发布了一系列有关“虚拟现实”的政策，《加快推进虚拟现实产业发展的若干措施》《江西省虚拟现实应用推广工作方案》《江西省虚拟现实产业发展规划（2019-2023年）》等。2022年江西省虚拟现实产业链工作推进会召开，随着“元宇宙”概念在全球火爆，VR产业迎来了快速增长期，为我省VR产业发展提供千载难逢的重大机遇。VR是数字经济最具活力的重点产业，2022年江西省委、省政府把推动数字经济发展作为“一号工程”进行部署，提出要分析产业趋势、抢抓战略机遇，把握市场规律、形成带动效应，找准大众需求、开拓应用场景，注重硬件制造、攻克关键技术，强化人才储备、加大研发投入，构建VR生态、形成集群集聚，创新商业模式、创造经济动能，切实增强等不起的紧迫感、慢不得的危机感、坐不住的责任感，以VR产业大突破带动全省数字经济大发展。

江西省人民政府印发了《关于深入推进数字经济做优做强“一号发展工程”的意见》指出，充分认识到深入推进数字经济做优做强“一号发展工程”，密切跟踪“元宇宙”未来趋势，统筹VR、AR（增强现实）、MR（混合现实）发展，支持突破近眼显示、感知交互、渲染处理等核心关键技术，支撑相关软硬件设备取得新突破。实施重大科研攻关项目，形成更多具有自主知识产权的核心技术。推进社会保障、医疗健康、教育就业、交通出行、文化旅游等领域应用场景建设。重点打造“智慧交通”“VR+教育”“VR+培训”“VR+医疗”等具体应用场景。在这样的政策背景下如何应用好VR+医疗提升医疗水平，更好的为人民群众服务，也成为我们探索的重要课题。

3 技术方案

3.1 技术基础

中国联合网络通信有限公司江西省分公司采用先进的5G、云计算、虚拟现实技术相结合，与江西省人民医院联合，将基于5G+VR的云端沉浸式冠脉介入手术仿真交互技术应用与临床，通过VR/MR技术建设快速和自主学习的远程医技训练平台，借VR/MR专科教学和患者教学平台建设的契机，把最先进的VR/MR与医疗进行产学研多点融合，利用江西省在虚拟现实产业方面的优势地位，让VR/MR为医疗产业赋能，驱动产业创新，从而推动江西省医疗产业发展，特别是医师教育、患者宣讲等方面，提升我省专科教学人才培养能力和效率，进一步保障人民的身体健康和生命安全。

项目案例采用基于5G MEC的云VR解决方案，将VR应用部署在MEC上，在MEC上实现VR视频的转码与分发，VR云端实现计算与渲染，终端与云平台之间只需经过基站，一跳可达，传输节点少，时延低，能真正实现毫秒级的端到端时延，保证VR用户良好的业务体验。利用云平台强大的计算能力将计算与渲染放在云端，经过处理的画面编码后通过网络传输至用户VR终端上。云VR引入编解码及传输时延导致整体时延增加，若按照传统渲染技术将难以实现MTP<20ms。因此利用端云异步渲染技术将画面渲染与终端刷新显示这两个过程从串行处理分离成并行处理。程序根据用户最新的姿态信息进行计算与渲染的同时，VR终端将上一次平台传送回来的画面作为基础进行二次投影。

3.2逻辑架构

基于虚拟现实技术，通过云数据传输实现操作者对仿真手术的流程控制。终端与平台之间使用5G网络进行通信。5G技术大带宽特性能够为大体量的高精细度、大分辨率影像数据提供传输支撑。5G低延时以及5G网络本身多连接的特性，为大批量操作者交互提供了有力支撑。大带宽使更大体量的交互数据可以进行同时传输，实现高速加载数据影像等资源，实现计算云端化，实现终端设备轻量化，降低终端设备性能要求，降低终端成本，提升操作者的仿真手术体验。

项目案例采用高仿真环境建模技术，通过广泛的资料收集和数据整理，最终通过计算机三维软件对人体组织相关数据进行建模和还原。采用基于外置体感设备的人机交互技术，通过外置体感设备中陀螺仪传递的转动角速度，红外设备定位的体感设备三维空间位置信息，来定位操作者的整体位置以及识别操作者的姿势和动作。最终与模拟程序产生适当的人机交互，从而模拟整个心血管手术流程。

3.3虚拟仿真教学设计

项目采用计算机图形学的三维数字环境仿真，获取真实手术环境以及人体心血管系统的三维数据，通过高仿真建模环境建模数据实现沉浸式模拟手术环境的构建，使整个模拟环境尽可能贴切真实环境，让操作者能够体验到冠脉介入手术的感觉和气氛。

通过VR技术模拟临床病理的情况、手术流程思维训练和整体手术室环境和虚拟病人，还原临床介入手术的操作流程，结合临床病理影像，操作者虚拟的操作与真实DSA影像对应匹配，最大限度的还原临床实际操作场景。采用先进的5G技术，基于血管介入手术仿真交互系统基础，构建基于5G+云VR架构，以5GMEC解决方案部署仿真手术程序。利用云平台强大的计算能力将计算与渲染放在云端，将经过处理的画面编码后通过5G网络传输至操作者VR终端，以此带给操作者更高的画质和更强的交互感。同时开发了基于微信小程序的虚拟仿真在线学习平台，操作者可利用碎片时间进行心血管相关操作技能的流程训练，通过各种轻交互形式，辅助操作者深化学习记忆，在虚拟现实训练及模拟实训前做好充分的理论基础。建立了完善的仿真手术考核测评体系，评价考核系统在操作者虚拟操作过程中即可进行评价考核，自动生成过程报告，将仿真操作与考核测评相结合，提升整体临床技能。

4 社会经济效益

4.1 5G技术的社会化应用

基于先进的5G技术架构具有大带宽、低延时的特性，能更好的打破时空限制，加之平台标准化软硬件特性，便于向全国范围推广落地。血管介入手术仿真已获得全国英特尔杯，5G绽放杯等多项国家及省级大赛荣誉，得到江西省科技重大专项的扶持，取得了良好的社会影响。

4.2 提升医技能力降低患者手术风险

仿真了介入手术中的关键场景，包括桡动脉穿刺、器械准备、冠脉造影、经皮冠状动脉球囊血管成形术、血管内超声、冠状动脉支架植入术等。经反复的模拟测试，小范围研究认为，住院医师的操作技能显著提高。住院医师的技能在三方面提高明显，包括总操作时间（减少54%）、造影液的用量（下降44%）和X线透视时间（减少了48%）。

4.3 丰富基础医疗教学资源

研发了丰富的课件内容，研究基于外置体感装置的人机交互技术，使用程序在虚拟环境中模拟心血管手术流程。通过三维空间定位装置、视觉跟踪、头部跟踪和姿势识别等技术，提取并分析操作者的动作数据，并通过人机交互技术将动作数据输入计算机，使操作者可以与虚拟环境以及虚拟物体产生互动，并获得相关反馈。最终可以在虚拟环境中操作并模拟冠脉介入手术的相关流程。对仿真操作过程中造影液的使用量、总操作时间、X线透视时间，以及一些临床参数（血管内介入器械的使用情况、支架置入精确度）进行记录收集，自动生成过程报告，建立了完善的虚拟现实在线学习平台，通过在线学习平台进行VR教学课件的管理及分发，使用者可通过平台选择课件，并下载运行。平台会跟踪使用者的操作结果并进行评分，通过运营管理平台进行统计管理。

4.4 标准化数据库和考评系统的建立

搭建的VR沉浸式手术交互应用平台和医疗数据库，将依据手术标准建立高精度仿真虚拟手术环境、手术专业流程、医疗器具、病例等。年轻医生使用平台能反复操作训练，有利于其真正意义上的临床操刀，进而短时间内培养更多合格医疗人才。经验丰富的医生利用平台探索新技术、深化操作步骤。建立了严格标准的考核测评系统，通过生成的测评报告做出客观评价。医生测评达标后再接触真实病患，这充分保证了患者安全。

4.5 研究进展和指导意义

VR/MR作为下一个平台级新型技术领域，将有望颠覆许多现有的应用领域，形成亿万级的市场规模。据研究机构RnR Market Research《虚拟现实医疗服务市场研究报告》，2014-2019年，全球VR/MR医疗服务市场的复合增长率将达19.37%。据高盛测算，至2020年VR/MR医疗领域营收将达到12亿美元，2025年将达到51亿美元。江西VR产业规模已由2018年的42亿元，跃升至2021年的604亿元，通过血管介入手术仿真临床研究可以看出在医疗产业，医疗培训、临床诊疗、医学干预、远程医疗等方面VR/MR都有巨大的应用空间。

高仿真度的血管内介入模拟培训装置能够为血管造影和介入手术提供逼真的实践操作机会。医师能够选择合适的血管内介入器械，在模拟荧光屏上的视觉提示引导下进行介入手术操作。随着虚拟现实技术飞速发展，通过VR/MR技术模拟临床病理的情况、手术流程思维训练和整体手术室环境和虚拟病人，通过建立病例数据库，模拟不同的病例下的手术操作，达到临床术前规划和医学专科培训的效果可以应用VR模拟医学系统进行临床前培训，以减少上述风险，保证患者安全。通过仿真交互应用平台，大幅提升冠心病介入领域培训效率。让基层医院心血管专科医生高效掌握冠脉介入技术，提高基层医疗服务能力与救治水平，达成“大病不出县”的目标。目前已经完成手术教学79期，观看量也突破70万人次。对VR+医疗的普及有极大支持作用，有望推动我国VR应用发展走向新高度。