基于“元宇宙”概念开发的MR虚拟医学手术模拟实验

郑景南 余淑婷 何晓昀 江锦锐 黄雨涛

摘  要：本文将元宇宙概念运用到医学手术模拟实验上，设计了一种将MR眼镜、虚实交互的外骨骼手套和感应手术用具结合起来，供医学生以及实习医生练习的MR医学手术模拟实验系统。系统可模拟真实手术环境效果，对操作者在实验操作过程进行评价和提供改进建议，缩短医学生的实习周期，解决医学生缺少实操机会的痛点

关键词：元宇宙;虚拟模拟;虚实交互;MR;5G

1、引言：

随着社会人口的增加，社会医疗需求量也日益增加，但手术医生、医学生实习周期长，且大部分缺少实操机会，对医学生而言，上课模式单一，缺乏手术接触机会，极少部分有机会通过“大体老师”进行相对应的模拟解剖实验，而“大体老师”数量供应少且缺乏真实病理反馈，与真实手术参数相差甚远，是否能有一款产品能为他们解决这一系列问题呢？

元宇宙，即Metaverse，即meta（超越）+universe（宇宙）的结合。在 2021 年之前，元宇宙仅仅只是一个科幻概念。1992 年， 美国著名科幻大师 Neal Stephenson 在其小说《雪崩（Snow Crash）》中描述元宇宙：“戴上耳机 和目镜，找到连接终端，就能够以虚拟分身的方式进入由计算机模拟、与真实世界平行的虚拟空间。” [1]近年来，国家提出大力发展“元宇宙”概念科技，元宇宙可以理解为人类意识中的虚拟世界，而维基百科对元宇宙定义更符合当下社会技术不断发展的情境，即通过虚拟增强的物理现实，呈现收敛性和物理持久性特征，基于未来互联网，具有链接感知和共享特征的3D虚拟空间[2]。MR作为“元宇宙”概念之一的科技，也随着时代背景突飞猛进。MR将真实场景与虚拟场景进行融合，通过混合叠加的呈现方式让用户可以真实地感受到交互和体验[3]。从市场上看，该技术在未来的市场上有很大的前景，而且该系统不仅适合见习医生提前进行手术模拟，适应手术状态下心理以及面对手术情况下的应变还可以积攒经验使手术流程更得心应手，还可适用于医学生上课模拟实操练习、开拓教学方式、提交教学水平，提高医学生水平为医学界提供更高质量的医生，市场前景广阔，其商业价值以及社会价值巨大。

2、系统组成：

为解决医学生、实习医生缺少真实手术实操机会的问题，改变医学课程传统单一授课模式，增加学生模拟手术实践的机会。本文提出通过MR混合现实技术配合MR外设，达到模拟手术实验目的。具体实施方案是在电脑端模拟构建一个手术环境与模拟病人，利用MR眼镜与3D可视化相结合，通过MR虚拟手套实现交互。将手术场景融入虚拟操作中，该产品由硬件和软件结合，通过5G的URLLC技术传输数据，减小操作延迟，由MR虚拟手套模拟掌握手术器械，通过MR眼鏡链接所配套的虚拟软件进入模拟手术系统，在MR虚拟眼镜可以全方面的观察到手术的整个过程，配合外骨骼手套开始模拟病人不同病理的手术情况，

如图所示，该系统主要由电脑端，MR眼镜和MR外设设备三部分构成。

操作者在使用过程中，需要佩戴外骨骼手套和MR眼镜，其中外骨骼手套用于感知操作者的手指动作，MR眼镜采用HoloLens2作为显示端，连接电脑端展示出虚拟场景。

该系统将外骨骼手套的操作以及MR眼镜的数据传送到电脑，通过电脑模拟出病人的反馈，高度的URLLC通信技术减小了信号延迟并增加了操作灵敏度，使整个操作更接近真实情况。操作者每次操作都能及时收到反馈以及在进行切割等操作时会及时感受到不同的压力感受，超低的延迟以及高灵敏度真实的还原了手术时对应的操作感受，使操作者真实体验到手术操作。

HoloLens2模拟显示手术虚拟场景，配合MR外设设备和机械外骨骼手套以及自主研发的感应手术用具与内容端连接，通过3D建模与渲染技术、人体动作捕捉技术、物体三维重建技术等构建一个真实的手术环境。操作者将在MR眼镜看到一个模拟真实手术过程。

3、功能模块：

系统总体可分为四大模块：手术环境模拟模块、虚实交互操作模块、5G数据传输模块、数据存储模块。工作流程如下：在电脑上构建虚拟的手术环境，操作者佩戴MR眼镜观察模拟手术环境，通过机械外骨骼手套进行手术操作，实验结束后将得出实验操作数据并储存。

3.1 手术环境模拟模块

该模块将其称为内容端，其作用是在混合现实中构建一个手术环境包括手术台以及病人，使操作者在HoloLens2 MR眼镜中可以看到一个模拟真实的手术环境以及病人。内容端课根据需要选择不同年龄段或者病理的病人进行模拟实验，并对操作者通过外设装备进行操作时做出正确反馈。

3.2 5G数据传输模块

如果要使整个操作更接近真实情况，必须要减少通信延迟。本文采用URLLC通信技术解决通信延时的问题，URLLC通信技术是5G通信中三大核心技术中是网络切片技术中的一种，超高可靠性低时延通信（URLLC）是3GPP组织提出的下一代移动通信场景中的三大场景之一[4]，其目的就是解决网络数据在传输时的延迟问题，对比起4G技术实现飞跃性提升。该技术已经运用了很多场景如：无人驾驶、远程操控、工业自动化等一系列领域。

3.3 虚实交互操作模块

虚实交互模块是连接现实与虚拟的桥梁，通过外设装备进行操作实现在虚拟中的一系列操作，增强现实的发展方向大部分都集中在视觉领域，常见的显示终端有 PC 端屏幕显示器、移动端屏幕显示器以及投影显示设备等。在穿戴式设备中，主要有头盔显示器以及眼镜显示设备，而头盔显示器又可以细分为投影式头盔显示器、自由曲面头盔显示器等按照对硬件的依赖程度，增强现实交互技术大致可划分为两种，第一种是仅利用图像输入设备获取视频流或图像，根据系统设计对目标进行识别和注册，从而获取自然场景中的目标，实现交互;第二种是借助如数据手套、穿戴式传感设备等来辅助目标的检测和识别，同时可以对用户的指令以硬件传感的方式进行检测。[5]为此我们选择第二种虚实交互模块通过Dexta Robotics机械外骨骼手套以及我们自主研发的感应手术用具，通过这些外设装备进行虚实交互，通过5G数据传输模块进行与手术环境模拟模块的连接，达到可在虚实环境中进行手术不同操作的目的。

3.4 数据存储模块

该模块将储存海量的病理数据，不同的模拟手术供操作者模拟实验数据。这个模块将采用虚拟存储技术，虚拟存储技术是将物理上的存储设备和操作系统中的文件独立开来，在它们之间建立起一个虚拟层。虚拟层将文件系统映射到相应的存储设备上，并对存储设备进行管理与使用。其可以应用于远程医学系统中，并且可以解决医学信息的共享问题。[6]操作者实验结束后可通过回看或操作点判断对自己的操作有所了解，之后系统也会对操作过程进行分析、提出评分及改进建议。

4、关键技术问题：

4.1 环境模拟的建模

系统需要模拟多种手术实验以及不同的病理表现，需要庞大的医学数据来模拟不同病理的病人，构建多样性的手术，不同年龄段以及不同身材比例的病人。然后运用3D建模与渲染技术、人体动作捕捉技术、物体三维重建技术等技术构建手术环境，从而实现虚拟中的病人提供虚拟手术实验。

4.2 虚实交互精度问题

在手术中，对医生操作精度以及力度的把控有严格的要求，细微的操作都会改变病人的病理反馈情况，所以对再选择外骨骼操作手套需要对其精度有一定的要求，不仅需要灵敏度高并且需要有压力反馈，使操作者触感与真实手术相似。本文采用Dexta Robotics机械外骨骼手套单个装有5个力反馈装置，11个动作捕捉传感器，可捕捉11个自由度手部动作，并且还引入旋转检测，能最大程度灵活捕捉手部动作，高度定制的伺服电机，先进的控制算法，与其他产品对比其精度更高，其电机可产生5kg.cm的扭矩，延迟更低，延迟仅为25ms。

4.3操作延迟问题

操作者每一步操作以及所带来的反馈应该做到低延迟，从而使整个手术流程流畅，形成良好的操作体验。本文引入5G模块与MR进行结合传统移动通信工作的频段都保持在 2 GHz 之内，频谱相对较为拥挤，宽带很容易会受到限制。而 5G 技术会使工作频段上升，其宽带宽度会随之拓展，频谱资源宽度会更加理想，可以有效消除工作频谱过于紧张的问题，能够为信息的远距离高速运输提供可靠支持。[7]5G中的URLLC场景是5G的三大典型应用场景之一，其子载波间隔优点在于：5G网络在FR1频段支持15 kHz、30 kHz、60 kHz三种业务信道子载波间隔，在FR2频段支持60 kHz、120 kHz两种业务信道子载波间隔，子载波间隔越大，网络低时延优势越明显。

5、结语：

本文将通过MR眼镜、MR外设设备、内容端等相结合模拟真实手术环境，使操作者从视觉、触觉、心理等方面体验真正的手术环境，通过虚拟的病人进行实操，熟悉手术步骤以及面对突发情况时的应对措施，不仅开拓多元的医学教学模式也为实习医生提供操作训练机会，缩短实习周期，解决医学生缺少实操机会的痛点。

参考文献

[1]方凌智，沈煌南.技术和文明的变迁——元宇宙的概念研究[J].产业经济评论，2022（01）：

[2]李曦子. 脸书入局的元宇宙是什么？[N]. 国际金融报，2021-08-02（004）.

[3]俞科峰.基于5G网络与云计算构建MR云的研究与探讨[J].广东通信技术，2021，41（08）：36-40.

[4]马晓莹，王志欣，卢忠青.超高可靠性低时延通信的资源优化分配研究[J].数字通信世界，2021（09）：3-5.

[5]李腾飞. 增強现实虚实交互技术的研究与实现[D].沈阳工业大学，2019.

[6]李敏，王保华，郑豪杰.医学信息的虚拟存储及其系统模型的构建[J].上海生物医学工程，2003（01）：5-9.

项目基金：2020年国家级大学生创新创业训练计划项目（202013720001），2019年广东理工学院大学生创新创业扶持基金项目（01），广东理工学院在线开放课程应用（ZXKCYY2019012），2021年广东省科技创新战略专项基金项目（pdjh2021b0594）2020年国家级大学生创新创业训练计划项目（202013720001），2019年广东理工学院大学生创新创业扶持基金项目（01），广东理工学院在线开放课程应用（ZXKCYY2019012），2021年广东省科技创新战略专项基金项目（pdjh2021b0594）