基于虚拟VR技术的心脏医疗辅助系统的设计与应用

唐　实，任淑霞，王佳欣，王泽宇，贾玉哲，武　帅，徐　昊，阮明哲

（天津工业大学 计算机科学与软件学院，天津　300387）

0　引言

当前医学实践普遍存在高成本、高风险、低复用率等特点[1]。学生动手能力不强，课堂教学乏味枯燥。医生无法短时间确定最优方案，患者对疾病预防特征或健康恢复的知识水平存在误区，导致一些不必要的事故发生。虚拟现实技术可以用作医学教学、新生培训、技能测试、技术学习、手术计划等多方面[2]。可以弥补心脏医学教育和训练的不足，大量减少有损健康、危险的、昂贵的诊断性操作。

1　系统简介

1.1　主要功能

基于虚拟 VR技术的心脏医疗辅助系统（以下简称本系统），为一个为帮助医生护士及医学生的综合训练系统，提供从进入手术室到手术完成的一系列操作、指导、教学、以及突发情况的模拟处置。进入系统后，从手术前的消毒环节开始，再到之后的手术准备环节[3]。准备结束后开始医生与护士的配合，使用手术刀，手术剪与纱布等器具与心脏手术的演示（为方便操作，胸腔已经打开），模拟心脏手术中各种可能发生的情况，如切口偏大和偏深引发的出血情况[4]。开始手术准备阶段意图让医学生尽快熟悉手术前的必要操作、加深手术前各种规定和操作的印象，其后是手术中医生护士的具体配合联系，在之后的具体心脏手术操作环节，考验医学生及医生对手术突发情况的应急处理能力。从而指导医学生并加深他们对于手术的了解与体会，让医生更加熟悉手术，提前为各种意想不到的突发情况做准备。

1.2　系统开发方法

本系统建模部分由 3dMax（基于 PC系统的三维动画渲染和制作软件）完成，3dMax具有较为成熟的模型构建与环境渲染能力，但在动画方面稍有欠缺，所以在动画方面我们使用3dMax与Maya（三维动画制作软件）结合的制作方式，Maya在动画制作方面具有自己独特的优势，基于以上的努力，我们对模型及模型动画争取做到了模拟拟真效果[5]。

系统开发引擎方面我们选用 unity综合游戏引擎来进行制作。首先，unity平台具有非常好的移植性，可以发布项目到Windows，Linux，macOS，Android，iOS等多种平台上，也可利用unity web player插件使项目得到网页支持。其次，unity引擎是一个主要利用交互的图形化环境来开发各种项目的平台，项目开发的速度较快，具体细节更为清晰。最后，unity平台对于项目的细节光照、像素渲染都有更好的辅助效果，也更容易自定义插件来辅助产生这些效果[6]。

编程语言部分选择了 c#来协助开发，使用 c#更适合unity平台的脚本开发。

VR实验设备选择了 HTC公司出品的 HTC Vive，它由HTC公司与Value公司联合开发，也是当前市场较为成熟的几款VR产品之一。

本系统基于天津市大学生创新创业计划（201710058073）为依托，系统开发以学生为主老师为辅。开发结束后将该系统投入到实验课中进行测试。

1.3　系统概述

根据本文研究的内容，所设计的基于虚拟VR技术的心脏医疗辅助系统的功能模块可以用图1所示：

图1　心脏医疗辅助系统的功能模块Fig. 1　Functional modules of cardiac medical assisted system

1.4　系统各部分的详细介绍

本系统属于基于虚拟 VR技术的心脏医疗辅助系统，目前系统具有以下的功能模块：

（1）医生模式

{基础教学}

该模块主要负责医学生的手术室基础操作教育[7]。众所周知，当前手术教学枯燥无味，学生动手实践能力较差，在进入手术之前，医生需要进行很多细致的消毒准备工作，缺少一步很可能就会出现严重医疗事故，所以熟练谨慎操作之前的学校训练显得尤为重要。所以我们在场景中设计了进入手术室之后的手部消毒、穿戴无菌衣和手套的操作、以及关于其他手术细节的提示性UI[8]。

{心脏手术处理}

该部分同时针对医生和医学生。心脏手术环节较多，操作复杂且危险，且建模难度较大，手术中的环节尽量做到真实可靠，所以我们选择了首先制作一个前期案例：心脏搭桥手术（非体外循环下心脏搭桥手术）的前期处理及手术操作。首先在医生视角下，使用病人本身血管（场景中提供）将狭窄冠状动脉的远端和主动脉连接起来[9]。场景中设置了一个标本病例，同时给予了对应的标准操作动画演示。使用者可以进行本地自主操作，与标准操作进行对应，并观察相应的效果。

{应急情况处理}

在进行手术时，难免会发生紧急事故，该部分负责模拟一些突发紧急情况的发生，使用者需要首先确认病人情况并做出对应处置，可以增加医学生进入手术室之前的经验[10]。

（2）护士模式

{基础教学}

该模块与医生模式中的基础教学模块相似，都作为手术室操作教育部分，在一场手术中，护士与医生分工各有不同，医生负责手术，而护士负责具体辅助。但同样，术前的消毒、穿戴无菌衣的操作，手术细节等也是必不可少的，特别的是，我们加入了与医生的配合操作训练和对手术器械设备之间的操作训练，可以让护理学生快速熟悉了解手术室及手术规程[11]。

（3）保留模块

随着当今医疗水平、图像处理技术及制作引擎的发展，该模块作为整个系统的保留模块，在今后的版本更新中不断地拓展使用。

2　系统应用演示

现通过以下示例，向读者进行本系统功能的展示。

2.1　系统选择界面

该界面由选择UI组成，通过各种UI进入到系统中的各个场景中，设置有主要的医生选项、护士选项及退出按钮，图2为进入场景前的选择界面。

图2　系统选择界面Fig. 2　System selection interface

2.2　医生模式

该场景即由对应的基础教学、心脏手术处理部分、应急情况处理部分组成。三个部分组合成从进入手术室到手术中出现紧急情况处理的完整流程。图3为手术中画面。

图3　心脏手术中医生视角进行心脏手术的动作Fig. 3　Cardiac Surgery Operation from Doctor’s Perspective during Cardiac Surgery

2.3　护士模式

护士模式前期操作与医生模式相同，即进入手术室之后的手部消毒操作、穿戴无菌衣和手套，之后进入与医生配合的模式中，练习为医生递送手术剪、手术刀和纱布等操作[12]。图4为护士视角下的手术操作。

图4　为手术中护士视角下的配合操作Fig. 4　Coordination Operation from Nurse’s Perspective

3　总结

本系统开发完成后使得医学生到手术室的距离更近了一步，医生对于手术中的各种紧急情况处理更加得当，患者也离危险多远离一分。在接下来的开发计划中，除了更精细的画面，更细致的模型渲染，预计还会加入其它各种其它心脏手术操作，实现更多的手术操作教学[13]。在未来随着VR技术的更新发展，势必将会有更多VR医疗教育产品出现，将极大的提高未来医疗诊断的准确性及科学性，为更好的医疗环境增砖添瓦。