基于VR的腹腔镜胆囊切除术仿真协同教学平台设计

李伟民， 李 芹， 田卫红， 朱红伟， 高文哲

（1.湖南人文科技学院信息学院，湖南 娄底 417000；2.中南大学湘雅三医院肝胆胰外科，长沙 410013）

0 引 言

临床医学是一门经验性很强的学科，越是经验性的知识就越需要实践。因此，有效增加实践内容，提升学生实操能力是临床医生的高质量培养过程中的关键一环［1］。

传统的临床实操能力训练方式主要为视频展示、动物标本训练、教学辅助器具和观摩等，这种培养模式需要大量时间和人力资源，且对患者造成损害的风险较高。因此，在当前医疗资源紧缺的情况下，传统的临床教学方式难以适应医学发展的需求。近年来，虚拟现实（Virtual Reality，VR）技术在临床医学中的应用备受关注，它可以综合运用信息技术生成与真实环境高度相似的视觉、听觉、触觉等方面的数字虚拟环境，并利用显示和交互设备让用户获得身临其境的沉浸式感受和体验。VR技术在医学教学、手术技能训练、个性化手术规划预演、康复治疗有着广阔的应用前景和独特的优势，将成为医疗行业不可或缺的教学和培训手段［2］。首先，通过设计科学规范的仿真素材，能有效改善教学和培训资源短缺和考核难以量化评估的现状；其次，学员可以随时进行低成本和可重复的临床技能训练，并缩短临床实践学习周期，提升学习过程中的医疗安全性；最后，VR与临床教学融合将重塑学习资源和教学组织，深化临床教学内容，拓展医学教育信息化维度，有助于催生新的临床教学方法和医学人才培养模式［3］。

目前VR手术模拟教学是VR在医学教育中应用最广泛的场景［4］。腹腔镜手术得益其创伤小、恢复快、效果佳等优点，深受患者的欢迎。但是，与传统开腔手术相比，腹腔镜手术要求医生具备更强的手眼协调和空间感知能力。国内外大量文献研究表明，基于VR的腹腔镜训练系统能显著提升医学生的临床技能和水平［4］。然而，现阶段国内外相关研究仍存在以下几个方面的缺陷：①大多数训练系统智能化程度不高。训练过程中缺乏实时反馈、智能评价和智能导航机制；②缺乏协同训练模式。腹腔镜手术本身具有多人协同的属性，一台手术需要多人协作，教学环境下需要教师的协作指导，此外多名学员结伴练习实现分组手术技能竞技，加速知识建构；③缺乏将VR 技术特性和教学设计理论有机融合指导腹腔镜手术训练的研究。

针对上述问题，本文以最成熟的腹腔镜手术——胆囊切除术为例，基于协同虚拟现实技术，结合具身认知理论、自主探究式学习理论以及学习空间理论，并融入智能化元素，构建一种新型的智慧腹腔镜训练模式。采用量化和质性相结合的实验分析方法，多方位、多层次验证该模式训练效果的有效性和优越性。研究结果进一步发展基于VR的腹腔镜训练模式的教育方法论和课程设计论，提供在智能教育时代构建VR 腹腔镜训练智慧学习模式的有效途径。

1 相关研究

1.1 VR+教育

VR是以计算机技术为核心，融合相关学科技术，为用户提供在视觉、听觉、触觉等方面与真实或假想场景高度相似的数字化环境，用户可以在其中与计算机生成的世界中各种对象进行交互，进而获得身临其境的拟真感受和体验［5］。随着VR 与新兴的人工智能、大数据、云计算、物联网等信息技术的融合，VR 发展为4I特征，即沉浸感、交互性、构想性和智能化，且具有较强的学科综合性和交叉性，因此近年来被广泛应用至电子游戏、教育、军事、制造、医疗等领域，形成“VR+”创新应用生态环境［6］。教育是VR 的一个极有生命力的应用领域。赵沁平院士指出，通过VR 技术可以使学习者沉浸式体验学习对象和教学过程，拓展并深化教育信息化的维度和内容，并催生新的教学模式和方法。VR 技术通过创设沉浸式、交互式与创造式学习环境，激发学习者动机、实现情境学习、促进个性化学习等作用［7］。

（1）虚拟现实为教学提供具身场景。具身认知理论认为认知是具身的、情境的，已成为第二代认知科学的核心理念之一［8］，VR不仅可以构建逼真的情境，还能利用构想性模拟现实中不存在的虚拟场景，从而创设学习者完全沉浸式的具身学习场景，打造身体、认知和环境高度融合的具身学习系统。例如，利用VR 技术设计各类灾害逃生演练系统，通过主动参与虚拟情境的演练，更好地掌握逃生技能。张雪等［9］结合实例分析了如何将真实性、开放探索性、问题空间和专家反馈等探究式学习原则应用到儿童交通安全教育虚拟现实系统中。

（2）虚拟现实扩展学习空间。学习空间是指发生学习行为的场所，包括物理空间和虚拟空间。近年来，学习空间研究焦点逐步由物化形态转向智能形态，即以人工智能和虚拟现实为主要支撑的虚拟学习空间、混合学习空间。利用VR 技术的4I 特征，进一步扩展了学习空间，实现“认知-身体-环境”深度融合，将开创学习空间建设新方向［6］。孙志伟等［10］从课堂空间、网络空间和VR技术整合的角度提出了虚实结合的学习空间连续体，并探索了通过VR 技术扩展学习空间的关键路径。

（3）虚拟现实支撑构建学习共同体以重塑在线学习场域。长期以来，在线教学共同体面临着团队无协作互动和知识建构水平低的问题［8］。基于VR的教学模式根植于建构主义理论意涵，符合建构主义学习设计［11］。基于VR 的在线教学共同体融入了逼真性学习环境、交互式协作等优势，使得在线教学演化为自主建构的过程。Salim等［12］提出了一个应用心理治疗的跨学科框架，该框架使用虚拟现实来应用引导图像场景。Halabi等［13］将VR 与工程学习相结合，采用自导向的方法，设计并实现一个工程教育三维软件产品，提高学生沟通与解决问题的能力。

1.2 VR+医学教育

近年来，新医科建设加速推进，确立了“以新医科统领医学教育创新”的基本原则，虚拟现实、人工智能、大数据等新兴技术与医学交叉融合并创新发展已成为提高医学人才培养规模和质量的有效途径，基于VR的医学教育系统已开始应用于医学教育中，并取得了初步成效［1］。在国内，对VR医学教育研究较少，主要涉及虚拟手术、医疗仿真和虚拟教学，如四川大学华西口腔医学院团队利用VR仿真手术系统进行口腔种植基础理论和临床操作技能培训，并探索利用该系统进行口腔种植学教学可量化新途径。南京大学医学院2020 年将虚拟仿真标准化病人应用到临床技能考试中，学生可以对虚拟仿真病人进行全面口腔检查操作。哈尔滨医科大学采用VR技术构建了手术模拟训练系统，采用虚拟手术的教学方式让学生进行临床手术技能训练［1，14］。

当前，关于VR 医学教育的研究工作主要集中在国外，沈阳等［15］对VR 在医学教育中最广泛的应用——VR手术模拟教学的国外文献进行元分析，大量结论表明，基于VR 的腹腔镜手术模拟系统均能提升被训练者的腹腔镜技术。一种新型的VR辅助训练体系IFOREAL为大学妇科专业的学生提供自然分娩相关技能学习服务，并从学生对IFOREAL使用体验与学生未来为什么愿意使用IFOREAL 两个方面进行实验和调查，揭示其中的原理和影响因素［16］。VR 还可以在真实的外科手术中帮助外科医生完成手术，然而最大的挑战是利用VR技术构造复杂的器官以及器官之间的相互作用，昂贵的价格也并非每个外科领域负担得起。Rizzetto等［17］对VR 在外科医学教育中的应用进行了分析和展望，表明VR 在外科手术专业技能培训领域迄今为止的相关实践效果总体上是积极的，并且有着令人期待的潜力。但目前有关VR在外科手术中应用的文献非常有限，研究方法不完善，样本量小，开发的VR模拟训练系统缺乏外部验证，这些都是今后需要解决的问题。同时也必须跟学员强调虚拟场景和现实场景之间的差距，关注VR 医教系统的相关副作用及其跟踪评估。

2 协同教学平台设计

2.1 问题与目标

当前，临床外科学习中，传统的腹腔镜手术训练方法包括观看手术视频、手术室内观摩主刀手术、基于箱式模拟器训练、使用动物尸体或麻醉的动物训练，实际动手机会非常稀缺。而观看视频的方式比较单调，观摩学习时间周期长，箱式模拟器不能很好地反映真实环境，使用动物标本则成本较高。VR 技术可以提供逼真的手术场景，包括清晰立体的手术部位及其构造、手术流程步骤、器械作用的反应，甚至是触觉反馈等，从而拥有接近真实的手术体验，因此可以有效改进传统腹腔镜手术教学方式的不足。

然而，基于VR 的临床手术医教系统也存在一系列问题，如用户体验与真实手术环境存在差距、缺乏教学理论和方法的支撑、未充分考虑手术协同合作特征、智能化程度不高等。为此，本研究基于协同虚拟现实技术，构建具身认知视角下探究式智慧腹腔镜胆囊切除术协同虚拟学习空间及模式。具体拟定了如下目标：①构建与真实手术场景高度逼真的虚拟环境，尽可能缩小真实环境和虚拟环境的差距，创设沉浸式具身学习场景；②以学员自主探究式学习为核心进行功能性设计，构建手术训练的翻转课堂模式；③以“第一视角”观看并和教师进行多人协同模拟手术的操作训练，操刀得到实时效果反馈和教师指导反馈，从而提升训练效率；④集成文字、图片、视频、语音解说及实时智能纠错、智能评价等多媒体和智能化元素，立体化、多方位丰富学习环境和信息呈现形式，构建一种新型复合的虚拟现实学习空间。

2.2 训练平台设计

训练平台是构建腹腔镜手续训练模式的基础设施，虚拟现实系统从3D 建模开始到最终产品的成功制作，将用到诸多开发工具和设备，经历多个制作环节，且通常还具有跨学科交叉特性，需要相关应用领域的专业知识储备或支撑。紧紧围绕打造沉浸式具身学习场景的目标，本研究的腹腔镜手术训练平台主要从以下几个方面开展设计与功能实现工作。

（1）素材的采集与整理。为获取腹腔镜胆囊切除术的手术环境、器械和流程等相关素材，在湘雅三医院肝胆胰外科的支持下，得到许可后进入手术室了解手术器械、手术室布局，观看手术过程等。结合相关图书、教学视频及文字资料，开发人员和医生一起讨论并确定手术室构造、手术器械及其摆放位置、手术流程步骤等。

（2）3D建模。建模是指使用专门软件创建三维对象，使整个手术训练环境和过程三维可视化，是影响用户体验质量的关键因素。本训练平台根据真实手术环境进行一比一还原，并通过3Dmax 软件制作手术室、手术器材和人体器官等模型，对于一些精细的模型及效果采用Blender软件进行制作。使用漫反射和法线贴图进行贴图进一步提高模型的凹凸感和真实性。然后将模型转入到unity中，进行模型的调整和整体渲染，使整个模型具备高逼真感、高沉浸感和高交互性，有力保障用户体验质量。部分建模示例如图1 所示。

图1 3D建模示例

（3）交互设计。VR 系统可以支持用户与3D 模型动态交互，平台的交互硬件为HTC VIVE套件，包括头戴式头盔、定位器和手柄。当用户戴上头盔后，激光定位器会捕捉到头部的运动及方向，头盔中显示出对应的3D动态图像。用户可以在一定空间范围内走动并环顾四周，同时在SteamVR插件的支持下通过一对手柄进行交互控制。整个手术的交互过程利用C#语言自主编写实现，采用UGUI 进行UI 设计，支持添加图片、文字和按钮等。

（4）协同设计。腹腔镜手术具有多人协作的特征，且在实际教学中，多个学员协同训练以及教师带领学员实操都会对学习绩效会有更好的正向促进作用，而这个过程也是一个协同的过程。为此，本训练平台实现了在网络环境中多人协作机制，协同技术是建立在较低级别的传输实时通信层之上，基于Unity 中Mutiplayer HLAPI 插件，并对其进行定制修改和优化，支持多人在不同设备上对同一台训练手术进行协同操作，操作实例如图2 所示。

图2 协同操作实例

（5）智能评判设计。学员在训练一次后不管是手术失败还是成功，平台都可以根据操作情况给予智能评分、显示出错点、统计出错率，同时还会显示手术过程的改进方案，并能够回放手术过程。评分的依据主要为操作步骤的完整度、操作步骤正确率和熟练程度，步骤是否完成和正误判断利用Unity 中GameManager组件实现。此外还包括操作失误判断及其处理评价。

2.3 训练过程设计

训练过程设计在沉浸式具身认知训练平台基础上，以自主探究式学习设计原则为指导思想，以多用户协同训练为抓手，以智能可量化评价为手段，构建腹腔镜手术训练智慧翻转课堂模式，使学员可多次重复练习，自主探索手术最佳训练效果，且具有训练开销小、周期短等优点。按照“以学为主”的教学设计理念，训练过程具备以下几个要素。

（1）情境设计。从整体来看，训练过程包括：探索模式和手术模式。探索模式提供一个自由的空间让学员自主操作练习，过程中没有任何提示，一次实践操作完成后，平台会给出相应的综合评分，并指出相应的错误点和改善措施。手术模式中则会有相应的UI 界面显示每一个操作步骤的提示，学员根据提示按步骤流程自主练习，若某个步骤出现操作错误、不规范或者流程错误，平台会立即提示纠正，一直到顺利完成该步骤才能进入到下一步骤操作。情境设计所应用到的探究式学习设计原则包括：①真实性原则，利用VR 技术呈现和真实手术环境、操作步骤、手术处理高度逼真的虚拟学习空间；②开放探索原则，利用VR 技术的交互性特征提供一个开放自由的手术探索空间。

（2）信息资源与提示设计。在训练场景中设计了UI界面显示提示信息，实时显示器械的名称，以便加强用户对器械名称的记忆。训练过程中可以追踪手术器械，并且以虚拟探针的方式，在病人的影像上实时显示出手术器械和人体内部器官的位置，使其从中提升操刀技巧与精准度。学员在操作过程中平台会给出操作步骤提示，如图3 所示，进行手术导航。对手术步骤和器械的提示体现了启发式原则，将手术教学的手术流程逻辑化，体现了关键决策点原则。

图3 手术操作步骤提示

（3）自主探究训练策略设计。腹腔镜下胆囊切除教学的自主探究学习策略设计主要集中在探索模式中，探索模式下的学员可根据自身已有的理论知识和经验自主地使用手术架上的器械工具对人体及胆囊模型进行手术操作，每一刀都会有实时的画面反馈，并产生对应的效果。当用户操作失误或者使用器械错误，系统不会给出相应提示，由学员自身去发现问题、思考问题并解决问题。每次训练完成后，平台会给出该次训练的效果评价，包括综合评分、得分点、出错步骤、不规范操作和改进措施等，以保障学员自主探究学习的实效。探索过程中可能会出现操作失误，如流血、胆汁破裂等，因此特别设置了意外处理模式，一旦出现操作意外，立即进入该模式处理意外，并同样会给出处理评价。自主探究学习策略设计应用到的探究式学习设计原则包括：①探索原则，表现在用户能够在环境中自由探索，并通过人机交互设计，为探索过程提供及时的结果反馈；②主体性原则，让已具有理论学习基础的学员自由探索，发挥了用户的主观能动性，注重用户的自我发展和实践启发。

（4）协同训练策略设计。腹腔镜胆囊切除术本身具备多用户协同的属性，此外协同训练也能有力提升学员的学习效果。本研究的协同训练总体遵循自主探究的原则，包括两种情况，一种是多个学员对同一个手术任务进行协同训练，一般情况下，其中一名学员可作为主刀主导训练过程，另一名学员辅助主刀完成训练任务。协同训练的学员之间可以互相讨论、提示、评价和学习，不仅锻炼了学员之间的手术团结协作能力，还能有效提升学习效果。另一种情况则是教师和学员共同进行协同训练，如图4 所示。在协同模式下，教师示范训练手术操作，学员在教师的带领下一边学习一边操作同一个手术任务，教师可以对学生的操作进行实时指导和反馈，还可以对手术过程执行干预和纠正，从而增强学员对虚拟学习空间的认同感，提升训练效果。

图4 教师和学员协同训练

（5）反馈交流设计。在本研究的训练模式中，学员成为真正的主动探究者，教师即指导者。第一阶段，学员在刚开始使用本学习系统进行训练时，教师可对手术过程中可能遇到的情况及处理进行讲解，提醒学员的注意事项；第二阶段，教师根据学员的具体操作情况对其操作给予批评和改正，并对学员的操作加以指导。反馈交流设计应用到的设计原则为专家反馈原则，通过平台给出评分和观察学员在手术过程中操作的水平和意外处理的情况，教师针对性地提出个性化指导，让学员在理论知识和实际操作间灵活贯通。

3 效果评价与分析

3.1 实验设计和方法

为检验基于协同虚拟现实的智慧腹腔镜手术训练学习效果，我们邀请了来自湘雅三医院无腹腔镜胆囊切除手术实操经验的规培一年级学生使用本研究的训练平台，并进行了调查问卷，收集他们对平台使用主观评价相关的自我报告数据。

VR系统不仅仅局限于寻求沉浸感，构建具身的虚拟学习空间前提是虚拟环境的逼真性，同时，让学习者清晰界定虚拟场景和实际场景之间的差别也是必要的。为此，随机选择了12 名学员使用本训练平台，对场景真实性进行了问卷调查，本研究中的所有问卷均采用Likert五分量表法。在VR 技术教学方法的发展中，不仅要注重提高学生的知识水平，更需要的是有助于他们获得实践经验，对于严重缺乏实践机会的临床医学生获得实践能力更加难能可贵。为此对学员的训练过程和成效进行了实验设计，在正式训练之前，会给出适当时间让学员熟悉本训练平台的操作，尽量减少操作不熟悉对训练效果的影响。训练过程分为3 个阶段，第1 阶段进入探索模式进行第一次训练，训练完成后记录平台给出的评分。第2 阶段进入手术模式中训练两次，不记录评分。第3 阶段再进入到探索模式训练一次，并记录系统评分。通过对先后两次平台的客观评分比较，验证学员在本训练平台上的训练成效。

协同训练是本研究的一个重要特色和创新，为验证协同训练的效果，将学员分为协同训练组和常规训练组，协同训练组由6 名学员和2 名有丰富临床经验的教师组成，首先由教师主刀操作带领学生一起在手术模式中协同训练一次，然后学员独立在探索模式中训练一次，记录最终平台得分。常规训练组学员在手术模式中训练一次后进入探索模式训练一次，记录平台得分。通过对比两组学员在探索模式中的客观得分验证协同训练的作用。

训练完成后，进一步调查了学员对本平台使用主观评价。为验证本平台能否提升学员的学习兴趣，从参与使用平台训练的学员中随机选取10 名进行调查，作为对照组，同时选取12 名没有参加平台训练的常规训练学员进行了调查。最后，对所有参与训练的12 名学员在使用本平台的意愿、提升实操能力程度、平台易用性、享受程度等几个方面进行问卷调查，数据均为学员主观感受和评价。

3.2 实验结果分析

实验所有的量化数据转化为IBM SPSS 26.0 统计格式的文件进行数据分析，调查问卷包含场景真实性、激发学习兴趣、使用本平台医院、提升实操能力程度、平台易用性和享受程度6 个问题，问卷的Cronbach’s alpha系数为0.781，表明调查问卷具有可接受的一致性。对学员使用本平台的意愿、提升实操能力程度、平台易用性、享受程度等问题数据统计如下图5 所示。可以看出学员们对系统的使用有较好的积极反馈，其中平台易用性方面有一定的负面反馈，经进一步询问，主要原因在于使用手柄操作和实际手术有较大差别，且需要一定时间练习才能熟练使用手柄操作。

图5 平台使用反馈雷达图

通过考察学员前后两次探索模式的成绩差异以分析学员的训练成效，应用配对样本t检验，先统计这两次成绩的平均值，发现第1 次探索分数平均值56.25，小于第2 次的64.75。如表1 所示，P值为0.006，小于0.05，表明两次训练成绩有明显差异，从t检验结果分析可以推出通过平台训练后对成绩有较大的正面作用。训练成效的效应量（Cohen’s d）值为1.15，表示通过本平台训练对成绩确实产生了较大影响。

表1 训练成效的t检验分析

为了探讨协同训练对学生的成绩影响，在应用独立样本t检验之前，采用Levene 检验来找出两组的差异，得出F=0.072，P值为0.794，因此假设两组之间的方差相等。如表2 所示，常规训练组的成绩平均值为52.33，协同训练组为62. 83，P值为0. 022，小于0.05，表明两组学生的学习成绩存在显著差异。从结果可以推断，与老师协同训练对学员的成绩有显著的积极影响。协同训练的效应量值为1.56，显示出协同训练对成绩有很大的影响。同样，对激发学习兴趣数据应用独立样本t检验分析，如表3 所示，参与本平台训练的学员和未参与本平台训练的学员（对照组）有显著差异，且参与平台训练的学习兴趣要高于对照组。

表2 协同训练的t检验分析

表3 学习兴趣的t检验分析

4 结 语

医学教育是国家卫生健康事业发展的重要基石，本研究基于“健康中国”和“新医科”对临床手术教学的需求，将协同虚拟现实技术与自主探究式学习理论、具身认知理论和虚拟学习空间理论有机整合，创设了一种新型的智慧腹腔镜手术协同训练环境和模式。该模式支持学员在沉浸式具身学习场景中通过自主探究的方式训练临床手术技能，扩展了学习空间，有效改善临床教学资源匮乏和动手实践机会短缺的现状，创新和丰富了临床教学方式，提升了腹腔镜手术训练的效果，且具有低成本、可重复、缩短临床实践学习周期等优点。基于VR的腹腔镜手术训练模式依然需要持续改进，比如受限于VR硬件设备的发展，训练平台的易用性还不尽人意，使用时间过长会有一定程度的不适感。与真实手术相比，在体验方面还存在不少差距。但VR技术作为医学教育的医学人才培养的新手段、新路径、新工具和新方法，必将在高质量医学人才培养中发挥越来越重要的作用。