基于混合现实技术骨科教学模式的构建及应用

张里程 雷明星 张浩 鲁通 尹鹏滨 刘建恒 陈华

随着人工智能技术日新月异，混合现实技术（mixed reality，MR）备受关注。混合现实技术是一种全新数字全息影像学技术，是在虚拟现实技术（virtual reality， VR）和增强现实技术（augmented reality，AR）的基础上进一步发展而来，可视为虚拟现实技术和增强现实技术的增强版[1]。混合现实技术在国内外医学上的应用才刚起步，但运用前景令人瞩目[2]，有可能将在临床医疗、医学教育、医学科研以及医患沟通等诸多领域带来突破性革新[3-6]。目前，骨科教学培训面临诸多难题，教学环境不容乐观，教学成本常年居高不下，教学成效也颇受影响。混合现实技术以其自身优势和特点有望改善传统骨科医学教育中存在的缺陷，使骨科教学更加高效、精准和直观。文章就混合现实技术在骨科教学培训中的应用进行探讨。

1 教学设计

1.1 教学病例的选择

教学病例的选择应达到以下标准：（1）为本专业的临床常见病和/或多发病，可引出本专业的基本理论、基本知识或者基本操作技能；（2）教学病例必须兼备真实和完整性，同时具有一定的趣味性，能够吸引学生的注意力；（3）病例中所涉及的问题具有进阶性，基础问题学生可通过老师演示和讲解获得理解和掌握；高级问题学生必须通过知识延伸、拓展、查阅辅助资料以圆满解决。以此引导学生查阅英文原版教材和资料，了解本专业的新医疗、新技术，拓宽学生视野，提高学生医学英语水平，激励学生的前瞻性意识。（4）不同类别受教育者应个体化对待：本科生教学以基础解剖教学为主，包括骨的形态、大体解剖以及运动系统的组成；研究生教学以骨科基本操作和一般手术教学为主，包括局部解剖形态以及骨科常规操作。规培生的教学则再进一步，以骨科力学稳定性分析、临床分型以及复杂解剖关系为主。骨科专业以脊柱及四肢关节为主，同时涉及运动医学和生物力学。根据上述原则，对于本科生教学推荐选择简单骨折进行教学，研究生教学推荐选择脊柱畸形，关节周围骨折进行教学，规培生则以复杂骨折脊柱畸形以及骨肿瘤病例进行教学。

1.2 混合现实教学模型的设计与制作

将CT/MRI设备采集到患者的DI-COM原始数据，导入Visual Volume三维重构软件系统，制作出骨折、畸形及周边解剖的三维病例模型（见图1），并将STL格式的模型发布至混合现实影响系统星云MR云端协作平台。利用Microsoft公司的HoloLens混合现实眼镜，在MR技术星图平台支持下，老师与学生通过佩戴MR眼镜针对病例的解剖，影像以及手术路径的选择等展开研究和讨论（见图2）。

图1 构建脊柱混合现实解剖模型

图2 髋臼骨折分型的混合现实教学

1.3 混合现实技术在骨科临床教学中的应用方法

（1）课程频率与学时：课程频率：1次/周；学时：3～4个学时/次。

（2）课前准备：授课教师课前制定相关教学计划，编写2～3例经典教学病例，应包含患者影像学资料，设计与制作混合现实教学模型。此外，授课老师针对病例编写中一些临床实用性问题，引导学生进入诊疗情景，发散学生思维，了解他们对该疾病的多种诊断假设。学生们课前对对应患者进行病史咨询，全面体格检查，尤其是专科查体。自行整理病例，并对该疾病的治疗进行最新科学英文文献查询。

（3）教学实施模式：①混合现实全息影像观察：骨科模型以全息影像的方式进行呈现，可立体、空间、直观或全角度观察，也可进行放大、缩小、移动、旋转以及改变各结构颜色、透明度进行观察。②二维与三维叠加影像观察：将原始CT/MRI影像与三维全息影像原位叠加观察，可加深对二维影像平面结构的空间理解，冠状面、矢状面以及横断面任意切换。③混合现实技术与模拟人进行复合教学，按照虚拟模型与模拟人等比例复制，提高学习效率。④多人教学模式：多人处于同一网络环境中时可在同一个虚拟空间下进行交互，通过第三视角录制，大班课时可同时观察示教者与全息模型。

（4）教学实施流程：首先，让学生对患者的病史，体格检查以及辅助检查进行简单汇报，老师进行补充与点评。而后，授课老师让学生针对患者的临床表现和影像学资料展开课间讨论，对疾病做出诊断和鉴别诊断，并进一步提出下一步的检查及治疗方案。老师在这个过程中起引导作用，并不实质参与讨论与点评。再后，学生讨论获得一致意见后，授课教师再取出事先准备的混合现实模型让每个学生对其进行全方位的观察，反思并修正之前所做出的诊断。通过对混合现实模型直观地观察，可了解病变的形态和位置，了解患者骨折、脊柱畸形的全貌。通过测量，选择合适的手术入路，特别是选择合适的内固定植入位置、角度和深度，以及内固定的尺寸。最后，通过混合现实模型让学生在术前进行模拟预手术操作，制定出详尽及个体化的手术方案，模拟手术操作过程，熟练关键手术步骤。

（5）课后总结：学生总结病例的重点与难点，授课教师进行补充修正，辅以介绍疾病相关最新诊疗技术进展。授课老师对授课效果进行评估，明确授课形式的优缺点。针对优点，继续发扬光大；针对不足，是否可以采取相应措施进行补救与改进。学生们对课程进行温习回顾，继续深入挖掘问题，自行展开小组讨论，不能解决的问题再次询问老师的建议和解答。

2 结果

学生首先进行病史询问、患者查体，结合影像学资料做出初步诊断和鉴别诊断，并给出治疗方案。而后，再用学生运用病例的混合现实模型进行对比与反思，进一步明确或者校正之前的诊断。教学过程中，采用开放性思维，引导学生对患者的影像学资料有一个较深刻的了解，能基本掌握阅读X线、CT和MRI等影像学资料。并且，通过能够初步通过影像学资料判断疾病的分型及严重程度。学生既往学习的是正常解剖结构，缺乏对病变骨骼结构的感性认识。通过混合现实模型的具体观察，可以很清楚地了解病变结构的特点，还可以结合病变情况，对学生讲解疾病发生的病因与原理。进一步，授课教师再对学生进行手术方法的讲解与演示，学生可以在虚拟模型上进行手术模拟操作。混合现实技术使授课老师和学生穿梭在虚拟和现实环境，他们可对同一模型的进行学习和实时讨论，弥补了解剖标本不足，场地限制等传统的教学短板。此外，还能直观地模拟各项临床操作，最大程度减少对人体有害、有创和费用昂贵的操作，更加立体地进行信息交换，使学生理解解剖基础知识显得更为简单而有效。通过运用混合现实技术进行骨科临床教学实践，学生普遍反映能直观了解四肢、关节以及脊柱的解剖结构，以往难以掌握的关节周围复杂骨折、脊柱肿瘤和脊柱畸形等知识点，通过该教学方法很快能熟识并加以应用。这让医学教育能摆脱场地的限制、大大提高了教学效果和学习效率。

3 讨论

目前，骨科教学培训面临诸多难题，教学环境不容乐观：（1）骨科专业本身解剖结构空间复杂，需要受教育者有良好的空间想象力；（2）人体实体标本短缺，成本高昂，尸体解剖并不能满足教学要求；（3）理论教学与实践操作脱节，缺乏以临床诊疗为中心的理论融合手段。因而，教学成本常年居高不下，教学成效也颇受影响。混合现实技术以其自身优势和特点有望改善传统骨科医学教育中存在的缺陷，使骨科教学更加高效、精准和直观。

3.1 混合现实技术在骨科临床教学应用中的优点

混合现实技术有三个主要的特征：（1）现实世界与虚拟世界结合：混合现实技术将现实世界的物理空间与虚拟空间放置于同一空间，兼备虚拟世界和物理世界的优势，能够营造出一种身临其境的感觉，具有仿真性[7-8]。这种真实性在虚拟现实的基础上又前进了一步：虚拟现实凭借电脑营造出一个虚拟空间环境，但是混合现实的空间是由虚拟空间和真实环境空间共同组成。因此，从感官上来讲，混合空间更加具有真实感，能够高纬度直观立体观察模型。医学生们可以先在虚拟空间进行操作与培训，避免在人体上直接进行有创尝试。操作或培训技术成熟后，再在人体上进行实时操作；（2）实时互动性：医学生们使用混合现实技术并不是端坐一旁，静静地观看设计者为他们提供的医学模型。相反，医学生们完全可以自由的在展示空间中活动，从任何一个角度观看研究模型，并针对模型进行实时地模拟操作，操作的同时模型实时性地回应给操作者，增加了学习的趣味性。混合现实的互动性是建立在其真实性和实时性的基础之上的。混合现实在既有的虚拟现实基础上，还将感受延伸到具体可感的现实空间，成功地搭建起了虚拟世界与现实世界的桥梁。成功地实现了多人之间针对物理空间的虚拟模型进行实现交互交流[9-10]；（3）精确性：数字虚拟世界与物理真实世界融合的场景，真实物理空间与模拟空间精准匹配，学生们通过学习精准的医学模型获取医学信息模拟空间实时精准与物理空间1∶1匹配，以获取最直观效果[11]。病变精确的定位及对暴露过程的引导至关重要，已有不少研究将混合现实技术运用于骨科的手术导航，均收获了良好的效果；（4）广泛性：每一个临床经典案例都可以通过三维建模的方式制作成混合现实教学案例，省却了实体模型制作的繁琐流程，教学更加方便、经济。

3.2 混合现实技术在骨科临床教学应用中的不足

混合现实技术在骨科临床教学的应用仍存在不足：（1）价格较昂贵：目前混合现实技术的辅助装备价格不菲[7]，并没有完全普及开来，因此不太可能让每个学生都去具体操作演练。多由指导教师根据混合现实模型具体讲述手术的方法，这在一定程度上可能会对教学效果产生影响，学生本质上获得的动手机会并没有增加；（2）没有触觉感知：目前的混合现实还是只限于视觉模拟，对于触觉等其他感觉的强化还没有相关报道。也就是说，在模拟手术操作的时候，并没有触感，这导致模拟的手术与真实手术过程的体验仍存在不少差距；（3）软组织的模拟还很欠缺：混合现实技术的数据来源主要基于CT或者MRI数据，生成的三维模型虽然可以进行着色与优化，然而对于软组织的模拟还需要进一步改善。此外，混合现实技术需长时间佩戴眼镜，导航过程中，繁杂的装备容易遮挡术野，数据传输延迟，光照对导航影响大也是当前存在的问题。

4 小结

混合现实技术是在VR和AR基础上进一步发展起来的一种新型全息数字影像技术。该项技术将虚拟物体与真实世界相互融合，为用户展现出虚实一体的画面，使物理的真实世界与数字的模拟世界之间的界限变得模糊。混合现实技术不仅可以有效弥补传统教学模式的弊端，使医学教学显得更加高效、精准、直观，还能逐步推动医学教育培训模式的革新[12]，也为骨科的规范化教学培训提供强有力的技术支持。混合现实技术可作为一种创新型教学方法，在骨科教学培训中的应用值得进一步探索和推广。