数字智能化诊疗技术资源库的构建与应用——以肝胆外科临床教学为例

蔡霈霖,黄振驹,刘智豪,曾小军,胡浩宇,周 翼,杨 剑,项 楠,彭文丽,方驰华,曾 宁

1.南方医科大学珠江医院肝胆一科, 广州 510280;2.广东省数字医学临床工程技术研究中心, 广州 510282

在传统教学模式中,由于肝动脉、肝静脉及门静脉系统空间解剖结构复杂[1],CT、MRI等二维影像资料所提供的信息对于尚处于学习阶段的年轻医师及研究生来说是难以理解的,且交互性差,大大降低了学生学习的效率。因此,如何让年轻医师及研究生快速成长,成为一个亟待解决的问题。近年来,随着虚拟仿真技术的普及,数字智能化技术已在临床诊疗、教学上得到了广泛推广和应用[2-4]。文章所涉及的研究基于三维可视化、AR、VR等数字智能化技术构建肝胆一科临床教学资源库,并将其应用于南方医科大学珠海医院肝胆外科年轻医师及研究生教学实践中,取得了较好的教学效果。

1 资源库数据来源

该研究选取2018—2021年在南方医科大学珠江医院肝胆一科进行肝切除手术患者的临床数据350例,包括肝动脉、门静脉、肝静脉典型结构及变异类型。所有患者均签署由医院伦理委员会批准的患者知情同意书,符合医学伦理学规定。将患者一般信息(包括患者入院时的年龄、性别等人口统计学信息)以及患者的诊断、治疗情况、随访信息等数据存储在SPSS表格中,按照变异类型分类对应病例并将其术前影像及三维数据整理归档。

2 数字智能化诊疗技术资源库的建立

该资源库的构建以自主开发的医学图像三维可视化系统(MI-3DVS)、可视化仿真手术系统(VR)等数字智能化技术为基础,并于2018年加入增强现实导航系统(AR)而逐步完善。具体实施内容如下:

2.1 肝脏三维解剖模型资源库的构建

该研究收集350例肝脏疾病患者薄层 CT 图像数据,并将其分类,包括典型分型100例、肝动脉变异型45例、门静脉变异型65例、胆道变异型40例,以及其他类型肝脏疾病患者100例(包括肝门部胆管癌、多囊肝囊肿、胆囊癌转移肝占位等);将其导入自主研发的腹部医学图像三维可视化软件(MI-3DVS,软件著作权登记号:2008SR18798)进行图像的程序分割和三维重建[5-7];对所获取的三维重建模型进行全方位观察,并分析不同管道变异类型的肝脏、脉管的三维结构特点及其与病灶的毗邻关系,对相应的重要解剖结构进行标记和注释(如图1所示),将重建好的模型按照变异类型分类存储,并制作成视频资源,构成数字智能化诊疗技术资源库的三维模型库,以供后续的学习和工作使用。

图1 以二维影像到三维模型转变示例

2.2 VR虚拟手术系统帮助学生理解手术决策评估

从三维模型库中选取100例具有代表性的三维模型,选取标准为:①在肝脏内部存在肝动脉、门静脉、肝静脉变异;②肿瘤巨大压迫导致肝内脉管严重变形;③涉及肝脏第1段、第8段等需要进行复杂性肝切除术。以标准模板库(Standard Template Library,STL)格式导入高质量开发引擎(unreal engine 4,UE4),利用引擎提供的各种丰富工具渲染出包含灯光、材质等虚拟场景,将患者数据进行VR建模,对三维模型各个脏器予以标记、注释及透明化,构成VR手术系统。

邀请高年资医生对患者的肿瘤及脉管结构进行个体化分析,配合系统中的VR模型为学生讲解不同变异类型对手术方式规划的影响。以门静脉变异为例,对于典型分支的门静脉而言,术中沿门静脉主干向肝内游离门静脉三个分支的处理较为简单。但若出现工字型变异,则在进行右半肝切除时,容易误判门静脉右支而结扎,在离断肝脏实质时会增加出血的风险[8]。综合患者是否患乙肝及其他肝病、肝功能储备等指标,对三维模型进行虚拟肝脏切除平面设计,模拟术中切除情景,模拟完毕后分别对全肝体积、预切除肝体积、残余肝体积予以计算(如图2所示)。以视频形式输出VR视频,将教学讲解过程与VR录像进行剪辑,保存在数字智能化诊疗技术资源库中。后续学生在复习过程中遇到尚未明晰的变异解剖结构,可自由使用操作手柄移动目标模型,从而更加直观地了解各结构的解剖关系,探究可行术式的风险及可行性[9]。

图2 在虚拟手术平台实施预切肝评估示意

2.3 增强现实导航技术让学生尽早接触手术

该资源库收录了3D腹腔镜增强现实手术导航系统(软件著作权号 2018SR840555)和以此技术为基础制作的导航手术视频。通过三维模型的投影融合,术中导航手术,术后收集三维资料、术中超声与荧光、手术视频及配准融合后的视频,对相应解剖结构进行标记及注释,量化提取、构建及术中映射,还原、配准三维结构的关键信息[10],针对不同变异结构及手术方式,如左半肝、右半肝、右后叶等制作出对应典型病例的增强现实融合导航手术视频。

该系统通过3D腹腔镜摄像头采集实时手术影像,经过视频解析器(中国e院通3D嵌入式多媒体工作站GK310)解析视频信号,再通过 Epiphan AV.io HD视频采集卡输入笔记本电脑,从而将三维模型投影融入手术视频进行叠层显示,实现术中肝脏与术前三维模型的实时融合导航(如图3、图4所示)。再以右半肝“工字型”变异为例，在学习右半肝切除术式时，遇上患者门脉存在“工字型”变异，对于资历尚浅的医师来说,门静脉右支与右后支难以正确辨别,借助增强现实导航技术,学生在带教教师的指导下,通过术中参与导航及术后观看带教教师针对重点难点讲解的手术方法和过程,进一步了解包括肝门部解剖特点、手术入路、操作技巧等[11-12]。

图3 AR实时导航手术画面示例

3 数字智能化诊疗技术资源库在临床教学的应用及意义

3.1 相较于传统临床教学的优势

在既往的传统教学模式中,肝门部及肝内解剖复杂抽象,传统的肝胆外科教学依靠超声、CT及MRI等影像学资料进行教学,学生理解相对困难,印象不深刻,在脑海难以形成三维立体概念。

近年来,虚拟现实技术蓬勃发展并得到广泛应用。李学超等[13]将需要精细设计的肾盂重建手术通过三维重建技术应用于解剖和手术规划的临床教学,通过动画形式模拟手术切除范围及重建缝合方式,虚拟手术操作过程,提高了泌尿外科的教学效率,缩短了年轻泌尿外科医师的成长时间。范宏伟等[14]将虚拟现实技术应用于骨髓穿刺教学中,有效实现了实习生可以反复练习的目的,提高了培训效率。

该研究所构建的资源库提供了融合数字智能化诊疗技术的新教学模式(如图5所示),运用三维重建技术构建细致的立体肝解剖模型,为学生提供了360°观察肝内解剖特点[15-16]的机会。学生也可在教师的指导下,自主使用三维建模软件,构建患者的上腹手术区域的器官及管道的模型,在数据从二维转变三维的过程中,对于学生学习和理解解剖知识,尤其是血管变异、胆道变异等[9]难以在课本上学习的知识,会有更加具象和深刻的体会。

图5 数字智能化诊疗技术资源库教学模式

3.2 以寓教于乐的方式传授知识

在前期的教学研究中[17],以2019年在南方医科大学珠江医院肝胆一科学习的40 名南方医科大学2015级临床医学专业学生作为研究对象,选取20名学生采用数字智能化诊疗技术教学模式进行教学,设为试验组;另外20名学生采用传统教学法进行教学,设为对照组。在此次教学实验中,以原发性肝癌为实验授课内容和考核内容,两组均由经验丰富的带教教师进行授课,每组教学时间为2学时。在两组学生结束为期2周的临床教学后,进行教学效果考核评估,考核内容包括理论考核和问卷调查。

理论考核包括选择题(60 分)和问答题(40 分)。其内容包括辨别肿瘤的位置、肿瘤的毗邻与第一肝门、第二肝门的关系等临床问题,问答题主要考核学生临床思维能力,要求学生制定术中对策。课后问卷调查内容包括对于教学内容及效果的满意度。

结果显示,试验组学生不仅是专业理论知识掌握得更加牢固,而且在教学满意度、临床思维能力、理论联系临床能力等方面也均优于对照组,差异均具有统计学意义(P<0.05)。

3.3 提高医学生学习积极性

肝切除等大型手术的流程往往是由经验丰富的肝胆外科医师承担术前和术中的主要操作,年轻医师及研究生想要真正参与到手术流程中需要长年的积累和学习,而传统教学模式中缺乏利于其学习的途径。数字智能化诊疗技术资源库所提供的VR虚拟手术系统和AR导航系统可在及早培养学生临床诊疗思维和积累临床经验方面弥补空缺。

VR虚拟手术系统允许科室学生和年轻医师通过佩戴VR设备,身临其境地观察肝内管道的层次和毗邻关系,回放高年资医师的讲解,理解手术方式设计的缘由,然后利用力觉、触觉反馈系统联合VR虚拟手术系统,沉浸式体验真实的场景,模拟手术器械切割器官组织,学习腹腔镜手术操作。

AR导航系统允许科室安排年轻医师或研究生,将基于CT-MRI融合图像重建的三维模型和虚拟手术图像带入手术室,在带教教师指导下配合术中关键部位的操作,引导手术医师界定肿瘤边界和辨别隐匿的微小病灶。在此学习过程中,最大限度地达到真实手术训练效果,缩短肝脏外科医生的培训周期[18-19]。

3.4 为临床科研夯实基础

在临床科研方面,资源库储存的典型患者信息可供临床科研工作者回顾查看,为临床科研工作打下坚实的基础。资源库基于变异类型、部位、手术方式分类对应病例并将其术前影像及重建后的三维可视化模型、VR建模及增强现实导航资源归档存储。如医师想调研肝右侧占位患者相关的三维模型特点和手术方式统计时,只须搜索肝右叶或者肝S6、S7段即可一键提取相关患者信息。如通过提取并分析资源库所收集的患者资料,该研究团队从患者的自身特性,手术入路、手术方式等方面为肝脏疾病诊疗提供了崭新的思路[20-21],这体现了资源库对于数据存储、统计和分析的价值,拓宽了课题思路,在临床研究中保驾护航。应用驱动、资源共享,这也是最初建立该资源库时的初衷。

4 问题与展望

珠江医院肝胆一科利用肝胆外科专业的研究生开展了实践教学和训练,并根据学生反馈持续优化、不断完善系统。通过对学生的使用情况调研和新技术的研发,数字智能化技术引入了AI深度学习功能。目前,新功能尚处于试验阶段,但参与测试的学生初次体验情况普遍良好,课后学生对AI协助所提供的便捷性印象深刻。

虽然数字智能化技术设备和软件并未普及到所有基层医院,数字智能化软件目前还只能截取一定时间段的患者情况,不能实时获取患者信息,但只要不断地探索和改进,新技术教学资源就可得到更普遍的利用[22],教学质量就会不断提高。