数字化虚拟现实及增强现实技术在肝胆胰外科中的应用

王芳元 郭千 梁雅珠 王晓飞 尤飞虎 曾宁

南方医科大学珠江医院肝胆一科（广东省数字医学临床工程技术研究中心）（广州510282）

原发性肝癌、肝门部胆管癌、胰腺癌等肝胆胰外科疾病由于起病隐匿、早期诊断困难、疾病进展迅速，总体预后差，是导致肿瘤死亡的重要原因。手术切除病灶仍是目前肝胆胰外科疾病的主要治疗方法［1-3］。以往，外科医师需要根据CT、MRI等非立体的断层影像信息，根据自己的理解，在头脑中整合成立体的三维印象。进入21世纪后，数字医学技术在肝胆胰外科的应用日趋普及。术前构建三维可视化模型，肝胆外科医师可对肝脏解剖结构和肝内脉管进行精确的量化分析；术中应用可视化手术技术、数字影像导航和信息导航手术系统等精准定位切除病灶［4］；以及围手术期精细的数字化管理，充分发挥精准外科的循证化、定量化、可视化、可控化的特点。近年来，虚拟现实（virtual reality，VR）和增强现实（augmented reality，AR）技术在临床医学中的开发与应用备受瞩目，其在肝胆胰外科的术前规划、术中导航、医学教学等方面具有广阔的应用前景和无可比拟的优势。本文将探讨VR和AR技术在肝胆胰外科应用的可行性、临床影响以及发展方向。

1 VR和AR技术概述

VR技术作为一门跨学科技术，结合了计算机图形技术、仿真技术、传感器技术、人机接口技术和网络技术等多门科学技术，通过创建一个虚拟的三维立体环境，给人们提供视觉、触觉、听觉等多感官体验及交互操作体验。许多VR 模拟器已经被开发，大都利用三维重建、创建身临其境的虚拟现实环境、3D 打印等技术实现［5］。VR技术作为一种新的现代化技术，主要有三个特性：沉浸性（immersion）、交互性（interaction）、构想性（imagination）［6］。（1）沉浸性：沉浸性是指通过虚拟现实头戴式显示器（HMD）和VR 眼镜［7］，对外界的视觉、听觉信息加以封闭，使用户暂时脱离现实世界而融入到“虚拟世界”中去。（2）交互性：交互性是指操作者可以通过传感设备与虚拟系统进行实时“对话”，比如操作者可以用手握住虚拟环境中的物体，并感受其重量。（3）构想性：VR技术不只是一种媒介，通过操作者和设计者的合理想象可将其应用于工程、军事、医学等的很多方面［8］，为人类带来巨大的社会效益。

AR技术是在VR技术的基础上发展起来的，主要包括三维重建、显示、跟踪和配准技术［9-10］：（1）三维重建：通常利用CT 或MRI 进行上腹部肝、胆、胰、脾和腹腔血管等增强扫描，采集患者平扫期、动脉期、门静脉期和静脉期的4 套医学数字成像和通信（digital imaging andcommunications in medicine，DICOM）数据。扫描完成后，将各期的DICOM 数据导入三维可视化系统进行序列化自动分割、配准及三维重建。（2）显示技术：主要包括基于视频的显示、透视显示和基于投影的显示，显示器可以是外部监视器、手持显示器、头戴式显示器或患者本身（投影），每种显示方法各有其优缺点。（3）跟踪技术：常用的跟踪技术包括红外线跟踪、光学跟踪和电磁跟踪。（4）配准技术：配准是将虚拟图像和真实图像中的相应数据点链接到一个坐标系中的过程，分为交互式配准和自动配准。

VR和AR技术现已广泛运用于许多领域，其在医学领域也展现出广阔的应用前景，如将VR和AR技术应用于肝胆胰外科疾病的治疗、精神疾病的治疗、医学教学及培训等方面［11-13］。

2 VR和AR技术在肝胆胰外科的应用

2.1 术前规划和术中导航肝脏内部脉管系统、肝内外胆道系统及胰周组织等解剖结构复杂、变异多，手术难度大，并发症多。传统医学只能依靠CT、MRI等检查提供二维图像，主刀医师凭借经验，通过大脑的抽象思维来形成对疾病的三维认知，但这种认知往往是不确定、模糊甚至失真的。数字医学三维可视化技术将现代医学和数字化高新技术相结合，可被广泛应用于肝胆胰外科的各个方面，包括疾病的诊断、治疗方案的选择、术前评估、手术模拟、术中导航、数据库构建和随访等。针对肝脏占位性病变、肝门部胆管癌、肝内外胆管结石和胰腺占位性病变等肝胆胰外科疾病的诊断和治疗，VR和AR技术显示了良好的临床应用前景。

2.1.1 术前规划（1）术前准确判断肝脏及其周围血管及胆管变异对手术决策及手术难易程度的评估十分重要。在目前的临床工作中，CT 血管造影（CT angiography，CTA）在判断肝动脉变异方面发挥了巨大的作用，但对于密度差异小的组织结构难以显示，易造成假象［14］，胆管的变异较常见，术前准确判断肝门部胆管走向，评估术中胆管切口数，在行胆肠吻合时，避免遗漏，可有效减少术后胆漏情况的发生。通过三维重建及3D 打印技术，可以很好地显示肝脏脉管变异情况和肝内外病灶，包括肿瘤、炎症、狭窄胆管、萎缩肝段等。在YANG等［15］评估医学图像三维可视化系统对肝动脉变异的胰十二指肠切除术患者中的价值的研究中，三维可视化系统诊断变异肝动脉的敏感度、特异度及准确率均为100%，其图像的清晰性可与动脉造影相媲美。（2）VR技术不仅具有良好的三维呈现功能，而且可以对虚拟现实环境中的3D 模型进行全方位、多角度、多层次的观察，通过叠加、隐藏、透明化处理病灶、肝内外胆管系统、肝内脉管系统及肝周组织等三维模型，可辨别肿瘤相关血管，观察肿瘤横向及纵向浸润状况，准确测量肿瘤与其他血管和胆管间的距离，实现对肝内外病灶的精确定位。湖南省肿瘤医院肝胆外科利用3D 建模技术与HoloLens 眼镜的虚拟现实技术结合的实时肝肿瘤切除导航系统在原发性肝癌切除手术中取得了一定进展。通过眼镜上左右两边的高透明度显示器，在真实空间里形成视觉上的3D 效果，再由3D 建模进行定位与引导，从而达到精细定位与操作的目的［16］。（3）我国80%以上的原发性肝癌患者合并不同程度的肝炎、肝纤维化［17］，患者无法耐受大范围肝切除，术后并发肝功能不全风险较高。VR技术提供虚拟的手术场景，术者可以沉浸在虚拟现实环境中反复练习，寻求最佳手术方式。对于复杂肝切除手术，反复的术前模拟不仅能够帮助外科医师解决手术难点，而且有助于手术组成员进一步熟悉手术步骤，从而加快手术进程，减少术中出血及损伤。在余潘等［18］探讨三维可视化技术在肝门部胆管癌术前评估中的应用价值的研究中，术前行三维可视化重建的18例患者在肝门部解剖分型方面与术中的吻合率为100%，且平均术中出血量、手术时间明显减少。（4）胰腺癌尤其是胰头癌，早期侵犯门静脉、肠系膜上静脉等重要血管，病情进展迅速，整体预后不佳，5年生存率＜6%［19］。胰十二指肠切除术（pancreaticoduodenectomy）是治疗胰头癌的标准方式［20］。胰十二指肠切除术切除器官多，风险较高，术前准确评估肿瘤与血管的关系对判断肿瘤的可切除性有重要意义。用腹部医学图像三维可视化系统对腹腔血管及胰腺肿瘤进行三维重建，可清晰地显示肿瘤和周围血管的空间立体关系，并在此基础上评估肿瘤的可切除性。VR技术的应用，对提高胰腺肿瘤诊断的正确性和手术切除的成功率，具有重要的临床应用价值。王思珍等［21］应用三维可视化技术将26例胰腺肿瘤患者术前二维CT 图像进行三维可视化重建，对在明确解剖变异、肿瘤大小等方面有很大作用，15例患者经术前评估后成功行胰腺切除术。

2.1.2 术中导航由于受患者呼吸、体位等因素的影响，仅仅依靠VR技术，无法实现术中准确实时导航，从而给术者带来手眼不协调的问题。在过去的几十年中，基于术中超声引导、CT 或MRI 影像引导及虚拟增强现实技术的应用，外科导航系统在降低手术风险和提高手术精确度方面有很大的进展。目前，基于AR技术的手术导航是一种很有前途的临床应用技术，基于跟踪和配准技术，将患者术前或术中影像学数据与手术床上患者解剖结构准确实时对位，可有效解决因术前与术中时间、空间分离问题造成的同步性不足问题。RUI等［22］首次报道了有关AR 导航技术应用于胆道镜的初步概念研究，通过在胆道镜内部安装电磁传感器，跟踪其在3D 打印模型中的轨迹，基于AR 导航平台，在3D 打印模型上实现了精准导航。在CHEN等［23］的研究中，基于AR技术的手术导航系统，外科医生通过佩戴光学透视式头戴式显示器（HMD）可以获得融合图像，将虚拟解剖结构（如软组织、血管和神经）与术中真实场景相结合，克服了传统手术导航的一些缺点，如医生不再需要在真实手术场景和计算机屏幕之间切换，从而提高手术的安全性、准确性和可靠性。RUI等［24］应用三维可视化技术将一位确诊为肝门部胆管癌伴肝内胆管扩张患者的增强CT 及磁共振胆胰管成像数据进行三维重建，用于术前制定手术计划，术中使用基于AR的手术导航系统及肝脏3D 打印模型作为参考，对关键部位快速识别及定位，最终成功完成了肝切除术，预后良好。随着科技进步，AR技术将进一步改善肝胆外科手术，但仍需要进一步的临床研究来评估AR技术在改良手术过程、降低术后复发率和死亡率、减少并发症发生等方面的优势。并且还需要研究多种成像方式的融合技术，以便进行术中扫描，改进生物力学肝脏建模以准确预测术中肝管位置，并增强图像数据处理技术和图像跟踪配准技术，以提高AR 手术导航系统的准确性和实用性［9］。

此外，对于如何在手术中准确定位病灶位置、明确手术切除范围，外科医师不仅可以依靠VR、AR等技术从形态解剖水平进行手术导航。近年来，吲哚菁绿（Indocyanine Green，ICG）作为一种理想、高效的成像介质，利用它的荧光特性以及能够在肝癌组织中特异性聚集的特点，使癌组织与正常组织形成光强对比，从而显示肝癌病灶的位置和大小［25］，目前该技术已经被广泛用于心血管系统造影、肝功能评估等领域中［26-27］，从细胞功能水平实现人体组织结构的实时导航。在科学技术发展的推动下，将VR、AR技术和ICG 分子荧光成像技术联合应用于肝胆胰外科疾病，以实现更高要求的精准手术，进一步提高外科手术的安全性及有效性。

2.2 解剖教学及手术培训

2.2.1 解剖教学解剖学的学习是外科教育的一个重要组成部分，传统局部解剖学教学采用理论讲授、解剖图谱和标本解剖操作相结合的方法，学生很难通过二维解剖图谱和有限的标本解剖操作掌握人体的每个器官或组织结构。VR技术的应用，提供了清晰的三维立体图像，学生可以从任意角度、方向对某个结构进行剖切、放大以及透明化处理，清晰显示该结构的微小细节和毗邻关系，形成全面立体的人体结构概念；此外，所开发的虚拟系统不仅可以凭借触觉及力觉反馈系统，给学生提供逼真的触觉体验，而且由于具有可重复操作的优势，有效解决了标本短缺的问题。将数字化虚拟仿真系统应用于解剖学教学，有助于提高学生自主学习的积极性，提高教学质量和学生的满意度［28-29］。

2.2.2 手术培训由于肝胆胰解剖结构的复杂性，为了保证手术过程的顺利进行，提高手术成功率以及减少医疗事故的发生，医生在进行独立操作前必须进行长时间的观摩和严格的训练。然而大部分患者不愿意让实习医生对自己进行手术操作，而且医患纠纷的日益严峻，为保证手术效果，带教老师也相应减少了实习医生的手术操作机会。VR和AR技术的应用提供了理想的手术训练平台，提供虚拟手术场景，清晰、立体的显示手术部位，受训医生可以从任意角度观察肝胆胰解剖结构，对病灶进行模拟剖切，并且通过触觉、压力反馈装置，器械作用于手术部位的反应、手术部位的出血状况等可以实时反馈给受训者，从而拥有更真实的手术体验。此外，由于其可重复操作和训练时间、地点不受限等特点，对实习医生的手术培训具有重要的创新意义，有研究［30-31］表明VR技术用于手术培训可以大大提高培训效率。

此外，微创化、精准化已然成为现代外科的发展趋势，腹腔镜下胆道手术、肝切除、脾切除等均成为了目前肝胆外科的主流术式，腹腔镜手术中只有操作者自身才能感悟二维显示器上的三维感知能力和手眼运动协调能力，传统的手术技能培训模式对于精准医疗时代的微创外科医生具有很大的局限性，手术技能的培训正由传统的“手把手”开放手术模式转变为腹腔镜手术模拟训练，目前国际上已出现了不少基于虚拟现实的手术训练系统，虚拟现实类模拟系统的应用可大大提高外科医生的操作技能［32］。

2.3 远程诊疗及医患沟通

2.3.1 远程诊疗VR和AR技术在肝胆胰外科的另一重要应用即为远程手术，利用VR技术构建患者病变部位的3D 模型，可以实现异地交互式的指导检查、诊断、治疗等医疗会诊内容，最终达到远程手术的目的。远程手术的开展有赖于完善的机器人手术系统，机器人手术系统在术者及患者之间增加了计算机界面，为虚拟增强技术创造了很好的应用平台［33］。目前，机器人手术系统在我国已逐渐应用于多种复杂肝胆外科疾病的诊治中［34］，随着技术的不断创新，3D 虚拟模型允许术者在人体上导航并进行虚拟探索，实时跟踪手术器械，将术前规划正确的转换到实际手术中，基于AR技术的机器人手术系统将更加规范化、更加安全。

2.3.2 医患关系近些年来，我国医患关系日趋紧张。医生和患者之间医学知识水平的不对等是医患沟通中最突出的问题，肝胆胰外科疾病所涉及的解剖结构较复杂，对缺乏专业知识的患者及家属而言，仅仅依靠B 超、CT等二维图像，往往不能理解手术方法以及病情的严重程度，对手术风险及术后并发症往往无法接受，从而引起医患纠纷。利用忠实于患者的VR和AR技术，将患者的病变部位及毗邻结构立体呈现在患者和医生之间进行术前谈话，同时行仿真手术演练，有助于患者从多角度直观、立体地了解病灶部位、手术方式的选择以及手术可能存在的风险，从而营造和谐的医患沟通环境。

3 展望

数字医学的发展实现了解剖数字化、诊断程序化和手术可视化的有机结合，使外科医生在结构复杂的肝胆胰疾病诊治中，头脑更清晰，操作更准确，在疾病的诊断、治疗方案的选择、手术前的评估、术前仿真手术、术中导航等方面体现了无可比拟的优越性。由于网络条件、技术水平的限制以及昂贵的硬件设备等因素，VR和AR技术在肝胆胰外科的应用目前整体上尚处于起步阶段。“精准肝胆外科”理念的提出，使VR和AR技术受到越来越多的重视和研究，清晰立体的3D 模型、实时精确的术中导航必将推动肝胆外科向个体化、微创化、精准化方向发展。