增强现实技术在口腔颌面部肿瘤患者软组织缺损修复中应用的可行性分析*

陈俊天，曾维，汤炜

610041 成都，四川大学华西口腔医院 创伤与整形外科(陈俊天、曾维、汤炜);610041 成都，四川大学 口腔疾病研究国家重点实验室/国家口腔疾病临床研究中心(陈俊天、曾维、汤炜)

口腔颌面部肿瘤切除常伴随软硬组织缺损，影响患者容貌，进而损害患者身心健康。软组织和骨组织移植是颌面部缺损修复中最常用的技术[1-4]。在血管化骨移植手术中，数字化技术已得到广泛应用，数字化虚拟修复设计、3D打印数字化导板辅助骨塑形等，有效提高了手术的精确性，促进了数字化技术在颌面外科的应用[5-7]。目前软组织移植手术主要依靠术中测量及术者经验，难以精确设计皮瓣形状及大小。如何合理运用数字化技术将术前手术规划有效展现于术中，指导皮瓣精确制备，是颌面部软组织缺损修复的重点和难点。

增强现实(augmented reality，AR)技术是一种将虚拟模型叠加于真实场景的技术[8-11]，近年来在颌面外科手术领域，如头颈部肿瘤、创伤、正颌外科等逐步得到应用[12-13]，提高了手术的精确性。课题组前期搭建了基于云平台的AR图像引导系统，并进行了初步应用，在颌面创伤、鼻畸形、异物取出[14]等手术治疗中将术前规划设计模型实时显示在术中真实场景中，取得了较好的效果。基于此，本研究提出将AR技术应用于肿瘤引起的颌面部软组织缺损修复手术，在术中进行实时动态引导，辅助术中皮瓣的精确制取，并且评估该技术的可行性。

1 材料与方法

1.1 病例纳入及分组

2019年1月至2021年1月，从就诊于四川大学华西口腔医院的患者中收集9例肿瘤患者。纳入标准：颌面部软组织缺损，需行皮瓣转移修复手术者。排除标准：1)皮瓣移植失败者；2)术后失访者。本研究得到了四川大学华西口腔医院伦理委员会的同意，所有患者理解并自愿参加研究，签署了知情同意书。两位医师分别对同一病人进行术前手术设计，年轻医师利用数字化手术设计和AR图像引导技术设计皮瓣，高年资医师利用传统测量方法手工设计皮瓣。5例患者按照AR技术设计的皮瓣实施手术，4例患者按照传统方法设计皮瓣实施手术，患者详细信息见表1。

表1 患者资料

1.2 设备及软件

螺旋CT(Philips MX16 EVO CT,Holland，电压120 kV，电流7 700 mA，扫描矩阵512×512，层厚0.50 mm)；实验用计算机 (Pentium4 3.06 GHz 双核 CPU，6G DDR2 内存，256M RADEON 显卡，1T 硬盘，Wind7-SP1 操作系统)；光固化3D 打印机(苏州中瑞智创三维科技股份有限公司，中国，型号SLA300,精度0.01 mm)；单目摄像机(CMOS,30hz,1080P,自动对焦，HD)；Blender 2.90(Blender Foundation, Holland)；云平台(https://116.63.185.120/huaxicloud/)。

1.3 数据采集

1.3.1 模型构建 对纳入的患者进行螺旋CT扫描，以获取颌面部数据，将数据保存为医学数字成像和通信(Digital Imaging and Communications in Medicine，DICOM)格式，导入Blender 2.90中重建3D颌面部软组织CT模型(图1)。

图1 使用Blender 2.90重建颌面部软组织CT模型

1.3.2 确定皮瓣部位 对所有患者进行面部动静脉彩超检查，标记出供区动脉位置，以此确定皮瓣蒂部位置。

1.3.3 构建AR模型 使用移动端云平台面部扫描功能，拍摄患者术前各角度照片，拍摄时患者保持坐位，嘱患者保持不动，面部肌肉放松。将照片导入Blender 2.90中重建3D颌面部扫描模型(图2)。

图2 在术前3D面部扫描模型上标记缺损范围

1.4 AR技术辅助颌面部软组织缺损修复流程

1.4.1 软组织缺损重建 将颌面部软组织CT模型与面部扫描模型进行配准融合，在融合后的模型上标记出组织缺损范围(皮瓣受区范围,图3)，根据缺损范围建立缺损修复模型。然后根据彩超标记的动脉走行标记出皮瓣蒂部的位置，依据蒂部的位置将缺损范围转移至正常皮肤，标记皮瓣供区，按照标记建立皮瓣转移模型并在模型上标记皮瓣关键信息。最后，根据皮瓣转移的方向和距离设计皮瓣转移路径，制作动画示意皮瓣转移过程,以此在术中进行主动引导，辅助皮瓣设计(图4)。

图3 根据面部扫描模型在CT模型上标记的软组织缺损范围

图4 模拟修复动画及模型

1.4.2 AR图像引导系统规划设计 首先，将缺损修复模型、皮瓣转移模型、转移动画在Blender中设计完成后，分别上传至云平台AR系统。然后在Blender中设计出可供AR系统识别的计算机视觉人工标记物(Marker)并上传至云平台。根据患者面部稳固的解剖部位(耳廓、鼻背、额角等)设计固位导板，并将STL数据导入光固化打印机中进行3D打印，利用固位导板将Marker放置于患者颌面部术前设计位置，系统通过对Marker识别跟踪实时显示AR模型。固位导板及Marker打印后行低温等离子消毒。

1.4.3 术中应用 常规插管麻醉后，首先，高年资医师根据受区缺损范围及彩超标记的血管位置手动测量，设计供区皮瓣。然后打开电脑，通过Chrome浏览器进入AR系统。将灭菌后的人工标记物固定在患者颌面部，用三脚架固定单目摄像机，识别标记后显示患者缺损修复及皮瓣转移的AR模型，将重建的患者三维图像信息与摄像机实时捕获的患者面部信息融合并显示在计算机屏幕上，年轻医师根据AR模型再次标记皮瓣供区。对两次标记的皮瓣进行主观比较和评价，依据标记形状的近似程度将结果分为“相似”和 “不同”。5名患者按照AR技术设计的皮瓣实施手术(图5、6)，4名患者按照传统方法设计的皮瓣实施手术，手术均由同一位医师完成。

图5 术中应用

图6 术中皮瓣移植

1.5 术后评估

术后3个月对患者随访，进行术后面部扫描，获得面扫模型，导入Geomagnetic Studio 13.0中，与术前模拟修复模型重叠配准，计算两个模型皮瓣受区的差异(图7)。然后，调查患者对修复效果的满意度评分，1～5分依次为“不满意”“一般”“较满意”“满意”“十分满意”。根据术中AR技术和传统手术方式在术前准备、手术设计、术中应用全过程的比较，分析应用AR技术与传统手术方式的优缺点，评估AR技术在口腔颌面部软组织缺损修复中应用的可行性。

图7 术后评价

2 结 果

本研究共纳入9名患者，年龄范围为21岁到49岁(表1)。术后面扫模型与术前模拟修复模型在皮瓣区域的平均距离为0.21 mm至3.13 mm，标准偏差在1.58 mm至1.85 mm之间(表2)，两组修复效果与术前预期均无明显差异。6名患者两种方式设计的皮瓣形状基本一致，患者术后满意度都较高；3名患者皮瓣形状差异较大，应用AR技术的患者术后满意度较高(表3)。AR引导手术相较于传统手术方式，需要计算机辅助设计相关的技术，术前设计时间较长，术前设计难度也较高，但在术中有效展示了术前的规划设计，降低了对医师手术经验的要求，辅助设计的皮瓣面积较精确，皮瓣形状与缺损区域更加贴合、皮瓣蒂部的长度更合适，通过精确的术前规划和术中主动引导保证了手术精确性，在口腔颌面部软组织修复手术中有较好的可行性(表4)。

表2 术后面扫模型与术前模拟修复模型配准偏差分析

表3 两种方式设计的皮瓣相似度比较及术后患者满意度评分

表4 AR辅助口腔颌面部软组织修复的可行性分析

3 讨 论

3.1 口腔颌面部软组织移植的难点

对于肿瘤导致的颌面部软组织缺损，皮瓣转移修复是目前的常用方法。在软组织移植修复过程中要考虑受区缺损面积、供区取皮瓣面积、血管走行等多种因素，在手术前需制定详细的手术计划。但如何在手术中有效执行术前设计，精确辅助皮瓣转移仍是手术的难点。传统手术方式在设计皮瓣时主要依赖医师的手术经验，可能由于测量误差、皮瓣形状不规则等原因难以精确制取皮瓣，为避免移植后皮瓣面积不足，需制取较大皮瓣，受区缺损范围较大，且供区皮瓣可能较厚，影响术后美学效果[15]。

3.2 AR技术的优势

AR技术可以将计算机生成的虚拟场景叠加在现有的现实场景之上，在颌面部软组织缺损修复手术中，将术前设计模型直接叠加在真实术野上，实时展示皮瓣供区及受区范围、血管位置等信息，并可通过术中动画展示实现手术设计动态可视化，为医师提供更多信息。皮瓣移植修复操作多位于皮肤表面，不存在物体与模型相互遮挡，因此AR模型显示精确性较高。对于需要塑形的皮瓣，例如鼻部较大缺损的修复，可以通过术前对模型降维，创建二维修复模型并转移至额部，精确制备匹配缺损区域形状的皮瓣，在制取皮瓣面积合适的同时也能取得较好的美学效果[16]。

对比分析应用AR技术与传统方式设计的皮瓣可知，对于形状较规则、曲度较小的皮瓣，两种方式设计出的皮瓣较为一致，均取得了较为满意的手术效果。但对于形状不规则、曲度较大的皮瓣，两种方式设计出的皮瓣存在较大差异，应用AR技术设计的皮瓣形状更加精确，手术效果更好。AR技术的应用需要完善的术前数字化设计，可能增加术前准备的时间，但通过术前设计规划、术中实时展示引导，有效降低了医师经验的对手术效果的影响，年轻医师也能够通过术前数字化测量精确设计皮瓣[17-18]。课题组开发的云平台AR图像引导系统不仅能显示皮瓣模型，还提供了皮瓣关键点位置的信息，同时设计动画展示皮瓣的转移路径，主动引导术者进行皮瓣设计，简化了皮瓣的设计过程，提高了手术精确性，在口腔颌面部软组织缺损修复手术中应用具有良好的可行性。

3.3 未来研究方向

AR技术在颌面外科皮瓣移植手术中应用取得了良好的效果，有效帮助术者执行术前规划。本研究仍存在一定的局限性，样本数据少(仅9人)，AR技术改善手术结果和手术条件的潜力和在实际应用中的精确性，还需要在涉及更多患者的对比实验中得到证实。其次，尽管课题组开发的AR系统显示了皮瓣形状及血管位置等关键信息，并通过主动引导保证皮瓣转移的方向和位置的准确性，降低了手术难度，保证了手术效果，但由于软组织具有较大的弹性，系统无法模拟皮瓣发生的收缩、变形，实现软组织缺损的精确修复仍是一个较大的挑战。未来可通过对软组织形变的研究，将软组织形变的模拟引入AR系统，提高系统对颌面部软组织缺损修复手术引导的精确性。此外，目前采用的视频式AR显示方式，模型仅在屏幕上叠加，不能直接展示在术区。未来研究可考虑通过术中投影，增加手术交互设计等方式，更直观地展现术前设计，提高AR显示技术的沉浸感，辅助口腔颌面部软组织缺损精确修复[19-20]。

综上所述，本课题组在前期研究基础上，利用AR技术辅助设计皮瓣，为精确修复颌面部软组织缺损提供了新的思路，降低了医师经验对手术效果的影响，取得了较为满意的临床效果，在口腔颌面部软组织缺损修复中具有一定的可行性。未来还需结合软组织形变的研究和交互技术的改进，进一步提高软组织修复的精确性，促进AR技术在口腔颌面部软组织缺损修复的应用。

作者声明：本文全部作者对于研究和撰写的论文出现的不端行为承担相应责任；并承诺论文中涉及的原始图片、数据资料等已按照有关规定保存，可接受核查。

学术不端：本文在初审、返修及出版前均通过中国知网(CNKI)科技期刊学术不端文献检测系统的学术不端检测。

同行评议：经同行专家双盲外审，达到刊发要求。

利益冲突：所有作者均声明不存在利益冲突。

文章版权：本文出版前已与全体作者签署了论文授权书等协议。