虚拟现实、增强现实和混合现实技术在胸壁肿瘤切除及重建手术治疗中的应用

汤轶 肖高明 陈跃军 吴冠宇 王志刚

由于巨大胸壁肿瘤可侵犯大面积胸壁以及肋骨，导致手术切除巨大胸壁肿瘤后常引起胸壁大范围缺损，当缺损面积大于5 cm×5 cm，或者3根以上肋骨切除时[1]，可引起患者术后呼吸功能障碍，严重影响胸壁肿瘤患者的预后效果。因此，胸壁重建手术对于这些患者有着十分重要的意义。目前临床上常用的胸壁肿瘤切除及重建术多在直视下进行，对于手术切除范围、切缘精确程度，以及重建胸壁材料和方法对主刀医师的要求极高。而基于虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)及混合现实(mixed reality，MR)技术的胸壁肿瘤切除及重建手术，是通过对患者进行胸部CT薄层扫描、胸部MR平扫+增强检查后，获得CT和MRI的医学数字成像和通信(digital imaging and communications in medicine，DICOM)数据，输入计算机进行电脑数据3D模型建立,并打印出个体化3D置入材料，同时建立虚拟模型及手术预演，最后术中在裸眼和VR+AR+MR下决定手术切除范围，并结合模型对比，扩大切除胸壁肿瘤后行胸壁重建手术。这种方法相对于传统胸壁重建术的优点在于，手术切除范围及切缘精确，肿瘤切除后的缺损范围与3D打印置入材料吻合度高，在最大程度上减少误差，从而提高手术效果。

资料与方法

一、 病例资料

1. 病例1：患者为女性，30岁。因“发现胸腹壁肿块8年余”入院。术前在湖南省肿瘤医院胸外科行胸部及上腹MRI平扫+增强、全胸及上腹部薄层CT扫描，结果均提示：左上腹壁囊实性肿块，考虑偏良性病变。拟诊神经源性肿瘤或孤立性纤维瘤，待查。

该患者术前诊断考虑为胸壁肿瘤，呈哑铃状，肌层及胸廓内均有病变，而且累及胸壁及数根肋骨，与心脏、肝脏表面紧贴。如行常规手术治疗，不仅肿瘤切除有一定难度，肿瘤切除后胸壁将出现严重的骨缺损，影响患者的术后呼吸功能，且患者的心脏和肝脏难以得到较好的保护。

2. 病例2：患者为女性，64岁，因“左侧胸壁韧带样瘤切除术后11个月，左侧胸痛7 d”入院。11个月前于外院行左侧胸壁肿物切除活检术，术中见肿块与左第2前肋关系紧密，并切除部分左第2前肋。术后病理检查示：韧带样瘤(纤维瘤病)。7 d前因左侧胸痛，行彩色多普勒超声检查：左侧锁骨下低回声肿块，大小约6.2 cm×3.4 cm。术前行胸部薄层CT、胸部MRI平扫+增强扫描，结果提示：左侧胸壁韧带样瘤切除术后，左前上胸壁肿块，左第1前肋骨质受累，与左无名静脉及左锁骨下动脉关系紧密。

该患者术前诊断考虑纤维瘤术后复发，向胸腔内凸起，不仅侵犯左第1肋骨，且累及局部左无名静脉及左锁骨下动脉。常规手术需扩大切除受累组织，但术中左无名静脉及左锁骨下动脉有可能无法得到较好保护，有切除血管行血管置换或截肢可能，对患者以后生活影响大。

二、 方法

2例VR+AR+MR技术均由湖南六新智能科技有限公司和长沙达芬奇眼医疗科技有限公司提供并协助完成。

1. 数据收集：采用薄层CT扫描和磁共振，运用PHILIP或SOMATOM Definition AS+进行扫描。

2. 电脑数据3D模型建立：对于胸部CT薄层扫描、胸部MR平扫+增强扫描，结果均采用Materialise公司软件Mimics(materialise’s interactive medical image control system)软件处理。将CT、磁共振等采集到的DICOM格式数据导入Mimics，由于整个胸部区域内包含皮肤、皮下组织、肌肉、肿瘤、骨骼及胸廓内心肺等多种组织，需对影像数据内的兴趣区域进行可视化半自动分割提取并配准，数据化处理，建立电脑数据3D模型。2例患者均针对各自病变，对心脏、大血管、肋骨、肋软骨、胸骨和胸壁肿瘤进行了数据半自动分割和三维重建。并根据胸骨、肋骨的性状和肿瘤侵蚀范围，在计算机上进行数字化辅助肿瘤切除术方案的设计。

3. 实体3D模型建立：将肿瘤与周边重要结构数据提取后，导入Magics 3D打印系统，在模型满足打印要求的情况下打印出模型。打印出的模型用不同颜色清楚、立体地显示了病变与周围重要结构间的关系及病变部位、范围。用打印出的模型做术前讨论及术前谈话。

4. 虚拟模型的建立及手术预演：将肿瘤与周边的重要结构数据，通过电脑输入微软hololens全息眼镜，数据化处理后，测试既允许用户看到真实世界，同时也能看到叠加在真实世界上的虚拟对象，能把真实环境和虚拟环境结合起来，两种环境相互补充、叠加。完成数据加载后在电脑上进行了手术预演、讨论。

5. 手术

(1) 病例1：借助VR+AR+MR结合术中所见，于2017年2月15日完成了我国首例VR联合AR下胸壁肿瘤切除加胸壁重建手术(图1)。首先，在裸眼和VR+AR+MR技术下确定肿块情况，切开皮肤及游离皮瓣和(或)切除表面肌肉及至胸骨和肋骨；再次裸眼和VR+AT技术下确定切除边缘。在VR+AR+MR的协助下，手术顺利，术中行快速冷冻病理检查：(肿块)符合神经鞘瘤，(切缘)未见癌。术后切除标本与模型对比，发现VR+AR+MR技术所确定的手术边缘比裸眼确定的手术边缘更精准，全息眼镜所见与实际病变完全吻合。术中主刀医师不仅可以在现实下直接观察肿瘤的表面形态、大小等实际情况，而且可以在VR+AR+MR技术虚拟的图像上精准判断肿瘤需切除的范围以及肿瘤深面与心脏、肝脏的距离等，手术难度及手术风险大大降低。

(2) 病例2：方法同病例1。借助VR+AR+MR结合术中所见，完成了VR联合AR下胸壁肿块扩大切除+胸壁重建+左侧锁骨切除+右侧腓骨代替左锁骨重建术。术中行快速冷冻病理检查：(切缘)未见癌。在VR+AR+MR的协助下，手术进行得非常顺利，VR+AR+MR与实际病变完全吻合。术中主刀医师不仅可以在现实下直观地大致观察肿瘤表面形态、大小等实际情况，而且可以在VR+AR+MR虚拟的图像上精准判断肿瘤需切除的范围、肿瘤血运、肿瘤侵犯左第1肋部位，同时借助AR虚拟图像可精准判断出肿瘤深面累及左无名静脉及左锁骨下动脉的部位及长度等，从而设计手术方案，手术难度及手术风险大大降低。

结 果

2例患者均手术顺利，术后恢复良好出院。

病例1患者常规病理回报显示，(胸壁肿块、骨背面、骨表面、肿瘤与骨连接处)结合免疫组织化学检测结果，符合神经鞘瘤，部分细胞生长活跃，(切缘)未见癌。

病例2患者常规病理回报显示，术后病理：①(左胸壁病灶)结合病史符合纤维瘤术后复发，瘤组织浸润肌肉及骨组织；②切缘未见瘤侵犯；③8个(锁骨部)淋巴结均未见恶性。

讨 论

临床上常见的原发胸壁肿瘤病理类型主要是骨与软组织肉瘤[2]，目前临床对于巨大胸壁肿瘤术后缺损的修补及重建主要参照胸壁肋骨缺损重建方法来完成。修复的方法较多，如异体骨、自体骨移植、肌瓣、皮瓣、大网膜、钢板、钛网、钛板或Marlex网[3，4]、骨水泥+prolene网等。Fang等[5]结合prolene网、骨水泥、肌皮瓣的方法成功修复6例胸腹壁联合缺损病例；并且有研究[6]报道了3D打印材料置入物应用于胸壁重建。基于VR+AR+MR技术的胸壁肿瘤切除及重建手术结合了3D打印材料的个性化定制，以及VR+AR+MR技术的手术精确性等优点。

图2 病例2患者术前检查和VR+AR+MR技术在手术中的应用。A. 术前照片；B. 术前CT扫描影像；C. 术前MRI检查结果；D. 电脑3D模型；E. 实体模型；F. 全息眼镜下所见肿块示意图；G. 全息眼镜下所见肿块示意图

一、 VR+AR+MR技术

1. VR：也称灵境技术或人工环境，是利用电脑模拟产生一个三度空间的虚拟世界，提供用户关于视觉、听觉、触觉等感官的模拟，让用户如同身临其境一般，可以及时、无限制地观察三度空间内的事物。用户进行位置移动时，电脑可以立即进行复杂的运算，将精确的三维世界视频传回，产生临场感。

2. AR：也称为人机互动技术。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到同一个画面或空间，对于现实目标通过叠加虚拟景象产生类似于X线透视的增强效果。

3. MR：是VR技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，与现实世界进行交互和信息的及时获取。系统通常采用三个主要特点：①结合虚拟和现实；②在虚拟的三维(3D)注册；③实时运行。

二、 VR+AR+MR技术的应用价值

胸壁肿瘤由于周围有较厚的软组织和骨骼系统，且少数肿瘤向胸腔内凸起生长常易被忽视。病理状态下，因解剖异常、胸部结构复杂、深部重要器官及大血管多且彼此重叠，普通CT及磁共振检查等2D平面图像难以直观再现空间形态与关系，术前往往很难精准评估病变周围重要结构之间的关系，术中因胸壁骨性结构固定亦较难显示肿瘤深面重要组织结构，难以完美满足诊治要求。VR+AR+MR辅助设计是目前全球热门的前沿技术，被认为可以适用于任何领域，尤其在医学领域，将在“数字化、远程化、精准化、个性化”这四个未来发展的大方向中逐渐崭露头角。VR+AR+MR技术将原本不同检查无法融合的2D平面图像，通过电脑数据化处理及导入，做到不同检查之间数据共享及精准3D成像，随意切换视角进行观察，方便手术团队的观察。此外，模型的建立对于没有知识背景的患者及家属而言，能直观地了解病变情况，也更容易进行术前沟通和手术方案展示，获得良好的依从性。就本文2例患者而言，借助VR+AR+MR技术，手术团队术前均在电脑上进行了手术预演、讨论，并就可能发生的并发症做出备选手术预案。在VR+AR+MR技术支持下，主刀医师对于现实目标通过叠加虚拟景象产生类似于X线透视的增强效果，将原本现实中无法看见的肿瘤深面与重要组织之间的关系显示在主刀医师佩戴的hololens全息眼镜上，将病变范围及切除范围精确至毫米级，在提高手术成功率的同时缩短了手术时间。本方法对于不同患者可取得个性化的手术设计，尽可能精准地切除病变组织，为3D打印材料精准置入提供了安全保障；同时，也尽可能保留正常组织，减少患者的手术创伤。

三、 VR+AR+MR技术的应用前景、困难及不足

1. 应用前景：VR+AR+MR技术为临床提供了一种新的临床影像学展示方法，能使医患之间、医师之间交流更加方便、快捷，患者取得良好的依从性；同时能在术中将病变范围及切除范围精准至毫米级，取得个性化手术设计，为手术安全保驾护航。

2. 困难和不足。①本技术的数据采集及处理要求较高：VR+AR+MR虚拟模型质量与影像学扫描参数有关，如影像学资料精准度稍差，则模型的建立不够精细，对临床的指导作用不大。CT和MRI不同检查的数据融合困难；同时，由于胸廓随着呼吸运动而活动，对原始2D数据的收集及处理后，再进行可视化半自动分割提取并配准，数据化处理建立虚拟模型，会受到运动伪影、扫描时间、造影显影等影响，对后期数据的处理及模型建立带来巨大的挑战。②由于从数据采集、数据处理、实体模型建立、虚拟模型建立直至最后手术，要求跨专业、知识面广，外科医师工作量大、精力有限。解决这一矛盾需外科学、影像学、3D打印专业间的横向合作。③费用昂贵：数据处理系统MIMICS注册费用及微软hololens全息眼镜购买费用较高，且信息稳定性和图像调整速度有待进一步提高；实体3D模型建立，常采用塑料类和(或)树脂类材料打印，材料价格昂贵。

目前VR+AR+MR技术虽然刚刚应用于临床，但是随着科技的发展、材料的更新，医疗数据化、精准化、个体化进程，以及患者的需求，该技术在胸外科乃至外科系统的临床应用会有广阔的发展空间。

参 考 文 献

1 张兰军，李伟阳，苏晓东，等.生物材料人工胸壁重建巨大胸壁缺损(附5例报告)[J]. 第四军医大学学报, 2007, (24):2259-2262.

2 Tukiainen E. Chest wall reconstruction after oncological resections[J]. Scand J Surg, 2013,102(1):9-13.

3 Berthet JP, Wihlm JM, Canaud L, et al. The combination of polyterafluoroethylene mesh and titanium rib implants: an innovative process for reconstructing large full thickness chest wall defects[J]. Eur J Cardiothorac Surg, 2012,42(3):444-453.

4 Rocco G,Fazioli F, La Manna C, et al. Omental flap and titanium plates provide structural stability and protection of the mediastinum after extensive sternocostal resection[J]. Ann Thorac Surg, 2010, 90(1):e14-e16.

5 Fang L, Chen YJ, Wu GY, et al. Ribs formed by prolene mesh, bone cement and muscle flaps successfully repair chest abdominal wall defects after tumour resection: a long-term study[J]. Chin Med J (Engl), 2017,130(12):1510-1511.

6 石磊，全磊，肖高明. 一种3D打印钛合金胸骨替代件[P]. 湖南：CN205126500U，2016-04-06.