混合现实技术在乳腺肿瘤精准手术中的应用初探

孙涛， 邓飞， 李建， 唐金海

乳腺癌专题

混合现实技术在乳腺肿瘤精准手术中的应用初探

孙涛， 邓飞， 李建， 唐金海

目的初步探讨混合现实技术在乳腺外科精准手术治疗中的应用价值。方法1例女性患者例行体检，超声检查发现右侧乳腺有占位性病变，为进一步诊断，行多排CT胸部平扫、乳腺3.0T MR平扫+增强检查，获得CT和MRI DICOM原始数据，输入计算机后进行立体三维模型重构，而后运用混合现实技术显示。结果基于CT、MRI影像学原始数据的高清混合现实显示技术能清晰显示乳腺解剖结构，标记肿瘤，明确诊断，使医患沟通简单、明了，手术路径清晰，在尽可能保全正常组织的同时完整切除肿瘤，手术时间缩短。结论混合现实技术为代表的医学数字化技术飞速发展，与医学有机融合，为临床诊疗模式带来了革命性地改变，降低了对经验与想象力的依赖，为医生每一刀提供了三维精准数字化的科学依据，在乳腺外科精准手术治疗方面具有极大的应用前景。

乳腺肿瘤; 混合现实； 精准手术

目前乳腺疾病的医学检查手段如超声、CT、MRI等只能够提供二维断面图像，不能精准、立体地反映肿块在乳房中的具体解剖位置、大小、血供等，需要术者在脑海中根据二维影像还原重建为三维影像进行手术，难免会出现偏差，影响手术效果。近年来，数字医学作为一门新兴学科，获得飞速发展，混合现实技术(mixed reality,MR)是一种数字全息影像技术，它是在三维空间中投射三维立体影像，观看者可以从不同的角度不受限制地观察，甚至可以进入影像内部进行观察，使手术方案更详细，医患沟通更简单，手术更精准[1-3]。目前，国内外对于混合现实技术在医学上的应用研究较少，我们将此技术应用于乳腺肿瘤的精准手术中，并取得成功。本文主要从原始影像数据获取、三维重构模型、混合现实显示等环节及其在乳腺肿瘤精准手术治疗的意义论述此技术。

1 资料与方法

1.1 患者资料

女性，38岁，因“体检发现右乳房占位半月”入院。查体：双乳对称，发育正常，皮肤无橘皮样变，无酒窝征，双侧乳头未见明显异常，挤压乳头无明显溢液，右乳外上限可及大小约2.5 cm×1.0 cm包块，质实，边界不清，活动差，略有触痛，与胸大肌及胸壁无粘连、固定；左乳未及明显肿块；双侧腋下及锁骨上下未扪及肿大淋巴结。超声检查：右侧乳腺结节，TI-RADS 4A类，界不清。

1.2 检查方法

1.2.1 设备 PHILIPS 16排螺旋CT；Siemens Trio Tim 3.0T超导型磁共振扫描仪、Invivo 乳腺专用8通道相控阵线圈、高压注射器；北京维卓医疗科技发展有限公司开发的Visual Volume三维重构软件系统和混合现实(MR)3D医学交互系统。

1.2.2 检查前准备 按操作流程向患者交代检查注意事项，去除身上金属物，更换病员服。

1.2.3 多排CT胸部平扫 患者仰卧检查床上，双手高举抱头，头先进，扫描范围从胸廓入口至肺底。具体参数：Kv 120 ，mAs 180，pitch 1.063 ，准直厚度1.5 mm。扫描过程中患者需要深吸气后屏住。

1.2.4 乳腺3.0T MRI平扫加增强扫描 患者俯卧于乳腺专用8通道相控阵线圈上,双乳自然悬垂于乳腺线圈的两个圆孔内, 横向光标与乳头对齐，头先进入磁体中心。依次对双侧乳腺行轴位T2-tirm、DWI、T1WI 动态增强扫描，矢状位T2WI 脂肪抑制(FS)扫描。对于轴位T1WI 动态增强扫描(1+5)：先平扫1次，运用高压注射器静脉团注造影剂(Gd-GTPA，15 ml，流速3 ml/s)，继而快速推注20 ml生理氯化钠溶液，第23 s开始增强扫描，连续无间断扫描5次。采用并行采集，总时间为203 s。

1.3 三维模型重构

将CT、MRI设备采集到的DICOM原始数据，导入Visual Volume三维重构软件系统，依次对兴趣区域内正常腺体、肿瘤、血管、皮肤、骨骼和肌肉等多种组织，运用不同的颜色进行区分，使用多个不同分割蒙版进行可视化边缘检测、分割提取，测量、计算生成STL格式(STereo Lithography)的三维网格模型，图1为患侧乳腺各种组织分割提取示意图。

图1 患侧乳腺不同组织分割提取示意图

1.4 混合现实显示

将通过三维精准超渲染可视化技术得到的3D重构模型，用特殊软件与算法进行定位、渲染、物理参数调整、模型功能设定，进行高维态显示处理，再把模型载入到混合现实(MR)设备当中，实现基于混合现实技术的手术规划、医患沟通，提高手术精准度和疾病治愈率。图2为混合现实技术显示三维模型流程图。

图2 混合现实技术显示三维模型流程图

2 结果

2.1 基于混合现实技术的影像判读结果

通过以上步骤与方法，可获取基于混合现实技术患侧乳腺不同方位设计图(图3)和基于混合现实技术三维重构模型整体显示图(图4)。

图3 基于混合现实技术的患侧乳腺不同方位设计图

图4 基于混合现实技术三维重构模型整体显示图

由于感兴趣区内各种组织分别被指定对比强烈的不同颜色渲染，整个三维重构模型不但可以任意角度浏览、缩放、调节亮度与对比度、隐藏与透明化各种组织等，而且可以对病灶大小进行测量计算，从而使影像判读简单易懂。本例患者右乳九点位可见非肿块样强化灶，与周围腺体组织边界不清，高度怀疑为纤维腺瘤。

2.2 医患沟通与手术规划

医生和患者直面三维重构模型有种身临其境的感觉，影像直观，可以从局部到整体，全局观察感兴趣区，探讨讲解手术方案，术前入路模拟，规划以及手术仿真。患者及家属表示听得清楚、明白，疑虑和困惑消失。

2.3 手术经过

气管插管全麻，患者取仰卧位，常规消毒术区，铺单。术中依据定位，完整切除肿块及肿块周围3 cm范围内的腺体组织。术中快速病理：(右乳肿块)纤维囊性乳腺病伴纤维腺瘤形成，部分导管扩张，导管上皮增生，大汗腺化生，小灶钙化。严密止血后，行一期腺体内成形术，缝合乳腺切口，切口内置引流条一根，皮肤作皮内缝合。术毕安返病房，予以补液及对症治疗，心电监护。

3 讨论

3.1 混合现实技术原理

近年来，数字医学技术特别是3D打印技术开始应用于医学领域[4-8]，我们前期已有报道[9]。但由于打印材料昂贵、打印时间长等原因，使其发展受到一定的限制。而以MR、VR、AR为代表的全息影像数字技术可能在未来更具有发展空间[10-13]。混合现实技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。它的关键是与现实世界进行交互和信息的及时获取与真实世界、虚拟模型、用户之间的无缝互动。

3.2 混合现实技术的必要性与价值

乳腺肿瘤严重威胁着女性健康，发病率呈逐年增高和低龄化趋势，因此加强乳腺肿瘤的诊治研究具有重大社会意义。当前的乳腺手术，特别是涉及到美容要求较高的保乳整形手术、乳房重建手术等，手术方案的制订主要依靠CT或MRI等平面影像学资料作为手术准备的依据。然而，CT和MRI不立体、直观，阅片和理解均需要医生有良好的空间想象能力。如果遇到复杂的肿瘤切除术、保乳整形手术，对切除肿瘤的组织量及乳房的塑形往往占据手术的较长时间，且术后常有乳房不对称、畸形等问题。

混合现实技术使医患双方在术前就得到立体的乳房模型，可以真实、清晰、直观地看到肿瘤与乳房的解剖关系及周围组织的情况，解决了参与沟通者之间的信息不对称性问题。据统计，传统医患沟通当中患者和家属理解到的疾病、手术方案、手术风险相关信息不到医生所传达信息的30%，对治疗容易产生不科学预期而导致医患矛盾。MR技术使患者在虚拟环境中观看到自身病灶结构的3D复制品，医生对着模型进行讲解，可使患者和家属加深理解自身疾病和潜在风险，有效缓解潜在的医患矛盾，因此MR技术可为我国严峻的医患关系提供理想的解决方案。同时，医生在实施手术前可以进行模拟手术，对如何切除肿瘤、如何推移腺瓣、如何放置假体或自体组织移植物、如何尽可能地切净病变组织又最大程度地保留正常组织等进行精确预判，绝大多数术中可能遇到的难题都可能提前演练，获得周密的术前计划，使得手术更加精准、安全，实现个性化定制手术方案，符合精准外科定义，可提高手术成功率并有效缩短手术时间。

当前，混合现实(MR)技术等医学数字化技术飞速发展，与医学有机融合，为临床诊疗模式带来了革命性地改变，降低了对经验与想象力的依赖，为每一台手术提供了三维精准数字化的科学依据。我们在本例手术中将CT、MRI等影像学数据高清三维化并结合混合现实(MR)技术用于术前手术方案规划、术前讨论、医患沟通，迎合创新驱动发展医学的国家战略，紧跟前沿医疗科技，提高治疗的医学、心理学、社会学质量，缩短手术时间，加速数字化医学综合性人才梯队的建立与完善，不仅能提高疾病治愈率，也将加强医院的数字化医疗科技与科研实力。

3.3 混合现实技术展望

目前，与混合现实(MR)、虚拟现实(VR)、增强现实(AR)技术在欧美等发达国家已经成为信息化医学应用的热门前沿领域，发展迅速。我国经济实力日益增强，人民生活水平稳步提高，对医疗健康条件的要求越来越高，全国有13亿人口及数万家医院，MR、VR、AR的临床使用率应该更多，增长率应该更快。

[1] 李舫,宋志坚. HMD式光学穿透技术在医学增强现实中的研究进展[J]. 中国数字医学,2012，7(1): 4-20.

[2] 赵慧. 全息影像技术在医学辅助教学中的探讨与研究[J]. 中国管理信息化, 2017，(6): 227-228.

[3] 张凯，董志鹏.未来教学中全息影像技术的应用[J]. 山东工业技术, 2016,(2): 297.

[4] 胡立伟，钟玉敏，王谦，等. 3D打印技术：一种认识先天性心脏病的新方法[J]. 中国医学物理学杂志,2016，33(2)：173-176.

[5] 打印补片在腹外疝的临床应用及前景[J]. 中华疝和腹壁外科杂志(电子版),2016，10(2)：154-156.

[6] 方驰华，项楠. 数字化微创技术在肝胆管结石诊治中的应用价值[J].中国实用外科杂志，2016，36(3)：272-276.

[7] Wang L, Cao T, Li X，et al. Three-dimensional printing titanium ribs for complex reconstruction after extensive posterolateral chest wall resection in lung cancer[J]. J Thorac Cardiovasc Surg, 2016,152(1):e5-e7.

[8] 夏晓龙，陈扬，邱奕雁，等. 3D 打印技术应用于脊柱个性化椎体定制的实验研究[J]. 中国骨与关节损伤杂志,2016, 31(3)：247-250.

[9] 孙涛,张鹤达，李建，等.个案报道:基于3D打印技术的乳腺肿瘤精准手术治疗2例[J]. 中国肿瘤外科杂志, 2016，8(4): 235-239.

[10] 骆海玉.VR虚拟现实技术在医学院校教育中的运用[J]. 电子技术与软件工程, 2017，(4): 10.

[11] 田继红,蒋岱.从虚拟现实(VR)发展看未来医学教育的变革[J]. 中国管理信息化, 2017,(6): 209-210.

[12] 成晋军，张晓娟.全息影像技术在未来教学中的应用[J]. 办公自动化，2014，(20)：47-49.

[13] 赵亮.三维全息影像成像原理和产品探析[J].科技信息，2011，(10)：623.

Applicationofmixedrealitytechnologyinprecisesurgeryofbreastneoplasms

SUNTao1，DENGFei2，LIJian3，TANGJinhai2.

(1.DepartmentofRadiology，theFirstAffiliatedHospitalofNanjingMedicalUniversity，Nanjing210029，China;2.DepartmentofGeneralSurgery,theFirstAffiliatedHospitalofNanjingMedicalUniversity,Nanjing210029,China;3.DepartmentofGeneralSurgery,JiangsuCancerHospital,Nanjing210009,China)

TANGJinhai,Email:tangjh@njmu.edu.cn

ObjectiveTo investigatethe application value of mixed reality technology in the precise surgery of breast tumor.MethodsOne female patient went to the hospital for routine physical examination.Ultrasound examination revealed lesions in the right breast.For further diagnosis and treatment, the multi-row CT and 3.0T MR were examined to obtain the DICOM raw data. These data were input into the computer for three-dimensional model reconstruction and then display based on mixed reality technology.ResultsMixed reality based on the raw data of CT and MRI can clearly display the breast anatomy, mark tumor and diagnose disease. The communication between surgeons and patients was simple and clear, the operation planning became clear and efficient. The tumor was resected completely while the normal tissue were preserved as much as possible, and the operation time was shortened.ConclusionsThe rapid development of digital technology which is represented by mixed reality (MR) technology combines with medicine brings the revolutionary change for the clinical diagnosis and treatment mode, reduces the dependence on experience and imagination, provides scientific basis for surgeon, and has great application prospect in breast surgical operation treatment.

Breast Neoplasms； Mixed reality; Precision surgery

江苏高校优势学科建设工程资助项目(No.JX10231801)

210029 江苏 南京，南京医科大学第一附属医院 放射科(孙涛)，普外科(邓飞，唐金海)； 210009 江苏 南京，江苏省肿瘤医院(江苏省肿瘤防治研究所、南京医科大学附属肿瘤医院) 普外科(李建)

唐金海，Email:tangjh@njmu.edu.cn

10.3969/j.issn.1674-4136.2017.03.003

1674-4136(2017)03-0145-04

2017-06-01][本文编辑：李筱蕾]