耳内镜虚实结合手术培训系统的研发

杨媛媛 周雅琪 刘洪宇 杨炜强 冀飞 陈伟 陶源*

1 北京大学深圳医院耳鼻咽喉科（深圳 518036）

2 中国人民解放军总医院耳鼻咽喉头颈外科医学部，国家耳鼻咽喉疾病临床医学研究中心，聋病教育部重点实验室，聋病防治北京市重点实验室，军事声损伤防护实验室，国家老年疾病临床医学研究中心（解放军总医院）(北京 100853）

自20世纪中叶，Georg von Bekesy 和Bruce Mer 将内镜应用于耳科学起，至今耳内镜发展已历经30 余年。大致分为三个阶段[1]：一阶段，用于检查和诊断中耳疾病；二阶段，用于辅助显微镜清除中耳乳突等的病变；三阶段，耳内镜作为耳外科主要的手术方式之一。耳内镜在中耳[2-11]、内耳[12]及侧颅底[13]手术中的应用越来越广泛，与耳显微外科相比，疗效也受到肯定[7-8,12,14-18]。

与所有的外科类似，耳科医师需要经过专业的手术训练后才能获取和提高耳内镜技能。当前，耳内镜手术训练主要依靠视频、网站、老师带教、尸体颞骨解剖、物理及虚拟模拟器等。考虑到伦理、法律、存储、成本、患者安全、模拟系统的真实性、可操作性等方面，耳内镜手术训练需要一款能身临其境、标准化和严格的培训系统。因此，我们研发了一款用于耳内镜手术训练的操作系统，采用虚拟手术仿真技术，同时结合真实耳内镜手术视频，再配合力反馈设备形成一种全新的耳内镜手术培训系统，实现了临床实景和触觉力反馈交互的沉浸式全程耳内镜模拟手术体验。

1 耳内镜虚实结合手术培训系统的组成

耳内镜虚实结合手术培训系统（图1，图2），包括系统台车，手术仿真手柄，力反馈装置，力反馈底座，手术培训系统机身以及虚拟现实眼镜6 部分。

图1 耳内镜虚实结合手术培训系统框图Fig.1 The block diagram of training system for ear endoscopic surgery

图2 耳内镜虚实结合手术培训系统Fig.2 The training system for ear endoscopic surgery

1.1 力反馈操作装置

力反馈装置包括第一姿态轴、第二姿态轴、第三姿态轴以及分别与第三姿态轴和第三位置轴相连的姿态位置连接处，且姿态位置连接处分别与第三位置轴、第二位置轴和第一位置轴连接，第一位置轴、第二位置轴以及第三位置轴的另外端与力反馈基座连接，手术仿真手柄装置与所述力反馈装置的第一姿态轴以及所述的手柄紧固装置进行固定装置。力反馈装置，其特征在于，第一姿态轴以第二姿态轴的轴线为旋转轴进行旋转时，最大的旋转角度为360 度。第二姿态轴以第三姿态轴的轴线为旋转轴进行旋转时，最大的旋转角度为360 度。通过力反馈操作装置，可以进行真实手术视频学习以及三维手术仿真训练。

1.2 手术仿真手柄装置

手术仿真手柄装置通过力反馈装置内的手柄紧固装置固定在力反馈装置上，用于识别手术手柄的力觉大小。手柄紧固装置上安装有力觉识别单元，力觉识别单元在使用时实时记录仿真手术操作杆末端的力觉。通过信号采集模块、虚拟仿真模块和真实视频模块，其中虚拟仿真模块和真实视频模块通过相应算法进行叠加，实现虚实结合的手术培训系统。通过力觉识别单元识别手术手柄的力觉大小，实现训练过程中对不同部位的力觉反馈采集。

1.3 手术培训系统机身

耳内镜手术培训系统机身包括交互系统、系统显示模块、系统控制模块、驱动控制单元、虚拟仿真模块、真实视频模块、信号采集单元及4 个可锁定的万向脚轮。其中，系统显示面板用于显示耳内镜手术培训系统操作的视频以及操作系统控制面板内含数据处理系统，可以实现真实视频数据和虚拟三维数据的处理，并将视频数据和三维数据处理后显示到显示面板上。

1.4 虚拟现实（Virtual Reality,VR）眼镜

VR眼镜装置系统通过信号采集单元采集的信号，读取显示耳内镜虚拟及真实手术视频。

2 耳内镜虚实结合手术培训系统的流程

耳内镜虚实结合手术培训系统，按照手术培训系统机身或者控制单元中按时间顺序执行，也可以在单独配备的计算装置中执行。具体的流程（图3）：获取耳内镜手术真实手术视频数据；对手术进行特定手术过程的虚拟仿真来获取虚拟手术数据；将虚拟手术数据与真实手术视频进行叠加处理；并将上述叠加后处理的数据接入力反馈设备操作，从而形成了虚实结合的耳内镜手术训练系统以下，记载对各个步骤的详细说明。

图3 耳内镜虚实结合手术培训系统流程图Fig.3 The flow chart of the training system for ear endoscopic surgery

2.1 处理耳内镜手术真实手术视频数据

将经过认证和获得同意的资深耳内镜专家的耳内镜手术过程，录制成视频数据，上传，并将视频数据进行剪辑处理。可以根据耳内镜的培训需要，进行无限次的增减、难度更改等。

2.2 获得虚拟手术数据

将耳内镜真实手术视频数据的同一患者的颞骨高分辨CT（或MR）图像数据进行3D 建模，对3D模型设置弹性形变模型，对所述的3D 模型表面进行碰撞检测，并将3D 模型以及弹性形变模型导入力反馈模型，对重建后的3D 模型、弹性形变模型以及力反馈模型进行视觉力觉渲染。

颞骨高分辨CT（或MR）图像数据3D 建模采用VTK 进行体绘制实现。体绘制是指直接将体数据中的体素投影到屏幕上，其相对于面绘制的最大区别就是体绘制时体数据中的全部体素都参与了最终图像的渲染，体数据是对局部空间内的数据进行采样，采样值代表这个点上一个或多个物理特性。一般数据场空间都是以有限多个采样来描述，所以体数据包含物体内部真正的三维实体信息。

通常情况下，体数据表示为一个三维的数组空间，在图中每个元素称为体素，体素也是体数据最小的单位，每个体素都在图中对应着相应的行号、列号和层号。因为是规则数据场，所有体数据都是平均分布在x，y，z 三个方向上，体素之间的距离是相等的。在体绘制中需要设置一个光学模型，该方案中采用光线吸收模型，其公式如下：

参数S 为光线的投射方向的长度，表示距离为S 处光线强度，表初始光强；在体绘制中，采用最大密度投影（Maximum Intensity Projection,MIP），最大密度投影是将一定厚度（即CT 层厚）中最大CT 值的体素投影到背景平面上，以显示所有或部分的强化密度高的血管或器官。

对3D 模型耳的不同部位建立弹性形变模型，不同的部位弹性系数不一样，力觉的反馈值也不一样；弹性模型的线性方程{S}={F}/[K]，其中[K]是刚度矩阵系数，{S}是位移距离，{F}是外力。

2.3 叠加虚拟手术数据与真实手术视频

虚拟手术数据采用CT（或MR）图像数据进行3D 建模，实现3D 虚拟手术数据，同时，将真实的耳内镜手术视频进行剪辑成不同片段；本系统采用Unity3D 引擎，采用图层叠加方案，顶层GUI显示真实手术视频，底层显示虚拟3D 数据；根据手术视频的播放进程，根据时间片段自动匹配对应3D 虚拟手术数据,见图4。

图4 采用CT（或MR）图像数据进行3D建模Fig.4 3D modeling using CT(or MR)image data

2.4 接入力反馈设备操作

采用自研力反馈设备，该设备基于Delta 的并联机构，与末端串联旋转机械解耦连接，具有主动重力补偿功能，精度达到0.01mm，最大持续力大于8.5N，刷新频率4K，并具有自动校准功能，完全符合耳内镜手术训练要求。

该力反馈提供的是C/C++的接口，可以与OpenGL结合进行开发，同时也提供基于Unity3D的接口UnityCLAF，供在Unity3D 中调用设备接口；支持基于Unity3D、OpenGL3D引擎开发。

同时，在力反馈末端连接可以跟换的手术仿真手柄，在外形和方式上与实际手术器械一致。

3 耳内镜虚实结合手术培训系统的优点

VOXEL-MAN、俄亥俄州立大学的Mediseus 颞骨模拟器（Medisesus temporal bone simulator Ohio State University Simulator）、斯坦福颞骨手术（Stanford Temporal Bone surgical）可能是目前文献报道研究最充分的三种耳科虚拟操作系统。与这三者相比，我们的耳内镜虚实结合手术培训系统，最大的优点就是“真实性”。具体的说：

真实的手术视频案例、真实的手术患者CT 图像重建的三维虚拟手术仿真、真实的手术器械按照真实的手术操作过程进行临摹专家手术操作。通过训练，提高受训者对于不同组织，如皮瓣、骨质、肌肉、鼓膜、听骨、神经等的真实体验，通过反复训练，增加操作者的肌肉训练记忆，提高手术训练效果，缩短培训周期。

同时，在训练系统中，增加了远程教学模块，可以使受训者能远程培训学习，减少受训者对距离的限制。

另外，本系统所使用的材料、技术均是国产，拥有自主知识产权，而且使用的模块化设计在现有的操作系统框架内，可以再扩展进行其他微创手术的训练模块，具有广泛的应用前景。

4 总结

当前，耳内镜的体外训练模型，尸体颞骨解剖无疑“金标准”，但由于资源稀缺等原因，耳内镜初学者，尤其是规培学员、研究生等，可供耳内镜手术训练的，多是采用动物模型及虚拟模拟器。目前报道的用于耳内镜手术训练的动物模型主要是冷冻的羔羊尸头。Fernandez IJ 等[19]及Anschuetz L 等[20]报道，通过耳内镜下冷冻羔羊尸头训练，能显著提高耳内镜手术操作技巧。近年来，随着计算机技术的高速发展，虚拟模拟器已成为现代外科教育的重要组成部分，允许在不同的临床场景中有效地提高和评估学员的技能[21]。当前用于耳内镜手术训练的虚拟模拟器可以概括为物理模拟器和虚拟现实模拟器。物理模拟器是学习者与之进行物理互动以提高知识和技能的模型，是一种可以像身体部位一样具体的模型，如喉部或颞骨。物理模拟器可以直接触摸、操作、切割、反复操作，而且相对而言，成本较低，易于组装，易于维护[22-25]。比如利用比较简单的材料，模拟外耳道及鼓膜。Narendrakumar V报道木瓜径模拟外耳道，完成耳内镜下鼓膜切开术[24]。Dedmon MM 等[22,26]报道通过聚氯乙烯管制成的简易模型，学生和耳外科医生完成耳内镜下动作训练，比如将珠子放在指定的钢丝上，作为耳内镜手术训练。并且，通过比较学生和耳外科医生通过训练后学习曲线的变化，认为这种方式的耳内镜训练能提高手术操作技能[22]。使用真实的颞骨、人工血及新鲜鸡皮，作为中耳胆脂瘤模型[23]，练习耳内镜下完成外耳道皮瓣分离及中耳胆脂瘤清理。自2004年3D 颞骨模型的应用起，多位学者陆续报道了应用3D颞骨进行耳内镜手术训练。Barber SR等报道，耳内镜下在3D 颞骨模拟器下将指定的圆圈从一个钉子转移到另一个钉子，可以反复多次操作[27]。且通过3D 打印颞骨模拟器，术前模拟耳内镜下岩尖部手术，能降低术中风险[28]。

耳内镜虚实结合手术培训系统，结合真实的耳内镜微创手术，采用人机交互，完全模拟真实手术场景、同步训练耳内镜手术技术要点进行流程性操作，对手术关键技术、难点技术进行反复训练。通过训练，学习耳内镜微创手术的流程，熟悉耳内镜关键技术的要点，为培训者今后独立的耳内镜手术打下坚实的基础。同时，该系统所使用的材料、技术均是国产，拥有自主知识产权，具有广泛的应用前景。