三维医用电子内窥镜可视化中的几何畸变

夏振平，张博文，王 飞，程 成，顾敏明

(1.苏州科技大学 电子与信息工程学院，江苏 苏州 215009；2.苏州市立医院泌尿外科，江苏 苏州 215002)

1 引 言

近年来，三维(Three Dimensions, 3D)影像获取与可视化技术在娱乐、医疗、教育、军事和科学研究等领域有着广泛的应用[1-3]。成人双眼平均瞳距(Inter-Pupillary Distance, IPD)为63 mm，左右眼位于不同的位置使得观看到的内容存在视差[4]。左右眼感知到的视差图像经过视觉系统处理后形成双目单视。在双眼信息融合过程中，视差提供了重要的深度感知信息。3D影像获取与显示系统就是基于人类视觉系统的这一特性，模拟人眼感知真实世界的方式，通过不同的呈现手段创造了虚拟的3D世界。

3D医用电子内窥镜是3D技术在医疗领域应用的重要方向之一。自2010年英国进行了世界首例3D腹腔镜外科手术[5]后，3D医用电子内窥镜被广泛使用[6-8]。与传统的两维(Two Dimensions, 2D)内窥镜相比，3D内窥镜具有相当的大小和重量，且在深度感知、相对大小判断、手眼协调等方面具有显著优势[9]，其也逐渐被医护人员认可，慢慢替代了传统的2D内窥镜。Kong等人[10]比较了3D腹腔镜手术与传统2D腹腔镜手术在手术时间、误差率以及深度感知、舒适度等方面的差异。研究表明，3D腹腔镜手术具有显著的深度感知效果，并且手术误差率明显降低。Schoenthaler等人[11]通过比较移动小物件和精细切割的任务执行情况，研究发现3D内窥镜相较传统内窥镜具有更好的表现，使用3D内窥镜执行任务时受测者感到更为自信和舒适。蒋堃等人[12]比较了肾上腺肿瘤手术中使用3D和传统2D腹腔镜的差别。手术时间和术中出血作为研究比较的两项指标，3D腹腔镜手术均具有统计学意义的显著性优势。结果表明，3D腹腔镜技术较传统2D技术在空间定位及深度感知上有明显优势，从而降低了手术的难度，缩短了手术时间。除了实际的临床手术，在医学外科手术技巧培训中，3D内窥镜技术也以其优势发挥着重要作用[13]。

与3D技术在其他领域的应用类似，图像质量和使用舒适度的提高一直是医护人员对3D技术应用的诉求，也是相关科研技术人员追求的目标。为了获得更广的观测视角，内窥镜通常采用短焦距的广角镜头，从而使获取的双目视图(2D)图像存在明显的几何畸变效果。为了快速有效地评价内窥镜图像的几何畸变程度，侯蕊等人[14]提出了一种基于椭圆拟合的检测方法。为了提高内窥镜的成像质量，宋璐等人[15]提出了一种基于FPGA的图像畸变校正方法，对常见的桶形畸变进行校正，从而提高成像的精确度；张建勋等人[16]基于加权引导滤波的图像增强算法，提出了内窥镜成像纹理细节提升方法，该方法可以去除漂浮杂质。王强等人[17]通过多颜色空间非线性对比度拉伸的方法提高内窥镜所获图像的血管与组织的对比度，可以增强原始特征不明显的细小血管。由于3D内窥镜系统有单目图像或多目2D视差图像组成，当前的3D内窥镜图像质量及相关舒适度的评价及提升研究还仅是基于2D图像。基于3D内窥镜影像获取、显示和视觉感知全过程，构建3D内窥镜虚拟空间模型，对于医护人员在使用3D内窥镜进行手术时真实感知到的场景进行优化显得十分重要。

使用过程中医护人员的视觉不舒适可能是当前阻碍3D内窥镜技术推广的最大障碍之一，长时间使用时可能引起头晕、头痛、恶心甚至呕吐[18]。研究人员提出了很多理论试图解释这类3D内容观看时产生的不舒适症状，其中的经验理论认为当前感知的信息与前期经验积累的信息不符是引发此类3D视觉感知不舒适的重要因素[19]。那么，3D内窥镜影像获取与可视化过程中的参数不匹配会产生感知立体影像的空间几何畸变，这种几何畸变在物体运动时产生的动态畸变与预期的刚性和稳定性会形成冲突，这种冲突会引起3D内窥镜使用过程中医护人员的视觉不舒适。

本文考虑到3D医用电子内窥镜系统可视化的特殊性，详细分析了其影像获取、3D显示系统呈现以及医护人员通过3D眼镜等辅助设备视觉感知的全过程，构建了系统的3D内窥镜可视化模型。对可能造成虚拟空间几何畸变的因素进行了逐一分析，提出了有针对性的使用指导意见，对3D内窥镜实际使用过程中的感知精度和视觉舒适度的提升具有一定作用和参考价值。

2 三维医用电子内窥镜

三维医用电子内窥镜基于人眼观看真实世界的方式，提供了具有深度信息的立体影像，从而大幅提高了手术操作的精准性。三维医用电子内窥镜系统主要由两部分组成，即3D内窥镜成像系统和用于可视化的3D显示系统。

为了尽可能地减少患者的创伤，缩小创口的大小，内窥镜的尺寸大小是严格限制的。现有报道中，3D内窥镜的直径可以小到4 mm[7]。实现3D内窥镜的方法中，最典型的应该是双光通道方法。其由两个完全一样的高清摄像头组成，摄像头并排设置，可以获取具有视差的双视图(如图1所示)。除此之外，特殊设计的双光通道组合一个高清摄像头也可以实现3D内窥镜的双通道图像获取[20]。无论采用哪种方式实现，3D内窥镜系统最终的目的是让使用该设备的医护人员能够看到具有视差的左右眼视图，从而形成具有深度信息的立体视觉。

图1 双光通道三维医用电子内窥镜。(a)三维摄像机系统；(b)双摄像机；(c)硬式内窥镜；(d)双镜头。

3D内窥镜中的深度信息是由双光通道处于不同的位置而形成。以直径为4 mm的硬式3D内窥镜为例，管壁的厚度至少0.5 mm，留给双通道摄像头的空间仅为3 mm。双摄像头左右放置，摄像头基线距离仅为1.2 mm左右[7]。与成人双眼平均瞳距IPD的63 mm相比，3D内窥镜系统的双摄像头基线距离是非常小的，这也就形成了该3D获取与成像系统的特殊性。

形成立体视觉的第二个条件就是立体显示系统。在使用相同的3D成像内容的情况下，立体显示系统可以使用传统的眼镜式或裸眼立体显示。在三维医用电子内窥镜系统可选的显示系统中，同时基于几何空间的畸变研究，从本质上，这两者在空间几何构建上并没有实质性差别[21]。传统眼镜式立体显示以偏振眼镜式为例，它是通过不同偏振方向或偏振态的光区分左右眼影像。裸眼立体显示系统在空间不同方向投射具有视差的左右眼影像。两者均为了向观看者的左右眼分别投射具有视差的左右视图，以形成立体视觉。

3D内窥镜系统的临床应用如图2所示。微创手术过程中，3D内窥镜系统获取具有视差的左右视图影像(图2(b))，通过偏振式立体显示系统显示手术过程中的影像，医护人员佩戴偏振式立体眼镜观看3D显示屏幕进行手术操作或手术状态的监控。由于实际应用中的场地等条件限制，医护人员观看同一3D手术内容时所处的位置和观看的角度是不同的(图2(a))。理论上讲，每个医护人员所感知到的立体影像是不完全相同的，除了前面讲到的立体影像采集与显示部分，立体影像的观看位置和角度也是影响最终感知效果的重要因素[22]。3D内窥镜显示系统同样存在最佳的观看位置和角度的范围，这与3D内窥镜双摄像头基线范围、3D显示屏幕的大小、人眼瞳距等因素都直接相关。

图2 三维内窥镜临床应用。(a)手术过程中通过偏振式立体眼镜观看影像；(b)手术进行中获取的三维内窥镜影像，具有视差的左右视图通过偏振式三维显示系统显示。

3 三维内窥镜影像获取与可视化模型

3D内窥镜影像获取与可视化参数之间的关系直接影响最终的感知效果。3D影像获取中采用平行摄像头配置模式(图3(a))，3D显示中采用基于双目视差的立体显示(图3(b))是较为常见的系统模式[23-24]。3D内窥镜影像获取与可视化模型将基于以上常见配置模式构建。

图3 三维影像获取、显示与感知。(a)平行式双摄像机配置获取真实世界场景影像；(b)虚拟世界场景呈现与视觉感知。

3D内窥镜影像获取与可视化过程可以总结为3个主要的坐标转换步骤，最终形成由物体空间(Xo,Yo,Zo)向图像空间(Xi,Yi,Zi)的转换过程。物体空间以双摄像头的连线中心点为坐标原点(图3(a))，图像空间以双眼连线的中心位置为坐标原点(图3(b))。物体空间与图像空间之间的转换需要通过摄像头的传感器坐标以及显示屏坐标，转换过程如式(1)～(3)所示[24]。其中，空间坐标转换涉及的符号及其含义如表1所示。

表1 空间坐标转换涉及的符号

第一个坐标转换步骤是由3D的物体空间转换到2D的摄像头传感器坐标，物体空间(Xo,Yo,Zo)中的物点Po投射到左右摄像头传感器上分别形成Ol和Or。Ol和Or分别以(Xcl,Yc)和(Xcr,Yc)的2D形式表达，具体转换过程如式(1)所示。

(1)

其中：f是摄像头的焦距，bc是双摄像头的基线距离，s是平行式配置模式下摄像头传感器的补偿位移，Yc的表达默认在垂直方向上左右传感器坐标无差异。式(1)基于小孔成像模型，考虑左右摄像头传感器的补偿位移，表达了从3D物体空间到2D摄像头传感器坐标的转换过程(如图3(a)所示)。

第二个坐标转换步骤是由摄像头传感器坐标转换到显示屏坐标，体现为摄像头传感器采集的图像内容在显示屏上呈现，Ol和Or在显示屏坐标分别对应左右视图Sl和Sr的位置。Sl和Sr分别以(Xsl,Ys)和(Xsr,Ys)的2D形式表达，具体转换过程如式(2)所示。

(2)

其中，Ws是显示屏的宽度，Wc是摄像头传感器的宽度，Ys默认在垂直方向上显示屏显示的左右视图坐标无差异。默认显示屏和摄像头传感器具有相同的宽高比例，仅以宽度比例代表坐标的放大率。

第三个坐标转换步骤是由2D的显示屏坐标转换到3D的图像空间，体现为人眼的双目立体视觉融合过程，双目影像Sl和Sr融合为图像空间中的三维像点Pi(Xi,Yi,Zi)，具体转换过程如式(3)所示。

(3)

其中：be为模型中的双眼基线距离，也就是瞳距IPD，Vd是观看者相对3D显示屏的实际观看距离。如果是近眼3D显示设备，观看距离同样可以根据相关参数进行换算求得。整个双目融合的感知过程如图3(b)所示，观看距离及观看者瞳距等观看条件直接影响感知到的几何空间构建，这也体现了人因在3D成像系统中的重要地位。

基于通常使用的平行摄像头配置模式，摄像头传感器和显示屏幕上左右视图在Y方向上并没有任何差异。如果能确保3D影像的采集和可视化过程中的基线距离(bc和be)、会聚距离(Cd和Vd)以及视场角度(α和β)完全一致，物体空间将与图像空间完美匹配。虽然表达式(1)～(3)中没有涉及摄像机会聚距离Cd以及视场角(α和β)，但是表1的这些参数之间是有可以相互表示的约束关系。

鉴于3D内窥镜系统的特殊性：3D影像采集的双摄像头基线距离bc远小于可视化过程中的双眼瞳距IPD(be)。3D内窥镜系统中物体空间与图像空间绝不可能完全匹配。通常情况下，3D内窥镜系统中，物体空间的物体在图像空间中将会以放大数十倍的形式呈现。这也完全符合3D内窥镜“显微”助视的特性，但在放大过程中也要确保影像相对大小的一致性。

4 空间几何畸变分析

3D内窥镜系统的几何畸变分析是基于3D内窥镜影像获取与可视化模型，分析相关参数变化导致图像空间中的物像在各个维度上放大倍数不一致的问题。Woods[24]和Gao[22]基于常规的3D影像采集与可视化过程，分析了立体空间的几何畸变问题。作为一种独特的3D系统，3D内窥镜系统可视化的虚拟图像空间是基于真实空间放大数十倍的可视化效果。在常规的3D影像获取与可视化系统中，3对参数的匹配与否将影响几何畸变。每一对参数均一致时，感知的虚拟影像将与真实空间物体完全匹配。在3D内窥镜系统中，双摄像头的基线距离是固定的，并且远小于双眼IPD。理想的物像重现是3个维度上具有相同的放大率。为确保3个维度上的放大率一致，影像采集与可视化的视场大小必须一致(如式(4)所示)，同时基线距离与会聚距离的比例必须相同(如式(5)所示)。基于典型的案例，摄像头基线距离约为1.2 mm左右，而成人IPD为63 mm，相比之下双眼IPD是摄像头基线长度的50倍左右，所以3D内窥镜系统理想的放大率也是50左右。

α=β，

(4)

(5)

为了更直观地呈现3D内窥镜系统的可视化效果，图4展示了3D内窥镜系统的可视化模拟结果。真实世界(物体空间)中一个边长为2 cm的立方体(图4(a))在虚拟世界(图像空间)的理想放大影像为边长1 m的立方体(图4(b))。3D内窥镜不恰当的使用，会产生感知影像的几何畸变如图4(c～f)所示。在实际应用当中，3D显示屏幕尺寸的选择以及使用者的最佳观看距离需要遵循式(4)和式(5)。以摄像头会聚距离30 mm，单个摄像头视场角58°为例，最佳观看距离为1.5 m，与之匹配的三维显示屏为190.5 cm(75 in)(屏幕比例为16∶9)。

图4 三维内窥镜可视化效果模拟。(a)真实世界中的物体；(b)无畸变的放大可视化；(c～f)畸变的可视化效果与理想情况的比较。

5 结 论

三维电子内窥镜凭借立体影像提供的立体空间深度感知优势，可以为更加精确的诊断和手术操控提供保障，已广泛应用于各类医学诊断、微创手术以及医学培训。空间复现的精确性是3D内窥镜的基本要求，影像获取与可视化参数的匹配程度不仅影响空间复现的精确度，还有可能导致医护人员使用时的视觉不舒适问题。本文基于3D电子医用内窥镜系统影像获取、显示及感知过程的分析，建立了影像获取与可视化模型，分析了3D内窥镜系统的特殊性以及使用过程中可能出现的立体空间几何畸变情况，提出了参数匹配以确保3D内窥镜影像无畸变等比例放大的方法。