基于双目立体视觉的手术定位跟踪技术研究

黄健，殷锋，袁平，陈彦如

（1.四川大学计算机学院，成都610065；2.西南民族大学计算机科学与技术学院，成都610041；3.重庆市第二师范学院技术与信息工程学院，重庆400067)

0 引言

计算机辅助外科手术（Computer Assisted Surgery，CAS）是一门新兴的研究领域。它通过合理、定量地利用CT、MRI、SPET 等医学诊断设备提供的多模图像数据和立体手术导航定位系统，辅助外科医生进行手术的计划和干预。手术导航系统根据采用的空间定位技术，可分为机械导航系统、超声导航系统、电磁导航系统和光学导航系统，其中光学导航系统采用可见光或红外光成像，使用双目立体视觉技术确定空间坐标，精度较高，是目前手术导航定位系统的主流方法。

本文设计了一种低成本、高精度的光学手术器械定位跟踪系统。在所提出的光学跟踪系统中，三个彩色标志小球被安装在手术仪器上。本系统使用CAMAR0135-3T16 双目摄像机，用张正友的标定方法[2-5]通过拍摄棋盘格对摄像机进行标定。使用Python 基于OpenCV 库开发了一种双目立体视觉手术器械跟踪定位系统。系统以Win10 系统的个人计算机为运行载体，由图像采集、图像处理、特征点提取、立体匹配和三维重建几个模块构成，通过连续处理视频数据，实现对手术器械尖端坐标的实时跟踪定位。

图1 实验器具

1 光学定位系统原理

1.1 摄像机标定

双目立体视觉模型涉及到几个坐标系：如图2 所示，世界坐标系XwYwZw，原点为Ow，其中点P 的坐标为P（xw,yw,zw）。左摄像机坐标系为XlYlZl，右摄像机坐标系为XrYrZr，原点Ol、Or分别代表左右摄像机的光学中心，Zl、Zr分别为左右摄像机的光轴。以左右摄像机光轴与各自成像平面的交点O 作为成像平面的原点，建立像平面坐标系，点p 在像平面坐标系的坐标可表示为p1(xl,yl),p2(xr,yr)。像素坐标系以左上角为原点，点p 在像素坐标系的坐标可表示为p1(ul,vl),p2(ur,vr)。

图2 双目视觉模型与各坐标系

根据上述坐标系关系，可得世界坐标系到像素坐标系的变换公式为：

其中Zc为比例因子，dx和dy分别代表每一个像素在x 轴与y 轴方向上的物理尺寸，f 代表摄像机的焦距。dx、dy、u0、v0只与摄像机的结构有关，称为摄像机内部参数；R 和T 分别代表摄像机相对于世界坐标系的旋转矩阵和平移矩阵，称为摄像机外部参数。摄像机标定就是确定内外参数的过程。

摄像机的标定方法根据是否需要标定参照物分为传统摄像机标定和摄像机自标定。传统摄像机标定需要使用已知尺寸信息的高精度参照物，将参照物的已知坐标与图像点建立对应关系以完成三维空间到二维图像的映射，精度较高。摄像机自标定利用自身运动过程中拍摄的不同图像建立对应关系完成标定，比较灵活但精度较低。张正友于1998 年提出的棋盘格标定方法，介于传统标定方法和自标定方法之间，兼具两者优势，且已封装为MATLAB 工具箱，可以快速对摄像机进行标定。

1.2 双目立体视觉模型

理想的双目立体视觉模型中，两个完全相同的双目摄像机平行放置，如图2 所示，两个摄像机的光轴Zl、Zr互相平行，Yl、Yr轴也互相平行，Xl、Xr在同一条直线上。以两个摄像机的光心Ol、Or作为原点分别建立坐标系，两个光学中心的连线称为基线，记为b。成像平面与光心的距离为焦距，两摄像机的焦距相同，记为f。若以左摄像机的坐标系为世界坐标系，空间点P（xw,yw,zw）在左右摄像机的成像平面上的坐标分别为p1(xl,yl),p2(xr,yr)，由相似三角形原理可得：

式中基线b 和焦距f 可以通过摄像机标定得到。因此，在已标定的理想双目立体视觉系统中，可以定量计算空间点P 的深度。但实际上，两台摄像机光轴无法做到完全平行，若在硬件条件无法满足的情况下，按照理想的双目立体视觉模型来进行定位，会得到误差较大的结果。在实际应用中，通常会对摄像机分别进行标定，得到两个摄像机的标定矩阵参数，并通过立体匹配的方法，得到空间点P 在两个摄像机成像平面上对应像点的坐标，采用最小二乘法进行深度信息的精确求解。

2 标志点提取

本文所述双目视觉定位系统基于可见光定位，使用彩色小球作为手术器械的标志点。通过在手术器械上安装三个彩色标志小球以定位手术器械针尖。标志点的中心坐标的提取计算直接影响三维坐标重建的精度。如图1 所示，本系统使用装有三个红色小球的实验装置模拟手术器械，双目摄像机实时拍摄运动过程中的手术器械图像，输入上位机中进行处理。下面以左摄像机拍摄的一帧图像为例，说明计算机处理图像，获取标志点中心坐标的过程：

（1）左摄像机拍摄的图像输入笔记本电脑中

（2）利用OpenCV-Python 库读取采集到的图像，对图像根据RGB 值做颜色通道分离，通过高斯滤波和图像膨胀等形态学处理方法，对图像进行二值化处理。

（3）在图像矩阵中寻找高亮连通区域（灰度值大于一定阈值），根据公式（4）计算中心坐标：

从右摄像机采集的图像中提取标志点中心坐标的流程与上述过程相同。在分别获取并处理左右摄像机拍摄的图像，提取三个标志点的中心坐标后，可以根据第4 节的理论重建三个标志点在空间中的球心坐标。

3 立体匹配

本文提出的手术器械跟踪系统是基于双目摄像机的。根据标记的三维坐标重建模型（第4 节），需要一对匹配的标记点中心坐标以计算真实的标志点中心位置。在左图像和右图像中分别有三个标记点。在进行三维重建之前，必须对左右图像中同一位置的标记对进行匹配。本文使用标记的空间位置进行匹配，手术器械上标记的位置固定，图像上标记的位置也固定。左右图像中的三个标记按照它们的位置从上到下和从左到右排序，可以通过匹配它们的排序顺序号来匹配标记对。

4 三维重建

假设已通过摄像机标定获得两个摄像机的标定参数，空间点P（xw,yw,zw）在左右摄像机得像素平面坐标分别为p1(ul,vl),p2(ur,vr)。根据1.1 小节中式（1），可得：

其中，Ml与Mr为世界坐标系到左右摄像机的投影矩阵。联立式（5）与（6）得：

式（7）表示过Ol pl的直线，式（8）表示过Or pr的直线。通过（7）、（8），根据最小二乘法，可求得空间点P的坐标xw,yw,zw。

5 手术器械标定

手术器械的工作点（针尖或刀尖）往往会深入病人体内而导致无法在视距范围中获得其图像以及位置信息。因此，对工作点坐标的计算是间接的，首先要确定手术器械上的标志点与工作点间的刚体约束关系。

如图3 所示，A、B、C 为手术器械的三个标志点的中心点，T 为手术器械的工作点。以A 为原点，在以ABC 确定的平面上，以AB 为x 轴建立坐标系，此为手术器械坐标系。由于手术器械是刚体结构，手术器械坐标系中工作点T 的位置是固定的。A、B、C 三点的世界坐标系坐标可由上述双目视觉方法获得。下一步再根据三点在世界坐标系和手术器械坐标系中的坐标，确定手术器械坐标系到世界坐标系的旋转平移矩阵。根据此旋转平移矩阵，可以计算出T 点在世界坐标系中的位置。因此手术器械标定，就是确定工作点T 在手术器械坐标系中的坐标。

图3 手术器械示意图

手术器械标定的第一步是将手术器械绕工作点T（T 点不动）进行N 次旋转。设工作点T 的坐标为T(xt,yt,zt），标志点坐标为P（xi,yi,zi），表示第i 次旋转所拍摄图像中标志点的坐标。根据该标志点到点T 的欧氏距离d不变，可得：

i＞=2 的方程均减去i=1 的方程消去d，得到N-1个方程：

对于三个标志点，共可得到3（N-1）个方程。通过最小二乘法，可解得T(xt,yt,zt）。

根据某次旋转得到的标志点坐标，可求得世界坐标系至手术器械坐标系的旋转平移变换矩阵，进而可以根据旋转平移矩阵和T(xt,yt,zt），求得手术器械工作点T 在手术器械坐标系中的坐标。

6 手术器械定位实验

步骤1：读取双目图像；

图4 双目图像

步骤2：对图像进行RGB 通道分离、二值化、膨胀等处理；

步骤3：提取图像中标志点中心坐标；

步骤4：立体匹配获取双目图像中对应标志点的中心坐标，三维重建得到标志点在世界坐标系中的空间坐标；

步骤5：通过坐标系的旋转平移变换，求得手术器械工作点的空间坐标。

图6 实验结果

7 结语

本文设计了一种低成本、高精度的光学跟踪系统。系统运行在搭载Win10 操作系统的个人计算机上，通过MATLAB 工具箱中的张氏标定法对摄像机进行标定，基于双目视觉原理获取标志点的深度信息，再根据标志点与手术器械针尖的刚体约束计算针尖坐标，实现对手术器械的实时跟踪定位。系统通过Python 编写基于OpenCV 库完成图像采集、处理和坐标计算的功能。