体视显微镜视频的快速校正算法＊

方兰婷，杨 鸣，2

（1.宁波大学 信息科学与工程学院，浙江 宁波 315211；2.浙江省医用光电仪器高新技术研究开发中心，浙江 宁波 315211）

引 言

近年来，利用体视显微镜实现立体显示的研究越来越多，当空间的三维场景投影成二维图像时，同一物体在不同视点下的图像会有很大的不同，而且场景中的很多因素，像光照条件、镜头畸变、物理特性、噪声干扰和物体几何形状等［1］，都会影响图像显示效果。由于显微镜的特殊关系，实现显微镜的立体显示包括自动聚焦［2］、图像采集和立体显示等步骤，在立体显示过程中，要达到较好的立体显示效果，实现立体显示的左右视点的图像必须满足一定的关系。为了能够恢复变形的图像，使得左右视点图像满足特定的关系，实现理想的立体显示效果，有必要对其进行图像校正。立体图像校正实际上就是给定一幅图像中的一点，寻找另一幅图像中的对应点，使得这两点为空间同一物体点的投影，进而求出二者的视差，以恢复场景的深度信息，并进一步求得该点的空间坐标［3］。现有的摄像机校正技术大致分为三类：传统校正方法、摄像机自校正方法和主动视觉校正方法。传统校正过程复杂，需要高精度的已知结构信息；摄像机自校正方法鲁棒性差，精度不高。如文献［4］提出了摄像机的校正算法过程复杂，速度慢。文献［5］提出了基于单应性矩阵和几何外极线的自适应摄像机校正算法，精度不高。文献［6］提出了一种应用于显微摄像机的校正方案，校正材料为网格板，需要提取多个角点，影响校正速度。文中提出了一种基于十字标尺，可以准确找到特征点的快速校正算法，该算法克服噪声的影响，可以运用在线条不光滑、有断点的十字标尺上。算法速度快，精度高。

1 基于图像中心的校正算法

1.1 立体显示视差分析

平行结构的两台摄像机位于相同的x－y平面，但是在x轴方向有一定偏差，因此在左右摄像机得到的图像存在一定的视差，视差可以分为四种类型：零视差、正视差、负视差和发散视差四种。当视线对图像之间不存在任何差别时为零视差；当视差小于或等于瞳孔距离且视线不交叉时为正视差状态，此时成像在显示器后面；交叉时为负视差状态，成像位于显示器前；当视差大于瞳孔距离时为发散视差状态。两图像没有重叠部分，因此不能形成立体效果，图1为立体显示的成像原理。

P（X，Y，Z）为P点在空间的坐标，P点分别投影在左右成像平面上坐标对应的点分别为PL（XL，YL），PR（XR，YR），这两点的视差矢量为：

图1 立体成像原理Fig.1 Principle of three－dimensional imaging

水平和垂直分量分别为：

由于是两台摄像机拍摄的结果，参数配置都有不同，摄像机位置摆放也对照片效果有很大的影响，故实际拍摄出的左右视点的图像视差与估计视差有很多差异，这就需要通过图像校正得到与估计视差相匹配的图像。

设图像左上角为原点；设原图像任一点像素坐标为（x，y），用矩阵p（x，y，1）表示；在投影图像上的坐标为（X，Y），用矩阵P（X，Y，0）表示。设投影图像与原图像的变换关系为

为了能求出a，b，u，v四个参数，并找出两幅图像对应坐标点，需要找到一个公共点，知道图像的倾斜度。其中参数a，b可以通过倾斜度的测量获得，参数u，v需要找到公共点求取。

1.2 倾斜度测量

采集到一幅图像，首先对其进行二值化处理，第二步通过边缘检测的原理，得到十字线水平线的边缘，任取其左右的上边缘和下边缘的四个点，利用细化处理的原理，模拟出一条直线。最后求得到图像的倾斜度。

（1）图像预处理：对图像进行滤波去噪，通过空穴检测方法去除图像中明显的污点，防止污点影响后续的测量。

（2）二值化：统计各像素的灰度个数计算全局阈值T1，设图像在像素点（x，y）处的灰度值为f（x，y），二值化后为F（x，y），a为常数，则：

（3）边缘点提取：利用边缘检测原理，找到一条水平线的边缘上的点，取其中两点，因为噪声的影响，有可能找到的点并不是所需要的点，需加入限制条件，设在像素点（x，y）是图像上找到的一点，y（x）表示找到x列点对应的行数y，在理想状态也应有：

实验中取一个阈值d，只有当找到的像素点（x，y）满足公式

这一点就是需要的点，反之说明找到是那个点是噪声，继续寻找下一个点。

（4）细化处理和倾斜度：原图像根据变换定义

做细化处理，设rx，ry，lx，ly分别为细化处理后的取得的水平线上的两点（rx，ry），（lx，ly），根据公式

求出所提取直线的倾斜度。

（5）参数的求取：假定原图像的倾斜度为k0，待校正图像的倾斜度为k1，可以知道所需参数为

1.3 角点检测

目前角点检测算法主要分为基于边缘的角点检测和基于灰度的角点检测。基于边缘的角点检测主要利用图像的分割和边缘提取，这种方法计算量大且算法性能依赖于边缘检测的效果；而基于灰度的角点检测主要通过计算图像中点的曲率及梯度来检测角点，常用的有Harris算子、Susan算子等。由于十字标尺的特殊材料，制作的十字标尺两条线并不是很光滑的直线，有些甚至还有断点，故传统的角点提取方法用于十字标尺后，得到结果并不理想。文中采取方法是对已经做过细化处理图像，利用倾斜度测量中边缘点提取方法，找到上下左右任意四个点坐标，设在水平线提取的两个像素点分别为（rx，ry），（lx，ly），在垂直线上提取的两个像素点分别为（hx，hy），（dx，dy），两幅图像公共点为（x0，y0），两幅图像公共点之差分别为Δx，Δy。校正算法的参数u＝Δx，v＝Δy。图2为用传统的角点检测方法和实验使用的检测方法比较。从图2中可以看出，文中使用的检测方法可以准确找到十字中心，而传统的检测方法受到断点的影响，无法准确找到需要的中心点。

两幅图像的公共点像素坐标：

这种检测方法利用十字线上任意四点间接求得需要的角点，文中算法与传统一些算法相比的优点在于：

（1）对十字光滑性没有要求，即使是有断点的十字线也能准确提取需要的角点。可得到两幅图像的公共点。

（2）并不需要检测整幅图像，只要找到需要的点，算法就结束，节省了时间。算法速度快。

（3）很好地避免了噪声的干扰。

图2 角点检测方法比较Fig.2 Comparison of corner detection

2 实验结果分析

实验使用体视显微镜拍摄十字标尺和电路板的两组图片。电子目镜为一个CMOS摄像机，分辨力为1 600×1 200，显微镜的放大倍数分别用了3倍和1倍，由于显微采光和镜头等原因，左右视点的图片颜色误差较为严重，实验未对颜色进行校正。图3为十字线校正前后的对比照片，其中图3（a）为校正前左右视点照片对比，图3（b）为校正后左右视点照片对比。可以看出校正前左右视点的十字线有一个明显的污点，左右十字线不平行，水平线高度不一致，垂直线错位也过大；校正后左右视点的十字线已经去除了污点，基本平行，高度一致，十字交点位置也基本一致。图4是利用十字线校正得到的参数，校正电路板左右视点的照片。校正前电路板的立体显示视觉效果模糊，立体效果不明显；校正后的电路板立体显示有很好的深度感，立体视觉效果清晰显著。

图3 十字线校正结果Fig.3 Cross－line calibration results

图4 电路板校正结果Fig.4 Circuit board calibration results

表1为实现立体校正所需要的各个参数。表2为校正后特征点位置和像素误匹配率，其中立体校正的算法误差函数为

式（12）中，dc（x，y）为估计视差，dt（x，y）为实际视差，T 为算法所用的时间。由表2可以看出文中算法校正后两幅图像的像素误匹配率小，校正效果好，算法时间短。

表1 校正变换的参数Tab.1 Correction transformation parameters

表2 校正后像素误匹配百分比Tab.2 Percentage of corrected pixel mismatch

3 结 论

由于制作工艺和加工水平等原因，摄像机镜头有各种畸变，十字标尺存在光滑度差，连续性不好等问题。文中利用边缘点的梯度不连续性，找到待匹配的特征点，由特征点区域性确保其特征点的准确性。运用坐标变换，提出了一个新的校正方程，解决了十字标尺的校正问题。恢复变形的图像，使得左右视点图像满足特点的关系，实现理想的立体显示效果。文中算法需要的参数数量少，实现速度快，最终实现的误匹配率低。适用于利用十字标尺求取参数的立体校正。

［1］原思聪，刘金颂.双目立体视觉中图像匹配方法的研究［J］.计算机工程与应用，2008，44（8）：75－77.

［2］余孟凤，杨 鸣，杨翠翠.基于CPLD的高分辨力视频展台快速自动聚焦方法及实现［J］.光学仪器，2010，32（6）：24－29.

［3］齐占辉，张锁平.非校正点下的图像校正算法［J］.光电工程，2009，36（1）：32－35.

［4］CARON G，EYNARD D.Multiple camera types simultaneous stereo calibration［C］∥IEEE International Conference on Robotics and Automation.Shanghai：Shanghai International Conference Center，2011：2933－2938.

［5］MIKSCH M，YANG B，ZIMMERMANN K.Automatic extrinsic camera self－calibration based on homography and epipolar geometry［C］∥IEEE Intelligent Vehicles Symposium.San Diego：University of California，2010：832－839.

［6］AMMI M，FREMONT V，FERREIRA A.Automatic camera－based microscope calibration for a telemicromanipulation system using a virtual pattern［J］.IEEE Transactions on Robotics，2009，25（1）：184－191.

［7］狄红卫，柴 颖，李 澎.一种快速双目视觉立体匹配算法［J］.光学学报，2009，29（8）：2180－2184.