热红外相机双目测距系统标定技术研究

陆晓杰,韩贵丞,姚 波,蔡能斌,亓洪兴

(1.中国科学院上海技术物理研究所空间主动光电技术重点实验室,上海 200083；2.中国科学院大学,北京 100049；3.上海市现场物证重点实验室,上海 200083)

1 引 言

双目视觉系统利用相机模拟人眼,从不同角度获取同一三维场景的两幅二维图像,从而实现测距、三维重建等功能。实现双目测距首先要对相机进行标定[1],以确定相机的几何模型,建立两台相机之间的位置模型,精确的模型参数可以为后续的图像立体匹配打下良好的基础。

目前,双目测距系统主要应用于可见光波段。可见光相机需要辅助光成像,相较之下,热红外相机可以较好的工作在夜晚、雾霾、能见度差等特殊环境。随着热红外成像技术的日益成熟,利用热红外相机搭建的双目测距系统越来越具有应用前景[2-3]。

一方面,由于热红外相机接收热辐射成像,成像机理不同导致标定过程不同[4]。另一方面,热红外图像较可见光图像存在纹理信息差、图像分辨率低,信噪比低、图像质量差等问题[5]。因此,需要单独研究热红外相机的标定技术。在现有的研究中对于热红外双目相机的标定技术研究较少,制作方式和靶标形状各不相同。综合以上内容考虑,本文中制作对比了两种热红外靶标:①由黑色氧化铝板和镀镍铝板制成的棋盘格靶标；②由黑色氧化铝板和镀镍钕铁磁制成的圆形点阵靶标,并通过实验分析两种热红外靶标的标定结果。

2 双目相机标定

2.1 双目相机标定模型

根据小孔成像原理,相机的成像过程可以用几何投影法表示,如图1所示[6]。某三维空间点的世界坐标PW(XW,YW,ZW)与其图像像素坐标p(i,j)之间的关系可由式(1)表示。

图1 相机小孔成像模型Fig.1 Pinhole camera model

(1)

式中,图像像素大小(dx,dy)、焦距f及图像坐标原点到图像左上角的距离(u0,v0)均为相机的内部参数,相机的安装位置和方式决定了相机坐标系与世界坐标系之间的旋转矩阵R和平移矩阵T,属于外部参数。当相机被选定且确定了其安装方式和位置时,此成像系统的内外参数就确定了。

事实上相机不可能符合理想的小孔成像模型,因此标定时还需要进行建立畸变模型。相机的畸变主要包括:由于相机的图像传感器与光轴未能完全垂直安装而造成的切向畸变；镜头光学特性导致目标点沿着像面径向方向偏移的径向畸变。通常使用式(2)、(3)来表达对相机畸变的精确估计。

(2)

(3)

一般为双目视觉选择镜头时,需要确保镜头的最大畸变小于1 %,即径向畸变取k1、k2、k3即可。

相较单目相机的模型,建立双目相机系统模型时除了需要计算左右相机各自的内外参数,还需要计算左右相机之间的旋转和平移参数。通常为了简化模型,将左相机所在坐标系定义为世界坐标系,即左相机模型没有旋转和平移参数,只需要计算右相机的旋转矩阵和平移向量即可,如式(4)、(5)所示。

(4)

(5)

2.2 标定板设计

可见光相机标定理论发展已有几十年之久,目前较为常见的方法大多基于张正友在《A Flexible New Technique for Camera Calibration》一文中提出的方法[7],主要包括以下几步:

①制作一张模板并贴在一个平面上；

②从不同角度拍摄若干张模板图像,作为基准图像的一张需要使模板尽量垂直于光轴；

③检测出图像中的特征点；

④求出摄像机的内参数和外参数,畸变系数。

针对可见光靶标在热红外成像中无法正常确定特征点坐标的问题,文献[8]中使用了加热模块和光源板的组合制作热红外相机靶标,成像效果良好,但需要配套为系统供电的稳压电源、调整温度的调温模块、用于供电加热条等复杂结构,操作繁琐；文献[9]指出不同材质的发射率和太阳辐射吸收率不同,实验得出了适合制作热红外相机靶标的黑色氧化铝和镀镍铝板,这两种材质在热红外图像中DN值差异较大,有利于特征点提取,结构简单易于携带。考虑到不同靶标特征点形状具有不同的特性,文献[10]中提出在可见光波段下圆形特征点相较棋盘格角点具有更好的抗噪能力。结合以上两方面,本文选用黑色氧化铝和镀镍钕铁磁制成了圆形点阵靶标,如图2所示。通过实验,对比分析与图3所示的棋盘格热红外相机靶标的标定效果。

图2 圆形点阵靶标Fig.2 Circular lattice calibration target

图3 棋盘格靶标Fig.3 Checkerboard calibration target

3 热红外双目相机系统标定实验

本次实验双目测距系统由两台相同型号的热红外相机组成,如图4所示。该热像仪探测器为非制冷焦平面探测器,波长范围7.5～14 μm,面阵大小为640×480,像素尺寸17 μm,测温范围-20～150 ℃,焦距25 mm,视场角25°×19°,满足实验需要。

图4 热红外双目测距系统实验装置Fig.4 Experimental device of thermal infrared binocular ranging system

具体实验操作包括以下步骤:

首先利用上述热红外双目系统分别拍摄两个靶标,将靶标以不同倾斜角度放置在系统可清晰成像范围内,拍摄多组照片,其中必须保证一次靶标尽量垂直于光轴。本次实验共拍摄13组,如图5～8所示。

图5 棋盘格靶标-左相机图像Fig.5 Left images of checkerboard calibration target

图6 棋盘格靶标-右相机图像Fig.6 Right images of checkerboard calibration target

图7 圆形点阵靶标-左相机图像Fig.7 Left images of circular lattice calibration target

图8 圆形点阵靶标-右相机图像Fig.8 Right images of circular lattice calibration target

针对棋盘格靶标,利用matlab的camera calibration toolbox工具箱对左右相机分别进行标定,再将左右相机的标定文件载入Stereo Camera Calibrator工具箱计算系统外参。标定结果如表1所示。

表1 棋盘格靶标标定结果Tab.1 The result of checkerboard calibration target

针对圆形点阵靶标,利用Labview的IMAQ Learn Camera Model函数对左右相机分别进行标定,再将左右相机的标定文件载入IMAQ Learn Binocular Stereo Calibration计算系统外参。标定结果如表2所示。

表2 圆形点阵靶标标定结果Tab.2 The result of circular lattice calibration target

4 棋盘格靶标和圆形点阵靶标标定结果分析

目前对于相机标定结果的优劣与否还没有形成系统的评价理论,通常选用重投影误差这个值作为评价标准。重投影误差是指投影的点(理论值)与图像上的测量点的误差。认定靶标上的物理点是理论值,它经过投影变换后会得到理论的像素点a,而测量的点经过畸变矫正后的像素点为a′,它们的欧氏距离即表示重投影误差。显然,重投影误差越小,表面相机标定结果越准确,如表3所示。

表3 棋盘格靶标与圆形点阵靶标的 重投影误差对比(原始)Tab.3 Reprojection errors of checkerboard and circular lattice calibration target (original)

由于计算圆形点阵靶标的重投影误差是在世界坐标系下测算的误差,因此需要将此绝对误差换算到像素坐标系下。经查阅热红外相机的系统参数,可知两台相机的角分辨率均为0.68 mrad,已知靶标距离与相机距离为1.6 m,即可计算出像素坐标下的重投影误差,如表4所示。

表4 棋盘格靶标与圆形点阵靶标的 重投影误差对比(像素坐标系)Tab.4 Reprojection errors of checkerboard and circular lattice calibration target (pixel coordinate system)

由表4可知,当以重投影误差为评价标准时,圆形点阵靶标相较棋盘格靶标具有更准确的标定效果。

另一方面,在双目视觉系统中建立准确的相机模型,是为了校正左右图像使得图像特征点“行对齐”,从而缩小特征点寻找范围以提高立体匹配的准确性。因此,左右相机的图像是否“行对齐”也是评判相机模型是否准确最直观的标准。图9为左右图像校正之前的原图,图10、11分别显示了两组标定结果的图像校正效果,两组标定结果的“行对齐”矫正效果都十分优秀,这主要是因为两组标定结果虽然有差异但均在1个像素之内,人眼难以辨别。

图9 左右图像原图Fig.9 Left and right images (original)

图10 棋盘格靶标标定结果矫正效果图Fig.10 Left and right images of checkerboard calibration target (rectified)

图11 圆形点阵靶标标定结果矫正效果图Fig.11 Left and right images of circular lattice calibration target (rectified)

5 总 结

通常来说,热红外图像较可见光图像有分辨率低、噪声大、纹理信息差等特点,但随着热红外成像技术的发展,热红外相机的成像效果也越来越清晰。由上述实验结果可知,在热红外双目测距系统标定中,棋盘格角点的特征提取没有因为噪声的原因较圆形点阵出现明显的劣势,重投影误差也控制在1个像素之内,左右图像的矫正结果两者基本一致。因此,在标定热红外双目测距系统时,一般情况下,由于后续的立体匹配算法大多是亚像素级的,即两种靶标标定结果的差异不足以影响后续立体匹配的精确度,如有特别精确的标定需求应尽可能使用圆形点阵靶标。