可见光相机辅助的热红外相机几何定标

林 栋，杨保平，田鹏义，崔晓杰，祝若鑫

（1. 航天工程大学，北京 102200；2. 北京市遥感信息研究所，北京 100011；3. 西安测绘研究所，陕西 西安 710054）

热红外相机能探测波长为8～14 μm的长波红外辐射，并反演物体表面的温度信息，且不受黑夜、雾霾等因素影响，能穿透黑暗、识别伪装，探测热异常，被广泛应用于夜间视觉[1]、建筑物密闭性监测[2]、疫情防控[3]等领域。几何定标模型可构建影像像点坐标与三维地面点坐标之间的关系，是实现精准影像定位的关键，需要解算的模型参数包括主距、主点、镜头畸变等[4-5]。传统可见光相机的定标场一般由黑白棋盘格或圆形黑白编码目标构成；但黑白定标场的材质、温度均一致，无法为热红外影像的特征检测提供足够的影像对比度，因而不适用于热红外相机定标。因此，相关学者利用额外热源产生的温度差或不同材料的辐射率差异构建几何定标场，生成具有高对比度的热红外定标影像[6-7]。

1 热红外相机几何定标研究现状

现有热红外辐射定标场的构建方法主要包括基于辐射率的方法、基于温度差的方法以及二者融合的方法。

1）基于辐射率的方法主要利用不同材料的辐射率差异提升热红外定标影像的对比度，从而大幅提升特征角点检测的精度。例如，Bison P[8]等利用带孔洞的平面铝板生成具有高对比度的热红外几何定标影像；Yastikli N[9]等制作了一个具有3层深度结构的铁制三维定标场，镶嵌77 个塑料目标点作为控制点；Lagüela S[10]等在黑色纸板上镶嵌铝制目标作为定标场；Alba M I[11]等在木质结构上镶嵌38 个铁钉子作为控制点定标场，该方法无需额外热源制造温度差，使用方便，但有时无法保证热红外定标影像具有足够的对比度。

2）基于温度差的方法主要利用额外热源（如燃烧灯）产生的温度差异增强热红外定标影像的对比度。例如，Lagüela S[12]等提出在一块木板上构建8行8列方格形状的燃烧灯作为定标场；Luhmann T[13]等对比基于主动式燃烧灯的二维平面定标场和基于圆形反射材料（自粘箔）的三维立体定标场发现，二维平面定标场的平均反投影误差为0.3像素，而三维立体定标场的平均反投影误差可达0.05像素，该方法需额外热源制造影像上的亮度差异。

3）融合方法。为提升热红外定标影像的角点检测精度，很多学者提出了同时利用辐射率差异和温度差的融合方法。例如，Ng H[14]等设计了一个由金属网和塑料板组成的几何定标场，定标实验前通过热风加热定标场，形成具有高对比度的热红外定标影像；Vidas S[15]等将不透明硬纸板作为基础定标板，通过裁剪具有规则正方形形状的孔洞形成辐射率差异，再将定标板置于电子屏幕前（如发热的电脑），以获取高对比度的定标影像；Berni J A[16]等利用电阻丝制作几何定标场，当电流通过电阻丝时，电阻丝温度上升，形成具有高对比度的热红外定标影像；Yang R[17]等设计了一种带有25 个钻孔的黑色塑料板作为几何定标场，同时在定标板背面安装了25 个小灯泡，点亮灯泡时，光线和热量会穿过钻孔，被可见光相机和热红外相机同时捕获。

综上所述，不同于可见光相机利用黑白棋盘格进行几何定标，热红外相机通常使用不同材料的辐射率差异或温度差异获取定标场影像。在近景摄影测量环境下，可利用上述方法生成高质量的定标影像，但在航空摄影测量环境下，由于距离远、温度差异和几何尺寸不足等原因，上述定标场难以使用。此外，相较于可见光影像，热红外影像空间分辨率低、对比度差，导致其角点检测精度较差，进而影响内方位元素的高精度解算。本文将分别讨论近景摄影测量和倾斜摄影测量环境下的热红外相机几何定标。

2 近景摄影测量相机几何定标

在近景摄影测量环境下，本文利用不同材料的辐射率差异构建热红外相机的几何定标场，并利用自检校光束法平差实现热红外相机的几何定标。

2.1 几何定标场影像的获取

热红外影像的空间分辨率较低、边缘特征较模糊、像点检测精度较低，而可见光相机的空间分辨率高、对比度强、像点检测精度较高，为提高热红外影像几何定标的稳定性和精度，本文提出可见光相机辅助的热红外相机几何定标方法，热红外相机FLIR A65的空间分辨率为640 像素×512 像素、可见光相机Nikon D700 的空间分辨率为3 184 像素×2 120 像素；并设计了一种适合可见光相机与热红外相机联合定标的三维定标场（图1）。

图1 三维几何定标场

为了同时获取高对比度的可见光定标影像与热红外定标影像，三维定标场主要以黑色丝绒箔为背景，以带编码的可见光影像控制点（由黑白相间的正方形纸质材料构成）和不带编码的热红外影像控制点（由灰色圆形银箔构成）为定标源。为确保热红外影像具有良好的对比度，通常需要将三维几何定标场置于室外条件下，黑色丝绒箔因较强的吸收辐射特性在热红外影像上呈现白亮，圆形银箔因镜面反射特性呈现黑暗，从而形成具有高对比度的热红外几何定标影像；同时在可见光影像上三维定标板的背景呈现黑色，控制点由带编码的黑白正方形纸板构成，进而形成具有高对比度的可见光几何定标影像。

2.2 几何定标方法

首先利用影像椭圆拟合解算方法实现可见光影像黑白编码点和热红外影像银箔非编码点的亚像素级精确检测；再利用Aicon DPA 软件的编码点识别方法实现黑白编码点在物方空间的毫米级三维测量；然后利用黑白编码点的物方坐标与像方坐标解算可见光相机的内方位元素，并通过可见光影像前方交会获取银箔非编码点的物方三维坐标；最后以银箔非编码点的热红外影像像点坐标与物方三维坐标为控制信息，以布朗模型为构像方程，解算热红外相机的内方位元素。

具体来说，在已知高精度控制点物像坐标的情况下，本文将像点坐标测量值、地面点三维坐标值和相机内方位元素初始值（由相机供应商提供）作为光束法平差的输入值，通过光束法平差实现热红外相机内方位元素（主距、主点、畸变参数）的高精度解算。假设物方点P(X'Y'Z)与影像内一像点p(u'v)对应，则布朗模型物像关系的表达式为：

式中，(XS'YS'ZS)为影像的投影中心；r为影像的径向距离；c为主距；(x0'y0)为主点；K1、K2、K3、P1、P2、B1、B2为相机的畸变参数，主要由径向畸变和切向畸变组成，能通过多项式模型进行描述和校正。

由式（1）可知，P(X'Y'Z)通过共线条件方程变换、畸变校正、像主点平移、焦距解算和坐标轴偏度校正，即可得到目标点在像平面坐标系下的像坐标p(u'v)。在给定初值的基础上，利用自检校光束法平差的迭代优化，实现热红外相机内方位元素的优化解算。在迭代平差的过程中，引入显著性检验，利用3-sigma 法则删除不重要的相机参数，避免参数间相关性导致的不收敛或收敛至局部极小值问题。

2.3 实验结果

FLIR A65相机的内方位元素平差值及其后验标准差见表1，可以看出，除径向畸变参数K3与图像坐标轴偏度B1外，其他参数均能通过显著性检验，且标准差均远小于其平差值，说明参数解算结果稳定可靠。

表1 FLIR A65相机几何定标参数x̂i 与标准差ŝx̂i

近景摄影测量通常采用“先验定标场解算内方位元素、实际应用答解外方位元素”的方法，因此在后续的近景摄影测量应用中，一般固定内方位元素不变（尤其是焦距参数），着重优化外方位元素实现三维重建等应用。

3 倾斜航空摄影测量相机几何定标

在倾斜摄影测量环境下，由于摄影距离远，现有几何定标场尺寸不足、温度差异不够，导致近景摄影测量方法不再适用。因此，本文采用几何定标与三维重建联合答解的方式，在三维重建的过程中同时优化影像的内外方位元素，完成高精度几何定标。

3.1 三维重建影像获取

倾斜摄影测量系统AOS-Tx8 搭载在直升飞机上，主要包含4个可见光相机（Baumer VCXG-53c）和4个非制冷型热红外相机（FLIR A65sc）。相机具体参数见表2。

表2 AOS-Tx8包含的可见光相机和热红外相机参数

相机组装结构见图2，热红外相机之间的影像重叠度为12%，由于可见光相机的视场角较大，可见光相机之间的影像重叠度更大。可见光相机与热红外相机系统以相同的帧频（5 Hz）同时获取影像。直升机在400 m 的高度获取影像数据，可见光相机的地面分辨率为0.08 m，热红外相机的地面分辨率为0.30 m。AOS-Tx8相机系统的尺度为330 mm×420 mm×320 mm，重量为11.6 kg，可被整合在小型飞机或无人机上。倾斜摄影测量系统搭载了全球定位与惯性测量系统，为三维精细建模提供高精度的初始外方位元素。

3.2 三维重建与几何定标方法

本文首先利用运动结构恢复软件Agisoft Photo-Scan®分别处理多视可见光影像序列和多视热红外影像序列生成可见光影像点云与热红外影像点云，尽管全球定位与惯性测量系统为可见光影像序列与热红外影像序列提供了相同的辅助定位数据，但生成的可见光影像点云与热红外影像点云存在几何错位；然后利用基于八叉树的迭代最邻近点方法实现可见光影像点云与热红外影像点云的精确配准，获取热红外影像序列相对于可见光影像点云的外方位元素，由于可见光相机的空间分辨率高、对比度强，利用可见光影像序列可在无控制点条件下直接生成高精度的三维模型（图3a）；再选取部分可见光影像点云上的高精度测量点作为控制点，以布朗模型为构像方程，在保持热红外影像序列相对于可见光影像点云外方位元素不变的条件下，利用光束法平差完成热红外相机的几何内定向，获取高精度的内方位元素；最后基于热红外影像序列的内外方位元素，利用逐像素密集匹配与几何定向即可实现地物的三维温度场重建（图3b）。

综上所述，与近景摄影测量相比，倾斜航空摄影测量同样将可见光影像提供的高精度定位结果作为控制信息，提高热红外影像的内方位元素解算精度；但其不再搭建三维几何定标场，而是在地物三维温度场重建的过程中同时实现热红外相机的几何定标。

3.3 实验结果

FLIR A65sc相机的内方位元素平差值及其后验标准差见表3，可以看出，各参数的后验标准差均远小于其平差值，说明本文方法答解的内方位元素具有较强的鲁棒性。

表3 FLIR A65相机几何定标参数x̂i 与标准差ŝx̂i

本文分析了引入可见光影像控制信息对几何定标精度的影响，结果见图4，可以看出，若不考虑控制信息，热红外相机的定位精度较低，所有像素的平均反投影误差约为10个像素；若考虑控制信息，则能有效提升热红外影像的定位精度，所有像素的平均反投影误差降至约0.5个像素，在摄影高度为354 m的条件下，X-Y 水平面的定位精度可达0.2 m，说明本文方法答解的内方位元素具有较高的定位精度。

图4 热红外影像的平均反投影误差

4 结 语

针对热红外相机空间分辨率低、影像对比度差等问题，提出了可见光相机辅助热红外相机的几何定标方法。在近景摄影测量环境下，设计了一种兼顾可见光相机与热红外相机的新型三维几何定标场，采用“先验定标场解算内方位元素、实际应用答解外方位元素”的方法分步实现几何定标与应用测量。在倾斜航空摄影测量环境下，采用几何定标与三维重建联合答解的方式，在三维重建的过程中利用可见光影像的控制信息优化热红外影像的内方位元素解算，将几何内定向与应用测量融为一体。