长波红外双线列探测器推扫图像配准技术研究

张 晓，王宏博，张腾飞，汤瑜瑜，危 峻



长波红外双线列探测器推扫图像配准技术研究

张 晓1,2，王宏博1,2，张腾飞1,2，汤瑜瑜1，危 峻1

（1. 中国科学院 上海技术物理研究所，上海 200083；2. 中国科学院大学，北京 100049）

宽波段成像仪上搭载了一个双通道长波红外相机，采用推扫方式成像。分析了相机获取的2个通道遥感图像存在的3种失配变换类型，结合SIFT特征算子，给出了一组配准参数，配准精度达到亚像素级，满足了利用双通道遥感数据和分裂窗算法反演地温的需求。

图像配准；推扫成像；SIFT分裂窗算法；长波红外

0 引言

随着大规模面阵和长线列探测器研制技术的发展[1]，推扫扫描成像技术在航天遥感仪器中的应用逐渐被推广。与传统的光机扫描方式相比，采用推扫扫描方式成像，探测器驻留时间长，灵敏度和信噪比高，因而可以达到更高的地面分辨率和光谱分辨率，而且没有光机转动部件，对平台姿态影响小，但也随之产生了总视场小、响应非均匀和定标难度大等问题[2]。

在星载宽波段成像仪上，搭载了一个双通道长波红外相机，用于获取分裂窗遥感数据。基于探测器响应波段限制和高灵敏度的要求[3]，采用推扫扫描方式成像，而光机结构设计和地球偏流角导致了2个通道遥感图像的失配[4]，从而直接影响利用分裂窗算法反演地温。本文从成像原理上分析该相机遥感图像的失配变换类型，给出3种变换模型及其公式，结合SIFT（Scale Invariant Feature Transform）特征算子修正变换参数[5-6]，从而配准2个通道的推扫图像，为完成地温反演的遥感任务做好准备。

1 分裂窗图像配准

1.1 分裂窗算法

分裂窗算法以地表热辐射传导方程为基础，一般利用大气窗口内2个长波红外通道对大气吸收作用的不同，通过2个通道测量值的各种组合来剔除大气的影响，进行大气和地表比辐射率的修正，从而得到实时地表温度图像[7]。

(0)＝×(1)＋×(2)＋(1)

式中：(0)为实时地表温度图像；(1)、(2)为2个长波通道的等效亮温图像；、、为由实时大气状况决定的参数。

相机上设置了CH18（8.125～8.825mm）和CH19（8.925～9.275mm）2个长波红外分裂窗通道，采用双线列推扫扫描方式成像。2个通道对同一地表位置有一个成像时间差，光学设计上也有一个视角差，加上地球自转产生的地球偏流角问题，2个通道的遥感图像间会存在一定的失配[8]。根据分裂窗算法原理，完成2个通道遥感图像的配准，找到同一地物目标在2幅遥感图像上的位置并保证分辨率水平相吻合，是采用分裂窗算法反演地表温度的前提[9]。

1.2 图像配准

图像配准就是将不同时间、不同传感器或不同视角下获取的同一场景的两幅或更多的图像进行像素位置和线分辨率匹配的过程。一般情况下，图像之间的失配信息未知，要通过提取标准图像和待配准图像之间的差异获取，从而指导配准过程。典型的配准基本步骤为[10]：①特征检测；②特征匹配；③变换模型确定及参数估计；④图像重采样与配准。这样获取的变换模型完全来自于图像特征的检测和匹配，由此发展了Moravec算法、SIFT算法和SURF算法等多种算法[11]。本文通过分析相机的成像原理和光机参数，总结2个通道推扫图像间存在的3种失配变换类型，分析变换参数，从而确定变换模型[12]：

M_Result＝Fun(M_Org) (2)

式中：M_Result为变换结果图像；M_Org为原始图像；Fun为变换模型函数；表征了图像配准的变换过程。在此基础上，结合图像的SIFT特征算子确定各失配变换参数，配准相机推扫图像。

2 图像失配分析

为了减小仪器体积、降低光校难度，相机选择了折射式光学系统，采用单镜头成像。而为了满足42°大视场要求，考虑到单视场方案将会产生严重的边缘畸变，且相应的探测器规模要求高，可靠性难以保证，所以选择双模块视场拼接的方案[12-13]。相机由2个相同的子相机CAM1和CAM2拼接视场构成，每个子相机由2列相同的400元HgCdTe线列探测器（CH18和CH19）集成封装在一个杜瓦瓶中，通过前置滤光片保证2个通道不同的光谱带宽，整个相机共4列探测器。子相机光敏面上的探测器位置结构参数如图1所示。

光敏元线尺寸det＝28mm，2个线列封装间距det＝2.24mm＝80·det，其中CH19经过光敏面主光轴。子相机星下点瞬时视场为：

IFOV＝det/opt＝1mrad (3)

式中：opt＝28mm为镜头焦距。子相机总视场为：

理想情况下，在进行视场拼接时，2个子相机的主光轴与整个相机的主光轴都在穿轨方向所在平面，且沿穿轨方向分别呈＋FOV/2和－FOV/2的夹角，拼接成2·FOV的总视场[13-14]，如图2所示。

图2 子相机视场拼接

2.1 视角差引起的失配——仿射变换

如上所述，相机2个通道都从单相机的400元规模变为拼接后的800元。理想情况下，经过子相机光学主点的CH19对地视角为0°，2个子线列目标地物在同一地理直线上，而CH18不能满足此要求[8]，其对地视角为：

AOV＝det/opt＝80×IFOV＝80mrad (5)

将导致2个子线列的目标地物不在同一地理直线上，如图3所示。

图3 倾斜观测投影模型

由图3可以计算夹角：

＝arctan[sin(FOV/2)×tan(AOV)]＝0.0157rad(6)

相比CH19，CH18的2个400P的子线列图像分别沿穿轨方向产生了＋和－的旋转仿射变换，引起2个通道推扫图像间的失配。为实现图像配准，需要对CH18的2个线列图像分别旋转－和＋：

M_CH18_Temp1(1:400)＝rot(M_CH18(1:400),－) (7)

M_CH18_Temp1(401:800)＝

rot(M_CH18(401:800),＋) (8)

式中：M_CH18_Temp1为CH18通道校正旋转变换后的等效亮温图像；rot表示旋转变换函数。采用双线性内插法进行旋转校正，式(7)、(8)等价为下式(9)：

其中：

然后拼接：

M_CH18_Temp1(1:800)＝M_CH18_Temp1(1:400)＋M_CH18_Temp1(401:800) (11)

得到与CH19匹配的图像。以上变换过程可表述为下式：

2.2 倾斜拼接引起的失配——缩放变换

成像仪飞行轨道高度＝400km，地面分辨率设计值为400m。但是根据折射式系统成像原理，图2所示的倾斜拼接方法将导致相机穿轨方向的地面分辨率不一致，如图4所示。

图4 地面分辨率随像元位置变换关系

再加上地表弧度和镜头场曲，2个通道推扫图像会产生沿穿轨方向的缩放变换。如果地表静止，这种分辨率的不一致性对于2个通道的影响完全一样，同一地物在2个通道推扫图像上所占像素位置和分辨率一致，可以不校正此缩放变换，但是地球处于不停的自转状态，产生地球偏流角，其沿穿轨方向的分量将会导致目标在不同时间所成图像上的位置有一定偏移，引起图像间的失配[4]，所以在配准之前要对2个通道推扫图像都进行重采样，校正此倾斜拼接引起的分辨率不一致性，过程可表述为：

M_CH18_Temp2＝flx(M_CH18_Temp1,)(13)

M_CH19_Temp1＝flx(M_CH19,) (14)

式中：flx表示缩放变换函数；为缩放变换的比例因子。校正过程以相机星下点地面分辨率384.69m/pixel为标准，校正后图像分辨率从800P提高到866P，＝1.0825。由于该变换都发生在穿轨方向，即图像竖直方向，所以根据矩阵原理，上述过程等价为：

M_CH18_Temp2＝Trans_flx×M_CH18_Temp1 (15)

M_CH19_Temp1＝Trans_flx×M_CH19 (16)

式中：Trans_flx为等价的缩放变换矩阵；规模为866×，为推扫图像行数。

2.3 地球偏流角引起的失配——平移变换

由于探测器集成封装时两线列之间的间距和地球偏流角的影响，2个通道推扫图像间有一个时刻变化的成像时间差，导致了图像间穿轨方向和沿轨方向都存在平移变换，引起图像的失配[4]。虽然线列间距不变，但偏流角是时刻变化的，所以不同时刻图像间的平移变换大小也不同，校正该失配需要实时地参考飞船星下点位置和轨道高度等多个数据，运算量大，并不可取，一般采用一定地理范围内选用一个固定的偏流角值校正图像的方法，只要保证偏差在亚像素级别、满足反演要求即可[8]。

假设宽波段成像仪飞行轨道高度为，与赤道夹角为，飞行角速度，相机星下点纬度，地球半径为，地球自转角速度，在沿轨方向，2个通道推扫图像之间平移像素差为：

在穿轨方向，2个通道推扫图像之间平移像素差为：

其中方向（即穿轨方向）上的平移方向由飞行方向和地球自转方向的关系决定。变换后可校正由线列封装间距和地球偏流角所产生的图像失配。

3 实验验证

图5是用宽波段成像仪长波红外相机在高楼平台上通过电动转台水平旋转推扫所成图像。

图5 双通道推扫图像

以该推扫图像说明第2章提到的图像失配并进行校正。

3.1 仿射变换

选择2个通道推扫图像左数第2座高楼天线局部范围并放大，可明显观察到视角差所引起的仿射变换对图像失配的影响，如图6所示。

图中白色亮线为线列方向，从图6(a)可看出，CH18图像的旋转仿射变换导致原本竖直的楼顶天线在图像中倾斜，图6(b)中对应的CH19图像没有明显的倾斜现象。将CH18图像作式(12)所示的旋转校正，配准后天线位置局部图像如图6(c)所示，没有明显的倾斜现象。

3.2 缩放变换

选择CH18图像左数第1座楼底层局部范围并放大，可明显观察到倾斜拼接引起的缩放变换对图像失配的影响，如图7(a)所示，在同一空间直线上的建筑物目标，因为相机分辨率的变化，在推扫图像上变成一条曲线。

对该缩放变换进行式(18)所示的校正，采用线性内插重采样，结果如图7(b)所示，可使空间位置在同一直线上的建筑物目标在推扫图像上扔保持在同一直线。

3.3 平移变换

从图5中可以明显观察到两线列间距对推扫同一目标成像时间差的影响，产生严重的平移变换，导致失配。根据封装间距参数、目标运动速度和推扫速度计算平移变换量，做式(19)所示变换可以校正该失配。

图6 仿射变换前后图像对比

图7 缩放变换前后图像对比

4 配准结果

上文进行了理论上的失配分析，总结了理想情况下2个通道间的3种失配变换类型，并用地面推扫图像进行了说明验证，由此可得到理想情况下，该相机分裂窗通道图像间的配准公式如下：

M_CH19_Result＝flx(M_CH19,)

具体计算过程如式(9)、(15)、(16)、(20)。

在实际的光机装校中，一定的距离和角度误差在所难免，产生的，D，D等失配参数与理想情况略有偏差，需要通过光校实验和成像结果进行修正[15]。本文利用相机2个通道的推扫图像，提取其SIFT特征算子并根据失配量修正相应的失配参数，从而更准确地配准图像。

4.1 SIFT算子

SIFT算子是一种图像关键点的特征描述方法，这种特征对图像的尺度变化和旋转变化是不变的，对于标准图像和待配准图像，正确匹配的特征点对能够标识出两者在几何位置上的正确对应关系[5]，从而说明其失配水平。本文2个通道推扫图像间的3种失配变换类型不会改变图像的SIFT特征算子，提取2幅图像相匹配的SIFT算子并计算失配量，可以用于失配参数的修正，从而指导配准过程。

4.2 图像失配说明

图8是长波红外相机2个通道的推扫图像对应像素直接叠加融合所得结果。

可见通道间失配严重。表1给出用SIFT算法处理配准前2个通道推扫图像所得相匹配的8个特征点及其失配量。

4.3 图像配准

通过对失配因素的分析，将2个通道推扫图像间的配准过程总结为以下3个步骤：

1）2个通道推扫图像作穿轨方向的伸缩变换，如式(15)、(16)；

2）CH18图像1～400行以第400行为基准作负向角度1的仿射变换，401～800行以第401行为基准作正向角度2仿射变换，如式(12)；

图8 两个通道直接融合图像

3）CH18图像1～400行作(1,1)的平移变换，401～800行作(2,2)的平移变换，如式(19)。

配准过程中的变换参数1、2、(1,1)、(2,2)参考上文中的失配分析结果，然后利用上表1中数据进行修正。本文采用的一组变换参数为1＝2＝0.864°，(1,1)＝(－3.85756, 92.69133)、(2,2) ＝(－4.86897, 90.56655)。配准后2个通道推扫图像对应像素直接叠加融合结果如图9所示，可见效果较好。

对配准后2个通道推扫图像作SIFT算法处理，得到相匹配的8个特征点及其失配情况如表2所示，显示配准结果基本保证了亚像素级的配准精度。

5 结论

本文针对宽波段成像仪上的长波红外相机，分析了2个通道在推扫成像时对地视角差、线列封装间距、地球偏流角和视场倾斜拼接等产生失配的因素，总结了3种失配变换类型：仿射变换、缩放变换和平移变换。以光机分析计算为基础，结合地面推扫图像的SIFT特征算子，给出了一组配准变换参数，在亚像素级配准了2个通道的推扫图像。

对地遥感系统集光、机、电于一体，理论分析与实际应用有一定的差异。本文在理想情况下分析了2个通道推扫图像失配的因素，没有考虑光学系统畸变、机装角度误差等一系列实际问题，只简单地利用SIFT特征算子的偏差对其进行了校正，虽然误差不大，但有一定的不足之处。总体来讲，本文图像配准精度达到了亚像素级水平，基本满足了该相机分裂窗算法反演地温的遥感需求。

图9 两个通道配准后融合图像

表2 两个通道配准后图像部分SIFT特征算子

[1] 李言谨, 杨建荣, 何力, 等. 长波红外2048元线列碲镉汞焦平面器件[J]. 红外与毫米波学报, 2009, 28(2): 90-92.

LI Yan-jin, YANG Jian-rong, HE Li, et al. Long-Wave infrared 2048-elements linear HgCdTe focal plane array[J]., 2009, 28(2): 90-92.

[2] 蔡海蛟, 徐蒙, 危峻. 推扫式红外相机数据处理系统原理与设计[J]. 半导体光电, 2007, 28(3): 447-450.

CAI Hai-jiao, XU Meng, WEI Jun. Principle and design of data process system of push-broom infrared camera[J]., 2007, 28(3): 447-450.

[3] 孟鹏, 胡勇, 巩彩兰, 等. 用劈窗算法反演地表温度的通道问题讨论[J]. 国土资源遥感, 2010, 94(4): 16-20.

Meng Peng, Hu Yong, Gong Cailan, et al. Discussions on using channels of split-window algorithm to retrieve earth surface temperature[J]., 2010, 94(4): 16-20.

[4] 樊超, 李英才, 易红伟. 空间相机中的偏流角分析[J]. 红外与激光工程, 2006, 35(增刊): 216-220.

FAN Chao, LI Ying-cai, YI Hong-wei. Analysis of drift angle on space camera[J]., 2006, 35(S1): 216-220.

[5] 李晓明, 郑链, 胡占义. 基于SIFT特征的遥感影像自动配准[J]. 遥感学报, 2006, 10(6): 885-892.

LI Xiao-ming, ZHENG Lian, HU Zhan-yi. SIFT based automatic registration of remotely-sensed imagery[J]., 2006, 10(6): 885-892.

[6] 刘小军, 杨杰, 孙坚伟, 等. 基于SIFT的图像配准方法[J]. 红外与激光工程, 2008, 37(1): 156-160.

LIU Xiao-jun, YANG Jie, SUN Jian-wei, et al. Image registration approach based on SIFT[J]., 2008, 37(1): 156-160.

[7] 朱怀松, 刘晓锰, 裴欢. 热红外遥感反演地表温度研究现状[J]. 干旱气象, 2007, 25(2): 17-21.

ZHU Huaisong, LIU Xiaomeng, PEI Huan. Summary on retrieval of land surface temperature using thermal infrared remote sensing[J]., 2007, 25(2): 17-21.

[8] 武星星, 刘金国. 应用地球椭球的三线阵立体测绘相机像移补偿[J]. 光学精密工程, 2011, 19(8): 1794-1800.

WU Xing-xing, LIU Jin-guo. Image motion compensation of three-line stereo mapping camera using earth ellipsoid[J]., 2011, 19(8): 1794-1800.

[9] 陈钱. 红外图像处理技术现状及发展趋势[J]. 红外技术, 2013, 35(6): 311-318.

CHEN Qian. The Status and Development Trend of Infrared Image Processing Technology[J].2013, 35(6): 311-318.

[10] Barbara Zitová, Jan Flusser. Image registration methods: a survey[J]., 2003, 21(11): 977-1000.

[11] 苑津莎, 赵振兵, 高强, 等. 红外与可见光图像配准研究现状与展望[J]. 激光与红外, 2009, 39(7): 693-699.

YUAN Jin-sha, ZHAO Zhen-bing, GAO Qiang, et al. Review and prospect on infrared/visible image registration[J].2009, 39(7): 693-699.

[12] Antoinc Maintz J B, Max A. Viergever. A survey of medical image registration[J]., 1998, 2(1): 1-36.

[13] 周倩婷, 危峻, 徐志鹏. 多模块相机视场合成配准的测试技术[J]. 红外技术, 2009, 31(4): 220-223.

ZHOU Qian-ting, WEI Jun, XU Zhi-peng. The testing technology based on field-of-view matching of multi-camera system[J]., 2009, 31(4): 220-223.

[14] 危峻, 蔡海蛟, 翁东山. 视场合成技术在推扫式成像光谱仪中的应用研究[J]. 科学技术与工程, 2009, 9(15): 4531-4533.

WEI Jun, CAI Hai-jiao, WENG Dong-shan. Application Research of FOV Composition in Imaging Spectromete[J]., 2009, 9(15): 4531-4533.

[15] 杜小平, 刘明, 夏鲁瑞, 等. 基于光谱角累加的高光谱图像异常检测算法[J]. 中国光学, 2013, 6(3): 325-331.

DU Xiao-ping, LIU Ming, XIA Lu-rui, et al. Anomaly detection algorithm for hyperspectral imagery based on summation of spectral angles[J]., 2013, 6(3): 325-331.

Research of Push-broom Image Registration Technology for Double Linear LWIR Detector

ZHANG Xiao1,2，WANG Hong-bo1,2，ZHANG Teng-fei1,2，TANG Yu-yu1，WEI Jun1

（1.,200083,; 2.,100049,）

A dual-channel LWIR camera is mounted on the wide-band imaging spectrometer, using push-broom imaging mode. This paper analyzes the three kinds of mismatch transformations of the dual-channel remote sensing images acquired by this camera, and gives a set of registration parameters with reference to the SIFT. The sub-pixel registration accuracy meets the need for surface temperature inversion using the dual-channel remote sensing data and split-window algorithms.

image registration，Push-broom imaging，SIFT，split-window algorithm，LWIR

TP75

A

1001-8891(2015)02-0139-08

2014-06-30；

2014-10-28.

张晓（1987-），男，博士研究生，主要从事电路系统及航空遥感应用方面的研究。E-mail：message1987@163.com。

国家高技术研究发展计划（863计划）项目：星载热红外高光谱成像仪工程样机研制，编号：2013AA121102；中科院知识创新工程项目：宽波段成像仪，编号：Y1X09029N0X。