应用NAR运动估计的序列帧间匹配技术

魏久哲王小勇黄长宁庄绪霞

（1 北京空间机电研究所，北京 100094）（2 中国空间技术研究院神舟学院，北京 100080）

应用NAR运动估计的序列帧间匹配技术

魏久哲1,2王小勇1黄长宁1庄绪霞1

（1 北京空间机电研究所，北京 100094）（2 中国空间技术研究院神舟学院，北京 100080）

对于面阵相机推帧成像与数字TDI后处理相结合的对地高分辨率遥感新方式，在图像后处理过程中的帧间匹配步骤占据了大量运算资源与时间。文章首先简要介绍了推帧成像与数字TDI的应用模式，通过分析推帧成像模式下原始图像序列的空域互相关特性与图像匹配机理，提出了此快速帧间匹配技术，并进行了仿真试验。结果表明应用非线性自回归神经网络运动估计的快速帧间匹配技术可显著提高数字TDI后处理的实时性，使计算效率提升达70%以上，同时提高匹配精度，减少误匹配。该技术泛化力强，通用度高，不同地面分辨率、不同轨道高度的空间相机数据均可应用该技术进行快速且精确的机内或地面帧间匹配。

推帧成像 图像匹配 运动估计 非线性回归 空间相机

0 引言

随着对地遥感卫星轻小型化趋势愈演愈烈，针对轻小型化遥感载荷进行成像优化研究的必要性更加显著。不论是以Terra Bella公司的Skysat[1]卫星所采用的数字TDI为代表的多帧合成提高图像信噪比与动态范围的方法，还是在遥感图像处理中应用较广泛的多帧超分辨率、多帧MTFC等图像增强方法，序列图像帧间匹配都是关键步骤，且匹配精度与效率的高低对于增强效果的好坏以及算法的实时性具有决定性的影响。

在精度方面，亚像元级的匹配一直是图像匹配研究领域中的关键问题，方法可归纳为三类：基于插值的方法[2]、解最优化问题法[3]、扩展的相位相关法[4]。扩展的相位相关法包含空域解法和频域解法两类：其中频域解法运算量较小，且精度较高，但通常仅适用于帧间的平移或旋转关系；而空域解法的性能较差。解最优化问题法是定义一个目标函数，应用迭代法精确求解变换参数，此类方法的运算量一般较大。灰度函数内插法是基于空域插值方法中的一种相似性函数内插法[5]，该方法简单有效，具有较强的鲁棒性。在效率方面，常见的图像匹配方法通常使用全局的图像信息，无法针对特定使用场景引入先验知识，故往往计算量巨大，且易匹配错误。

在保证匹配精度的前提下提高匹配算法效率，本文提出了非线性自回归（Nonlinear Auto Regressive，NAR）神经网络运动估计与SIFT（Scale Invariant Feature Transform）空域匹配算法相结合的序列遥感图像快速匹配方法，在匹配模型中深度融入先验知识，降低了运算量的同时减少了误匹配的发生，为航天遥感器推帧模式下所得序列图像的像质增强处理的关键步骤提供了研究支撑与算法参考。

1 面阵传感器空间相机的推帧成像模式

近10年来，面阵传感器的发展日趋成熟，性能不断得到突破，尤其是面阵CMOS图像传感器，在动态范围、灵敏度、噪声控制等关键指标上获得了大幅度的技术进步，将面阵器件应用于轻小型航天遥感器上成为近些年来的研究与应用热点[6]。

轻小型航天遥感器存在目标相对运动速度较快、单位时间入瞳能量较低的问题，目前主要有两类解决方法：1）通过电子学设计驱动面阵 CCD或 CMOS器件实现模拟域或数字域的时间延迟积分，例如Planet公司的鸽群[7]星座（Doves）；2）对地物进行高帧率的面阵推帧成像，经过后期的图像处理，将高重叠率的原始图像融合成像质改善的输出图像，例如Terra Bella公司的SkySat系列卫星。

第一种方法虽能延长等效积分时间，提高输出图像的信噪比，但无法避免轻小型载荷姿态稳定度不高、小口径光学系统衍射极限的限制，使得地面分辨率瓶颈依然存在，且文献[8-13]提出的面阵 CMOS的TDI实现，均是依赖于对相机内部器件或电子学系统进行重新设计或升级改造，尽管这些方法可以实现TDI功能，但也继承了TDICCD的一些显著的不足之处：定制化设计成本高 、对卫星平台姿态要求高、帧频需要与地速严格匹配等，这些因素不利于欲采用面阵CMOS的轻小型遥感器所提倡的低成本化的设计思路。

第二种方法，即推帧成像模式，是面阵遥感器沿在轨推扫方向进行高帧率的连续拍摄模式，如图 1所示。该成像模式下可以获得对同一地物的多帧高重叠度影像，提供更加丰富的原始数据，地面处理可塑性强、提升潜力大，通过后期处理将信噪比较低的原始帧进行图像匹配与融合，合成信噪比提升的输出图像，即数字TDI[14]；同时由于高重叠度的多帧图像存在冗余信息，可通过提取亚像元信息，来实现多帧超分辨率增强，提高输出图像的分辨率。通过将运算工作交给地面站，可简化相机设计，降低相机成本；并且该技术对于卫星平台的指向精度与姿态稳定度误差具有鲁棒性，可以很大程度降低相机成像对卫星平台的要求。该方法需要开发对应的图像处理算法来适配像质提升技术，综合来看，是适用性广的优选方法。

推帧模式下的帧间相位关系主要为沿推扫方向的相对平移，但由于存在如卫星平台微振动及轨道摄动等因素的运动影响，推帧模式下所成序列帧之间并不仅有沿推扫方向的平移位移，还会有少量沿垂直推扫方向的位移甚至局部尺度变化存在，所以在进行多帧图像增强处理之前必须经过高精度的帧间匹配过程。

2 NAR神经网络运动估计

在推帧工作模式下，空间面阵相机的典型工作帧频通常在40帧/s以上，面对如此庞大的数据量，若每一帧都做全局匹配点检索，数据量将会是巨大的。本文提出了应用运动估计的检索优化方法，将待检索匹配点估入小的预测区域中，进而很大程度提高了运算效率。

在实际推帧成像状态下，面对不同工作轨道参数、不同的工作模式（如慢扫、侧摆）、不同卫星平台的姿态控制能力等条件，序列帧之间的位移量变化随时间呈现非线性的特点。本文选取 NAR模型，对相对位移参数变化进行学习并进行预测。NAR模型是用自身做回归变量，即利用前期若干时刻的随机变量的线性组合来描述以后某时刻随机变量的模型，现被广泛应用于经济指数预测、生物种群预测等领域[15]。预测过程[16-18]为

式中 y(t)为神经网络的输出；t为时域坐标；d为延时阶数；y(t-d)为d时间之前的输出。

NAR神经网络为单个隐藏层结构，含有10个神经元，如图2所示。W为联结权值，b为阈值，延时阶数d取为15。NAR网络中延时反馈为输出信号的时间延迟信号，由于是基于自身数据的回归，NAR神经网络以输出的时间延迟信号作为网络的输入，通过隐藏层与输出层的计算得到网络的输出。本文隐藏层激活函数选用Tansig函数，输出层激活函数选用Purelin函数，选用BP算法进行训练，训练使用均方根误差进行性能评价。

本文将帧间相对位移分解为在传感器坐标系中的平移分量Δx、Δy，其中Δx定义为沿推扫方向，Δy定义为垂直推扫方向，如图3所示，并对它们分别构建NAR网络进行训练。由于在预测待匹配区域后，还会进行精匹配过程，故训练神经网络时真实输出为已知量，为减少因预测量误差带来的输入误差，本文用真实的匹配结果代替预测量作为反馈值输入。

图4为NAR神经网络帧间运动估计。图4（a）中实际值为推帧成像卫星在慢扫模式下沿推扫方向的分量 Δx随时间变化的曲线，即随机抽取序列内连续的 150帧图像训练NAR网络，其中每相邻15个时刻的相对位移分量Δxt-15…Δxt-2、Δxt-1作为输入层，亦即延时阶数为15，Δxt作为输出层。图4（a）中的预测值为本文训练好的NAR预测网络连续200帧所作出的预测，与训练过程类似，由于每次估计后均会返回精确匹配的结果，故每输出一次预测值，输入均为图像序列中紧邻的之前 15帧的精确匹配值。图4（a）中的预测误差见图4（b）所示。在本次试验中，本文所采用的预测方法通过高效训练的 NAR神经网络模型，可使预测误差的均方根值小于1像元，从而显著压缩精匹配过程中的预估检索区域，提升匹配效率。

3 精匹配过程

依据运动估计中所得到的相对位移预估值，在精匹配阶段先粗定位到像素级匹配位置，然后以该位置为中心对相关函数的邻近区域作亚像元插值，减小运算量的同时将匹配精度提高到亚像元级，匹配完成后再依据对极几何约束对匹配点对进行筛选，剔除误匹配点。结合 SIFT特征点提取方法具有的对旋转、尺度缩放、仿射变换的不变性，对噪声、视角和光照变化的稳定性，提出适合于本文且性能优良的亚像元级帧间精匹配方法。

3.1 特征点提取与描述

应用于推帧成像的图像匹配算法需要对噪声、视角和光照具有较高的稳定性，对旋转、尺度缩放、仿射变换具有不变性，满足条件且性能优良的空域特征点提取与表征方法主要有 SIFT[19]与 SURF（Speeded Up Robust Feature）。SIFT与SURF算法均基于高斯金字塔寻找局部极值点来确定尺度不变的稳定点，在特征点描述阶段均以特征点为中心，在周围邻域内统计特征，SIFT在正方形邻域内统计梯度的幅值的直方图，找最大幅值对应的方向；SURF在圆形领域区域内，计算各个扇形范围内沿图像空间两个坐标轴方向的haar小波响应，找寻模最大的扇形方向表征。在性能方面SURF运行速度仅为SIFT的三分之一，但在描述精度方面相较于 SIFT有差距。考虑到本方法应用背景，权衡资源效能分配，本文选用 SIFT为理论基础做亚像元级特征点提取与表征，并加以适应性改进。特征点提取与描述具体分为以下五个步骤[19]：

1）构造尺度空间。由于高斯卷积核是实现尺度变换的唯一线性核，故将原图像与一个二维尺度可变的高斯函数求卷积

式中 L(x，y，σ)为多尺度高斯空间元素；G(x，y，σ)为高斯函数； (,)I x y为原图像；(,)x y为图像空间坐标系下的坐标；σ是尺度坐标。

高斯拉普拉斯函数的极大值和极小值同其它常用的特征提取函数，如Hessian或Harris角点特征相比，能够产生最稳定的图像特征。为简化计算，通常用高斯差分尺度（Different of Gussian，DOG）算子近似高斯拉普拉斯函数构造金字塔形多尺度空间，如图5所示。

式中 D(x，y，σ)为高斯差分空间元素；k为常数因子。

图像金字塔共O组，每组有S层，下一组的图像由上一组图像降采样得到；图5右侧每一层由相邻的两层高斯图像相减而成。

2）特征点粗定位。将每个采样点与其在多分辨率尺度空间中的所有相邻点比较，即：和它同尺度的8个相邻点以及上下相邻尺度对应的9×2个点共26个点比较，寻找尺度空间和图像空间上的极值点作为图像粗定位特征点。

3）特征点精定位。为了得到精准且稳健的特征点，同时将定位精度提升到亚像素级，须对粗定位空间进行二元二次拟合，利用离散空间点插值得到连续空间极值点信息，该方法称作亚像素插值，同时去除由于DOG算子的边缘响应而产生的边缘点。

4）特征点的主方向确定。计算关键点的图像梯度，并用直方图统计邻域内像素的梯度和方向，梯度直方图将0°～360°的方向范围均分为36柱。直方图的峰值方向作为特征点的主方向。

5）特征点描述。对于每一个特征点，都有三个描述信息：位置、尺度以及方向。特征点描述的目的是一个具有独特性的特征向量把特征点描述出来。描述子（表征特征点特性的描述法则）使用在关键点尺度空间内4×4的窗口中计算的8个方向的梯度信息，共4×4×8=128维向量表征。

3.2 特征点对匹配与速率优化

选用特征点向量夹角余弦的方法对 SIFT算法所提取的 128维特征描述符向量进行相似度计算和匹配。先对参考帧中的每一个特征点P0，用反余弦函数计算待配图像中所有特征点Pk与P0的特征描述符向量夹角

计算完成后对128个夹角排序，如果最小夹角与次小夹角比值小于某个阈值，则判定P0和Pk是一对匹配特征点对。关于阈值的选取，一般取0.4～0.6为最佳，阈值选取越小，匹配关系的鉴别越严格。

在匹配点对搜寻过程中，待匹配帧的每一个特征点描述子要与基准帧的每一个描述子进行计算与比较，占用了许多计算资源，事实上，在特征点较多的情况下，SIFT特征点匹配计算量的70%在于匹配点的搜寻步骤。而在对地观测的推帧成像模式下，沿时间轴排列的序列帧之间可以通过运动估计来将待匹配点预估进一个粗区域，所采取的估计方法如前所述，见图 6。在已知相对运动估计值的前提下，匹配点对筛选阶段只需检索预估区域内的特征点，从而大大提高了匹配运算效率，同时也能消除一部分无效误匹配。表1中第1列前4个为图像处理常用数据库中的图像，加上自定遥感图像作为素材进行匹配计算试验，计算速率统计如表1所示。

表1 改进前后计算速率比对Tab.1 Rate comparison before and after improvement

可以看出，改进方法对算法效率提升明显，且改进效果与图像特征点数量成正相关，尤其是对于数据量大、特征点丰富的遥感图像应用，效率提升将更加显著。

3.3 基于对极几何约束的匹配筛选方法

于对地遥感而言，同一幅图像中出现相似特征点的概率更高（例如构型相似的房屋、花坛或车辆等），基于局部特征的匹配方式的错误率也会相应更高。本节介绍基于对极几何的理论、基础矩阵的数学表达以及随机抽样一致性（RANSAC）的统计方法来实现误匹配点对的剔除。对极几何是描述图像之间内部关系的影射几何，它与两幅图像局部的具体景物无关，而仅与两幅图的全局相对视角相关，这种几何约束关系可以用基础矩阵准确地表达为

式中 F为基础矩阵；X′与X为待匹配图像中的一组匹配点坐标。

基于基础矩阵表征的对极几何约束条件，本文选用 RANSAC的统计方法[20]对误匹配点进行筛除操作。主要分为以下步骤：1）从匹配点对集合中随机抽选8对，代入式（6）中计算基础矩阵F初始值；2）根据算出的F，将匹配点对代入式（6）中，若误差小于阈值e则算作一组有效匹配，并将这一组匹配点加入有效匹配点集，并重新计算基础矩阵F后循环； 3）经过N次随机采样，选择集合中点对数最多的最大一致有效匹配点对作为最终有效匹配点对。通过以上过程，消除了那些局部相似度高但不能满足对极几何约束的错误匹配点对，得到满足约束的有效匹配点对。

图7展示了一组亚像元级平移的前后帧之间的匹配情况，平移向量为（33.1，60.05）。图7(a)是对极几何筛选前的匹配点对相对坐标关系，图7（b）是对极几何筛选后的匹配点对相对坐标关系，可见本文方法筛除了绝大部分像元级误差，将匹配结果的误差范围限制在了一个像元以内，且绝大多数值十分趋近于准确值，校正筛选效果显著。用质心法取平移量的最优解，可得筛选后的匹配平移向量为（33.093，60.056），匹配精确度在0.01个像元以内。用自定遥感图像为素材，图像大小为1 145×1 279，在（-200，200）范围内分别在图像空间坐标系的x、y轴方向给定一个随机数作为亚像元级偏移量，用本文算法对偏移前后的图像进行匹配，并给出匹配数值结果，如表2所示。

表2 偏移量与匹配值的统计数据Tab.2 Statistical data of offset and registration value

4 结束语

本文介绍了面阵相机的推帧成像工作模式，提出了基于SIFT特征点提取，结合NAR神经网络运动估计与RANSAC匹配筛选的亚像元级序列图像帧间匹配方法，在提升匹配精度的同时提升了算法效率。经试验验证，对于特征点丰富的遥感图像，该技术可节省的两帧匹配时间约在70%～80%之间，相对平移情况下的亚像元级匹配误差在0.01个像元以内。由于该技术仅基于序列图像间的互相关关系，匹配前的先验知识也来自序列相关关系的提取而不依赖外部输入，故该技术具有很高的适用性与泛化能力，应用该技术可实现精确且快速的帧间匹配，减少计算资源的占用，提高后期处理的实时性。

References)

[1]MURTHY K, SHEARN M, SMILEY B D, et al. SkySat 1：Very High Resolution Imagery from a Small Satellite[C]. SPIE 9241, Sensors, Systems, and Next-Generation Satellites XVIII. Amsterdam, 2014.

[2]BALCI M, FOROOSH H. Subpixel Estimation of Shifts Directly in the Fourier Domain[J]. Image Processing, IEEE Transaction on, 2006, 15(7)： 1965-1972.

[3]HOGE W S. A Subspace Identification Extension to the Phase Correlation Method[J]. Medical Image, IEEE Transactions on, 2003, 22(2)： 277-280.

[4]KERN J P, PATTICHIS M T, CHANG E C, et al. A Fast Direct Fourier-based Algorithm for Subpixel Registration of Images[J]. Geoscience and Remote Sensing, IEEE Transactions on, 2001, 39(10)： 2235-2243.

[5]MANUEL G S, SAMUEL T T, JAMES R F. Efficient Subpixel Image Registration Algorithms[J]. Opt, Lett, 2008, 33(2)：156-158.

[6]刘志勇, 黄巧林. CMOS相机在微小卫星上的应用[J]. 航天返回与遥感, 2003, 24(2)： 29-33. LIU Zhiyong, HUANG Qiaolin. The Application of CMOS Camera in Small Satellites[J]. Spacecraft Recovery & Remote Sensing, 2003, 24(2)： 29-33.(in Chinese)

[7]Spaccflight101. Flock 1-Planet Labs Earth Observation Satellites[EB/OL]. [2017-02-27]. http：//www.spaceflight101.com/ flock-1.html.

[8]MICHAELIS H, JAUMANN R, MOTTOLA S. CMOS-APS Sensor with TDI for High Resolution Planetary Remote Sensing[C]. IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors, 2005： 31-34.

[9]LEPAGE G. Time Delayed Integration CMOS Image Sensor with Zero Desynchronization： US, 7675561B2[P]. 2010-03-09.

[10]曲宏松, 张叶, 金光. 基于数字域TDI算法改进面阵CMOS图像传感器功能[J]. 光学精密工程, 2010, 18(8)： 1896-1903. QU Hongsong, ZHANG Ye, JIN Guang. Improvement of Performance for CMOS Area Image Sensors by TDI Algorithm in Digital Domain[J]. Optics and Precision Engineering, 2010, 18(8)： 1896-1903. (in Chinese)

[11]陶淑苹, 金光, 曲宏松. 实现空间高分辨成像的数字域时间延迟积分 CMOS相机设计及分析[J]. 光学学报, 2012, 32(4)： 93-101. TAO Shuping, JIN Guang, QU Hongsong. Influence Analysis on the Rolling Shutter for Time Delay and Integration in Digital Domain[J]. Acta Optica Sinica, 2012, 32(4)： 93-101. (in Chinese)

[12]陶淑苹, 金光, 曲宏松. 采用卷帘数字域TDI技术的CMOS成像系统设计[J]. 红外与激光工程, 2012, 41(9)： 2380-2385. TAO Shuping, JIN Guang, QU Hongsong. Design of CMOS Imaging System Based on Rolling TDI in Digital Domain[J]. Infrared and Laser Engineering, 2012, 41(9)： 2380-2385. (in Chinese)

[13]陶淑苹, 金光. 卷帘快门对数字域TDI成像的影响分析[J]. 光学学报, 2015, 35(3)： 107-112. TAO Shuping, JIN Guang. Influence Analysis on the Rolling Shutter for Time Delay and Integration in Digital Domain[J]. Acta Optica Sinica, 2015, 35(3)： 107-112. (in Chinese)

[14]WEI Jiuzhe, WANG Xiaoyong, HUANG Changning. Research on Digital TDI Technology for Optimizing Sequence Remote Sensing Images Applied in an Imager with Area Array Cmos Sensor[C]. ISSOIA 2016. Springer, 2016.

[15]范剑青, 姚琦伟. 非线性时间序列[M]. 北京： 高等教育出版社, 2005. FAN Jianqing, YAO Qiwei. Nonlinear Time Series[M]. Beijing： Higher Education Press, 2005. (in Chinese)

[16]袁鲁山. 基于NAR神经网络的车速预测及应用[D]. 大连： 大连理工大学, 2016. YUAN Lushan. Vehicle Speed Prediction and Application Based on NAR Neural Network[D]. Dalian： Dalian University of Technology, 2016. (in Chinese)

[17]陈茹雯, 黄仁. 非线性自回归时序模型研究及其预测应用[J]. 系统工程理论与实践, 2015, 35(9)： 2370-2379. CHEN Ruwen, HUANG Ren. Research on General Expression for Nonlinear Autoregressive Model and its Forecast Application[J]. Systems Engineering-theory & Practice, 2015, 35(9)： 2370-2379. (in Chinese)

[18]陈茹雯, 湛时时. 基于非线性自回归时序模型的振动系统辨识[J]. 计算机应用研究, 2016, 33(10)： 3021-3025. CHEN Ruwen, ZHAN Shishi. Identification Based on GNAR Model for Vibration System[J]. Application Research of Computers, 2016, 33(10)： 3021-3025. (in Chinese)

[19]LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2)： 91-110.

[20]FISCHLER M A, BOLLES R C. Random Sample Consensus： Aparadigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Communications of Association for Computing Machinery, 1981, 24(6)： 381-395.

A Sequence Inter-frame Registration Technique Applying the NAR Motion Estimation Method

WEI Jiuzhe1,2WANG Xiaoyong1HUANG Changning1ZHUANG Xuxia1
（1 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（2 Shenzhou Academy of China Academy of Space Technology, Beijing 100080, China）

For the new method of high resolution remote sensing combined with push-frame and digital TDI post-processing, the step of inter-frame registration in the image post-processing process spends a lot of computing resources and time. This paper firstly introduces the application pattern of push frame imaging and digital TDI. By analyzing the spatial correlation characteristics and image registration mechanism of the original image sequence in the push-frame imaging mode, this fast inter-frame registration technique is proposed and experimentally verified. The results show that the fast inter-frame registration technique of NAR (Nonlinear Auto-Regressive models) neural network motion estimation can significantly improve the real-time performance of digital TDI post-processing, the efficiency of calculation by more than 70%, and the registration accuracy. This technology is highly generalized and versatile. Imaging data with different ground resolutions and different orbital heights can apply this technique to achieve a fast and accurate inter-frame registration.

push-frame; image registration; motion estimation; nonlinear regression; space camera

TN911.73

A

1009-8518(2017)03-0086-08

10.3969/j.issn.1009-8518.2017.03.010

魏久哲，男，1991年生，2014年获中北大学飞行器设计与工程专业学士学位，现在中国空间技术研究院攻读飞行器设计专业硕士学位。研究方向为空间遥感器系统设计。Email：290230371@qq.com。

（编辑：王丽霞）

2017-02-24

国家重点发展计划（2016YFB0501300，2016YFB0501302）