机载电子稳像技术综述

马志强 ， 陈广居 ，2， 单 勇 ， 聂晓斐 ，3， 张晓燕

（1.空军工程大学 信息与导航学院，陕西 西安 710077；2.94750部队 福建 连城 366200；3.中国人民解放军第5721工厂 河北 石家庄 050208）

稳像是指运用相关设备和算法程序，对采录设备获取的图像进行处理，以获得平稳的适于人观察的图像序列的过程。航空摄影时，由于空气涡流、侧风、风速不均匀、摄影员操作失误等因素，造成摄像机等视频采集设备发生不规则运动，使得拍摄的航空视频产生不稳定现象，导致视频图像序列质量下降，画面出现模糊，关键目标无法清晰展现。这些不稳定的视频图像序列，存在诸多不利后果：易引起人工视觉疲劳而导致漏判和误判；计算机处理算法难度加大；无法进行高效压缩存储；运动目标的跟踪、识别困难而使得武器性能下降。

因此，有必要研究机载稳像处理技术[1]，以去除视频序列中不必要的随机抖动干扰，为后续的视频处理创造良好的条件。

稳像技术经历了机械稳像、光学稳像和电子稳像3个发展阶段[2]。其中电子稳像是一种新兴技术，它集电子学、计算机和图像识别等技术于一体，采用算法设计直接确定图像序列映射关系，进而消除抖动，得到稳定序列。与前两种方法相比，电子稳像系统具有易于操作，稳像精度高，灵活性强，体积小、重量轻、能耗低以及高智能化的实时处理等优点。利用电子稳像技术实现视频图像序列稳定是现代稳像技术的主要发展方向。

1 机载电子稳像基本原理

机载电子稳像技术是从航摄图像序列的帧间差别中，估计代表摄像机运动的参数，并根据运动参数判断这种运动是属于随机抖动，还是人为使摄像机的扫描运动，然后通过运动补偿算法来消除或减轻摄像机的随机抖动对视频图像的干扰，实现图像序列的稳定。

电子稳像系统框图如图1所示，主要由运动估计、运动补偿和图像补偿3大模块组成。

图1 电子稳像系统框图Fig.1 Block diagram of electronic image stabilization system

其中，运动估计是指计算图像序列中当前帧相对于参考帧的全局运动失量，即由摄像机参数或者位置变化而引起的整个图像的变化；运动补偿就是利用运动估计的结果对当前图像进行补偿，保留摄像系统正常的有意扫描运动，而去除随机抖动；图像补偿用于电子稳像的后期完善，提供完整的全帧视觉效果。电子稳像系统中3个方面是紧密联系的。其中，运动估计是占用时间最多，精度要求最高的关键部分，是稳像算法的关键环节；而运动补偿则是根据运动矢量估计结果去除不必要的随机抖动，从而达到图像序列稳定的目的；图像补偿则是为了得到视觉效果良好的图像。

2 机载电子稳像关键算法分析

2.1 运动估计算法分析

快速准确的运动估计算法是稳像系统的核心，它占据了稳像系统的主要运算时间，决定了稳像系统的速度和精度。经典的运动估计算法主要有:块匹配法[3]、投影匹配法[4]、位平面法[5]和特征法[6]等。

2.1.1 块匹配法

块匹配法 （Block Matching Algorithm，BMA）基于平移运动机理进行运动估计，其基本思想是：将当前帧划分为若干子图像，对于每个子图像，在参考帧的搜索窗内寻找最佳匹配块；为寻找最佳匹配块，首先要确定匹配准则，然后根据不同的搜索模式搜索子图像块的运动矢量，最后根据不同的运动决策策略检测全局运动矢量。采用最小均方差或最小绝对差匹配准则的全搜索块匹配法被认为是检测平移运动的最优算法。到目前为止，国内外发展了很多块运动估计的快速算法。文献[7]基于块匹配算法，综合运用背景估计策略，计算出了多种复杂条件下的全局运动参数；钟凡等人[8]针对传统块匹配算法中待匹配块形状不规则的问题，提出了一种无损精度的不规则块匹配加速算法，降低了传统算法的复杂度；许海峰等人[9]提出一种基于降采样的块匹配3步搜索改进算法，对搜索块的内部像素采用交叉采样方式做块匹配的运算，降低了算法复杂度。

块匹配法的优点是简单易行，可快速实现，但缺点是:1）块匹配法只适用于由摄像机的平移运动引起的运动偏移，而不能解决摄像机的缩放、旋转和变焦的运动；2）块匹配法在匹配搜索的时候需要进行大量的数据运算，效率低，消耗时间较长。

2.1.2 投影匹配法

投影法 （Projection Algorithm，PA）的基本原理是对视频图像行列各自的投影曲线做互相关运算，得到图像序列之间全局的运动偏移量。投影法充分利用了图像整体灰度分布变化的特点，保证计算精度同时降低了计算量。文献[10]提出了一种改进的基于灰度投影的像移矢量估计算法，该算法解决了全局搜索法运算量大、耗时长的问题，提高了运算速度；李计添等人[11]运用灰度投影算法对车载动态图像系列进行实验，通过计算互信息值检验电子稳像效果，初步探讨了适用于车载电子稳像运动矢量估计的算法；张国栋等人[12]利用灰度投影算法将初始的二维图像信息映射成两个独立的一维信息后，只对图像行列的投影曲线做一次相关运算，较准确地检测出图像序列的帧间运动矢量。

投影法存在的问题:1）如果视频图像的灰度变化不明显，对比度达不到一定的要求，在应用灰度投影法进行稳像时，将会导致当前帧和参考帧各自对应的投影曲线对比不明显，无法进行投影曲线的相关运算，进而降低了全局运动矢量的估计精度，影响了稳像效果；2）灰度投影法对于识别处理只含平移运动或较小旋转运动的视频图像序列，有较好的效果，而对于处理含有缩放或者较大旋转等其他运动变化的视频图像序列，其匹配精度将会下降；3）易受局部运动的影响。如果局部运动物体存在于背景图像中，那么会对行列投影曲线的相关运算产生影响，降低了全局运动矢量的估计精度。因此，提高投影算法对局部运动物体的抗干扰能力是必要的。

2.1.3 位平面法

说来也怪，当时身边的同学、朋友，很多人谈恋爱就是为了解闷儿，打发时间，并没有想未来一定要怎么样，分分合合都是常事儿。我们俩的想法却出奇地一致：“如果不是奔着白头到老的目标去，干脆就不要牵手。”

位平面法是较新的一种对运动矢量进行估计的方法，该算法只需要利用图像的一个位平面进行匹配，运用简单的布尔函数和异或操作，匹配速度快同时又保证了一定的计算精度，是一个比较有效的运动估计算法。Ko等人提出了一种基于灰度编码位平面分解技术的快速电子稳像算法[13]。在不增加计算复杂度的情况下，通过灰度编码大大降低了误匹配发生的概率。Yeni等人采用低复杂度的子图像1位变换位平面匹配技术估计运动参数[14]，极大降低了复杂度和计算量。同时在子图像尺寸足够大的情况下保证了算法的精度。位平面方法能够克服块匹配算法所需计算量大、处理时间长、影响系统实时性、硬件设备复杂的不足，大大节约计算的时间，提高算法的速度，较适合硬件来实现，但由于每个位平面所包含的信息不同，位平面的选择直接影响运动矢量估计的精确度。

2.1.4 特征法

特征法是电子稳像中一类重要的算法，在稳像中使用频率较高。它的基本原理是：通过在参考帧中选取一组特征量作为标识，并在当前帧中以一定的匹配准则进行搜索，以寻找对应的匹配特征，并根据运动参数模型来求取图像间的对应关系，即获取全局运动矢量。利用图像特征是一种较好接近人类视觉特性的运动矢量检测方法，其关键就是研究如何选择合适的特征量以及特征匹配的策略，来快速精确的检测帧间的全局运动矢量。常用的特征匹配算法有Harris角点匹配[15]、SUSAN点匹配[16]等，但这些方法不适用于尺度和旋转变化的情况。

近年来，基于图像局部不变特征变换的方法得到了较快地发展，其中，基于尺度不变特征变换（Scale Invariant Feature Transform，SIFT）[17]的方法，由于其优良的尺度和旋转不变性以及对光照和视角变化的鲁棒性和稳定性而备受关注，成为国内外特征匹配研究领域的热点，该算法能提取稳定的特征，可以处理两幅图像之间发生平移、旋转、仿射变换、视角变换、光照变换情况下的匹配问题，匹配能力较强，但SIFT算法计算复杂，速度较慢，针对这些问题，国内外学者提出了一系列改进算法，如Y.Ke提出PCA—SIFT改进算法[18]，采用主成分分析法以减少特征描述符的维数，降低了计算复杂度；SURF[19]方法在计算量上降低，适用于图片分辨率变化较大的情况；GLOH[20]方法增强了特征描述子的独特性；但在复杂场景下以及模糊和光照变化下，上述算法效果欠佳。国内学者杨涛、张艳宁[21]等人将多尺度Harris角点和SIFT描述子相结合，提出了基于场景复杂度与不变特征的实时图像配准算法，获得了很好的准确度；北航的刘健[22]将对数极坐标变换与图像分块处理相结合对SIFT图像配准算法进行改进，也获得了不错的效果；雷小群[23]利用几何约束和双向匹配从特征点匹配精度上对SIFT算法进行了改进；朱志文[24]通过对特征点进行过滤以及对匹配过程的并行化处理对SIFT进行改进，大大提高了算法效率。

特征法要求场景全局特征明显，运动参数的估计精度在很大程度上依赖于特征提取的精度，当特征不十分明显，或特征过于集中于局部区域时，特征误匹配率高。

2.2 运动补偿算法分析

运动补偿就是利用运动估计的结果对当前图像进行补偿，保留摄像系统正常的有意扫描运动，而去除随机抖动，使输出的视频序列完整流畅，不存在信息丢失和虚假场景，以达到图像补偿稳定的目的。主要的运动补偿方法有：固定帧补偿方法，相邻帧补偿方法和运动滤波补偿方法。

2.2.1 固定帧补偿方法

2.2.2 相邻帧补偿方法

相邻帧补偿方法，是对每相邻的两帧图像进行全局运动估计，然后累积这些估计出的全局运动矢量，以累积后的全局运动矢量作为补偿参数，对当前帧进行运动补偿。此法的优点是:由于帧间图像的重叠区域较大，因此相邻两帧图像的全局运动估计的精度高，且不会像固定帧补偿方式那样出现图像的突变现象。但此法的不足之处为，有可能出现累积误差，导致补偿后的图像序列慢慢发生偏移，逐渐超出补偿边界，最终产出了失稳现象，造成补偿图像的边缘信息严重损失或脱离真实场景。

2.2.3 运动滤波补偿方法

电子稳像的目的就是提取影响图像稳定的抖动分量进行补偿，而保留正常的扫描分量。如果电子稳像系统将摄像系统正常的扫描运动误判成是载体的随机抖动，而进行了稳定处理，则会使补偿后的图像达不到摄像系统正常扫描所形成的图像。因此，对运动矢量进行实时滤波处理，是非常必要的。用于电子稳像的运动滤波算法主要有:基于中值滤波的方法、基于曲线拟合的滤波法、基于Kalman滤波的方法等。文献[25]提出一种新的加权中值滤波模型，将权值与模板下两两像素间相关性对应，结果表明，该方法具有更好的收敛性，优于传统加权中值滤波算法；文献[26]提出一种基于Kalman滤波的特征点的跟踪稳像算法，该算法稳像效果好，运算复杂度低，且具有较强的鲁棒性。概括起来，卡尔曼滤波需要对运动目标建模，对于机动目标，由于目标的不可预测性，参数难于确定，建模非常困难，所以补偿效果不佳；中值滤波是平均算法，在去掉高频信息的同时也损失了稳像精度，容易产生过稳现象；曲线拟合算法能得到光滑的运动估计曲线，但抗噪能力差，不宜采用。在实际运用中可根据具体问题结合以上方法综合考虑，如赵红颖等人提出了可同时去除高频噪声和低频噪声的滤波与曲线拟合相结合的方法[27]，且视频稳定效果良好。

2.3 图像补偿算法分析

图像补偿是电子稳像的后期处理，提供稳定的全景视觉效果。目前电子稳像处理中图像补偿的方法主要有:裁剪方法和拼接的方法。

2.3.1 裁剪方法

对于电子稳像处理后的图像，经常产生空白区域，裁剪是对空白区域处理的一种比较简单而快速的方法，只需要对当前图像直接进行处理，裁剪又分为两种方式：一种是保留裁剪区域，并将其放大到图像帧的原始尺寸，该方法会造成图像信息丢失，且不利于观察；一种是扩大图像采集区域，而显示只在较小区域进行，该方法会增加图像采集设备的成本，同时增加图像稳定的运算量。

2.3.2 拼接方法

图像拼接就是将同一个场景的多个相互重叠的图像进行配准，并拼接成一幅全景图像的表示方法。一般来讲，拼接要求多个相互重叠的图像之间的运动估计非常精确，图像配准后使得同一场景在不同图像上的位置相同。王存睿等人通过对不同尺度特征点进行聚类分析对匹配特征点进行一致性过滤，构建了一种基于网格覆盖的拼接算法，改善了拼接效果和稳定性[28]；文献[29]提出了一种基于SIFT和区域选择相结合的图像拼接方法，该方法对图像间存在的平移、旋转、明暗强度和噪声干扰等具有良好的鲁棒性，可实现高质量的图像拼接。

以上图像补偿方法只适用于补偿区域不含前景运动目标或图像边缘不存在运动目标的图像补偿问题。因此，如何在复杂条件下将图像中的干扰运动目标提取出来，进行图像补偿是该领域的主要研究方向之一。

3 航空电子稳像中亟待解决的问题

从目前国内外的研究成果来看，视频电子稳像方法已得到较深入的研究，其应用领域也越来越广泛，但仍然有一些关键问题需要进一步解决：

1）消除复杂条件下机载平台运动时给稳像带来的影响

由于气候变化、光照影响、飞机震动等复杂环境条件导致机载摄像平台在运动时会产生随机的不稳定的抖动，这种抖动无论是给观察人员还是给后续的处理都会带来不便。虽然在运动估计阶段可以对图像进行补偿，但如何提高稳像的适应性和稳定性以减少复杂条件下机载平台运动的影响是今后要解决的难点。

2）运动估计的准确性

一方面，由于机载摄像机在拍摄时本身也处于运动状态，使得视频序列的帧间运动是一种复合运动，在稳像时不仅要考虑摄像机本身的运动，还要考虑机载平台的运动，使得获取全局运动矢量的难度加大。另一方面，在空中获取到的航拍图像视场大，摄像机与地面距离远，图像中的纹理相似区域比较多，用传统稳像方法的误匹配率比较高，需要考虑更加优良的稳像算法才能精确匹配。

3）运动补偿的准确性

由于抖动的随机性，要实现准确的运动补偿一是要区分全局运动参数中的抖动分量和扫描分量，其难度在于抖动分量与扫描分量可能会有重合，因此直接提取并消除有可能会消除部分扫描分量。二是要克服补偿时边界信息的丢失，目前绝大部分补偿方法是用插值放大、拼接的方法，这样得到的图像的边界往往是不真实的，不能保证图像信息的一致性和连续性，修复后的图像会出现伪影现象，需要研究新的准确补偿的方法来提高图像质量。

4 结束语

文中对机载电子稳像的基本原理进行了介绍，在此基础上，结合各关键技术的适用条件具体地论述了电子稳像技术的研究进展，并分别对各算法的最新应用进行了详细描述。通过对电子稳像技术的归纳总结，发现针对不同场景兼顾精度与处理时间，以最大效率获得令人满意的稳像效果是电子稳像技术今后的发展趋势；同时，也应该看到，传统的经典算法在个别场合仍大有作为，比如块匹配算法在实时稳像方面表现出来的明显优势。所以，在追求高效高精度的同时，还应继续深入研究已有模型的优缺点，发现查找各算法影响稳像效果的关键因素，在实际运用中根据应用场合合理选择高效的稳像算法。

[1]Lewis G R.Image stabilization techniques for long range camera[J].Proc.SPIE，1980，242（8）:125－129.

[2]钟平.机载电子稳像技术研究[D].长春：中国科学院长春光机所，2003.

[3]Basarab A，Gueth P，Liebgott，H.Phase-based block matching applied to motion estimation with unconventional beamforming strategies[J].IEEE Tran.on Ultrasonics，Ferroelectrics and Frequency Control，2009，56（5）:945－957.

[4]ZHANG Yong-xiang，CHEN Fang-min，WANG Jian.Implementation of gray projection image stabilization algorithm based on TMS320DM642[C].//IEEE International joint conference on INC，IMS and IDC，2009.NCM’09，Fifth，2009:1724－1726.

[5]Urhan O，Erturk S.Single sub-image matching based low complexity motion estimation for digital image stabilization using constrained one-bit transform[J].IEEE Trans.On Consumer Elcetronics，2006，52（4）:1275－1279.

[6]宋永江，夏正良，杨世周.基于多直线特征的电子图像稳定算法[J].中国图像图形学报，2002，7（4）:363－368.SONG Yong-jiang，XIA Zheng-liang，YANG Shi-zhou.Electronic image stabilization algorithm based on multi-line feature[J].Journal of Image and Graphics，2002，7（4）:363－368.

[7]Hsu S C，Liang S F，Lin C T.A robust digital image stabilization technique based on inverse triangle method and background detection[J].IEEE Transactions on Consumer Electronics，2005，51（2）:335－345.

[8]钟凡，莫铭臻，秦学英，等.基于WSSD的不规则图像块快速匹配[J].中国图象图形学报，2010，15（3）:495～501.ZHONG Fan，MO Ming-zhen，QIN Xue-ying，etal.Fast irregular image patch matching based on WSSD[J].Journal of Image and Graphics，2010，15（3）:495－501.

[9]许海峰，赵文庆，孙峥，等.一种基于降采样的块匹配三步搜索改进算法 [J].复旦学报： 自然科学版，2010，49（6）:653－659.XU Hai-feng，ZHAO Wen-qing，SUN Zheng，et al.An improved three step search algorithm based on down-sampled block matching[J].Journal of Fudan University：Natural Science，2010，49（6）:653－659.

[10]李浩洋，刘兆军，徐彭梅.改进的灰度投影像移矢量估计算法[J].计算机应用，2011，31（2）：122－124.LI Hao-yang，LIU Zhao-jun，XU Peng-mei.Image motion estimate algorithm based on improved gray projection[J].Journal of Computer Applications，2011，31（2）:122－124.

[11]李计添，何永强，陈财森，等.一种基于灰度投影算法的车载电子稳像方法[J].红外技术，2010，32（6）:328－332.LI Ji-tian，HE Yong-qiang，CHEN Cai-sen，et al.A method of vehicle-bone electronic image stabilization based on gray projection algorithm[J].Infrared Technology，2010，32 （6）:328－332.

[12]张国栋，王明泉，郭栋.基于灰度投影算法的实时电子稳像研究[J].微电子学与计算机，2010，27（10）:53－56.ZHANG Guo-dong，WANG Ming-quan，GUO Dong.Research on real-time electronic image stabilization based on gray projection algorithm[J].Microelectronics&Computer，2010，27（10）:53－56.

[13]Ko S，Lee S，Jeon S.Fast digital image stabilizer based on gray-coded bit-plane matching[J].IEEE Transactions on Consumer Electronics，1999，45:598－603.

[14]Yeni A A，Ertürk S.Fast digital image stabilization using one bit transform based sub-image motion estimation[J].IEEE Transactions on Consumer Electron，2005，51（3）:917-921.

[15]Harris C G，Stephens M J.A combined corner and edge detector[C]//Proceedings Fourth Alvey Vision Conference.Manchester，1988.

[16]Smith S M，Brady J M.SUSAN-A new approach to low level image processing[J].Journal of Vision，1997，23（1）.

[17]LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision， 2004，60（2）:91-110.

[18]Ke Y，Sukthanka R.PCA-SIFT:A more distinctive representation for local image descriptors[C]//Proceedings of International Conference on Computer Vision and Pattern Recognition，Washington，USA:ICPR，2004:511-517.

[19]Bay H，Tuvtellars T，Gool L Van.SURF:Speeded up robust features[C]//Proceedings of the European Conference on Computer Vision，2006:404-417.

[20]Mikolajczyk K，Schmid C.A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Ana1ysis and Machine Intelligence，2005，27（10）:1615-1630.

[21]杨涛，张艳宁，张秀伟，等.基于场景复杂度与不变特征的航拍视频实时配准算法[J].电子学报，2010，38（5）:1069-1077.YANG Tao，ZHANG Yan-ning，ZHANG Xiu-wei，et al.Scene complexity and invariant feature based real-time aerial video registration algorithm[J].Acta Electronica Sinica，2010，38（5）:1069-1077.

[22]刘健，张国华，黄琳琳.基于改进SIFT的图像配准算法[J].北京航空航天大学学报，2010，36（9）:1121-1124.LIU Jian，ZHANG Guo-hua，HUANG Lin-lin.Image registration approach based on improved SIFT[J].Journal of Beijing University of Aeronautics and Astronautics，2010，36 （9）:1121-1124.

[23]雷小群，李芳芳，肖本林.一种基于改进SIFT算法的遥感影像配准方法[J].测绘科学，2010，35（3）:143-145.LEI Xiao-qun，LI Fang-fang，XIAO Ben-lin.A registration method of RS image based on improved SIFT algorithm[J].Science of Surveying and Mapping，2010，35（3）:143-145.

[24]ZHU Zhi-wen，SHEN Zhan-feng，LUO Jian-cheng.Parallel remotesensingimageregistrationbasedon improved SIFT point feature[J].Journal of Remote Sensing，2011，15 （5）:1024-1031.

[25]李秀玲，何劲松.基于旋转不变像素相关性的加权中值滤波器[J].中国图象图形学报，2010，15（1）:56-62.LI Xiu-ling，HE Jin-song.Weighted median filter based on rotation invariant pixel correlations[J].Journal of Image and Graphics，2010，15（1）:56-62.

[26]姜文涛，陈卫东，李良福.一种基于特征点跟踪的电子稳像算法[J].应用光学，2010，31（1）:73-77.JIANG Wen-tao，CHEN Wei-dong，LI Liang-fu.Electronic image stabilization algorithm based on characteristic point tracking[J].Journal of Applied Optics，2010，31（1）:73-77.

[27]赵红颖，王天增，钱旭.基于滤波与曲线拟合的电子稳像算法[J].计算机应用，2010，30（11）:3008-3010.ZHAO Hong-ying，WANG Tian-zeng，QIAN Xu.Electronic image stabilization algorithm based on filtering and curve fitting[J].Journal of Computer Applications，2010，30 （11）:3008-3010.

[28]王存睿，张庆灵，段晓东，等.基于尺度聚类仿射过滤的图像拼接算法[J].东北大学学报：自然科学版，2011，32（7）:917-921.WANG Cun-rui，ZHANG Qing-ling，DUAN Xiao-dong，et al.Image mosaic algorithm based on scale-clustering affine filtering[J]. Journal of Northeastern University：Natural Science，2011，32（7）:917-921.

[29]张炜，刘伟，普杰信.一种基于SIFT和区域选择的图像拼接方法[J].微电子学与计算机，2010，27（6）:205-207.ZHANG Wei，LIU Wei，PU Jie-xin.An image mosaic method based on SIFT and region selecting[J].Microelectronics&Computer，2010，27（6）:205-207.