导航雷达近海回波图像丢帧内插技术研究

陈壮杰，宋占杰，高成志，齐占辉，张锁平

(1.天津大学电视与图像信息研究所，天津 300072；2.国家海洋技术中心，天津 300112)

导航雷达近海回波图像丢帧内插技术研究

陈壮杰1，宋占杰1，高成志1，齐占辉2，张锁平2

(1.天津大学电视与图像信息研究所，天津 300072；2.国家海洋技术中心，天津 300112)

研究了在连续的X波段导航雷达图像序列中丢失一帧图像状态下的一种快速修复算法。该算法主要采用基于运动估计与运动补偿的视频序列修复技术进行插帧修复。具体步骤是根据雷达图像中像素点的运动特点，采用改进的三步搜索算法并结合双向运动估计进行搜索，然后对矢量场进行后续处理，最后内插出重建帧。为了提高图像修复的精度，还引入了亚像素运动估计。实验表明，所给出的新算法能够取得较好的修复效果。

X波段导航雷达；图像修复；运动估计和运动补偿；插帧

利用X波段导航雷达进行遥感测量，并根据所获取的图像数据对各种海态参数进行反演，从而得到海洋状态的实时信息，对海上的经济活动和军事活动具有十分重要的意义[1-2]。但是，在X波段导航雷达海面回波数据的采集过程中存在很多实际的问题，其中主要表现在图像数据中存在噪声，以及连续时间内的图像序列中存在某一帧图像数据丢失的现象。这些问题对后期利用海浪图像数据来反演各种海态参数都有很大的影响。要想获得精确的海态参数，必须保证雷达图像数据的准确性和完整性。

针对雷达图像序列存在的丢帧问题，本文提出了一种基于运动估计和运动补偿的视频序列修复技术，对缺损的导航雷达图像序列进行插帧修复，从而保证雷达图像序列的时间连续性。

1 雷达图像序列分析

1.1 雷达图像的运动特点

雷达天线发出的电磁波入射到海面上，与海浪中的Bragg波产生散射，而Bragg波又依次在方向、能量和运动上受到海浪中更大尺度波的调制，从而使海浪在雷达上成像，所以雷达图像数据的采集过程不同于一般的图像数据采集过程。雷达天线转动一周所记录的回波强度的区域分布可以近似认为是对应于某一瞬时时刻的回波强度区域分布，这样雷达图像的采集过程就类似于在确定时刻点用照相机放在海面正上方进行俯视拍摄，从而获得俯视图像的过程。

对每一幅雷达图像来说，图像中的每个像素点在各个方向上运动的概率和幅度不尽相同，其运动的概率受到波浪传播方向的影响，在波浪的传播方向上，像素点的运动概率相对来说会大一些，而像素点运动的幅度很大程度上由波浪的传播速度、波高等因素决定。这就是导航雷达近海回波图像像素点的运动特点。

1.2 丢帧导航雷达图像序列介绍

本文所采用的雷达图像数据是经过去除射线状噪声后所产生的100幅位图文件，即雷达转动100周所产生的回波数据。雷达图像数据的格式是：雷达扫描一周得到3 600组数据，每组数据即为沿同一方向的雷达回波强度，共2 048点，其方向分辨率为0.1°，径向分辨率为3.75 m。所采用的待修复雷达数据是在连续的100幅雷达图像序列中随意去掉一帧图像后的缺损雷达图像序列。这样，丢失的数据是完全已知的，也就是说，本文事先知道丢失了哪一帧，因此可以在修复过程中准确地定位到待修复图像的位置，以便于比较本文方法的修复效果。

2 雷达连续图像序列的插帧修复

本文采用基于运动估计与运动补偿的图像修复方案。具体方法是：首先利用改进的三步搜索法结合双向运动估计估算出所需的运动矢量场，在实时性要求较低的情况下，为了获得较高的精确度，可以再进行亚像素运动估计，然后对矢量场进行后续处理（文中主要采用矢量中值滤波和块腐蚀算法进行处理），最后进行运动补偿插值。具体流程如图1所示。

图1中，fn-1为前一帧图像，fn+1为后一帧图像，MVF1是经过运动估计直接得到的矢量场，MVF2是经过亚像素运动估计所得到的矢量场，亚像素运动估计作为可选项，在图中用虚线框表示，适用于实时性要求低、精度要求较高的场合。MVF3是经过矢量中值滤波后所得到的矢量场，MVF4是经过块腐蚀处理后所得到的矢量场，fn是最终的内插图像，也就是重构图像。

图1 图像修复总体框图

2.1 双向运动估计结合改进的三步搜索法

利用前后相邻图像帧的时间相关性重构出缺失的图像帧，首先需要进行双向运动估计求得所需矢量场。双向运动估计的基本思想是：根据最佳匹配法则搜索得到内插帧中的块相对于前后参考帧中的块的运动矢量。

根据雷达图像中像素点的运动特点，本文采用改进的三步搜索算法[3]对雷达图像序列进行运动估计。资料显示，在距离海面上方10 m处最大风速为32 m/s，这样，在相邻两帧约1.5 s时间间隔内，搜索半径可定为48 m之内。本文为了简化搜索过程，将最大搜索范围定为48个像素，采用改进的三步搜索法，分6步进行搜索，由准则函数检测包括中心点和外围8个方向共9个搜索点，搜索步长分别为24，12，6，3，2，1，最终得到匹配块的运动矢量。

2.2 亚像素运动估计

在双向运动估计的算法中，每一步搜索相对于传统的运动估计来说都是双像素精度的，这样会降低运动估计的精度。为了提高运动估计的精度，可以在双向运动中引入亚像素运动估计[4]。

由于导航雷达数据真正的空间分辨率是由径向距离和方位角所决定的，是非均匀的，因此在进行亚像素运动矢量估计前需对雷达图像数据进行内插处理，以便得到均匀网格状分布的雷达数据。

2.3 矢量场后处理

运用基于运动估计和运动补偿算法内插出一整幅图像，要求矢量场具有较高的平滑性。但实际情况是通过直接运动估计得到的矢量场存在很多不连续点，难以保证矢量场的平滑性，从而导致内插图像质量的降低。

为了解决上述问题，需在运动估计之后对矢量场进行后续处理。本文主要采用矢量中值滤波算法和块腐蚀算法，达到平滑矢量场和校正矢量场的目的。

2.3.1 矢量中值滤波

矢量中值滤波[5]是在滑动的窗口中寻找一个距离其他像素矢量最近的矢量，并以此矢量替代原来的中心矢量。如果有多个矢量同时为最小值，则选择离滑动窗口中心最近的矢量。

本文选用矢量中值滤波器来进行矢量场的平滑处理，其滑动窗口大小为3×3，即取上下各3个，左右共2个，加上中心矢量共9个候选矢量来进行中值滤波。

2.3.2 分级块腐蚀算法

当内插图像的矢量场经过矢量中值滤波器处理后，运动矢量场的平滑度和真实性得到了有效提高。但在进行块匹配运动位移估计时，一个块中可能包含多个不同的运动对象，此时用一个运动矢量来描述整个像素块的运动势必会因矢量估计有误而产生“块斑”。

本文采用块腐蚀算法[6]解决了同一块中包含不同运动对象的问题，从而有效地消除了“块斑”。

根据分级处理的思想，初始匹配块的大小决定所要分的级数。文中运动匹配块大小选择为16×16，因此块腐蚀可分为4级。

2.4 基于运动补偿的内插算法

本文采用双向运动估计结合改进的三步搜索算法，在对每一块进行运动估计时，都将得到两个重建块B1i,j和B2i,j。当运动估计比较准确时，由前后帧得到的匹配块基本相同，可以任选一个作为最终的重建块。但是，当运动估计有误时，由前、后两帧得到的重建块差别有时会很大，任选其一会由于错误的运动补偿造成内插帧质量的下降。为了提高内插帧的质量，本文对图像内部点和边界点分别采用不同的插值方法。

对于图像内部的点，输出Bfi,j块和Bbi,j块中对应像素的平均值，这样当运动矢量不可靠时可以减小误差，内插公式为：

其中：wf和wb为前后像素块的权重，对于图像内部的点都为1/2。

对于边界点，由于矢量场经过中值滤波和分级块腐蚀算法以后，矢量场会产生变动，某些边界像素点的坐标加上位移矢量后会出现小于0的情况，此时单纯的平均前后像素块会在重构图像中产生“块斑”，影响视觉效果。文献[7]针对边界的像素点提出了一种自适应单向插值算法，可有效克服上述缺陷，本文借用这种方法，具体实现过程如下：

本文采用的运动估计的搜索半径为48像素，将图像周边的48行和48列看作边界点，即图像的1～48行、3 553～3 600 行、1～48 列和 2 001～2 048 列，插值公式采用式(1)，具体的权重如表1所示。

表1 自适应插值权重

3 试验结果分析

本文采用平均误差e作为评价修复效果的指标，形式如下：

式中： f（i,j）为原始未损坏的图像数据； f'（i,j）是修复后的图像数据。

本文共随机抽取10幅图像进行了内插修复，对e取平均值，实验结果如表2和表3所示。

表2 采用全搜索法的修复结果

表3 改进的三步搜索算法修复结果

通过表3和表2的比较可以看出，在实时性要求和较高的精度要求之间存在着一定的矛盾，要想取得较高的精度，无论是采用改进的三步搜索算法还是全搜索法，在运用了亚像素运动估计以后，精度都会有一定的提高，但是时间复杂度也会相应的提高。

采用全搜索算法并结合亚像素搜索算法在搜索范围为48像素的情况下，误差可以达到8.15%，但时间复杂度较高，整个计算过程耗时533.47 s，而采用改进的三步搜索算法结合亚像素运动估计，实时性得到很大改善，整个计算过程耗时129.95 s，而误差为8.22%，精度相差仅0.07%，总体来说，这种算法是本文推荐的一种算法。当然，在实时性要求较高的场合，可以直接使用改进的三步搜索算法，整个运算过程仅耗时19.59 s，误差为8.60%，实时性得到了大幅度提高，并且精度下降也不大。

图6 采用不同搜索算法修复图像的一维数据对比

图6为采用不同搜索算法修复图像的一维数据对比。其中图6(a)和图6(b)是原始图像的1列和1行，用来作为参考图像。

图6(c)和图6(d)是直接采用改进的三步搜索法（没有结合亚像素运动估计）进行内插得到的图像的1列和1行，由于本算法没有采用亚像素运动估计，与上述算法相比，该算法所产生图像质量下降较大，误差为8.60%。与原始图像相比，灰度值的分布基本相似，但误差较大，灰度值较低的像素差别明显，误差大约在20%。

图6(e)和图6(f)是运用改进的三步搜索法并结合亚像素运动估计所内插得到的图像的1列和1行，该算法产生的误差为8.22%，与原始图像相比，灰度值的分布趋势基本相似，存在着一定的误差，灰度值较低的像素差别比较明显，误差在15%左右。

4 结论

本文对连续的X波段雷达图像序列的丢帧问题进行了研究，提出了一种缺损导航雷达近海回波图像的插帧修复技术。首先分析了X波段导航雷达图像中运动对象的运动特点，并根据运动特点提出了相应的运动估计算法，即改进的三步搜索算法结合双向运动估计；在估计出矢量场后对其进行后续处理，最后基于运动补偿及前后帧特性重构出缺失的图像帧。实验表明，本文所采用的算法在实时性和精确度方面有较大的优势，并可以根据具体情况灵活采用亚像素运动估计算法。

[1]Rune Gangeskar.Ocean Current Estimated from X-Band Radar Sea Surface images[J].IEEE Transactions on Geoscience and Remote Sensing,2002,40(2):783-792.

[2]Young I R,Rosenthal W,Ziemer F,A.Three-Dimensional Analysis of Marine Radar Images for the Determination of Ocean Wave Directionality and Surface Currents[J].Journal of Geophysical Research,1985,90:1049-1059.

[3]刘洪波，杨济安，张雪梅.视频压缩编码中的运动估计搜索算法[J].中国多媒体通信，2006,9:62-64.

[4]Bierling M.Displacement estimation by hierarchical block matching[C]//Proceeding SPIE VCIP 1988,Cambridge,MA,1988:942-951.

[5]De Haan G,Biezen P W A C,Huijgen H,et al.True-motion estimation with 3-D recursive search block matching[J].IEEE Transactions on Circuits&Systems for Video Technology,1993,3(5):368-379.

[6]文俊，刘重庆，刘晓松.视频标准帧速率上变换的自适应运动补偿方案[J].数据采集与处理，2003，18(2)：204-208.

[7]Huang A M,Nguyen T Q.A multistage motion vector processing method for motion-compensated frame interpolation [J].IEEE Transactions on Image Processing,2008,17(5):294-708.

Abstract：A method of image restoration for a lost frame in nautical radar image sequence is proposed,which is based on the motion estimation and motion compensation of image sequence restoration technology.According to the characteristics of the radar image pixel motion,a improved three-step motion search algorithm combined with bi-direction motion estimation is developed.The vector field is then processed.Thus,the lost image could be reconstructed finally.In order to improve the accuracy of image restoration,the sub-pixel motion estimation has been studied.The results show that the algorithm could obtain good recovery quality.

Key words：X-band radar;image restoration;motion estimation and motion compensation;frame interpolation

Research on Frame Interpolation Restoration of X-band Radar Sea Surface Images

CHEN Zhuang-jie1,SONG Zhan-jie1,GAO Cheng-zhi1,QI Zhan-hui2,ZHANG Suo-ping2
（1.Institute of TV and Image Information,Tianjin University,Tianjin 300072,China;2.National Ocean Technology Center,Tianjin 300112,China）

TP75

A

1003-2029（2011）01-0068-04

2010-07-21

国家自然科学基金资助项目(10926196);天津市自然科学基金资助项目(08JCYBJC09600)

陈壮杰（1987—），男，广东汕头人，主要研究方向为海态参数估计与随机信号处理。