基于双向运动估计的残差分布式视频重构模型研究

安 文，刘 昆，王 杰

(国防科学技术大学 航天科学与工程学院，湖南 长沙 410073)

基于双向运动估计的残差分布式视频重构模型研究

安 文，刘 昆，王 杰

(国防科学技术大学 航天科学与工程学院，湖南 长沙 410073)

针对遥感视频成像卫星星上编码端结构复杂、传输数据量大及传输带宽大的问题，同时为了保证遥感视频成像系统的高图像分辨率和低采样复杂度，根据视频图像的高时空冗余特点，在连续图像残差重构模型的基础上提出了基于双向运动估计的分布式视频残差重构模型及相关算法，并进行了数值仿真。仿真结果表明，模型能够在降低采样率的同时保证良好的重构效果，且算法简单，耗时短。

遥感视频成像；压缩感知；分布式框架；残差重构；双向运动估计

0 引言

目前遥感视频成像卫星对图像分辨率的要求日益提高，压缩感知(Compressed Sensing，CS)理论能够打破Shannon-Nyquist采样定理的限制，为遥感数据采集带来了革命性的突破，自提出以来就得到了国内外众多学者的广泛关注[1-2]。该理论的核心在于采样和压缩同时进行，当信号稀疏或在某一组基下稀疏时，就可以利用维数远小于信号的测量值高概率地重构原信号，这意味着将压缩感知理论应用于图像处理领域能够显著降低编码端的复杂度[3-4]。

最简单的压缩感知视频重构模型是单帧重构模型[5-6]，其形式简单，重构效果稳定，但没有考虑视频序列中相邻帧间的时空相关性。分布式视频压缩感知(Distributed Compressed Video Sensing,DCVS)将分布式框架[7]引入到压缩感知视频编解码过程，结合了CS和DVC的优点[8]。文献[9-10]提出的差分重构模型利用两帧的测量值和它们的差分信息进行联合重构，考虑到相邻两帧间的差别通常是由运动引起的，文献[11-12]提出了残差重构模型。

为了充分利用遥感视频信号中的时空冗余信息，并尽可能低地降低遥感数据采样、传输的压力，本文提出了基于双向运动估计的残差分布式重构模型及相关算法。

1 压缩感知残差重构模型

1.1 压缩感知理论

信号稀疏(自身稀疏或在某一变换域下稀疏)是运用压缩感知理论高概率重构原信号的前提，其含义是对于一个n维信号而言，只有k(k<

f=ψx，

(1)

式中，f表示原始的图像信号，ψ∈n×n表示稀疏字典，x表示信号f在字典ψ下的稀疏表示系数，字典类型不同，信号的稀疏表示形式不同，稀疏度也不同。

CS压缩采样的模型用式(2)描述，其中，J表示测量值(即采样值)，φ表示测量矩阵。解码的目的是从m维测量值J中恢复n维原始信号f，m<

J=φf，

(2)

J=φf=φψx=Ax。

(3)

min‖x‖0,s.t.J=Ax。

(4)

1.2 残差重构

③ 重构残差帧:

(5)

2 基于双向运动估计的残差分布式重构模型

2.1 模型框架

图1 基于双向运动估计的残差分布式重构模型

编码端:为简化编码过程，所有帧均使用基于块的测量矩阵进行采样，关键帧的采样率大于非关键帧。解码端:关键帧采用单帧重构模型进行重构；非关键帧运用基于双向运动估计的残差重构算法进行联合重构。

2.2 双向运动估计残差分布式重构

双向运动估计[13]结合了前后2帧对中间帧的运动矢量进行估计，因此有效地避免了单帧运动估计时出现的“块丢失”和“块重叠”，能更真实地反映对象的运动。把基于块的双向运动估计模型引入残差分布式重构模型，能提高CS帧的预测效果，整体改善重构视频的重构质量。

② fori=1,2,…,T，do；

④ifk=0；

⑥else；

⑨End；

为进一步提高编码端的压缩率，通常取GOP>2，即每个图像组包括一个关键帧和多个非关键帧，这时分层次地对视频序列进行重构，每层都用最相邻的已重构帧对该层的NK帧进行双向运动估计残差重构，如图2所示。

图2 一组视频帧的重构示意图(GOP=4)

2.3 算法改进

在对中间帧进行双向运动估计时，使用的是遍历整个搜索窗的块匹配算法，运动矢量的估计比较盲目，效率不高。为提高运动估计精度，缩短运动估计时间，先在前一帧和后一帧间进行单向运动估计，再以该估计的运动矢量作为初值进行双向运动估计[14]。

3 仿真结果与分析

表1给出了GOP=2时3组序列的NK帧在上述3种重构算法下的平均PSNR值、SSIM值和单帧重构时间T。

表1GOP=2时不同测量率下各视频重构算法的性能比较:PSNR(dB);SSIM;T(s)

视频序列SRNKMC_BCS_SPLMH_BCS_SPLBiMC_BCS_SPLforeman0.129.931;0.844;8.45232.906;0.900;37.15931.903;0.885;5.5810.333.364;0.896;5.79934.720;0.923;37.91434.345;0.914;5.0090.534.983;0.924;4.53035.964;0.941;38.59635.882;0.937;4.477stefan0.122.288;0.724;8.13024.233;0.824;36.71823.352;0.761;6.2060.325.877;0.844;6.27826.520;0.884;38.29225.803;0.840;6.7700.528.185;0.891;6.67528.545;0.915;40.18528.236;0.893;6.026海港0.129.399;0.910;16.30934.032;0.950;87.80633.089;0.944;9.9010.331.96;0.923;12.67935.407;0.964;89.51935.056;0.960;9.6390.533.862;0.949;12.25636.179;0.97093.06135.996;0.969;8.918

可以看出本文提出的基于双向运动估计的分布式视频残差重构算法在主、客观评价标准下的重构质量都优于MC_BCS_SPL算法，且接近MH_BCS_SPL算法。在相同采样率条件下，BiMC_BCS_SPL算法重构的平均PSNR比MC_BCS_SPL算法高1.62 dB，最多高4.27 dB；但该算法的重构质量比MH_BCS_SPL算法稍差。然而，BiMC_BCS_SPL算法的平均单帧重构时间最短，是MC_BCS_SPL算法平均单帧重构时间的82%，是MH_BCS_SPL算法平均单帧重构时间的16%。这说明BiMC_BCS_SPL算法能同时兼顾重构质量和重构时间，在低耗时的同时取得令人满意的重构效果。

为进一步提高编码端的压缩率，实际中通常取GOP>2，即每个图像组包括一个关键帧和多个非关键帧。表2给出了GOP=7时，3组序列的NK帧在上述3种重构算法下的平均PSNR值、SSIM值和单帧重构时间T。由表2可以看出，GOP=7时MC_BCS_SPL算法由于运动估计误差过大，重构性能显著下降；BiMC_BCS_SPL算法仍能保持良好的重构性能，有效改善了重构退化(Quality Deterioration)，平均单帧重构PSNR比MC_BCS_SPL算法高2.15 dB，最多高4.02 dB。而且BiMC_BCS_SPL算法在重构时间上仍保持优势。

表2GOP=7时不同测量率下各视频重构算法的性能比较:PSNR(dB);SSIM;T(s)

视频序列SRNKMC_BCS_SPLMH_BCS_SPLBiMC_BCS_SPLforeman0.127.002;0.753;8.89930.464;0.861;37.26928.276;0.795;6.1270.329.721;0.806;7.42732.986;0.907;38.61732.251;0.878;5.1520.531.619;0.859;5.12735.183;0.934;39.41234.746;0.918;5.040stefan0.118.608;0.600;8.77421.930;0.720;32.36220.935;0.619;6.1720.321.104;0.679;7.50724.651;0.826;34.97824.226;0.778;5.6990.523.618;0.751;6.43626.703;0.876;36.38626.654;0.849;5.636海港0.128.710;0.897;18.06133.380;0.943;86.33832.195;0.935;11.0750.330.970;0.920;11.20635.593;0.964;89.71134.831;0.953;10.1530.532.210;0.941;10.95636.495;0.972;91.02635.975;0.969;8.857

需要说明的是，遥感凝视成像卫星在对目标区域进行观测时，会在卫星相对于目标的过顶时间窗口内进行姿态调整，以使观察目标始终处于卫星视频相机的视场中心，从而获取该区域内的序列图像，故图像各帧之间的相关性非常强。使得即使在GOP=7，SRK=0.5，SRNK=0.1的低采样率下，平均单帧重构的PSNR值仍高达30dB以上。

图3给出了GOP=7，SRK=0.5，SRNK=0.1时遥感视频“海港”第10帧图像的重构结果，目标舰船用圆圈标出。仿真结果表明本文提出的算法不仅适用于遥感视频序列的重构，而且能够取得令人满意的重构效果，即使在平均采样率为0.16的低采样率下，PSNR值仍高达31.948dB.

(a) 原始图像

(b) BiMC_BCS_SPL

图3GOP=7，SRK=0.5,SRNK=0.1时“海港” 第10帧图像的重构结果

4 结束语

以压缩感知理论为指导，结合视频图像的时空冗余特点，在连续图像残差重构模型的基础上提出了基于双向运动估计的分布式视频残差重构模型及相关算法。将视频序列分成关键帧(K帧)与非关键帧(NK帧)，先重构出K帧，然后用已重构的相邻K帧对待重构的NK帧进行双向运动估计，并将估计结果作为NK帧的边信息。最后，利用测量值和边信息重构残差，并用残差对边信息进行补偿以重构出NK帧。仿真结果表明基于双向运动估计的残差分布式重构能够在降低采样率的同时保证良好的重构效果，并能减少重构过程中的累积误差，有效改善“重构退化”现象，而且该算法适用于遥感视频的压缩重构。但本文提出的模型在对中间帧进行运动估计和补偿时没有利用其测量信息，因此对中间帧的预测是不够准确的，如何利用补偿信息和测量信息对中间帧进行快速高效地预测将是下一阶段研究的重点。

[1] Eldar Y C,Kutyniok G.Compressed Sensing:Theory and Applications [M].New York: Cambridge University Press,2012.

[2] Kyriakides I.Target Tracking Using Adaptive Compressive Sensing and Processing[J].Signal Processing,2016,127: 44-55.

[3] 翟雪含,朱卫平,康 彬.结合KSVD和分类稀疏表示的图像压缩感知[J].计算机工程与应用,2015,51(6):193-198.

[4] 何国栋,谢小娟,杨凌云,等.基于压缩感知的信号重构研究[J].无线电通信技术,2014,40(3):26-28.

[5] Marcia R F,Harmany Z T,Willett R M.Compressive Coded Apertures for High-Resolution Imaging[J].Proceedings of SPIE-The International Society for Optical Engineering,2010,7723(1):04-15.

[6] Mousavi H S,Monga V,Tran T D.Iterative Convex Refinement for Sparse Recovery[J].IEEE Signal Processing Letters,2015,22(11):1903-1907.

[7] Girod B,Aaron A M,Rane S,et al.Distributed Video Coding[C]∥Proceedings of the IEEE,2005,93(1): 71-83.

[8] Kang L W,Lu C S.Distributed Compressive Video Sensing[C]∥ Acoustics,Speech and Signal Processing on.IEEE,2009:169-1172.

[9] Willett R M,Marcia R F,Nichols J M.Compressed Sensing for Practical Optical Imaging Systems: a Tutorial[J].Optical Engineering,2011,50(7): 1-13.

[10]Thompson D,Harmany Z,Marcia R.Sparse Video Recovery Using Linearly Constrained Gradient Projection[C]∥Acoustics,Speech and Signal Processing on.IEEE,2011:1329-1332.

[11]Mun S,Fowler J E.Residual Reconstruction for Block-Based Compressed Sensing of Video[C]∥ Data Compression Conference on.IEEE,2011：183-192.

[12]常 侃,覃团发,唐振华.基于联合总变分最小化的视频压缩感知重建算法[J].电子学报,2014,42(12):2415-2421.

[13]Choi B D,Han J W,Kim C S,et al.Motion-compensated Frame Interpolation Using Bilateral Motion Estimation and Adaptive overlapped Block Motion Compensation[J].Circuits and Systems for Video Technology,2007,17(4): 407-416.

[14]Choi B T,Lee S H,Ko S J.New Frame Rate up-Conversion Using Bi-Directional Motion Estimation[J].Consumer Electronics,2000,46(3): 603-609.

[15]Chen C,Tramel E W,Fowler J E.Compressed Sensing Recovery of Images and Video Using Multihypothesis Predictions[C]∥Conference Record of the 46th Asilomar Conference.IEEE,2011: 1193-1198.

[16]Tramel E W,Fowler J E.Video Compressed Sensing with Multihypothesis[C]∥ Data Compression Conference.IEEE,2011：193-202.

[17]Gan L.Block Compressed Sensing of Natural images[C]∥the International Conference on Digital Signal Processing.IEEE,2007：403-406.

Research on Residual Distributed Video Reconstruction Models Based on Bilateral Motion Estimation

AN Wen,LIU Kun,WANG Jie

(College of Aerospace Science and Engineering,National University of Defense Technology,Changsha Hu’nan 410073,China)

Some problems exist inremote sensing video imaging satellitessuch as the high complexity of coders,the large volume of transmitted data and the increased transfer bandwidth.To ensure the high resolution andreduce the complexity of remote sensing video imaging systems,this paper,according to the high time-space redundancy of video image,proposes a distributed residual reconstruction model and associated algorithm using bilateral motion estimation based on the technique of reconstructing frames of the video sequence using residual information.The simulation shows that the proposed model and algorithm ensure the low sampling rate and high reconstruction quality simultaneously,the algorithm is simple,andthe time needed is reduced.

remote sensing video imaging;compressed sensing;distributed frame;residual reconstruction;bilateral motion estimation

10.3969/j.issn.1003-3114.2017.01.08

安 文，刘 昆，王 杰.基于双向运动估计的残差分布式视频重构模型研究[J].无线电通信技术，2017，43(1): 30-34.

2016-09-23

国家自然科学基金项目(61271440)

安 文(1991—),女,硕士研究生,主要研究方向：卫星新型载荷技术及应用。刘 昆(1965—),男,博士,教授,主要研究方向:飞行器动力学与控制。

TN919.81

A

1003-3114(2017)01-30-5