基于时空域方向自适应结合的去隔行方法

张 涛，潘希豪，王 昊，雷志春

基于时空域方向自适应结合的去隔行方法

张 涛1，潘希豪1，王 昊1，雷志春2

(1. 天津大学电气自动化与信息工程学院，天津 300072；2. 天津大学微电子学院，天津 300072)

目前，隔行扫描广泛应用于电视广播系统中，去隔行处理普遍采用多算法融合的方法，由于空域插值和时域插值的不准确性以及各算法之间结合权值的不合理性，导致融合方法的去隔行处理效果并不理想．因此，本文在分析中心独立插值算法和垂直时域滤波算法优缺点的基础上，提出了一种基于时空域方向自适应结合的去隔行方法．本方法综合考虑场内相邻像素之间的相似性和像素位置之间距离的关系，结合不同场之间的时域信息，使用更为合理的权值自适应地将空域插值和时域插值结合在一起，以增强去隔行方法结果的准确性和稳定性．本方法基于双边滤波器的原理，以不依赖中心像素的方式进行空域插值，采用垂直时域滤波算法，选择合理的滤波系数进行时域插值．仿真实验结果表明，本文所提的方法和现有去隔行方法相比较，在主观和客观上均有明显的改善．主观上与目前主流的去隔行方法相比，该方法能够在一定程度上保护边缘，减少边缘模糊，处理后的图像质量较好．客观上与其他方法相比，本文所提方法的PSNR值均高于其他算法，计算复杂度上，本文所提方法在运算操作数和运算时间上也相对较低．综合算法的图像质量评价和计算复杂度而言，本文所提方法的图像质量较高，计算复杂度相对较低，比较适合于实时系统．

去隔行；双边滤波；中心独立插值；垂直时域滤波；自适应结合

隔行扫描格式被广泛应用在各种电视广播系统中，在不增加额外带宽的情况下，可有效地提高视频帧率[1]．然而，对于快速运动的场景，隔行扫描帧会带来边缘闪烁、锯齿现象和场间混叠等的问题[2]．为解决这些问题，人们提出了各种各样的去隔行方法[3].现有去隔行方法可以分为两类：运动补偿方法和非运动补偿方法．

运动补偿方法是通过搜索运动信息，重建缺失的行信息，进而实现去隔行的目的．Fan等[4]基于双向插值、错误运动矢量检测、四路时间差分检测等提出了运动补偿去隔行方法．Mohammadi等[5]提出了基于五场运动补偿信息的改进去隔行算法．Pang等[6]基于人眼视觉系统提出了运动自适应去隔行算法. Zhang等[7]提出了基于改进的边缘线平均(edge-based line average，ELA)插值的运动自适应去隔行算法．实验表明这类方法能够在特定情况下提供良好的效果，但计算复杂度较高，鲁棒性较差．为提高鲁棒性，Wang等[8]利用鲁棒性运动检测器结合了场间插值、边缘自适应和运动补偿方法．Huang等[9]基于分层运动分析提出运动补偿的去隔行算法．相比运动补偿方法，非运动补偿方法的计算复杂度较低，并且视觉效果较好．

非运动补偿方法可分为线性技术和非线性技 术[1]．线性技术主要有空域滤波、时域滤波和垂直时域滤波(vertical time filter，VTF)．Lee等提出了基于VTF的帧间相关去隔行算法[10]和运动自适应VTF去隔行算法[11]．Lee等[12]而后在VTF之前应用空域配准，提出了一种高质量的去隔行算法．这些方法在边缘区域和运动区域的效果不好，因此，人们提出了非线性技术解决这些问题，非线性技术主要有基于边缘的方法[13]和基于自适应运动补偿的方法[14]等．

近年来，有关图像插值算法的研究广泛应用于图像超分辨率重建[15]、医学图像识别诊断[16]、图像去隔行[7, 17]等方面．其中，较为传统的插值算法有邻近插值和双线性插值等，这些算法操作简单，容易实现，但容易出现锯齿边缘等现象．为克服其缺点，Wang 等[18]提出基于改进的边缘定向图像插值算法，这类方法能够在较低复杂度的前提下，使得图像的视觉效果更好．Zhang等[17]基于梯度引导插值和加权平均的方向估计提出了一种去隔行算法．还有一些学者使用深度学习[19]、模糊逻辑[20]、马尔可夫随机模型[21]等技术研究去隔行，提出相应的算法，并取得较好的去隔行效果．

本文采用中心独立插值(center independent interpolation，CII)算法[22]，操作简单，同时以插值点为中心充分考虑周围点对其的影响，分配不同的权重，充分考虑视频内帧间像素的相关性，稳定性更强，鲁棒性更好．本文首先对CII算法和VTF算法进行改进，然后对改进的算法进行自适应加权，提出了一种改进的CII和VTF自适应结合的去隔行方法，使得最终的插值结果更稳定、更准确．

1 基于时空域方向自适应结合的去隔行算法

本文所提出的算法框图如图1所示．本文结合CII算法和VTF算法，提出一种时空域方向插值自适应结合的去隔行算法．首先，对CII算法和VTF算法进行改进，本文从以下3个方面改进原始CII算法：①用新的表征像素之间距离关系的权值进行计算；②为提高CII算法的插值精度，充分考虑空域信息，利用更多的相邻像素之间的关系；③根据插值像素的方向，重新选择调整因子．为更多地考虑相邻场与当前场之间的关系，重新选定合适的VTF[10]系数．对VTF算法处理后的结果使用中值滤波处理，消除图像尾影和噪声，然后对改进的算法进行自适应加权，并从主观和客观对提出算法进行评价．

图1 算法整体框图

1.1 改进的CII算法

CII算法利用相邻像素的相关性进行插值，实现去隔行．如果中心对称位置的相邻像素具有相似的灰度级，则它们具有更高的权重．否则，它们具有较低的权重．CII算法计算复杂度较低，对于一般的去隔行问题，能够提供较好的性能．但是所使用的相邻像素个数较少，不能充分地利用空域信息进行插值.并且表征像素之间距离关系的权值计算也有些偏差.另外，CII算法只使用当前场的空域信息，并没有使用时域信息，可能会由于噪声等原因影响插值结果的稳定性，使插值结果的准确性降低．本文使用相邻像素之间的距离关系代替相邻像素与中心待插值像素之间的距离关系，考虑更多方向上的相邻像素，充分利用空域特征，旨在提高CII插值算法的精度和稳定性．

原始的CII算法是利用相邻像素之间的像素值相似性以及相邻像素与中心待插值像素之间的距离关系进行空域插值．为了与相邻像素之间的像素值相似性关系相匹配，改进的CII插值算法采用相邻像素之间的距离关系代替相邻像素与中心待插值像素之间的距离关系，利用含有高斯核的权值函数表征相邻像素之间的距离关系，即

从表1的对比数据中可以看出，采用相邻像素之间的距离关系比采用相邻像素之间像素值相似性关系更匹配，插值结果的准确性更高．改进的CII算法重建图像序列的PSNR比原始CII算法重建图像序列的PSNR平均高出0.264dB．

表1 改进前后的CII算法获得重建图像序列的PSNR

Tab.1 PSNR ofimage sequences by the orginal and improved CII algorithm

原始CII算法进行空域插值使用6个相邻像素在3个方向(45°，90°和135°)上形成3个中心对称像素对：对角线、垂直和反对角线．由于利用的空域信息较少，使得插值结果的精度受到一定影响．为了提高CII算法的插值精度，使用更多相邻像素之间的关系．根据当前场中相邻原始像素到待插值像素之间的距离关系，增加2个方向(27°和153°)的4个相邻像素，进而更充分地利用空域信息，如图2所示．

图2 CII算法的权重计算方法

用含有高斯核的权值函数表征相邻像素之间的像素值相似性关系，如式(2)所示．

中心对称的相邻像素之间距离是固定的．使用相邻像素之间的距离关系代替相邻像素与中心待插值像素之间的关系，根据式(1)，用含有高斯核的权值函数表征相邻像素之间的距离关系，如式(3)所示.

在使用相邻像素之间的距离关系替代相邻像素与中心像素之间的距离关系的情况下，为验证在增加2个方向的有效性，分别利用3个方向(3×3_CII)、5个方向(5×5_CII)和7个方向(7×7_CII)的CII插值方法获得重建图像的PSNR，测试结果如表2所示．测试的视频序列是6个分辨率为720×576的隔行扫描视频序列．实验结果表明，5×5_CII插值算法获得重建图像序列的PSNR比3×3_CII的插值结果平均高0.378dB，7×7_CII插值算法获得重建图像序列的PSNR值比5×5_CII的插值结果平均高0.027dB．因此，当使用7个方向插值方法时，重建图像的序列的PSNR值没有显著提升，而算法的计算复杂度却相对增加．实验结果表明，选取5个方向的相邻像素已能够充分利用空域信息，获得更准确的插值结果．

表2 3×3_CII算法、5×5_CII算法和7×7_CII算法获得的重建图像序列的PSNR

Tab.2 PSNRofimage sequences using 3×3_CII，5×5_CII and 7×7_CII algorithms

1.2 VTF算法

VTF算法主要是利用空域信息和时域信息进行插值，该模型主要是利用前场图像和当前场图像、后场图像和当前场图像，以及当前场图像内部相邻像素之间的关系进行插值，充分利用相邻场之间的时域关系和场内的空域关系．模型中插值结果的低频部分主要由场内垂直方向上的两个相邻像素获得，高频部分有两个来源，分别从场内垂直方向上的两个相邻像素和前后两个相邻场中对应位置垂直方向的相邻像素获得[10]．在插值系数选取上，一般为当前场中上下相邻像素分配较大的系数，为相邻场中相关像素分配较小的系数．

其插值定义如式(6)所示．

针对模型中插值系数的选取，因为后续希望使用VTF算法中更多的时域信息提升CII算法插值(只利用了空域信息插值)的精度，所以这里更多地考虑了相邻场与当前场之间的关系．但是过多的时域信息可能会影响空域插值的作用，因此需要在一个适当范围内提高时域信息使用量．权衡考虑使用式(8)中的插值系数．

另外，实验结果还表明，当小车运动量较大时，VTF的插值结果会出现尾影，如图4(c)中白车顶部的尾影．使用3×3的中值滤波对VTF插值处理后的结果进行滤波处理，可以很好地抑制这两种现象，如图4(d)所示．

图3 垂直时域滤波系数

（a）rally测试序列中的一帧图像  （b）该帧图像中小车部分的放大图

（c）VTF去隔行算法处理结果（d）对图(c)进行3×3中值滤波处理后的结果

1.3 自适应结合的去隔行方法

为了进一步提高插值结果的准确性和稳定性，本文将改进后的CII算法和VTF算法结合提出一种基于时空域方向插值自适应结合的去隔行方法．一方面，由于改进后的CII插值算法没有充分利用时域信息，而VTF算法包含较多的时域信息，可以充分利用时域信息和空域信息，使得插值结果更为准确．另一方面，由于噪声、不规则运动以及不规则纹理等因素的影响，使相邻像素之间的空域或时域关系减弱，需要改进后的CII插值算法或改进后的VTF插值算法提高插值结果的稳定性．本文采取的自适应权重定义如式(9)所示．

最终的插值结果如式(11)所示．

首先，权值是利用了CII插值算法分量权重的和自适应选取的．其次，权值选取的主要依据是当前场内相邻像素之间的像素值相似性．当相邻像素之间的像素值相似性较强时，分配给CII插值的权重较大，反之，分配给CII插值的权重较小．例如，在图像中物体的边缘区域、细节丰富区域等空域关系较差的情况下，分配给空域插值CII算法的权重较少．

2 实验结果

本节主要讨论测试结果的图像质量评价和计算复杂度，其中图像质量评价主要是从包括客观质量评价和主观质量评价两个方面．

对比算法选取常用的去隔行方法：ELA[7]、5×5_CII、运动补偿算法OverlappedMC[8]、运动自适应垂直时域滤波算法5×3_MAVTF(块大小为5×3)[10]、垂直时域滤波算法VTF[11]和AWI(3×3_CII算法和wiener插值算法的自适应结合)[18]．对比算法既有时域插值去隔行算法，也包含空域插值去隔行算法．视频测试序列选取典型的7个不同分辨率的YUV待测视频序列，分别为akiyo，bus(352×288)，horsecab，rally(720×576)，Sailor-men(1280×720)，kimono(1920×1080)，europe(3840×2160)．这些视频序列包括运动较为剧烈的场景和运动较为缓慢的场景．本文实验所使用的编译环境是VS2013，实验数据是在i5-6400CPU主频为2.70GHz的台式计算机上仿真得到的．其中，客观质量评价采用PSNR进行衡量．表3是采用上述去隔行方法处理不同测试序列所得到的平均PSNR值．从这些数据可以看出，本文所提方法可以得到较高的PSNR值，均高于对比算法，其中平均PSNR值比VTF算法高2.885dB，比5×5_CII算法提高了0.653dB．本文所提方法自适应结合了5×5_CII算法和改进的VTF算法，VTF算法和5×5_CII算法相互弥补，提高了插值结果的准确性．

对于不同去隔行处理方法所得重建图像的主观质量评价，针对上述测试视频，观察者测试时没有处理算法的信息，在室内单独进行观察实验．实验结果表明，在视频中运动较为快速的物体边缘处，对比算法有或多或少的失真影响观察者的视觉体验，所提算法在细节和物体边缘处均有明显的改善．这里通过放大horsecab图中斑马线部分来比较各个重建图像的主观质量，如图5所示．从这些重建图像中可以看到，ELA、AWI和5×5_CI算法在斑马线边缘都有严重的褶皱(如图5中(c)、(d)、(e)所示). OverlappedMC算法腐蚀了斑马线的边缘，同时在人脸和塔架区域造成了尾影(如图5中(f)所示)．5×3_MAVTF算法在斑马线的边缘有轻微的褶皱，并且在斑马线的中间白色区域有一些黑点(如图5中(g)所示)．经过分析，发现这些都是因为像素值溢出造成的．VTF算法在斑马线的中间白色区域有大量的黑点(红色圆圈区域内，如图7(h)所示)，这些也都是像素值溢出造成的．而本文所提算法给出了最佳的效果，斑马线边缘基本没有褶皱，斑马线内部没有黑点，同时也很好地保护了边缘区域，减少了边缘区域的模糊．

表3 各种不同去隔行算法的PSNR比较

Tab.3 PSNRcomparison of different de-interlacing methods

（a）测试序列中的某一帧图像 （b）斑马线放大图 （c）ELA算法

（d）AWI算法 （e）5×5_CII算法 （f）OverlappedMC算法

（g）5×3_MAVTF算法 （h）VTF算法 （i）本文方法

关于去隔行算法的计算复杂度，表4给出了各种去隔行算法重建一个缺失像素所需要的运算操作数．表5给出了各种去隔行算法重建不同视频中一帧图像所需要运行的时间．从表4给出的数据来看，由于OverlappedMC算法包含运动搜索过程，因而其重建一个缺失像素所需要的总的操作数是1092个，是这些算法中计算复杂度最高的．本文所提去隔行方法所需的总的操作数是88个，远低于OverlappedMC算法，但要略高于5×3_MAVTF算法和AWI算法．ELA算法和VTF算法的操作数是最少的．从表5给出的数据来看，OverlappedMC算法重建一帧图像的时间最长，本文所提算法重建一帧图像所需要的时间略高于VTF算法、5×3_MAVTF算法和AWI算法．ELA算法和5×5_CII算法重建的时间是最快的．实验测试数据表明，算法所运行时间和相应的操作数分析是一致的，操作数越多，算法所运行的时间越长．

因此，综合算法的图像质量评价和计算复杂度而言，本文所提算法的图像质量较高，计算复杂度相对较低，在实际应用中，可对本文所提出的算法在处理时间上进一步优化，优化后的算法可考虑应用在实时系统中．

表4 各种不同去隔行算法对每个像素点所需的操作数

Tab.4 Numbers of various operations per pixel of different de-interlacing algoriths

表5 各种不同去隔行算法重建某一帧视频图像所需要的运行时间

Tab.5 Running time of various de-interlacing algorithms for reconstructing one frame of different videos

3 结 语

本文提出的去隔行方法是利用权重自适应地把改进的CII算法和改进的VTF算法相结合，利用CII算法的空域信息和VTF算法的时域信息，使得插值结果更稳定，更准确．与目前主流的去隔行方法相比，该方法能够在一定程度上保护边缘，减少边缘的模糊，主观上效果较好．客观上，该方法的PSNR均高于其他算法，与传统的CII算法相比，图像质量有0.4dB左右的提升，与运动自适应VTF算法相比，图像质量有1dB左右的提升，同时在计算复杂度上，该方法的运算操作数和运算时间上也相对较低，比较适合于实时系统．目前主流的电视广播系统为减少带宽，仍采用隔行扫描技术，同时早期的视频资料也有很多采用隔行扫描的方式进行保存．视频内容多种多样，为适应多种场景的视频序列去隔行处理，如何有效地将多种算法进行融合并保持原有算法的优势，仍是需要深入研究的问题．

［1］ Lee K，Lee C. High quality spatially registered vertical temporal filtering for deinterlacing[J]. IEEE Transactions on Consumer Electronics，2013，59(1)：182-190.

［2］ 张 涛，陈有志，雷志春. 基于时空特性自适应插值的混合去隔行方法[J]. 天津大学学报：自然科学与工程技术版，2018，51(1)：73-78.

Zhang Tao，Chen Youzhi，Lei Zhichun. Hybrid de-interlacing algorithm with adaptive interpolation based on temporal-spatial characteristics[J]. Journal of Tianjin University：Science and Technology，2018，51(1)：73-78(in Chinese).

［3］ Fan Y C. De-interlacing system and technology overview and discussion[C]// 2009 IEEE international Workshop on Imaging Systems and Techniques. Shenzhen，China，2009：287-290.

［4］ Fan Y，Lin H，Chiang A，et al. Motion compensated deinterlacing with efficient artifact detection for digital television displays[J]. Journal of Display Technology，2008，4(2)：218-228.

［5］ Mohammadi H. M，Langlois P，Savaria Y. A five-field motion compensated deinterlacing method based on vertical motion[J]. IEEE Transactions on Consumer Electronics，2007，53(3)：1117-1124.

［6］ Pang Z，Lei D，Chen D，et al. A motion adaptive deinterlacing method based on human visual system[C]// 2011 4th International Congress on Image and Signal Processing. Shanghai，China，2011：340-344.

［7］ Zhang X，Wang D. An efficient motion adaptive deinterlacing algorithm using improved edge-based line average interpolation[C]// IEEE International Conference on Signal Processing. Chengdu，China，2017：659-662.

［8］ Wang S B，Chang T S. Adaptive de-interlacing with robust overlapped block motion compensation[J]. IEEE Transactions on Circuits and Systems for Video Technology，2008，18(10)：1437-1440.

［9］ Huang Q，Zhao D，Ma S，et al. Deinterlacing using hierarchical motion analysis[J]. IEEE Transactions on Circuits & Systems for Video Technology，2010，20(5)：673-686.

［10］ Lee K，Lee C. Frame correlation based vertical temporal filtering for deinterlacing[C]//IASTED International Conference on Signal and Image Processing. Kailua-Kona，Hawaii，USA，2008，104-107.

［11］ Lee K，Lee J，Lee C. Deinterlacing with motion adap- tive vertical temporal filtering[J]. IEEE Transactions on Consumer Electronics，2009，55(2)：291-302.

［12］ Lee K，Lee C. High quality spatially registered vertical temporal filtering for deinterlacing[J]. IEEE Transactions on Consumer Electronics，2013，59(1)：182-190.

［13］ Yang R E，Che K，Li J. A motion adaptive de-interlacing algorithm based on edge-dependent interpolation[C]//Control and Decision Conference. Xuzhou，China，2010：910-913.

［14］ Yang X，Feng Z. 3D video frame interpolation via adaptive hybrid motion estimation and compensation[C]// IEEE International Conference on Acoustics，Speech and Signal Processing. Shanghai，China，2016：1691-1695.

［15］ Zhang Y F，Fan Q L，Bao F X，et al. Single-image super-resolution based on rational fractal interpolation[J]. IEEE Transactions on Image Processing，2018，27(8)：3782-3797.

［16］ Xia Z，Wang X，Wang C，et al. Subpixel-based accurate and fast dynamic tumor image recognition[J]. Journal of Medical Imaging & Health Informatics，2018，8(5)：925-931.

［17］ Zhang H，Rong M. Deinterlacing algorithm using gradient-guided interpolation and weighted average of directional estimation[J]. Image Processing Iet，2014，9(6)：450-460.

［18］ Wang X，Chen Z，Bao X. An Improved edge-directed image interpolation algorithm[J]. International Journal of Image and Graphics，2012，12(4)：385-396.

［19］ Choi I，Baek S H，Min H K. Reconstructing interlaced high-dynamic-range video using joint learning[J]. IEEE Transactions on Image Processing，2017，26(11)：5353-5366.

［20］ Brox P，Baturone I，Sanchez-Solano S，et al. Edge-adaptive spatial video de-interlacing algorithms based on fuzzy logic[J]. IEEE Transactions on Consumer Electronics，2014，60(3)：375-383.

［21］ Li M，Nguyen T. A de-interlacing algorithm using Markov random field model[J]. IEEE Transactions on Image Processing，2007，16(11)：2633-2648.

［22］ Chen X D，Jeon G，Jechang J. A local adaptive weighted interpolation for deinterlacing[J]. Digital Signal Processing，2013，23(5)：1463-1469.

De-Interlacing Method Based on Adaptive Combination of Time-Domain and Space-Domain Directions

Zhang Tao1，Pan Xihao1，Wang Hao1，Lei Zhichun2

(1. School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China；2. School of Microelectronics，Tianjin University，Tianjin 300072，China)

Presently，interlaced scanning has been employed in most current broadcasting systems．Although fusion methods are commonly used for de-interlacing，they are not ideal，resulting in poor performance due to the inaccuracy of spatial interpolation，the inaccuracy of time-domain interpolation，and the unreasonableness of combining weights among algorithms．In this paper，we propose a de-interlacing method based on center-independent interpolation and vertical temporal filtering adaptively combining time-domain and space-domain directions．This method takes the similarity and the distance between adjacent pixels in the field into account，combines the time-domain information between different fields，and uses more reasonable weights to adaptively combine the spatial and time-domain interpolations．The result of the proposed method was more accurate and stable．This method is based on the principle of bilateral filtering．It does not rely on the central pixel，adopts the vertical time-domain filtering algorithm，and selects more reasonable filtering coefficients．Experimental results showed that the proposed method provides noticeable improvements over existing methods in terms of both subjective and objective evaluations．Subjectively，the proposed method had the best visual quality with fewer artifacts in the textural details．Objectively，the proposed method had larger PSNR than those of other algorithms，and low computational complexity with respect to operation number and operation time．Therefore，the proposed method is more suitable for real-time systems due to its better image quality and lower complexity．

de-interlacing；bilateral filtering；center-independent interpolation；vertical temporal filter；adaptively combination

TP391

A

0493-2137(2019)11-1211-08

10.11784/tdxbz201809038

2018-09-13；

2018-11-09.

张 涛（1975—  ），男，博士，副教授，zhangtao@tju.edu.cn.

王 昊，wanghao47@tju.edu.cn.

天津市科技支撑计划重点资助项目(16YFZCGX00760).

Supported by the Key Science and Technology Support Program of Tianjin，China(No.16YFZCGX00760).

(责任编辑：王晓燕)