基于稠密矢量场及自适应补偿的帧率上变换

刘梦可，周 军，高志勇，陈 立

(上海交通大学 图像通信与网络工程研究所,上海 200240)

基于稠密矢量场及自适应补偿的帧率上变换

刘梦可，周 军，高志勇，陈 立

(上海交通大学 图像通信与网络工程研究所,上海 200240)

为了有效解决视频帧率上变换中物体边缘出现的模糊和块效应等问题，结合运动估计，优化了矢量化后处理和运动补偿算法。在基于块的运动估计中，结合运动的时空相关性优化块匹配算法，提高物体边缘运动矢量的准确性；通过基于像素块相关性的插值算法，获取像素矢量场，并保持物体结构完整性；在运动补偿时，结合矢量后处理的分类信息，自适应地进行加权插值计算，提高内插帧的质量。实验结果表明，与传统方法相比，该方法在主观和客观质量上都有较大的提升。

帧率上变换；块匹配；双边滤波；自适应加权插值

目前，主流的液晶显示器的刷新频率越来越高，如每秒240帧，而大多数视频源的固有帧率较低或者由于信道带宽限制等原因，视频的帧率一般为30～60 f/s(帧/秒)，为了提高视频显示质量，帧率上变换技术已经成为必不可少的工具。另外，由于液晶面板较慢的响应时间和采样保持时间等固有缺陷，在快速运动的场景中，会出现明显的运动模糊，残影等问题[1]，而帧率上变换技术可以有效地改善这些问题。

帧率上变换算法，可以分为非运动补偿类算法和运动补偿类(MCI)算法。非运动补偿类算法不考虑物体的实际运动，仅仅对相邻帧的像素进行重复或者平均等操作，该类算法容易会产生运动抖动或者模糊。运动补偿算法根据物体的运动信息进行插值，分为运动估计(ME)和运动补偿插值(MCI)两个阶段，主流的基于块的运动估计算法能够较好地匹配物体的结构信息，并且有较低的时间复杂度[2]，因此常用于运动估计中；传统的块匹配算法选取SAD值最小的运动矢量(MV)作为最优运动矢量，但是并不能确保获取真实的MV[3]，如在一些平坦区域，周围邻域的像素比较接近，导致不同MV的SAD也比较接近，容易产生不连续的MV，而在运动物体遮蔽区域，由于其中一帧信息缺失，块匹配失效等。当宏块含有多种运动时，运动估计并不准确，会导致模糊的效果。运动补偿算法通常对获取的相应像素取均值，但是由于人为的分块及MV的不连续，很容易产生块效应，虽然重叠块补偿算法有效地改善了块效应问题[4]，但是由于未考虑块之间的结构相关性，容易造成运动物体边界的模糊。

针对上述算法出现的问题，本文提出了一些新的解决方法。首先，针对遮蔽和暴露区域的信息缺失问题，在块匹配时，加入时间相关MV的惩罚值，获取更加真实的MV；在得到图像块的MV后，根据4个相邻块的MV，由基于像素块相关性的双边滤波算法，计算出每个像素的MV，从而有效地解决了图像块内包含多个物体边界的问题；最后在运动补偿中，根据运动估计得到的当前MV的可信度值和时间相关MV的可信度值，对MV分类，并在运动补偿时，自适应加权插值计算，有效地改善了遮蔽和暴露区域的运动匹配失效的问题，并提高算法的鲁棒性。

1 本文算法

1.1 算法整体框架

算法的框架图如图1所示。

图1 算法整体框架图

本文算法首先使用基于块的单向运动估计，获得每个宏块的运动矢量(MV)，在块匹配算法中，增加了时间和空间相关MV的惩罚值，获取更加真实的MV；对获取的矢量进行细化处理，然后根据时间MV的可信度与当前MV的可信度，对宏块的MV进行分类标记，作为运动补偿的参数用于内插帧的计算。使用基于像素块的双边滤波算法，获取每个像素的MV，然后对矢量场进行平滑处理。根据矢量的分类信息，进行自适应插值计算，获取更加准确的图像帧。

1.2 运动估计

传统的运动估计的块匹配算法使用块的SAD(Sum of Absolute Difference)作为评价标准。SAD的计算为

(1)

式中：Bi,j表示当前的块，块的大小为N×N；x和y是块内坐标偏移量；v为运动矢量；vx和vy是运动矢量的横纵坐标；fn-1，fn+1为相邻的两个图像帧，通过计算相邻帧对应块的像素的差的绝对值的和获取SAD，并选取SAD最小的MV作为最佳MV。

虽然SAD能够很好地表示图像的真实运动，但是在一些情景下，SAD并不是可靠的，首先，对于图像的平坦区域，由于不同的MV对应的SAD值差别不大，此时很容易产生不平滑的矢量场，而加入运动连续性相关的MV的惩罚值可以获得较为平滑的矢量场，保持物体区域的整体结构。

如图2所示，当运动物体向右运动，宏块A在fn-1至fn+1过程出现遮蔽，宏块A的信息在后一帧fn+1中缺失，因此块匹配算法失效，该无效的MV很可能导致内插帧中出现块效应等问题。而该宏块在前一个内插过程中并未发生遮蔽，因此可以得到一个可靠的MVb(由fn-1与fn-3单向运动估计获得)，根据运动矢量的时间相关性，在进行块匹配算法时，加入时间相关MV的惩罚值，可以使运动估计的MV更接近真实的MV，又可以有效减少块匹配错误造成的影响。

图2 遮蔽区域运动示意图

优化后的块匹配公式为

(2)

其中

(3)

fn-1(i+x+vx,j+y+vy)

(4)

式中：第一项为原始的SAD值，其计算如式(4)，为了提高块中心像素MV的准确性，在SAD计算时加入像素的权值因子λ(x,y)，其权值因子设计为高斯分布，块中心像素的权值最大，越靠近边缘越小，这样可以使MV更接近中心区域的运动，为后续的双向性插值方法提供更加准确的MV。第二项为邻域惩罚值，其中λ1是幅值因子，vi为与当前块相邻的块的参考MV，第三个分量是时间惩罚值，该分量的幅值因子f(Pt)的计算如式(3)，据时间MVt的惩罚值pt自适应地调整，该式中σ是尺度参数，λ是幅值参数，当时间MVt的可信度较小时，该幅值因子较小，该分量的权值较小，反之亦然。最终选取使最终惩罚值Penalty(Bi,j,v)最小的MV作为初始的MV。

1.3 遮蔽块分析

由于遮蔽区域的块的MV并不能真实地反映物体的运动情况，因此必须有效地标记出遮蔽块，并在运动补偿时采用相应的插值算法计算内插帧。如图2所示，对于运动的物体，在当前的内插过程中，某个块发生遮蔽时，由于参考帧中相应块的信息缺失，该块运动估计时块匹配的SADcurrent值很可能比较大，但是该块在前一个内插过程未发生遮蔽，因此时间相关MV的SADtemporal值较小，可以根据当前块的当前最优MV和时间MV的可信度值区分遮蔽块，并进行标记。

(5)

若当前块的惩罚值Penaltycurrent大于T1且时间MV的惩罚值Penaltytemporal小于T2时，将该区域MV标记为L1(遮蔽区域)，其他标记为L2(未遮蔽区域)。

1.4 像素矢量场计算

在基于块的补偿算法中，可能会出现宏块中包含多个运动的情况，如宏块中含有运动边界，虽然通过矢量细化获取更小块的MV，从而改善块效应[5]，但是并不能保证细化后的基本块中不包含多种运动。另外，分块的存在不可避免地将图像中的物体边界分割在不同的区域，容易产生块效应等问题。直接使用双线性插值计算像素MV[6]，虽然可以改善图像的块效应，但是容易造成边缘模糊，本文算法对像素MV的求解方法进行优化。

如图3所示，在相邻的4个块的中心像素点围成的正方形区域中，由运动估计获得的4个顶点的MV为MV1，MV2,MV3,MV4，为了保持同一物体内像素MV的一致性，本文在双线性插值的基础上，加入像素块相关性因子，求解每个像素的MV，即

(6)

式中：Wlocation是一个与当前像素的位置相关的权值因子，其计算式如

(7)

式中：N为块的大小；x和y为当前像素在块内的坐标；Wpixel是一个与当前像素块的灰度值有关的权值因子，它的大小与4个顶点的像素块的灰度值相关，灰度值越接近，该值越大，这样就可以使同一个物体内部的像素MV保持统一，选取像素块的像素做相关性计算，可以减少在纹理丰富区域的匹配错误，提高算法的鲁棒性，本算法中选用指数函数作为求权值方法，计算如下

(8)

式中：σ是尺度参数；λ是幅值参数；pixelj(x,y)为当前像素块的像素；pixeli(x,y)为顶点像素块的像素。最后将获取的MV做归一化处理，得到了每个像素的MV。

图3 像素MV计算示意图

1.5 矢量场平滑

由于不平滑的矢量会导致内插帧中出现明显的块效应，在获得整个图像像素的矢量场后，需要对矢量场做一定的平滑处理，本算法中采用的高斯滤波函数，对矢量场进行平滑，高斯滤波的函数为

(9)

本文中对滤波核的系数进行归一化处理，获取如下滤波核的矩阵

(10)

由于单向运动估计会造成内插帧中出现重叠或者空洞问题，本文算法中，对于重叠的部分，选用SAD值较高的MV；对于空洞部分，使用中值滤波从邻域MV获取[7]。

1.6 自适应加权运动补偿

在获取运动矢量之后，主流的计算内插帧像素值的方法是，根据运动矢量获取前后两帧图像的像素并求均值，虽然该方法对于运动物体的内部区域能取得不错的效果，但是对于运动物体的边缘，出现遮蔽的区域，由于运动物体只存在其中一个参考帧中，在另外一帧中缺失，因此直接采用均值运动补偿，会导致内插针的图像失真。本文算法在运动估计的时候，由于加入了时间相关的惩罚因子，保证了遮蔽区域运动矢量更接近真实值，并在遮蔽分析中进行了标记，因此在遮蔽区域中，调整运动补偿时前后帧像素的权值，可以有效提高内插帧的质量。

为了提高算法的鲁棒性，避免遮挡区域边缘不连续，对于遮蔽区域的内插帧像素的计算，不是简单地赋值为前一帧或者后一帧像素，而是根据周围块中遮蔽点的个数，来决定前一帧和后一帧像素的加权系数。

如图4所示，以当前像素为中心，选取N×N的邻域区域，统计每个像素周围的标记为遮蔽区域的像素的个数，并根据遮蔽像素的个数，确定前帧fn-1和后帧fn+1像素的加权值，计算如下

(11)

其中加权系数λ1的计算公式如下

(12)

图4 自适应插值系数计算

由于在遮蔽区域的边界处，加权系数平滑的变化，可以使内插帧的图像较为平滑，避免出现突变的问题。同时，该方法可以减少由于遮蔽分析不准确导致的内插帧中物体边界不连续的问题。

2 实验结果

本文算法选取YUV格式大小为CIF的视频作为输入，只对Y分量进行处理，基本块大小为8×8，T1为3 000，T2为 5 000， 选取bus，mobile，foreman，football作为测试序列，bus运动复杂，含有中速移动和较多的遮蔽区域；mobile细节丰富，并有慢速移动；foreman前景运动丰富，背景分明，football运动复杂。

本实验中，以原视频序列中的奇数帧作为输入序列，内插结果与原始序列的偶数帧进行比较。为了比较本文算法的效果，本文最终算法分别与基于SAD块匹配的OBMC算法、含遮蔽分析及自适应插值(AMC)的改进算法进行比较，当图像边缘像素超出边界时，统一采用图像内镜像位置的值，本文采用PSNR作为客观比较标准，统计前50帧的平均PSNR值，并得出如表1的PSNR值。结果表明该算法的客观质量有了一定的提升。

表1 不同算法的平均PSNR对比 dB

为了比较本文算法的主观效果，本文选取了几个典型的内插帧，如图5所示。

从图中可以看出，基于SAD块匹配的OBMC算法(图5b)，在遮蔽区域会出现一些不连续或者重影等问题，而对块匹配算法进行改进并加入自适应加权插值优化后，内插帧(图5c)质量得到了较大的改善。另外，从图5e和图5f的局部放大图比较可以看到，基于像素块相关性的双线性插值法，有效地改善了物体边缘。

3 结论

本文对基于块的运动补偿算法进行了优化，依据运动估计MV时间相关性改进了块匹配算法，获取更加准确的MV；通过分析时间相关MV和当前MV的可信度值，将MV进行分类，标记遮蔽区域；通过基于像素块相关性的双线性插值算法，计算出每个像素的MV，保持了运动物体整体一致性，避免产生明显的块效应；另外，在内插帧计算时，根据当前像素周围的标记点个数，自适应调整前后帧的权值系数，有效提高了遮蔽区域的图像质量，同时避免出现突变的像素点，提高了算法的鲁棒性。实现结果表明，无论主观还是客观，本文算法取得明显的改善。

[1] SHAY H N，NGUYEN T Q. LCD motion blur reduction：a signal processing approach[J].IEEE Trans. Image Processing，2008，17(2)：117-125.

[2] 王大伟，严俊，王彬，等. 视频序列的运动估计技术综述[J]. 电视技术，2012，36 (3)：20-23.[3] CETIN M. An adaptive true motion estimation algorithm for frame rate conversion of high definition video and its hardware implementations[J]. IEEE Trans. Consumers Electronics，2011，57(2)：923-931.

[4] CHOI B T， LEE S H， KO S J. New frame rate up-conversion using bi-directional motion estimation [J].IEEE Trans. Consumer Electronics，2000，46(3)： 603-609.

[5] HUANG A M，NGUYEN T Q. A multistage motion vector processing method for motion-compensated frame interpolation[J].IEEE Trans. Image Processing，2008，17(5)：694-708.

[6] Al-MUALLA M E. Motion field interpolation for frame rate conversion[C]//Proc. 2003 International Symposium， Circuits and Systems(ISCAS '03). [S.l.]：IEEE Press，2003：652-655

[7] DEMIN W，VINCENT A，BLANCHFIELD P，et al. Motion compensated frame rate up-conversion part II： new algorithms for frame interpolation[J]. IEEE Trans. Broadcasting，2010， 56 (2)： 142-149.

刘梦可，硕士生，主研图像处理及算法；

周 军，副教授，主研三维图像处理；

高志勇，博士生导师，主研高速图像与视频处理、数字电视；

陈 立，讲师，主研高速图像处理及IC设计。

责任编辑：时 雯

腾讯五千万元入股欢网科技

TCL集团近日发布公告，公司旗下的智能电视运营平台广州欢网科技有限公司签署增资协议，正式引入腾讯投资作为战略投资者，继续推进腾讯与TCL TV+平台的全面合作。

公告显示，腾讯投资和天津诚柏各出资5 000万元分别获得增资后欢网科技7.143%的股权。增资完成后，TCL集团和长虹创新投资继续各持有欢网科技27.394%股份为前二大股东，天津诚柏持股比例增至20%。此次欢网科技引进战略投资者，腾讯的加盟无疑成为市场关注的焦点。作为国内最大的互联网综合服务提供商之一，腾讯拥有雄厚的用户基础和强大的内容生产能力，其独特的行业优势地位和竞争优势不言而喻。

Frame Rate Up-conversion Based on Dense Vector Field and Adaptive Compensation

LIU Mengke，ZHOU Jun，GAO Zhiyong，CHEN Li

(ImageCommunicationandNetworkTechnologyInstitute，ShanghaiJiaotongUniversity，Shanghai200240，China)

In order to solve problems such as edge blur and blocking artifacts in frame rate up-conversion， block matching (BM) algorithm and motion compensation (ME) algorithm are improved based on motion estimation. In the block-based motion estimation way， BM algorithm is optimized by adding motion information of temporal and spatial correlation，and reducing the blocking effect of moving objects. Pixel MV is applied in the MC and is calculated by bilateral filter based on correlation between pixel blocks， to maintain the structural integrity of the objects. In motion compensation， the classification information of the MV processing is used for adaptively weighted interpolation to improve the quality of the interpolated frame. Experimental results show that， the image quality is improved in the subjective and objective quality.

FRUC；BM；bilateral filter；adaptively weighted interpolation

【本文献信息】刘梦可，周军，高志勇，等.基于稠密矢量场及自适应补偿的帧率上变换[J].电视技术,2015，39(11).

国家科技重大专项项目(2013ZX01033001-002-002)；国家自然科学基金项目(61133009)；数字媒体处理与传输上海市重点实验室项目(STCSM 12DZ2272600)

TN911.73

A

10.16280/j.videoe.2015.11.003

2014-09-30