基于光流法和结构相似度的无线视频质量评价方法

董 锐

(滁州学院 音乐学院,安徽 滁州 239000)

近年来，人们获取视频和图像等视觉信息的方法很多。与此同时，人们在多媒体技术上的需求也在不断提高，例如音乐视频、视频会议等[1]。视觉是人类感知外界信息的方式之一，通过它可以直接获取外界图像和信息[2]。因此，人的主观评价对视频质量评价起到了重要作用，建立视觉模型势在必行[3]。视频质量评价主要分为主观评价和客观评价[4]。视频质量主观评价是凭借人的主观感受对视频质量进行评定的一种方法。这种方法的结果稳定性较差，操作过程复杂且费时费力[5]。视频质量客观评价则利用客观方法，通过建立科学的数学模型模拟人的主观感受来评估视频质量[6]。均方误差、信噪比是视频质量评价的主要方法，但这些远远不能满足实际应用需要。此外，由于视频信息本身的复杂性，再加上目前对人类视觉系统认识不足，故需要建立人类视觉系统数据模型。本研究提出一种基于光流法和结构相似度的视频质量评价方法，并使用MATLAB软件进行仿真与研究，以期为无线视频质量评价提供理论参考。

1 算法与评价方法概述

1.1 基于结构相似度的算法

结构相似度(SSIM)方法指出视频帧包含更多的结构信息，像素点之间存在强相关性。SSIM利用人类视觉系统(HVS)的自适应特性，将亮度、结构和对比度结合起来，更好地反映了人的主观感受，是与感知图像失真非常接近的一种客观评价方法。该方法的基本流程见图1。

图1 SSIM方法检测系统流程Fig.1 Flow chart of SSIM detection system

如图1所示，输入的原始参考视频帧用x表示，失真视频帧用y表示。定义一个包含亮度、对比度和结构相似性信息的方程组：

(1)

SSIM(x，y)=[l(x，y)]α·[c(x，y)]β·[s(x，y)]γ。

(2)

式(2)中，调整参数的条件为α>0，β>0，γ>0。取α=β=γ=1，式(2)则变为

(3)

视频整体质量也可以用SSIM(x，y)来表示，即

(4)

SSIM(x，y)取值为0～1，且值越接近1，图像的失真程度越低。该评价方法将亮度、结构和对比度结合起来，更好地反映了人的主观感受，是与感知图像失真非常接近的一种客观评价方法。

1.2 基于运动感知和SSIM的视频质量评价方法

SSIM算法只能看出视频的结构信息，却对时间域上的相互关系考虑甚少，从而不能检测到视频的运动信息，故本研究提出了基于运动感知和SSIM的视频质量评价方法(SSIMHS)。这种方法在空间域上使用基于SSIM的方法计算测试视频与原始视频每一帧的结构信息；在时间域上，首先通过视频帧间像素的运动矢量关系计算视频的运动信息内容，再利用视频间的对比度信息，计算视频在无线信道传输过程中受到噪声干扰而产生的感知程度，结合运动信息和感知程度得到感知系数作为时域加权因子，然后对SSIM空域视频质量评价结果进行加权，最后得到基于运动感知的视频质量评价测度。其中，运动感知质量评价算法包含两方面的计算，分别为光流的基本约束方程和Horn-Schunk算法。

(1)运动感知算法

根据HVS的高效编码假说[4]，信息内容的增加和感知程度的降低都会使视觉事件的重要性得到质的飞跃。为计算像素点的信息内容和感知程度，定义一个权重函数：

w=I-U=(αlgvr+β)-(lgvg-γlgc+δ)，

(5)

式中：I为相对运动速度权重；U为背景运动速度权重。

对基于像素点的视频质量评价结果用式(5)进行加权，得

(6)

式中：q(x，y，t)为像素点的质量或失真测度，即t时刻像素点(x,y)的质量；Q为视频最终的质量测度。

(2)光流的基本约束方程

光流法是图像的亮度保持不变，利用图像序列中像素在时间域上的变化与相邻帧之间的强度差异，推断出物体移动速度及方向的方法。

设I(x，y，t)是图像点(x，y)在时间段t的灰度，规定点从(t+δt)运动到(x+δx，y+δy)时，两个时间点的灰度是一致的：

I(x+uδt，y+vδt，t+δt)=I(x，y，t)。

(7)

光流约束方程为

Ixu+Iyv+It=0或I·v+It=0，

(8)

式中：Ix、Iy、It表示参考像素点的灰度值沿x、y、t方向的偏导数。

(3)Horn-Schunk算法

Horn-Schunk算法就是二维速度场v与灰度u的结合。那么,第n帧图像与第n+1帧图像速度与灰度的关系为

(9)

由式(8)推导出光流误差方程为

e2(X)=(Ix+Iy+It)2，

(10)

式中：X=(x，y)T。当满足相邻两次迭代结果的差值小于期望公差值时，迭代过程才会结束。

综上所述，SSIM算法只能看出视频的结构信息，却对时间域上的相互关系考虑甚少，从而不能检测到视频的运动信息，故本研究提出了基于光流法和SSIM的视频质量评价方法。

1.3 评价指标

使用两种评价指标(Pearson线性相关系数和Spearman等级相关系数)对视频质量评价中得到的图像数据进行客观评价。

(1)Pearson线性相关系数是测量客观评价与主观评价是否为线性关系的系数，定义为

(11)

(2)Spearman等级相关系数主要反映评价模型的主观与客观评价是否存在单调性关系，定义为

(12)

2 仿真与分析

2.1 数据来源

本研究使用得克萨斯大学奥斯汀分校建立的开源LIVE数据库验证算法性能。数据库中包含10段原始视频及其失真视频，名称分别为“bf”“dv”“fc”“hc”“la”“po”“rb”“sd”“ss”“tk”。 每个视频时长50 s，帧速率为450帧/s。数据库以平均主观得分差(即原始视频图像质量与失真视频图像质量的主观评分差，differential mean opinion score,DMOS)作为视频图像质量评价的参考分数，分数越高表示视频图像质量越好。同时，使用两种评价指标(Pearson线性相关系数和Spearman等级相关系数)对视频质量评价中得到的图像数据进行客观评价。这两种指标的绝对值越接近1，说明算法的性能越好。

图2 LIVE视频数据库中10段视频不同速率适配等级下每帧视频的主观评价值Fig.2 The mean opinion score of each frame under different rate adaptation levels of ten videos in the LIVE video database

2.2 仿真结果

仿真结果如图2所示，s14代表R1-R4-R1视频在帧速率为14帧/s时每帧的主观评价值，s24代表R2-R4-R2视频在帧速率为24帧/s时的主观评价值，s34代表R3-R4-R3视频在帧速率为34帧/s时的主观评价值。

从图2中可以看出，在相同情况下传输的视频数据量越多，包含更多细节的帧信息丢失越少，视频质量越高；帧速率越低，相同时间内传输的视频帧相对越少，包含更多细节的帧信息丢失越多，视频质量越低。

2.3 主观和客观评价相关性分析

DMOS值由主观评分值取平均值得到，表1给出了LIVE数据库提供的视频在不同帧速率下的DMOS值。

表1 不同帧速率下视频的DMOS值Tab.1 DMOS value under different frame rate video

为了验证SSIMHS视频质量评价方法的性能，分别以SROCC和PROCC为指标，与典型图像质量评价方法(峰值信噪比PSNR方法和结构相似度SSIM方法)进行比较，结果如表2所示。

表2 不同方法相关系数分析Tab.2 Correlation coefficient analysis of different methods

表2中显示的PSNR、SSIM和SSIMHS的两个相关系数值均在0.5以上，表明主客观评价结果都有较好的线性相关性，但相较于SSIM和PSNR方法，SSIMHS方法的PROCC值更高，显示了SSIMHS方法的优越性，证明了此次设计的合理性。

3 结论

本研究通过感知系数权值评价视频质量，得到结论如下：

(1)无线网络传输速率和发生速率适配情况下，速率越高视频质量越好，反之视频失真越严重。

(2)SSIM方法的主观与客观评价存在高度单调性，结果与主观评价一致。

(3)SSIMHS比SSIM方法和PSNR方法的PROCC值更高，表明SSIMHS方法的评价效果更好。