基于视觉感知的网络视频质量评价方法研究*

周传兴，涂巧玲，张 杰，张 晗

(重庆理工大学 电气与电子工程学院，重庆 400054)



基于视觉感知的网络视频质量评价方法研究*

周传兴，涂巧玲，张 杰，张 晗

(重庆理工大学 电气与电子工程学院，重庆 400054)

网络视频在传输过程中，因编码失真或丢包失真，给用户带来明显的视觉影响。传统的均方误差和峰值信噪比的质量评价方法未考虑到人眼视觉特性。文章首先描述了人类视觉系统的基本特性，然后介绍了主客观质量评价方法的优缺点及适用环境，最后采用LIVE视频数据库，对比几种质量评价方法，结果表明，融入视觉感知的评价方法更接近于人眼效果。

视觉感知；网络视频；全参考质量评价；均方误差；峰值信噪比

0 引言

WiFi和4G技术的普及，使得无线网络的传输能力大大提高，网络视频是目前人们获取电视、电影、新闻资讯等数字内容的重要渠道之一，深受人们的青睐。根据中国工业和信息化部的数据显示，截止2015年6月，中国的网络视频的用户数已经达到4.61亿。但由于存储容量和传输过程中的带宽限制，网络视频除了存在编码失真(如方块效应、振铃效应等)，还存在因为信道传输的延迟或拥塞造成的丢包失真(如局部变形、视频图像模糊、马赛克现象等)。丢包失真和编码失真的视频会给终端用户带来明显的视觉影响，使网络视频的优势大打折扣。因此对网络视频进行质量评价尤为重要。

视频质量评价方法主要分为两大类：主观质量评价方法和客观质量评价方法[1]。主观质量评价方法最接近人眼效果，但是受其严格的测试环境影响，操作性不强，很难应用到实际的场合中。客观视频质量评价方法因能够自动预测感知视频质量，成为众多学者的研究热点。目前比较通用的客观评价方法有均方误差(Mean Square Error，MSE)和峰值信噪比(Peak Signal Noise Ratio, PSNR)[2]。这两种方法的主要思想是对比原始视频帧与失真视频帧间的像素间差异来进行视频质量评价[3]，模型虽然简单，但是不能很好地反映人的主观感受。后有学者尝试融入人类视觉系统(Human Visual System，HVS)到视频质量评价方法中去，并取得了一定的成果，有些模型已经应用于实际的场合[4]。Wang Zhou提出的结构相似度量(Structure Similarity Index Measure, SSIM)[5]的评价方法，相比MSE和PSNR的方法有了提高，但是在评价严重模糊图像时，效果并不理想。在SSIM的基础上，CHEN G H提出了一种基于结构边缘信息的图像质量评价方法 (Edge Based Structural Similarity，ESSIM)[6]，Alan Conrad Bovik 等随后又提出了多尺度结构相似度度量(Multi-Scale Structural Similarity，MS-SSIM)[7]。这些方法都融入了视觉感知的思想，评价的结果接近主观质量评价方法的评价效果。

1 人类视觉系统

人眼是大脑获取外部信息的重要感觉器官，是理解和认识世界的基础。人眼视觉系统包括视觉生理学、视觉心理学两个方面。

1.1 视觉生理学HVS特征

图1 视觉心理学处理过程图

如图1所示，物体以光的形式通过眼睛的光系统投射到视网膜，眼睛承担光学处理功能，实现图像到光学信号的转换。视网膜将光学信号转换为电信号并进行信息初级处理，将处理后的信息转变成神经冲动传输到外侧膝状体。外侧膝状体主要的功能是起到门限的作用，用来控制通过信息的数目。视皮层主要负责物体识别、感知和理解的功能。目前对于人类生理学的研究还不够全面，各部分功能仍缺乏精准定义，该领域也是未来的研究热点。

1.2 心理学HVS特征

1.2.1 对比度敏感函数

研究学者已经对人类心理学进行了深入研究，虽然并没有完整地解析人类视觉心理学特性，但依然取得了阶段性的成果。通过模仿人类视觉特性的敏感度模型，对比度敏感函数(Contrast Sensitivity Function，CSF)可以作为一个受到视觉刺激时的空间频率函数。一般来说，CSF具有带通性质，其峰值在每个视觉角度4线的空间频率周围，然后随着频率的上升或下降函数值迅速下降。也就是众所周知的Campbell-Ronbson图表，如图2所示。当以对数形式调整增加空间频率时，像素密度用水平尺幅的正弦函数调制，图像对比度从上到下呈对数形式。图3为一个CSF函数模型，针对不同频率信息有着不同敏感度的特性。公式定义为：

A(f)=2.6×(0.019 2+0.114f)e-(0.114f)1.1

(1)

图2 Campbell-Ronbson CSF图表

图3 CSF函数模型

1.2.2 光适应性

人类对亮度的视觉感知特性通常是对物体的绝对亮度感知较差而对亮度的相对差异却是极其敏感。对于物体与其周围背景的亮度对比度一般有两种定义。

(1)亮度感知遵循韦伯(Weber)定律,表示为：

(2)

其中，I表示为背景亮度值，ΔI表示为HVS恰可察觉的在背景中增加的亮度。

(2)Michelson对比度定义表示为：

(3)

其中,Imax、Imin分别表示最大和最小亮度值。由式(2)对比度延伸的主观亮度S可以表示为：

S=klnI+k0=klgI+k0

(4)

其中,k为常数，与整个图像亮度平均值相关，k0=kln10,k0为常数。由此可见，人眼感知的主观亮度并不与客观亮度成线性关系，而是与其对数成线性关系。

2 视频质量评估方法分类

在视频处理程序中，人都是最终的接收者，所以最可靠的视频质量评价应该是主观质量评价方法[8]。主观质量评价就是选择一批观测者，在特定的环境下，根据一定规则观看测试序列，并对视频进行评分，去掉不合理的评分之后，对剩下的评分求平均分数值(Mean Opinion Score, MOS)。通常采用5分制来进行评分，评分标准如表1所示。

表1 视频主观质量五分制评分

目前采用的主观视频质量评估方法主要是双激励损伤度分级法(DSIS)、双激励连续质量分级法(DSCQS)、单激励连续质量分级法(SSCQE)、单刺激评价方法(SSM)及同步双刺激连续质量评价法(SDSCE)5种[9]。各评估方法比较如表2。

表2 5种视频主观质量评价方法比较

主观质量评价方法一直都被认为是最接近人眼视觉效果的评价方法[10]。但是主观质量评价方法受观看的距离、观测的环境、测试序列的选择、序列的显示时间间隔等因素的影响，实现起来步骤复杂，代价昂贵，耗时代价高，严格的测试环境决定了它无法进行实时监测，因此在实际中并不能得到很好的应用。

目前的视频质量评价方法主要集中在客观质量评价上。客观评价按照原参考视频帧的可获得程度可分为三类：全参考方法(Full Reference FR)、部分参考方法(Reduce Reference,RR)和无参考方法(No Reference，NR)[11-13]。图4为客观评价方法的流程图。

图4 客观质量评价方法原理图

目前常用的FR视频质量评价方法是均方误差和峰值信噪比[14]，其定义为：

(5)

(6)

式中：xi、yi分别表示原始图像和失真图像第i个像素灰度值，N为像素的总数,n为每像素比特数。MSE和PSNR的质量评价方法没有考虑到人眼特性，Wang Zhou提出的SSIM的评价方法，通过计算失真视频帧的亮度、对比度与结构相似性，来评价失真视频帧的质量。定义如下：

(7)

(8)

(9)

其中，l(x,y)表示亮度，c(x,y)表示对比度，s(x,y)表示结构相似度，联合亮度、对比度和结构相似度得到：

SSIM(x,y)=[l(x,y)α]·[c(x,y)β]·[s(x,y)γ]

(10)

假设α=β=γ=1，C3=C2/2，则上式可以简化成：

(11)

对于所有的视频帧求平均得：

(12)

实验表明，SSIM的评价方法较MSE和PSNR的评价方法有了很大的提高，后来的研究学者在SSIM的基础，又提出了MSSSIM、SSSIM、IW-SSIM等评价方法，评价效果较SSIM的方法又有了很大的提高。

3 实验结果及分析

视频数据为LIVE实验室所建立的LIVE视频质量数据库,原始视频是由10个帧率为 25 f/s或50 f/s，分辨率为768×432的不同场景的序列，通过无线网络传输失真、IP网络传输失真、H.264压缩失真和MPEG-2压缩失真4种失真类型得到的150个视频。本次实验采用无线网络传输失真的其中一个视频，原始视频和参考视频的第50帧如图5所示。

图5 失真视频帧(第50帧)的几种质量评价结果图

其中，图5(a)为原始视频的第50帧,(b)为参考视频帧的第50帧，(c)是利用MSE的评价方法进行评价，(d)采用PSNR的方法进行质量评价。针对PSNR值，PSNR平均值为34 dB，表示编码失真不会被察觉；若PSNR值高于40 dB，参考视频帧接近原始视频帧；若PSNR值在30～40 dB,失真视频帧能被察觉，不影响观看；若PSNR值在20～30 dB,视频帧质量很差；低于20 dB，图像质量特别差，不能被接受。图(e)、(f)分别利用SSIM和MSSSIM的方法进行评价，评价值越接近于1，表示参考视频帧越接近于原始视频帧，视频的质量越好。由图可知，MSSSIM的评价方法更优于SSIM的评价效果。

4 结束语

目前对于网络视频质量评价的研究还处于初级阶段，在未来的研究中，仍然是一大热点。本文针对网络视频在传输中的失真问题，在分析人类视觉系统的基础上，利用LIVE数据库中的无线网络传输的失真视频，就MSE、PSNR、SSIM，以及改进的MSSSIM的评价方法进行了仿真对比，结果表明，融入视觉感知的质量评价方法的效果更佳。

[1] 王一秀,韩焱.基于人眼视觉特性的X线图像质量评价方法[J].微型机与应用，2010，29(9)：38-40.

[2] 姚军财.基于人眼对比度敏感视觉特性的图像质量评价方法[J].液晶与显示,2011, 26(3):390-396.

[3] 冯欣.基于视觉显著性的网络丢包图像和视频的客观质量评估方法研究[D].重庆:重庆大学，2011.

[4] 张慧.图像感知哈希测评基准及算法研究[D].哈尔滨:哈尔滨工业大学，2009.

[5] Wang Zhou, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[6] CHEN G H, YANG C L, PO L M, et al.Edge-based structural similarity for image quality assessment[C].2006 IEEE International Conference on Acoustics, Speech and Signal Processing, 2006: 2181-2184.

[7] 费选.图像结构信息驱动的压缩感知重建算法及重建质量评测[D].杭州：南京理工大学，2014.

[8] 林翔宇.无参考视频质量评价方法研究[D].杭州：浙江大学，2012.

[9] 朱晗江.图像质量评价方法的研究与实现[D].西安：西安电子科技大学,2014.

[10] 王康.一种基于客户端无线视频传输质量评价系统的设计与实现[D].北京：北京邮电大学:2014.

[11] MA L,DENG C W,NGAN K N,et.al. Recent advances and challenges of visual signal quality assessment[J].China Communications,2013(5):62-78.

[12] CHANDLER D M.Seven challenges in image quality assessment:past,present,and future research[J]. ISRN Signal Processing,2013(8):1-53.

[13] 朱文斌,陈强,杨曦晨.基于人眼视觉特性的X线图像质量评价方法[J].现代电子技术，2015,38(18)：81-88.

[14] 朱宏.基于视觉感知的视频质量客观评价方法研究[D].宁波：宁波大学,2014.

Research on network video quality evaluation method based on visual perception

Zhou Chuanxing, Tu Qiaoling, Zhang Jie, Zhang Han

(School of Electrical and Electronic Engineering, Chongqing University of Technology, Chongqing 400054, China)

Network video in the process of transmission, because of the coding distortion or distortion of packet loss, bring obvious visual impact to the user. The mean square error and peak signal to noise ratio of the traditional quality evaluation methods do not consider the human visual characteristics. This article describes the basic characteristics of human visual system, then introduces the advantages and disadvantages of subjective and objective quality evaluation methods and the suitable environment, using the LIVE video database, based on comparing several evaluation methods, the results show that the evaluation method of integrating visual perception is closer to the human eye effect.

visual perception; network video; full reference quality assessment;mean square error; peak signal noise ratio

重庆市教委科学技术研究项目(KJ1600937)；重庆理工大学青年科研项目星火计划(2014XH12)

TP919

A

10.19358/j.issn.1674- 7720.2017.11.011

周传兴，涂巧玲，张杰，等.基于视觉感知的网络视频质量评价方法研究[J].微型机与应用，2017,36(11)：37-39,43.

2017-02-12)

周传兴(1991-)，男，硕士，主要研究方向：无线传感器网络。

涂巧玲(1963-)，女，硕士，教授，主要研究方向：控制技术及无线传感器网络。

张杰(1977-)，女，硕士，讲师，主要研究方向：无线传感器网络，嵌入式系统。