基于客观评价的图像质量评估方法综述

黄英吉 钟猛猛 张庭霨 刘雨欣 杨雪

摘要：在“万物智联”和“智能制造”迅猛发展的大背景下，人民对图像成像技术的需求也在不断增加。但在对图像的获取、处理、压缩过程中，都会有概率性的造成图像失真的情况，那么如何在解决图像失真的同时确保图像的质量成了社会的难题。在这样的时代背景下，图像质量评估方法成了我国图像处理技术的重点研究领域。该文详细介绍了图像失真的不同类型和图像质量评估的方法和体系，从主观评价和客观评价两种方法对产生的自然图像进行了质量评价，并对图像质量评估方法的发展趋势进行了归纳和总结。

关键词：图像质量评估;图像失真;主观评价;客观评价

中图分类号：TP391.41      文献标识码：A

文章编号：1009-3044（2021）28-0092-03

开放科学（资源服务）标识码（OSID）：

Overview of Image Quality Evaluation Methods Based on Objective Evaluation

HUANG Ying-ji，ZHONG Meng-meng，ZHANG Ting-wei，LIU Yu-xing， YANG Xue

Abstract： In the context of the rapid development of “All Things Connected” and “Intelligent Manufacturing”， the people's demand for image imaging technology is also increasing. However， in the process of image acquisition， compression， and imaging， there will be probabilistic image distortion. How to ensure the quality of the image has become a social problem. In this era， the image quality evaluation method has become a key research field of image processing technology in my country. This article introduces in detail the different types of image distortion and the methods and systems of image quality evaluation. The quality evaluation of the natural images produced from subjective evaluation and objective evaluation is carried out， and the development trend of image quality evaluation methods is summarized and summarized. to sum up.

Key words： image quality evaluation; image distortion; subjective evaluation; objective evaluation

1 背景

隨着我国物联网技术的发展和图像信息技术的广泛应用，拍照、录像、短视频成了当代年轻人记录生活的一种方式，人们对于图像成像质量的要求也要不断增加。如何确保图像成像的质量，解决图像失真的情况成了当今社会的难题。因此，研究图像质量的评估方法对我国及人民都具有重大的意义。

2 研究背景与意义

随着时代的发展，图像信息技术被人们的广泛应用于生活中的方方面面，拍照成了人们生活的常态。在这种趋势下，人们对于图片成像后的质量和图像的清晰度也提出了越来越高的要求。但是在获取、处理、压缩、传输和记录图像的过程中，由于目前的图像的成像技术、图像处理的方式或的方法以及图像信号的传输介质和记录设备不够完善，加之对运动中的物体无法快速记录和周围的光强和噪声环境污染等，不可避免地造成了图像质量的失真和降质，这给人们可以认识现实中客观世界、研究分析解决这些问题造成了很大的阻碍。比如，在图像识别的过程中，图像采集的质量会直接影响到识别结果的准确性和可靠性;在进行视频通话的过程中，都需要对图像的成像质量进行实时的监控，以减少网络延迟和其他不利因素等带来的影响，满足人们对图像成像质量的要求;在地理数据获取和卫星定位的过程中，高空对地面的实时监控的有效性也取决于无人机或卫星等设备捕获图像或视频的质量。如何避免图像质量的失真和降质，成了当今社会的一大难题。因此，研究对图像质量进行合理评价的方法具有非常重要的应用价值。

3 国内外发展现状

质量评估（Quality Assessment，QA）拥有很悠久的历史。在过去的几十年里，质量评估被广泛地应用在各个领域，如图像压缩、视频编解码、视频控制等。人们对高效可靠的质量评价的需求日益增加。质量评价分为图像质量评价（Image Quality Review，IQA）和视频质量评价（Video Quality Review，VQA），本文主要讨论图像质量评价[1]。

IQA从有没有人可以参与的角度进行区分，可分为主观评估和客观评估。主观评估也叫主观评价，是以人作为观察者，通过人的主观感知来评价图像的质量，从而对图像进行主观上的评价，能够最真实的反映人的视觉感知。而客观评价是通过建立数学模型来评估图像的质量，并通过给图像的质感、清晰度、对焦等各方面进行打分并计算给出结果，能够科学的反映人眼对图像的主观感受。图像质量评价算法的目标是自动评价符合人的主观质量判断的客观图像质量[1-2]。然而，主观评估费时费力，在实际发展应用中不可行，并且通过主观实验受观看距离、显示技术设备、照明环境条件、观测者的视觉设计能力、情绪等诸多重要因素研究影响。客观评价利用数学模型给出量化值，并能利用图像处理技术生成一批失真图像，操作简单，成为IQA研究的重点[3]。

根据原始参考图像提供的信息量，IQA一般分为三类：完全参考-IQA（FR-IQA）、简化参考-IQA（RR-IQA）和无参考-IQA（NR-IQA）。完全参考-IQA同时有原始图像和失真图像两种，这种参考图像难度相对较低，核心是对比两幅图像的信息量或特征相似度趋势，是目前研究方法中较为成熟的方向[4]。简化参考-IQA只有部分的原始图像信息或从参考图像中提取的一部分特征，因此图像是扭曲的，图像信息获取也比较困难。简化参考-IQA介于完全参考-IQA和无参考-IQA之间，任何简化参考-IQA和无参考-IQA的方法都可以通过适当的处理转换为简化参考-IQA。无参考-IQA算法可以细分成两类，一类问题研究通过特定数据类型的图像进行质量，比如估计模糊、块效应、噪声的严重影响程度，另一类估计非特定产品类型的图像信息质量，也就是这样一个国家通用的失真评估[1，3-4]。但是在一般的实际应用中无法提供原始参考图像，因此无参考-IQA在日常生活中最具实用价值。同时，由于图像内容的不断变化和无参考，无参考-IQA也成为一个比较难研究的对象。受到更多的图像处理领域学者的关注。

4 图像失真的不同类型

在现实生活中和实际应用中拍摄获得的图像时常会出现不同程度失真的现象，使得成像后的图像的质量受到不同程度的影响。因此本文就图像失真的不同类型进行了详细的介绍。

4.1 图像噪声

噪声在生活中的本意是形容听觉的，比如在欣赏音乐时，不远处正在施工，美妙的音乐就会被施工噪声影响，造成音乐的分辨度下降，甚至完全听不清。本质上噪声就是在获取有效信息时受到了其他无效信息的影响。听觉声音上的噪声如此，图像视觉上的噪声亦是如此。比如同样是拍照，在晴空万里下拍的事物往往比大雾环境下拍的同一事物更加清晰，分辨率更高。在图像噪声中存在一类概率密度函数服从高斯分布（即正态分布）的噪声，被称为高斯噪声，在图像处理中较为常见。

4.2 图像模糊

图像模糊有很大一部分来自高斯模糊，它是图像中较常见的图像降质，会降低图像的细节造成模糊，也被称之为高斯平滑效应[5]。听名字，我们就会觉得高斯平滑效应会和上面说的高斯噪声有所关联。事实上高斯平滑正是为了消除图像在数字化过程中产生或者混入的高斯噪声才出现。虽然图像模糊会降低图像的清晰度，但是也不是一无是处。例如，现在大家拍照非常喜欢的磨皮模式，就是用了图像模糊技术;在图片对象的特征识别方面也别有用处。

4.3 图像压缩

图像压缩更加方便理解，因为我们在日常的生活中经常会发生图片压缩的事情。现在的手机像素很高，拍一张高清照片的大小可以达到10M以上，我们经常会发现将这样的照片在社交软件分享或上传云盘存储后，照片的大小会被不同程度的压缩，这其实就是图像压缩的一种。图像压缩又被分为两种压缩方式：无损压缩和有损压缩，判别方法是压缩过后的图像能否全部得到还原为原始图像。现在的手机相机和部分数码相机拍出来的图片基本上都是jpg格式的，其实jpg格式的全称是Joint Photographic Experts Group，也常被缩写为jpeg格式。这种格式就是一种标准的有损压缩格式，是无法通过其还原得到全部的原始图像数据的。而一些高端的专业相机则可以排除Raw等无损压缩格式的照片。

5 图像质量评价的研究方法

5.1 评价方法

对于图像质量评价研究的方法由两种，分别为主观评价方法和客观评价方法[6]。主观评价方法主要依据的是人体视觉感知神经在特定的观测环境下，参考图像亮度、图像噪声和图像模糊等指标，对被测图像进行主观评价打分。虽然主观评价方法是人体的直观感受，肯定符合人眼对图像质量的评价，但是主观评价方法也有很多缺陷。首先人体主观评价很容易受到被测人情绪、偏好等个人主观原因的影响;其次测试环境等客观因素也会影响主观评价方法的结果;最后，在数据量特别大的时候，组织人员进行主观评价费时费力，图像质量评价的效率会很低下。所以，为了追求图像质量评价的效率，客观评价方法应运而生，并在科技发展的加持下百花齐放。本文仅介绍了几种常用的客观图像质量评价方法。

1）费希尔信息

费希尔信息（Fisher Information）是一种用来测量随机变量x对模型y分布的未知参数所能观测到信息量的方法。形式上，它是通过方差分析得分，或观察到的信息的预期值。在贝叶斯统计中，后验模式的漸近分布依赖于Fisher信息，而不依赖于先验。Fisher信息也用于Jeffreys的先验计算和贝叶斯统计，同时Fisher信息进行矩阵可以用于分析计算与最大似然估计方法相关联的协方差矩阵。

2）结构相似度

结构相似度的全称是结构相似度指数（Structural Similarity Index，SSIM），是衡量两幅图像之间相似度的指标[7]。这个度量标准是由得克萨斯州大学奥斯汀分校图像和视频工程实验室首次提出的。而如果两幅图像是分别为压缩前和压缩后的图像，那么通过SSIM算法就可以得到进行评估压缩后的图像信息质量。然而，在实际应用中，高斯函数通常用于计算图像的均值、方差和协方差，而不是遍历像素，以换取更高的效率[7-8]。

3）基于梯度的结构相似度

基于结构相似度的SSIM算法不能很好地评价严重模糊图像的质量。主要是SSIM中结构以及信息在模糊情况，不能代表企业结构分析信息，所以对图像数据进行梯度计算，得到提高图像的边缘，然后再对图像结构具有相似度进行设计计算[9]。并且大量实验数据证明，GSSIM的效果优于SSIM和MSSIM。

从广义上讲，客观评价方法是利用数学模型计算原始图像与失真图像之间的相似性或误差，并量化为分数来评价图像的质量。客观分析评价方式方法在最开始主要有以下两种主要研究工作方法——峰值信噪比PSNR和均方误差MSE，这两种方法研究的都是图像的清晰度，以清晰度作为最突出的优点来对图像质量进行评价。但是，这其实是不严谨的。图像质量的客观评价应与人眼的主观评价结果相似为好，但是人眼的视距外特性并不是只以图像的清晰度来评价图像质量，于是引发了其他客观评价方法的出现与发展。

5.2 图像数据库

随着图像质量评价的不断提高，图像质量评价体系日趋完善。如何进行评价图像信息质量，什么样的图像质量好，什么样的图像质量差，这需要一个标准库来界定，因此，为了更好地检测图像质量的评价方法，逐渐形成了较为标准的图像数据库，目前已公开的大概有20个可以分析评价图形质量的图像数据库。它们都是历代图像处理的研究人员用心血建立的[10]。首先，图像数据库包含有两种类型的图像——参考图像和失真图像。而对图像数据库的评价有两个参考值，分别是MOS值和DMOS值;MOS是mean option score的缩写，即图像质量的主观评分的平均值DMOS是differentiation mean opinion score的缩写，用于描述参考图像和扭曲图像的人体评分之间的差异，在这里，我们以比较有代表性的TID 2008图像数据库进行介绍。

TID 2008图像数据库由乌克兰航空航天大学于2008年建立。拼写为坦佩雷图像数据库，由25幅原始参考图像、1700幅失真图像组成，大约有17种失真类型和4种不同的失真程度[11]。其图像数据的标准差和MOS值，由838名不同国家的观察者的主观评价得到。因Tampere image database数据库样本较为丰富，评价采集合理，并公开使用，而受到企业众多图像进行处理研究者的青睐。而且，随着时间和技术的进步，TID图像数据库也在更新进步，例如，TID 2013在TID2008的基础上就进一步增加了失真图像的样本数量和失真类型，观察评价者的数量也有所增加。使图像数据库的适用性和可靠性得到了提升。

6 结束语

本文详细介绍了图像质量评价的评价方法和体系，并综合分析了图像失真的不同类型、主观评价方法和客观评价方法。因此本文对人们研究图像处理的细微之处和实现图像处理技术的新突破具有重要意义。

参考文献：

[1] 王进，李俐莹，王万，等.数字图像的质量评估[J].河北省科学院学报，2013，30（2）：30-34，39.

[2] 万国挺，王俊平，李锦，等.图像拼接质量评价方法[J].通信学报，2013，34（8）：76-81.

[3] 韩瑜，曹寅，蔡云泽，等.全信息图像质量评估研究发展综述[J].指挥控制与仿真，2012，34（4）：1-11.

[4] 李星光，孙哲南，谭铁牛.虹膜图像质量评价综述[J].中国图象图形学报，2014，19（6）：813-824.

[5] 崔建伟，王冬青，刘金燕.基于高斯模糊的单幅图像去雾算法[J].自动化与仪器仪表，2021（1）：9-11，16.

[6] 王啸晨，潘榕.基于图像失真类型的自适应图像质量评价方法[J].电视技术，2016，40（2）：137-140.

[7] 徐敏，郑元林.基于SSIM的印刷图像质量评价研究[J].包装工程，2012，33（5）：98-101.

[8] 纪启国.基于灰度相似性的图像融合质量评估标准[J].成都大学学报（自然科学版），2013，32（1）：54-57.

[9] 田浩南，李素梅.基于边缘的SSIM图像质量客观评价方法[J].光子学报，2013，42（1）：110-114.

[10] 张丹丹，赵迎会.自然图像质量评价方法综述[J].电脑知识与技术，2020，16（9）：203-205.

[11] Chandler D M，Hemami S S.Dynamic contrast-based quantization for lossy wavelet image compression[J].IEEE Transactions on Image Processing，2005，14（4）：397-410.

【通聯编辑：谢媛媛】