基于最优直线段边缘方向的视频清晰度评估

罗晨光，陈 黎，聂 晖

(1.武汉科技大学 计算机科学与技术学院，湖北 武汉 430065；2.武汉科技大学 智能信息处理与实时工业系统湖北省重点实验室，湖北 武汉 430065；3.武汉东智科技股份有限公司 研发部，湖北 武汉 430060)

0 引 言

对于安防监控视频，从摄像机取景到计算机终端上形成视频数据的过程中，会存在许多导致视频图像清晰度异常的因素[1]，可分为外部因素和内部因素。外部因素主要是图像在记录、传输过程中的污染，如天气环境的变化、外部电磁的干扰；内部因素主要是摄像机内部器件运行环境的变化，如摄像机参数设置不当引起的失焦模糊等。外部因素是引起视频清晰度异常的主要因素，但是其产生的影响是非持久的，短暂的，是不可人为修复的，而由摄像机参数设置不当引起的，若不经过人为的修复，则其影响是持久的。因此，本文选择了对由摄像机参数不当而导致的视频清晰度异常的检测。

目前清晰度评价方法主要分为基于空域和频域的方法[2]。空域方法主要是基于图像的边缘，根据图像边缘的各种特征信息来综合评价图像的清晰度。如王俊琦等[3]通过提取边缘点的线扩散函数，通过对其参数集合进行统计学处理，以其统计特性作为最终的清晰度评价参数。Feichtenhofer等[4]引入了边缘斜率，通过改进局部梯度特征合并方法和边缘宽度的计算方法，得到图像的清晰度评价值。频域方法主要是基于傅里叶变换、小波变换和离散余弦变换等方法及其改进方法来对图像清晰度进行评价。如Hassen等[5]通过小波域的局部相位相干性来估计图像清晰度。王治文等[6]提出的一种基于四元数小波变换幅值与相位的图像清晰度评价方法。部分算法结合空域及频域的方法[7]，这类方法的性能一般比单独使用一种方法的性能要好，但是增加了计算量。考虑到对于实际安防监控视频清晰度评价中，基于边缘信息的空域方法具有低计算复杂度，计算速度快，与图像内容的无关性较好，且与主观评价较符，适合实际应用。因此，本文的清晰度评价采用改进的基于边缘信息的空域方法。

算法首先对待检测图像进行分块策略处理，其次根据各分块图像的最优直线段方向，对图像进行强边缘检测，得到其强边缘宽度值，然后，根据各区域最优直线段的总长度，对区域强边缘宽度赋予权重，并通过加权平均法计算每幅图像的清晰度评价值。最后，根据多帧图像的评价值，估算视频的清晰度。

1 视频清晰度评估

1.1 基于最优直线段的边缘估计

在梯度图像中，边缘所在位置处会产生较大的直线状边缘响应，并且该直线与边缘的延伸方向一致。对于图像局部边缘方向的提取，在小区域中，边缘的曲线方向可由其切线方向上直线代替。因此，在图像边缘检测中，本文采用基于最优直线段边缘方向的检测算法对图像区域进行直线段检测，得到所有曲线边缘处的最优直线段[8]，然后计算各个方向上最优直线段的总长度，并以长度和最长的所处方向为最优边缘方向，基于此，得到图像中各最优的曲线边缘方向。

1.1.1 线支持区域选取

线支持区域(line support region，LSR)是由图像中的一组像素组成的，这些像素排成一条直线。本算法首先将像素点按照水平线角度θ进行降序排列，θ由式(1)计算

(1)

得到像素点顺序集S={P1,P2,P3,…,Pj,…,Pn}和对应的水平线角度集θ={θ1,θ2,θ3,…,θj,…,θn}。将θm最大对应的点Pm加入LSR，并将LSR的区域方向角θr初始化为该点的水平线角度。从集合S中第一个点开始，搜索该点八连通区域内的点Pi，若搜索点对应水平线角度满足式(2)

Δθ=|θi-θr|, Δθ<τ

(2)

则将当前搜索点Pi加入到LSR中，且将此搜索点从集合S中删除，并按照式(3)更新θr

θr=arctan(∑isin(θi)/∑icos(θi))

(3)

接着对新加入LSR的点按照同样的方法进行八连通区域遍历，直到没有新的点加入到LSR。若S集合不为空，则继续选取θi最大的点进行LSR生长，直至S为空。

1.1.2 最优直线段生成

生成线支持区域后，计算该区域的最小外接矩形，并计算出矩形的中心、方向角、宽度和高度。该区域的初始直线即为通过矩形中心点且方向为最小外接矩形方向角的直线。根据Helmholtz原则对初始直线进行验证，按照如下式(4)计算区域错误识别数(errorrecognitionnumber，ERN)

(4)

其中，N、M为直线支撑区域r的宽和高，m为区域内像素点总数，k为与区域方向一致的像素点个数，p=τ/π。

如果线支持区域的ERN小于ε，则认为线支持区域是ε有意义的直线支撑区域，即为检测到的直线，标记为最优直线段。

1.1.3 最优边缘方向估计

人类对于场景信息的认识，往往会选择感兴趣的区域进行分析处理。在安防监控图像中的边缘直线段在视觉上表现为人眼的感兴趣区域。根据此特性，本文提出了基于最优直线段的边缘方向提取算法，即根据图像中某一方向上直线段长度最大和值，确定图像的最优边缘方向。

图1为利用该方法生成的边缘方向直线段，并确定其最优边缘方向。

图1 区域边缘方向图

图1(a)为用户自定义的原始监控视频图像感兴趣区域，图1(b)为左下方的图像区域块检测到的直线段，图1(c)粗亮的白线为图1(b)的最优边缘方向上直线线段。通过图1(c)可以看出，在图像中的边缘方向上存在许多长度不一的直线段，且边缘处的张角越大，直线段越长，反之，张角越小，直线段越短。如图1(b)，边缘在图像中主要表现为路面上的指示线与路面的交界，在这块区域中，采用最优直线段生成方法对边缘处的曲线进行直线拟合，结果如图1(c)中粗亮白色线段所示。

如图1(c)中，检测到的最优直线段在与X轴正向成20°方向处的最优直线段的长度最大，比例达到85%，并且其在图像上表现为比较显著的边缘，因此以该方向作为该区域边缘的最优方向。

1.2 强边缘宽度统计

监控视频图像的模糊造成全局的图像质量下降，但在局部区域模糊效果的表现各不相同。项目中根据客户的实际需求，选择感兴趣区域，对感兴趣区域进行清晰度评估计算。又结合图像局部梯度分布不同于全局梯度分布[9]。因此，本文在保证算法对视频图像清晰度的检测准确率，采用了分块的策略进行处理。采用基于最优直线段边缘方向的强边缘宽度[10]检测对不同区域的图像的边缘宽度进行计算，得到图像的清晰度评价值。

实验首先对原始图像I按照N×N进行分块处理，然后根据1.1.1和1.1.2节所述，求取边缘曲线的最佳拟合直线段。鉴于直线段在[0°,180°)的区间上会存在大量的方向，为提高算法对异常视频的检测效率，使用α={0°,45°,90°,135°}4个方向代替直线段方向在(-22.5°,22.5°]，(22.5°,67.5°]，(67.5°,112.5°]，(112.5°,157.5°]4个区间方向上的边缘方向。计算各个方向区间内拟合直线段的总长度Li(i=1,2,3,4)，并以总长度最长的Lm所代表的区间方向为区域的最优边缘方向φ，φ由式(5)确定

(5)

得到区域图像的最优边缘方向φ后，按照文献[10]中的图像强边缘宽度统计的方法对各个区域的边缘平均宽度进行计算，得到各个区域的边缘宽度均值BMi(i=1,2,…,n)。然后根据区域图像对应的最优边缘方向的直线段长度对各个区域图像清晰度评价估计进行权重分配，如式(6)所示

p(i)=len(i)/∑ilen(i)

(6)

其中，p(i)为对应的第i块的直线拟合边缘的权重，len(i)表示第i块内最优直线段的总长度。

最后，根据各区域图像分配权重，按照式(7)计算整幅图像的清晰度评价值

(7)

BM即为图像的整体清晰度评价值。

1.3 算法流程

算法对待检测视频提取多帧图像后，首先对每幅图像进行分块处理，并计算每个区域图像块内的最优直线段。其次，以该最优直线段的方向为区域边缘最优方向，并根据其强边缘宽度直方图分配权值，得到其强边段的总长度，对区域强边缘宽度赋予权重，并通过加权平均法计算每幅图像的清晰度评价值。最后，计算多帧图像清晰度评价的均值，得到视频的清晰度评价值。

算法流程如图2所示。

2 实验结果与分析

为了验证本文算法的性能，实验分为两部分进行，实验一采用美国TEXAS大学图像和视频工程实验室提供的LIVEDatabaseRelease2图像库，通过5种不同失真类型模拟不同因素造成的图像清晰度异常，通过仿真实验验证算法的可行性。实验二测试视频图像数据来源于项目合作方从实际安防监控联网系统采集的约230 000路视频，视频图像实际尺寸为1280×720。实验环境为win7x64，3.0GHz，8.0G，matlab8.3。

2.1 LIVE图片库

LIVE图像库包含fastfading、gblur、jp2k、jpeg、wn这5种失真类型的图片，能够体现引言中所述的几种主要因素造成监控视频图像清晰度异常的失真图像，并且库中提供了可以评价图像质量的DMOS(differencemeanopinionscore)值，其中，值越小，图像质量越好，反之，质量越差。

为检测算法的性能，将实验中算法对图片集的评估值与其对应的DMOS分进行一致性分析，本文采用斯皮尔曼(Spearmancorrelation)等级相关系数(SROCC)来表征客观算法与主观评价之间的一致相关性，SROCC越大，相关性越好，反之，相关性越差。

为确定算法在不同策略下的性能，实验在LIVE图片库上采取不同分块方法得到不同方案下检测结果。部分结果如图(3)所示(以3×3块下的gblur类型图为例)。

由SROCC的定义，根据式(8)计算图片差分平均主观评价值(DMOS)与算法评价值BM的Spearman系数(SROCC)

(8)

其中，di=rg(xi)-rg(yi)，rg(xi)表示DMOS中图像i的排序名次，rg(yi)表示算法对于对应图像的排序名次。计算得到3×3策略下SROCC=0.9430。

实验在其它不同分块情况下的结果分析见表1。

由表1可以看出，随着分块数增加，5种失真类型的SROCC分值随之缓慢增加。但随着分块数的增加，算法对单幅图像的平均计算所耗时间越来越长。综合检测结果与主观评价的一致相关性和时间性能，本文最终选取3×3分块的策略。

表2 算法与深度学习算法结果比较

在本文算法对图像的客观评价与主观视觉评价一致性较高的基础上，进一步比较了算法与基于深度学习预测视频图像清晰度[11]的评测结果。在各个不同类型图像集上进行实验，得到两种算法在不同类型图像集上的SROCC。结果见表2。

从表2可以看出，算法在LIVE图像库上对5种类型图片的评价值与主观评分的一致相关性均高于基于深度学习的图像清晰度评价值，具有很好的主观一致性。

2.2 安防监控视频库

对视频库中视频是否存在噪声进行二类标记，统计结果显示噪声图像仅占0.20%。同时，考虑到加入噪声抑制会造成其它4种图像失真类型的检测准确率降低。因此，本文对安防监控视频的清晰度检测算法不融合噪声抑制处理。

监控视频图像与其在各局部的边缘直线拟合结果如图4所示。

图4 边缘直线拟合结果

图4展示了对一幅原始的监控视频图像(a)中边缘处的最佳直线拟合效果。通过图4(b)可以看出，亮白色线段部分为图像中出现的边缘的直线拟合，可以看出算法在实际安防监控视频图像上能够很好地实现边缘直线拟合。

为了验证算法在安防监控视频集上的清晰度评价效果，对其中的2000路清晰度异常视频进行主观评价打分。实验采取埃洛(Elo ratings，ELO)算法模型[12]对其进行分值评定，将该算法运用到视频清洗时假设视频A被观测者标注异常等级大于视频B的期望是两个视频异常等级分差距的函数，所以视频个体的当前异常等级分的更新与实际标注结果和期望结果的偏差成比例。通过埃洛算法模型得到的安防监控视频清晰度异常程度分值，即为视频的主观评价值。视频越模糊，分值越大，反之越小。

实验中算法对视频集异常程度的排序结果与ELO排序的相关系数SROCC=0.8726。为了清晰反映算法对于视频库的检测结果的主观一致性,取视频库中前200路视频进行实验得到如图5所示的趋势。

图5 200路监控视频清晰度评价值

算法在较大视频集上取得了一个较好的相关性，符合人眼的视觉评价。实验在比较了本文特征提取算法与主观视觉评价的基础上，进一步比较了本文算法与基于深度学习预测视频图像清晰度的评测结果。表3是在同一安防监控视频集上进行实验，得到两种算法的SROCC和对单幅图像评测所需时间的平均值(Time)。结果见表3。

表3 算法与深度学习算法结果比较

从表3可以看出，本文算法对于安防监控清晰度异常视频的检测的准确率同样优于基于CNN方法的预测，但对于每幅图像的检测时间高于CNN的预测时间。但考虑到CNN算法需要一定的时间对样本集进行训练，得到合适的预测模型，并对测试视频集进行预测，得到清晰度评价值，所需要的一定的训练时间，然本文算法是基于无参考的视频清晰度评估，对各类视频类型并不需要CNN那样进行训练，比较方便快捷，因此，本文算法在实际应用中具有较好的适用性。

3 结束语

视频图像清晰度的评价是图像处理领域近几年以来重要的课题。本文就现今安防监控视频图像的清晰度进行了分析实验，对于一定数量级的视频的清晰度评价值也能较好符合人眼的主观评价。对安防监控领域中复杂多变的情景的问题，提出了基于最优直线段边缘方向的视频清晰度评价。算法提高了对于视频图像区域性差异的边缘检测，使之能更加的符合人眼主观视觉评价。实验结果表明，通过对区域最优边缘方向的选取，能够更加准确地评测图像的清晰度，验证了算法的有效性和准确性。

[1]JI Guanxin,ZHOU Lili.Tampering detection and classification of intelligent video surveillance system[J].Journal of Data Acquisition & Processing,2013,28(2):231-238(in Chinese).[姬贯新,周利莉.智能视频监控系统中的干扰检测及分类[J].数据采集与处理,2013,28(2):231-238.]

[2]Chandler Damon M, Md M Alam,Phan Thien D.Seven challenges for image quality research[C]//IS&T/SPIE Electronic Imaging.International Society for Optics and Photonics,2014:174-188.

[3]WANG Junqi,ZHANG Liguo,LIU Lei.No-reference image quality assessment for sharpness based on line spread function[J].Journal of Computer-Aided Design and Computer Grap-hics,2016,28(8):1279-1286(in Chinese).[王俊琦,张立国,刘磊.基于线扩散函数提取的无参考图像清晰度评价[J].计算机辅助设计与图形学学报,2016,28(8):1279-1286.]

[4]Feichtenhofer C,Fassold H,Schallauer P.A perceptual image sharpness metric based on local edge gradient analysis[J].IEEE Signal Processing Letters,2013,20(4):379-382.

[5]Zhao H,Fang B,Tang YY.A no-reference image sharpness estimation based on expectation of wavelet transform coefficients[C]//IEEE International Conference on Image Processing.IEEE,2013:374-378.

[6]WANG Zhiwen,LUO Xiaoqing,ZHANG Zhancheng.Quaternion wavelet transform for evaluation of image sharpness[J].Journal of Computer Applications,2016,36(7):1927-1932(in Chinese).[王治文,罗晓清,张战成.基于四元数小波变换的清晰度评价[J].计算机应用,2016,36(7):1927-1932.]

[7]Vu CT,Phan TD,Chandler DMS.A spectral and spatial measure of local perceived sharpness in natural images[J].IEEE Transactions on Image Processing,2012,21(3):934-945.

[8]Von Gioi RG,Jakubowicz J,Morel JM,et al.LSD:A line segment detector[J].Image Processing on Line,2012,2:35-55.

[9]SONG Ying,CHEN Ke,LIN Jiangli,et al.Edge detection algorithm based on image partition[J].Computer Enginee-ring,2010,36(14):196-197(in Chinese).[宋莹,陈科,林江莉,等.基于图像分块的边缘检测算法[J].计算机工程,2010,36(14):196-197.]

[10]ZHANG Tianyu,FENG Huajun,XU Zhihai.Sharpness metric based on histogram of strong edge width[J].Journal of Zhejiang University(Engineering Science),2014(2):312-320(in Chinese).[张天煜,冯华君,徐之海.基于强边缘宽度直方图的图像清晰度指标[J].浙江大学学报(工学版),2014(2):312-320.]

[11]TIAN Weijun,SHAO Feng,JIANG Gangyi,et al.Blind image quality assessment for stereoscopic images via deep lear-ning[J].Journal of Computer-Aided Design and Compu-ter Graphics,2016,28(6):968-975(in Chinese).[田维军,邵枫,蒋刚毅,等.基于深度学习的无参考立体图像质量评价[J].计算机辅助设计与图形学学报,2016,28(6):968-975.]

[12]Gásquez R,Royuela V.The determinants of international football success:A panel data analysis of the Elo rating[J].Social Science Quarterly,2016,97(2):125-141.