选择性视觉注意模型评价方法探析

张倩

[摘 要]計算机视觉领域内，为了模拟人类视觉系统，越来越多的视觉注意模型不断涌现，但缺乏对其进行客观、公正、合理的评价方法体系。针对此问题，首先，对现有模型广泛使用的测试图像集和评价模型的性能指标进行梳理和总结；其次，将统计学中的均方差指标和双侧T-test假设检验方法引到选择性视觉注意模型的显著性评价上；最后，提出一个综合评价视觉注意模型的方法体系准则，经实验验证与文献分析其评价结果较为客观、公正、可信。

[关键词]视觉注意模型；评价方法；均方差指标；双侧T-test假设检验；综合评价

[DOI]10.13939/j.cnki.zgsc.2016.51.140

近几年来，涌现出了很多模仿人类视觉注意机制的可计算的选择性视觉注意模型，而且这些模型在预测人类注意视点方面也取得了较好的效果。但是，如何对这些视觉注意模型的性能进行客观、全面的评价却是一个难题。截至目前也出现了为数不多的评价视觉注意模型的方法；但总的来说，这些方法针对性强，不能综合反映视觉注意模型的整体性能。为此，本文在对现有模型测试图像集和性能评价指标进行系统归纳和总结的基础上，引入一些新的数字化指标，进而提出了一个综合评价准则。

1 现有的评价性能指标

根据眼动图像数据集，可以利用接受者操作特性曲线（ROC）对视觉注意模型进行定性分析。ROC曲线分析的初衷是用于医学病例的诊断统计分析的，现在被广泛应用到SVAM的评价中。选择性视觉注意模型评价的核心思想是：模型得到的显著图与Ground-truth图的相似度。ROC曲线是基于二值分类器原理，来评估不同类型的选择性视觉注意模型，其分析的对象是灰度图或者显著图。因此，对应眼动数据的二值图像需要通过与二维高斯核进行卷积操作，对图像进行平滑处理，以得到相应的Ground-truth灰度显著图。

2 均方差和T-test引入

利用数字化评价指标对SVAM评价时，会存在“失效”现象，例如，当在Einhuser等提供的眼动数据集上评价GBVS模型时，其AUC值为0.98，与理想的AUC值1相差很小，但实际上GBVS模型的显著目标分割结果与Ground-truth图的差异还很大。所以GBVS模型存在过分割现象，并且提取的形状特征交叉。以上的分析预示ROC曲线分析或AUC性能指标并不是适用于所有SVAM的性能评价。同样地，Recall、Precision和F值等数字化指标也存在类似问题。鉴于上述数字化性能指标在评价SVAM过程中存在“失效”的问题，文中将借鉴统计学上的均方差指标、双侧Students T-test假设检验方法来进行选择性视觉注意模型的性能评价。

3 综合评价准则

为了综合比较SVAM的语义图像分割的效果和性能，本文提出基于决策分析表的方法来对不同类型的AVAM进行综合评价。

（1）基于一定的生物视觉理论或机制

从图像分割的长期发展上看，基于生物视觉理论的图像分割方法有更广阔的应用前景。但是从目前的图像分割方法布局上来看，孰优孰劣，尚难定论。所以，此项标准的评分准则简单的为：基于生物视觉理论或机制的模型，得2分；混合模型，得1分；纯计算模型，得0分。

（2）模型不需要任何训练样本或可调参数

自动地进行图像分割一直是计算机视觉领域一项具有挑战性的工作，因此本项评分标为：不需要样本训练和可调参数的得2分；需要一个的得1分；均需要的得0分。

（3）第一个关注的是最大的显著区域

该标准十分重要，所以计分要加大权重。根据Recall、Precision、AUC及其均方差（σ）的定义，该项计分准则为：前3项指标的正序序号和最后一项指标的逆序序号的和。其中，正序指数字化指标值按从小到大的进行排序，逆序指从大到小来排列。

（4）均匀地包括显著对象的整体

该项标准也很重要，计分也会加大权重。由于F值是评价测试图像的一个全局评价指标，是召回率和查全率的综合表现，可以反映图像分割结果的光滑一致性。所以该项准则的得分为F值的正序序号以及均方差（σ）的逆序序号之和。

（5）显著对象具有良好的形状特征

形状特征良好的得2分；初具形状的得1分。否则，得0分。

（6）抵抗几何攻击和噪声

两者都抵抗的得2分；能抵抗其中一项的得1分；均不抵抗的得0分。

（7）实时地输出全分辨率的显著图

可以实时输出地输出全分辨率显著结果的得2分；具有实时和全分辨率其中一项的得1分；不具一项的得0分。

4 结 论

本文首先详细介绍了常用于评价选择性视觉注意模型的图像数据集以及性能数字化指标。其次在对已有的数字化性能指标的总结分析基础上，将统计学上的均方差和双侧t-test引入选择性视觉注意模型的评价中。最后，为了更好地对SVAM做出全面的评价，提出了一个基于决策分析表的综合评价标准。经实验验证与文献分析，本文结果较为科学、合理、可信。下一步，将继续探究决策分析表中的构成要素及其相互关系比重。

参考文献：

[1]李志成，秦世引，Itti L.遥感图像的显著-概要特征提取与目标检测[J].北京航空航天大学学报，2010，36（6）：659-662.

[2]温寄，李苓苓，刘庆杰，等.基于视觉显著性和图分割的高分辨率遥感影像中人工目标区域提取[J].测绘学报，2013，42（6）：831-837.

[3]Bruce N，Tsotsos J K.Attention Based on Information Maximization[J].Journal of Vision，2007，7（9）：950-950.

[4]Hou X，Zhang L.Saliency Detection：A spectral Residual Approach[C].Proceedings of Computer Vision and Pattern Recognition，2007：1-8.

[5]过晨雷.注意力选择机制的研究：算法设计以及系统实现[D].上海：复旦大学，2008.

[6]Achanta R，Süsstrunk S.Saliency Detection Using Maximum Symmetric Surround[C].Proceedings of IEEE International Conference on Image Processing，2010，10：2653-2656.

[7]毋小省，孙君顶.基于感兴趣区域的图像检索方法[J].2013，43（2）：221-224.

[8]Zhang L B，Yang K N.Region-of-interest Extraction Based on Frequency Domain Analysis and Salient Region Detection for Remote Sensing Image[J].2014，11（5）：916-920.

[9]He D J，Liu R S，Song H B.Closed Salient Edge Extraction Based on Visual Attention Mechanism[J].Applied Mechanics and Materials，2011，（58-60）：1972-1978.

[10]Russell B C，Torralba A，Murphy K P，Freeman W T.Labelme：a Database and Web-based Tool for Image Annotation[J].International Journal of Computer Vision，2008，77（1-3）：157-173.

[11]李甲.基于學习的视觉显著计算.[D].北京：中国科学院研究生院，2010.

[12]Guo C L，Zhang L M.A novel Multi Resolution Spatiotemporal Saliency Detection Model and its Applications in Image and Video Compression[J].IEEE Transactions on Image Processing，2010，19（1）：185-198.