一种多图像前景对应性的融合显著性检测算法研究

刘 磊

(四川商务职业学院 科研处，四川 成都 610000)

0 引 言

网络互联技术的飞速发展带来的是大数据环境下朋友圈的扩大，社交过程中每天都会产生大量的图片数据，如何利用计算机处理信息的高效性来对图像数据进行处理是现在的主要研究方向[1-2].人类视觉系统在对一幅图像或是一个场景的信息进行区分时往往会被最明显的显著性区域所吸引，从而忽略掉重要性较低的背景，因此利用计算机视觉技术对显著性区域进行检测将有助于提高计算机信息处理的效率[3-4].李振强等[5]在2020年提出了利用机器视觉技术对羊骨架进行显著性检测，以此来获取羊骨架各部分特征达到羊骨架自动分割的目的.刘根旺等[6]利用机器视觉中的残差谱视觉对船只进行显著性检测，得到的图像品质因数达到了0.95.国外学者Trajanovski S等[7]利用机器视觉高光谱成像进行肿瘤显著性检测，利用深度学习进行图像分割，经实验证明了该技术在医学图像处理中的有效性[7].

显著性检测为视觉技术进行信息筛选提供了依据，在各个领域都有着重要的研究价值.为了使计算机能够像人类视觉一样快速检测出显著性区域，提出一种新的融合检测算法，首先定位凸包中的前景区域，其次利用边界连续性度量定位区域和边界的连接强度，以获得较为准确的显著图，然后结合基于背景的显著图生成融合显著图，最后在标准的数据集上进行实验来验证检测算法的有效性.通过结合前背景的显著性检测将有效地提高图像显著性检测的准确率，减少图像处理时间和工作量.

1 结合前景和背景的多图像融合显著性检测

研究中采用前背景融合来实现多图像联合检测，其操作流程见图1所示.图1中显示，在前背景融合检测中，首先进行前景区域的定位，其次进行背景目标的检测，最后将两者相结合来实现图像中显著性目标的定位检测.

图1 前背景融合检测流程图

1.1 多幅图像间对应的前景区域定位

融合显著物体往往会重复出现在多幅图像的前景区域内，说明多图像对应的前景区域是融合显著物体.因此，进行多幅图像间对应的前景区域定位能够提高多图像中的显著性检测效率，对图像的前景区域进行估计提取，采用凸包构建算法进行显著目标区域的粗略定位[8-9].首先进行凸包前景的提取，提取方式如式(1)所示.

d=‖HIi-Ho‖,i=1,2

(1)

式(1)中的HIi是像素在颜色空间中的平均颜色向量，Ho表示凸包外区域所有像素的平均颜色向量.凸包先验是图像显著性检测中一种常用的前景先验方法，凸包先验中能够包含大部分的前景部分，但是无法避免地也会保留住小部分背景目标，所以需要从凸包中进一步提取前景[10].利用前景和背景颜色的差异来选择凸包中的前景会存在一定概率的错误率，从而导致最后的显著性检测结果不够理想，除了其背景的颜色差异外，自然图像中的前景目标和背景存在较为明显的空间分布差异[11].因此为了能够从凸包中提取出更加准确的前景信息，采用边界连续性来选择更为准确的凸包前景区域.边界连续性是用来度量图像边界和图像中的一个区域的连接程度，定义为：

(2)

式(2)中的R表示图像中的一个区域，u代表图像中的一个像素块,BD表示图像边界处的像素块结合.

图像中各区域的边界连续值的计算分为三个步骤，首先采用SLIC算法将图像进行分割，把图像分割成多个超像素，并将其作为基本处理单元节点.假设每一个节点都和其他所有的节点相互连接组成一个全连接图，将相互连接的超像素点u和v在CIELab颜色空间之间的欧氏距离d(u,v)作为连接边的权重.采用测地线距离来表示两节点之间的距离关系，距离关系计算公式为：

(3)

式(3)中min是表示两节点之间的最短距离，代表了两节点之间最短路径的权重之和，并且GD(u,u)=0.其次，计算超像素点所占区域的面积，计算公式为：

(4)

式(4)中的K是超像素的数量，φ表示权重系数.若两超像素点之间的测地线距离越小，则两超像素点对彼此的面积贡献越大，若GD(u,ui)=0，那么S(u,ui)=1，两超像素点就位于同一个平面区域，超像素点之间的测地线距离越大，那么S(u,ui)就越趋近于0，表明两者不在同一平面区域.最后一步计算超像素所在区域处于图像边界的长度，计算公式为：

(5)

式(5)中的δ(·)是指示函数，当δ=1时，超像素点位于图像边界BD，当δ=0时，超像素点不在图像边界BD上.最后可以计算出超像素的边界连续值为;

(6)

式(6)中的LB是超像素所在区域处于图像边界的长度，A(·)是超像素点所占区域的面积.以图像中各区域的边界连续值为前提进行凸包前景选择，选择公式如式(7)所示.

CVf=

(7)

式(7)中的C1和C2是凸包中的超像素经过聚类算法之后的超像素聚，BC(·)是聚类中所有超像素的平均边界连续值，pi是凸包中超像素，i表示超像素索引，t是设置的阈值.

1.2 前背景融合显著性检测方法

为了能够更好地准确检测显著目标，只利用单一的显著性检测算法无法得到稳定的显著检测效果[12].因此，提出一种结合前景和背景的显著性检测算法，在得到前景显著图之后，利用背景进行流行排序显著性检测，融合前背景的显著图得到更为稳定的显著性检测结果.

图像进行自上而下的显著性检测时，图像边界所包含的背景信息极为重要，图像边界作为背景先验是流行排序显著性检测的关键[13].但是复杂图像中的显著性目标往往是较为分散的，因此针对复杂图像，可以采用流行排序显著性检测，如图2所示.

图2 显著性目标加测示意图

图2中黑色表示显著性目标，灰色表示略微显著目标，白色表示非显著性目标.从图2中可以看出，在显著性目标检测中，首先将图片按照相同比例进行分区，对不同区域内的显著性目标进行检测.图中箭头所表示的是检测顺序，即对图像进行自上而下、自左而右的检测，依次能够得到不同区域内的显著性特征.但是流行排序显著性检测仍然存在一定问题，当模型对图像进行流行排序显著性检测时，会由于边界接触到显著目标而出现错误的高亮显示，较为严重的情况下会完全抑制显著目标.所以针对以上问题，提出了一种边界背景改进的方法，利用改进方法进行背景提取主要分为五个步骤：第一步，将图像外圈的最外一层超像素提取出来，以此为图像边界的集合，并且计算出CIELab颜色空间中每个超像素中的像素平均值，像素平均值就是超像素的特征向量.第二步，将边界超像素的特征向量也就是像素平均值作为输入，同时将输入聚类为mi(i=1,…,k)，计算每一类到前景的欧式距离：

di=

D={d1,…,dk}

(8)

(9)

(10)

式(10)中的Q表示的是归一化参数，将输出的显著值归一化到[0,1]之间，Si表示不同的显著图，分别是高亮对应前景区域的图和提检测的背景显著图，Sm是线性融合之后生成的融合显著图，H(·)表示的是一种函数，其函数模型形式为H(x)={x,exp(x),-1/log(x)}.

2 多图像融合显著性检测结果分析

2.1 图像显著性检测效果对比分析

试验的网络训练环境为Ubuntu16.04系统，CPU: Inter Xeon E5-2620以及GPU: NVIDIA TITAN X.选择显著性检测常用的ASD、SED1和SED2三个数据集来进行实验，ASD数据集相对简单，其中共有1000张图像，应用较为广泛，而SED1和SED2两个数据集相对复杂，各有100张图像，图像的显著性目标变化较大.通过将前背景线性融合的显著图和其他经典算法进行显著性检测效果对比，为了更好地比较出融合显著性检测的优劣性，同时将近年来检测效果较好的算法加入比较，显著性检测结果的视觉效果比较如图3所示.

图3 图像视觉效果对比

对图3进行图像检测效果分析，结果显示见图4所示.

图4 显著性检测效果对比

从图4中可以看出，研究中的图像显著性目标检测视觉效果对比中，将FT[15]、CA[16]、PCA[17]、RC[18]、SF[19]、GS[20]、HS[21]、LMLC[22]、DSR[23]、GMR[24]和融合算法进行效果比较.图4(a)是所有算法对图像显著性检测后得到的显著性目标高亮程度的对比，可以看出，融合算法在显著性目标检测中得到的目标高亮度达到了90%以上，显著高于其余算法，表明融合算法可以清晰地将显著性目标进行高亮显示.图4(b)是检测得到的显著性目标各原图之间的位置重合度比较，可以看出，融合算法具有95%以上的重合度，仍然显著高于其他算法.图4(c)是检测得到的显著性目标还原度.即目标和原图相似度，融合算法仅低于LMLC，但是并不显著.综上所述，前背景线性融合算法在多图像显著性检测中所得到的显著性目标明显，并且目标位置和形状与原图具有高相似性.另外，就各个算法在不同数据集中的MAE值和运行时间对比分析，进行客观评价.在CPU为Intel Core i32.4GHz，4GB内存环境下运行，结果如表1所示.

表1 各算法指标对比

表1显示，在ASD数据集中，MAE值最大的LMLC算法为0.132，融合显著性检测算法的MAE值最小为0.069，明显优于其他算法.在SED1数据集中，SF算法得出的MAE值最高，达到了0.232，融合显著性检测算法的MAE值为0.147，和GMR算法的MAE值相近，且小于其他算法.在SED2数据集中，LMLC算法的MAE值最高，达到了0.262，而融合显著性检测算法的MAE值仅为0.143，明显低于其他算法.算法运行时间最长的是LMLC算法，总共运行时间为338.94s，其次为DSR算法，运行时间为13.12s，二者的运行时间都较长，融合显著性检测算法的运行时间与其他算法相近，用时较短仅为0.51s.综上所述，本次提出的融合显著性检测算法在多图像的显著目标检测中具有良好的检测性能以及较短的运行时间.

2.2 图像显著图融合效果分析

分别将显著图Sfg和Sbg利用线性结合的方式加在一起得出最后的融合显著图，并在ASD、SED1和SED2三个数据集中通过PR曲线的变化来进行客观评价融合显著图的有效性，三个显著图的PR曲线对比如图5所示.

图5 显著性检测算法的PR曲线

图5中的Sfg表示的是基于前景得到的显著图，Sbg表示的是基于背景得到的显著图，Sma表示的是经过线性结合得到的融合显著图.图5(a)是在ASD数据集中的PR检测曲线，三个显著图都是随着召回率的增加，准确率开始降低，但是Sma在相同召回率下的准确率高于融合前的显著图.图5(b)是在SED1数据集中的PR检测曲线，可以看出Sma的PR曲线好于其他曲线.图5(c)是在SED2数据集中的PR检测曲线，可以看出Sma对应的PR曲线在整体的表现上也同样优于其他显著图，当召回率达到0.8以后，Sma的准确率高于Sbg和Sfg.以上结果表明，当召回率较大时，联合显著图Sma的的准确率更高，说明Sma对背景的抑制效果更好，得到的显著图更加稳定，也直接说明通过线性结合的方法实现多图像的融合显著性检测是有效的.最后将不同显著图在不同数据集中的MAE值进行对比分析，结果显示如表2所示.

表2 不同数据集上的MAE值

从表2中可以看出，在ASD数据中Sfg显著图的MAE值是0.072，Sbg显著图的MAE值是0.073，Sma显著图的MAE值是0.069，三个显著图在ASD数据集中的MAE值相近，但是Sma的MAE值稍低于其他两个显著图.在SED1数据集中，Sfg的MAE值和Sbg的MAE值相同，同为0.145，低于Sma显著图的0.147.在SED2数据集中的Sfg显著图的MAE值是0.151，Sbg显著图的MAE值是0.154，Sma显著图的MAE值是0.143，Sma的MAE明显低于其他两个显著图.以上结果表明，在不同数据集中,融合显著图的MAE值都明显优于其他单一计算检测得到的显著图，说明将前景和背景显著图线性结合得出的融合显著图在总体上是有效且具有优势的.

3 结 语

网络社交的快速发展，使得从复杂的图像数据中快速检测出重要的显著目标信息变得尤为重要.为了准确提取显著目标，提出了一种线性结合的融合显著检测算法，在前景和背景显著图的基础上融合生成最终的融合显著图，通过多种比较方法来分析新算法的有效性和优劣性.通过与其他算法在各个指标上的对比结果分析，融合显著性检测算法在视觉效果的表现上更好，背景的抑制较为稳定，并且新算法的MAE值在三个数据集中分别为0.069、0.147和0.143，说明研究提出的算法得到的计算误差较小，且明显优于其他算法；对数据集中的多幅图像平均处理时间为0.51s，从图像的融合效果进行分析可以看出融合显著图的PR曲线在三个数据集中都优于单一检测的显著图.本研究对于图像的显著性检测是在图像存在显著目标的前提下进行的，针对不存在显著目标的图像进行显著性检测算法分析将是下一步的研究方向.