图像显著性分割的非凸Trace Lasso方法研究

张腾敏

DOI：10.16644/j.cnki.cn33-1094/tp.2021.11.002

摘  要： 根据无监督的自下向上的思想，提出一种新的图像显著性分割方法。提取图像的颜色特征、局部能量特征和局部对比特征，并根据这些特征建立一个基于多特征的非凸Trace Lasso模型，通过求解此模型得到图像的显著性区域。不同于一般的稀疏表示方法，该方法使用矩阵奇异值的非凸函数作为约束，对图像进行超像素分割，以每个超像素块为单位进行目标函数的建立。既考虑了超像素块的局部特征，又利用了全局特征，有效联合了图像的多个特征。实验结果表明，该方法能够准确地分割出图像的显著性区域。

关键词： 多特征; 非凸Trace Lasso; 稀疏表示; 显著性分割

中图分类号：O241          文献标识码：A     文章编号：1006-8228（2021）11-05-04

Research on non convex Trace Lasso method for image saliency segmentation

Zhang Tengmin

（Jinshan College of Fujian Agriculture and Forestry University， Fuzhou， Fujian 350002， China）

Abstract： According to the unsupervised bottom-up idea， a new image saliency segmentation method is proposed. The color features， local energy features and local contrast features of the image are extracted， and a non convex Trace Lasso model based on multi-feature is established according to these features. The salient region of the image is obtained by solving this model. Different from the general sparse representation method， this method uses the non convex function of matrix singular value as the constraint to segment the image， and establishes the objective function in units of each super-pixel block. It not only considers the local features of super-pixel blocks， but also uses the global features to effectively combine multiple features of the image. Experimental results show that this method can accurately segment the salient region of the image.

Key words： multi-feature; non convex Trace Lasso; sparse representation; saliency segmentation

0 引言

人們在观察一幅图像时，能够引起人类视觉关注的目标或区域称为显著性目标或显著性区域。例如图1（a），当看到这幅图像时，视觉对“路标”这一目标的关注度会明显高于对背景区域的关注度，甚至会直接忽略背景，因此路标就是显著性目标，其所在区域称为显著区域。

显著性分割就是利用计算机根据人类视觉的注意机制来分割出一幅图像中的显著目标或显著区域，并使其尽可能地与人类视觉行为相一致。图1（b）即为图1（a）的显著图。

图像显著性分割的方法主要分为两大类，即：无监督的自下向上的方法和有监督的自上向下的方法。后者需要已知大量样本的显著性，且要利用已知样本进行训练，计算量较大。本文研究基于无监督的自下向上方法。这类方法中，最早的工作是文献[1]提出的非常有影响力的生物启发模型。Itti等[2]在生物启发模式基础上提出机器人视觉定位研究方法，但是该方法只能分割出图像中较少的一部分显著性目标，并不能完全分割出图像中完整的显著性信息。Harel等[3]在2006年提出基于图的视觉显著性分割，该模型基本上能够完全分割出图像的显著性信息，但分割结果受背景的干扰比较严重。Lin等[4]提出基于卷积神经网络（CNN）的显著性分割方法，该方法虽然有不错的分割效果，但是计算复杂度较高。Shen等[5]提出基于低秩+稀疏分解的图像表示模型，用稀疏部分检测图像的显著性，但该方法只使用了图像中的低水平特征，无法刻画整幅图像，并不能有效突出图像的显著性目标。

以上所提工作都是基于单个特征建立模型，这些分割结果显示基于单特征的分割方法不能完全分割出图像的显著性区域，并且根据不同特征得出的分割结果存在很大差异。本文参考文献[6]的思想提取图像的多特征，对图像进行超像素分割，然后以每个超像素块为单位建立一种非凸的Trace lasso模型来融合这些多特征，既避免了单个特征分割所造成的误差，又能紧密联系局部特征与非局部特征。

1 显著性分割的非凸Trace Lasso模型及其求解

1.1 相关工作

1.1.1 多特征提取

一幅自然图像可以由多个特征来描述，例如人眼直观看到的颜色特征、由图像处理所得到的纹理特征和通过计算所得出的局部特征等。基于单个特征的方法无法完全分割出图像的显著性目标，因此，本文采用基于多特征的方法来建立模型。本文提取的用于显著性分割的三类图像特征如下。

颜色特征：结合图像的[R，G]和[B]的值及他们的直方图提取图像的6维颜色特征，设第[i]个像素点的[RGB]值为[（Ri，Gi，Bi）]，那么该点所对应的特征向量为[Ri，Gi，Bi，H（Ri），H（Gi），H（Bi）]，其中[HRi=-log （Pr（Ri））]（[H（Gi）]和[H（Bi）]的计算同上），[Pr（?）]为颜色的估计概率。本文在计算像素特征时用100个矩，每个超像素块内的特征为这个超像素块内所有像素点颜色特征的平均值。

局部能量特征：方向可调滤波器分解提供了一个接近人类视觉过程的频域分解，其运用的基本函数为来自不同尺度和不同方向的方向导数滤波器。本文运用三个尺度和四个方向的滤波器，每个像素点在对应的每个尺度和方向上都被分解为高频部分和低频部分，其中低频部分用于下一个方向导数的分解，因此这个滤波过程产生了[3×4]维的特征向量，然后加上低频部分，从而形成13维的局部能量特征。

局部对比特征：依文献[2]的方法分别根据颜色特征、纹理特征和梯度对比特征计算三幅特征图像，然后根据中心环绕差异计算每个像素点与图像中心像素点的差距，进而提取出三幅显著性图像，分别提取这三幅显著性图像中每个像素点的像素值作为该点的显著性值，形成三维的局部能量特征。设超像素块个数为[n]，那么以上三类特征分别可以由特征矩阵[X1]、[X2]、[X3]来表示。

1.1.2 Trace lasso和多任务模型

Lu等利用Trace Lasso[7]作为正则项，提出子空间学习模型如下：

其中[y]表示数据矩阵[X]的列向量，[w]为[y]在[X]下的表示，[?1]表示[l1]-范数，该范数用来刻画数据中的稀疏噪声，[XDiag（w）*]表示Trace Lasso，[λ]为平衡参数。由于Trace Lasso正则项利用了原始数据的信息，因此在子空间学习方面取得了良好的效果。

结合图像的多个特征， Lang[6]等提出了显著性分割的多任务稀疏模型：

其中[E=E1，E2，…，EK]是将[E1，E2，…，EK]按列排序得到的矩阵。文献[6]通过求解上述模型得出最优解[E*]，并根据[E*]计算图像的显著性，进而分割出图像的显著性区域。

1.2 本文基于多特征的非凸Trace Lasso稀疏模型建立

Trace Lasso和多任务模型都是基于凸松弛进行模型建立和求解，但是往往非凸松弛在实际应用中能得到更好的性能。因此本文在Trace Lasso和多任务的基础上，建立一个基于多特征的非凸Trace Lasso显著性分割模型。首先对图像进行超像素分割，然后以每个超像素块为子空间来建立模型：

其中[Xi]代表不同类型的特征矩阵，[yji]代表图像的第[j]个超像素块的第[i]类特征，[e=ej1，…，ejK]表示稀疏噪声，[gλ（σl（XiDiag（wji）））]是关于[XiDiag（wji）]奇异值的非凸函数，根据实验效果本文选取SCAD作为模型中的非凸函数，即：

1.3 模型求解

本文采用方向交替迭代方法（ADM）來求解上述问题，引入辅助变量[Ji=XiDiagwji，i=1，…，K]，将模型⑷转为如下等价模型：

问题⑸的增广拉格朗日函数为：

其中[Tj1，…，TjK]和[Y1，…，YK]是拉格朗日乘子，[μ]是惩罚参数。对⑹式进行交替极小化迭代求解。虽然ADM能很好地解决迭代问题，但是其只能用来解决凸问题，而[gλ（?）]是非凸的，因此[J]的更新迭代过程中出现了非凸问题，对于非凸问题[J]的求解，我们将问题[Ji]转化为下列问题：

即为[J]的最终迭代公式。

通过求解模型⑶解出每个超像素块所对应的病态残差为[eji（i=1，2，3;j=1，2，…，n）]，然后将[eji]按照[i]并联，按照[j]串联，得出融合了多个特征的显著性矩阵。每个超像素块[Pj]的显著性值为[E]的第[j]列元素的平方和，即[S（Pj）=E（：，j）2]。

2 实验结果及分析

2.1 主观结果对比

为了凸显本文方法的实验效果，我们将实验结果与先前的一些显著性分割工作进行对比，实验所用图像数据库为MSRA[8]，根据多个实验结果，本文最终设定参数[l]的值为3，g值为120，超像素块个数为300。图2为本文结果与其他方法的效果对比，从左到右依次为原图、CBCD、ICIP、HSS、LW、LR、本文方法结果以及ground truth（二值图）。通过对比发现，CBCD和ICIP方法的分割结果视觉感知比较低，LW的显著结果混淆了背景和显著性区域，HSS和LR的结果丢失了很多显著信息，所以，这些方法都存在着自身的缺陷。本文的分割结果既可以明显区分显著性区域和背景区域，又可以有效突显显著性区域，跟标准二值图像比较接近，在视觉效果上提升比较明显。

2.2 客观数据分析

在主观分析的基础上，本文同样给出了CBCD、ICIP、HSS、LW、LR、HFT、CS和本文方法显著性分割结果的客观指标对比，如图3所示，图3给出了本文方法与上述方法实验结果的ROC曲线图，由各个结果的ROC曲线对比可以得出本文的实验效果在数据指标上优于其他方法，因此，本文方法的平均结果与数据库的实验真值（GT）最为接近。

3 結束语

本文提出基于多特征的非凸Trace Lasso模型来对图像进行显著性分割，首先，我们指出现有的稀疏模型RPCA、LRR等只能对单一类型特征进行处理，会丢失图像的一些局部特征;其次，我们提出基于非凸Trace Lasso的稀疏模型，并且以每个超像素块为单位来进行处理，充分考虑了图像的多种特征以及局部特征与非局部特征的联系。利用这个模型有效融合了图像的多个特征，完成了自底向上的无监督的图像的显著性分割。实验结果证明了我们的方法是合理、有效的，并且能够取得很好的视觉效果。

参考文献（References）：

[1] Koch C， Ullman S. Shifts in selective visual attention：

towards the underlying neural circuitry[M]//Matters of intelligence. Springer Netherlands，1987： 115-141

[2] Itti L， Koch C， Niebur E. A model of saliency-based visual

attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，1998.11：1254-1259

[3] Harel J， Koch C， Perona P. Graph-based visual saliency

[C]//Advances in neural information processing systems，2006：545-552

[4] Lin H S， Ding J J， Huang J Y. Graph Saliency Network：

Using Graph Convolution Network on Saliency Detection[C]// 2020 IEEE Asia Pacific Conference on Circuits and Systems （APCCAS）. IEEE，2020：177-180

[5] Shen X， Wu Y. A unified approach to salient object

detection via low rank matrix recovery[C]//Computer Vision and Pattern Recognition （CVPR），2012 IEEE Conference on. IEEE，2012：853-860

[6] Lang C， Liu G， Yu J， et al. Saliency detection by multitask

sparsity pursuit[J]. Image Processing， IEEE Transactions on，2012.21（3）：1327-1338

[7] Grave E， Obozinski G R， Bach F R. Trace lasso： a trace

norm regularization for correlated designs[C]//Advances in Neural Information Processing Systems，2011：2187-2195

[8] Liu T， Yuan Z， Sun J， et al. Learning to detect a salient

object[J]. Pattern Analysis and Machine Intelligence， IEEE Transactions on，2011.33（2）：353-367