基于多准则采样的自然图像抠图算法

苟洪山，杨 圆，张 远，吴 磊，谭 棉

（1.贵州民族大学 数据科学与信息工程学院；2.贵州民族大学 贵州模式识别与智能系统重点实验室，贵州 贵阳 550025）

0 引言

图像抠图技术致力于精确地估算图像前景目标的不透明遮罩［1］，目前广泛应用于目标识别［2］、虚拟现实［3］、影视特效［4］和图像合成［5］等领域。尽管抠图技术在工业上有了一定应用，但自然场景下的图像抠图成果较少，其原因归结于：①自然场景下图像抠图的精度达不到使用要求；②高质量的自然图像抠图需花费大量的计算资源［6-7］。因此，自然场景下的图像抠图方法一直是国内外学者研究的热点［6］。

图像抠图由Porter 等［7］于1984 年首次提出，并将图像的每一个像素点视作为所对应的Alpha 透明度遮罩和前景背景像素的合成，其数学表达式为：

其中，Ic表示为图像I在c处的像素值，Fc和Bc分别表示c处像素点对应的前景和背景像素值，α表示c处像素点对应的透明度遮罩，α∈[0，1]，其中α=0 表示像素点完全透明，其中α=1 表示像素点完全不透明。对于一幅自然图像，其像素点的像素值由RGB 3 种颜色组合而成，则式（1）可描述为以下方程组：

其中，像素点c处像素值已知，但其剩余的7个变量未知。因此，图像抠图是一个欠定问题。为了降低方程组的求解难度，Rhemann 等［8］引入了自然图像对应的三分图，将图像划分为已知的前景背景区域F、B和待求解的未知区域U。在此基础上，可以将抠图研究分为3 个方向：基于传播的抠图方法、基于像素对优化的抠图方法和基于深度学习的抠图方法［6］。

基于传播的抠图方法是通过建立已知像素和未知像素之间的传播关系，将透明度遮罩从已知区域传播到未知区域。该方法针对平滑的前景目标能展现出较好的抠图性能，当出现空洞时，它就难以获取高质量的抠图结果。基于像素对优化的抠图方法在解决空洞问题上展现了很好的性能。而基于采样的抠图方法是像素对优化方法中比较经典的抠图方法，当高质量的像素对较少时，基于采样的抠图方法难以获取高质量的像素对。

当高质量的像素对较少时，易丢失高质量的像素对。针对该问题，本文设计了基于像素对的多准则采样策略，该策略通过使用不同的采样标准从全局到局部的采样以获取高质量的候选子集。在此基础上，设计多评价联合的最优像素对选取策略，该策略通过联合多个像素对评价函数，在高质量的候选子集中获取最优样本。在两个策略的基础上设计多准则采样抠图算法，该算法在高质量样本较少时，能获取高质量的像素对。实验结果表明，多准则采样抠图算法与目前比较流行的算法相比，所提抠图算法的抠图结果都要优于所对比的算法。

2 图像抠图相关工作

基于传播的图像抠图方法利用图像局部像素具有平滑性的假设，构建像素间的亲密度，将透明度遮罩从已知区域传播到未知区域，从而解决图像抠图问题［9］。针对构建像素间的亲密度，Levin 等［10］建立局部像素之间线性组合的亲密度关系，利用代数的方法推导出图像的透明度遮罩。Kim 等［11］将图像每个像素的颜色、位置和纹理信息组成8 个通道，通过K-NN（k-Nearest Neighbour）聚类以细化前景透明度遮罩。Zhu 等［12］根据图像的透明度类型提出一种自适应透明传播抠图算法。基于传播的图像抠图方法在局部具有平滑特征的图上能获取高质量的抠图结果，然而在局部前景目标不连续的图像上就难以获得令人满意的透明度遮罩。

随着对图像抠图问题的进一步研究，基于像素对优化的图像抠图方法被提出，并将其获取像素对的方式细分为两个方向：基于采样的方法和基于演化优化的方法［13］。基于采样的方法是通过设计采样策略以获取像素对，从而解决图像抠图问题。早期基于采样的图像抠图方法利用像素颜色分布特征设计采样策略。例如，Chuang 等［14］通过采样得到空间变化的高斯集，以此对前景和背景颜色分布进行建模，从而估计出前景的透明度遮罩。Sun 等［15］为每个未知像素选择一些已知的前景和背景颜色作为候选子集，通过建立置信度函数筛选最佳样本。Hong 等［16］将LBP 纹理代价函数应用于采样策略，以此达到收集最佳像素对目的。Feng 等［17］使用稀疏编码建立像素对评价函数，在K-means 聚类得到的候选集中选择好的像素对。Karacan 等［18］通过KL 散度比较两个样本新的相异性度量，并在此基础上建立像素评价函数以获取最佳像素对。Huang 等［19］将每个未知像素的像素采样建模为一个多目标优化问题，并选择Pareto 最优像素作为样本，从而解决抠图问题。Shahrian 等［20］通过对像素进行分层聚类，同时选取聚类中心和已知区域边界上的像素作为样本，将局部采样扩展为全局采样获取最优像素对。上述基于采样的算法能快速解决图像抠图问题，但当高质量的样本较少时，易丢失高质量的像素对，导致图像抠图效果不佳。

针对高质量的像素对丢失问题，基于演化优化的图像抠图方法被提出，该方法能避免了在搜索空间中采样，从而解决高质量像素对丢失问题。例如，Liang 等［21］提出一种用于模糊多准则评价和分解的多目标进化算法，提高了像素对评价的准确性。Cai等［22］将图像抠图问题转化为组合优化问题，并通过设计离散蚯蚓优化算法实现透明遮罩的精确提取。Mohapatra 等［23］提出一种新的竞争群优化算法，该算法是向赢家学习以更新迭代，而赢家粒子则直接传递给下一代，提高了解的优越性。Huang 等［24］为了避免求解大规模优化问题时存在过早收敛问题，设计一种收敛速度控制器，作为粒子群算法的附加算子。Liang 等［25］提出一种多尺度进化演化的像素对优化框架，该框架可适应计算资源变化。上述方法能避免高质量像素对丢失问题，但当限制了其计算资源时，它们便失去获取最优像素对的能力。综上所述，当高质量的像素对较少时，基于演化优化的抠图方法能够在计算资源充足的情况下获取高质量的抠图结果，但当计算资源被限制时，就难以求出高质量的解。因此，对基于采样的图像抠图方法的研究尤为必要。

3 多准则采样抠图算法

3.1 问题描述

在自然图像抠图中，当高质量的像素对较少时，目前的采样策略难以获取高质量的像素对问题，其过程如图1所示。

Fig.1 Process of sampling pixel pairs图1 像素对采样流程

在自然图像抠图中，假设I是一幅图像，F、B和U分别对应三分图的前景区域、背景区域以及待求解的未知区域，F和B构成搜索空间S。基于采样的方法是通过设计优秀的采样策略在S中获取像素对样本Sp集合，使用像素对评价函数得到高质量的像素对xopt，其数学表达式为：

其中，f(*)表示前景背景像素对的评价函数，x表示未知区域像素对应的决策变量，(xf，xb)分别表示已知前景和背景区域像素对应的决策变量，F×B表示前景像素和背景像素的笛卡尔乘积。

基于采样的抠图方法能在低计算资源的情况下获取高质量的样本xopt，但其原理导致在采样过程中，难以避免降低搜索空间带来的样本丢失［26-27］，如图1 所示，其中深色区域为丢失的高质量区域。当高质量的像素对较少时，高质量样本丢失的机率就会增加，如图2所示。

Fig.2 Cases with fewer high-quality pixels图2 高质量像素较少的情况

在GT16 这幅图像中，其像素规模为800 × 536，对于未知区域中待求解的旗帜部分，高质量的像素存在于一小块区域当中，该区域的像素数量少于500，对于高质量的像素被采的概率也要小于0.0034。因此，在自然图像抠图中，当高质量的像素对较少时，采样难以获取到高质量的像素对。为了获取高质量的像素样本，下文将介绍多准则的采样抠图算法。

3.2 抠图算法

3.2.1 多准则采样策略

为了解决当高质量的像素对较少时，高质量的像素难以获取问题，本文假设高质量的样本存在于颜色相似的最佳局部区域，提出一种多准则的像素对采样策略。该策略使用像素的颜色距离和空间距离，从全局和局部角度考虑像素之间的相似性，再从颜色的角度考虑像素的全局性和局部性，从而获取高质量的像素对。

对于像素对采样策略，图像像素颜色特征被视为是最重要的特征之一。为了更好地利用图像的颜色特征，基于所提出的假设，使用像素间的颜色距离衡量像素之间的相似性，其计算公式为：

其中，dc是像素间颜色距离，Ii是未知区域中像素i的颜色值，IS是已知像素的颜色值，S是F和B构成搜索空间。当前景和背景像素的颜色极其相似时，颜色距离不能衡量前景像素和背景像素的差异性，因此使用像素的空间距离以增加前景像素和背景像素的差异性，其计算公式为：

其中，ds和db是像素的空间距离，Di是未知区域中边界像素i的欧式空间坐标，Sj是已知区域中像素j的欧式空间坐标，Db是未知区域中边界像素欧式空间坐标。

其中，Xc是采样获取的样本集合，Sp表示像素颜色相似的集合，ε是给定的颜色距离，则从空间距离角度考虑像素颜色的相似性采样公式为：

其中，Xs是采样获取的样本集合，Ss表示像素距离相近的集合，Xc和Xs样本组合构成了采样集合X=Xc∪Xs。

3.2.2 多评价联合的最优像素对选取策略

在像素对评价过程中，像素对评价函数的评价能力直接影响抠图算法获取最优像素的能力，为了使抠图算法估计的解具有最优性，本文联合色差评价［19］和模糊评价［21］函数去评价获取的样本集合，从而获取最优样本。

对于采样本集X={x1，x2，...，xm}，X对应的色差评价和模糊函数值分布表示为fc(X)和ff(X)，将fc(X)按升序重新排列得到fc(x(1))，fc(x(2))，...，fc(x(m))，联合评价H(x)的计算公式为：

其中，So是高质量像素对的适应值。

采样集合是一个高质量的样本集合，其样本规模相比于整个搜索空间是非常小的，因而联合评价函数的求解是一个比较简单的过程，只需计算采样集合中每一个样本的联合评价函数值，取最优值对应的样本即为最优样本xbest。

3.2.3 多准则的采样抠图算法

考虑当高质量的像素对较少时，抠图算法难以获取高质量的抠图结果。本文提出了基于多准则的采样抠图算法。该算法主要包括两部分：①多准则的采样策略，该策略从像素颜色的角度出发考虑像素局部和全局的相似性，再从空间距离的角度考虑像素颜色的相似性，依次配合获取高质量的样本；②多评价联合的最优像素对选取策略，该部分主要通过联合多个评价函数在样本集合获取最优样本。多准则采样抠图算法流程如图3所示。

采用SPSS 13.0统计学软件的数据进行处理。计量资料采用t检验，以“±s”表示；计数资料采用x2检验。以P＜0.05为差异有统计学意义。

Fig.3 Framework of sampling matting algorithm with multiple criteria图3 多准则的采样抠图算法框架

在多准则的采样抠图算法框架中，根据图像和对应的三分图划分图像已知区域的像素集合和未知区域的未知像素集合，通过多准则的采样策略和多评价联合的最优像素对选取策略获取最优样本，解决当高质量的像素对较少时，高质量的像素对难以被采样策略获取的问题。考虑图像局部平滑性的特征，在图像透明度遮罩估计部分，所提算法采用了Liang 等［21］提出的领域分组策略以估计图像透明度。

多准则的采样抠图算法解决了当高质量的像素对较少时，高质量的像素对难以被采样获取所导致的抠图精度问题。本文将通过Alpha Matting 基准数据集对上述所提算法进行验证分析。

4 实验与结果分析

4.1 实验设置

本文所有实验都在Alpha Matting 基准数据集上开展［8］，该数据集包含27 幅测试集图像、对应的三分和8 幅测试集图像以及对应的三分图。测试集图像给出了每一幅图的真实透明度遮罩以验证抠图算法性能。所有实验均在Intel（R）Core（TM）i73.00GHz CPU，16G 内存的服务器上运行。在上述实验环境基础上，本文分别设置了两组实验：①多准则的采样抠图算法消融实验分析，该实验主要分析多准则的采样策略和多评价联合的最优像素对选取策略各自有效性；②多准则的采样抠图算法与目前比较流行的图像抠图算法比较分析，本文所提算法与基于分组优化的抠图算法（DG）［27］、像素级采样的多目标离散抠图（PMDS）［19］、Kullback-Leibler 散度抠图（KL-D）［18］、金字塔抠图框 架（PMF）［25］、多目标 演化优 化的图 像抠图（MOEAMCD）［21］等较为流行的抠图算法进行比较分析，以验证多准则的采样抠图算法在高质量像素对较少时的抠图性能。

为了更好地展示抠图算法性能，本文选用均方误差作为图像抠图结果的定量评价指标，其计算公式为：

其中，αi表示未知区域中像素i的真实透明度遮罩，表示未知区域中像素i被估计出来的透明度遮罩，N是未知区域中像素的数量。

基于上述实验设置，给出多准则的采样抠图算法的消融实验分析和与目前比较流行的图像抠图算法比较分析。

4.2 消融实验分析

实验中使用Alpha Matting 数据中的27 幅图像，对应的三分图和基准的前景不透明遮罩作为实验原始数据，并设多准则的采样策略中参数ε=50。为了验证所提策略的有效性，分别设置了3 种情况：①多准则采样策略下的色差评价函数；②多准则采样策略下的模糊评价函数；③多准则采样策略下的联合评价函数。该实验分别在以上3种情况下与PMDS 抠图算法进行比较，以验证多准则的采样策略和多评价联合的最优像素对选取的有效性，实验结果如表1所示。

Table1 MSE of matting results of three cases PMDS表1 3种情况抠图结果与PMDS抠图结果的MSE

表1 给出了PMDS 抠图、多准则采样策略下的色差评价函数抠图、多准则采样策略下的模糊评价函数抠图和多准则采样策略下的联合评价函数抠图在Alpha Matting 基准数据集中27 幅图的平均MSE 以及部分图像的MSE。其中，3 种情况下抠图的MSE 均优于PMDS 抠图的MSE，并且在MSE 的数量级上，3 种情况下抠图的MSE 的数量级要比PMDS 抠图的MSE 低一个数量级。因此，实验结果表明，多准则的采样策略能够采样到高质量的像素对集合。通过比较多准则采样策略下色差评价函数抠图，多准则采样策略下模糊评价函数抠图和多准则采样策略下联合评价函数抠图的MSE，联合评价函数策略在所有图像上的平均MSE 不是最好的，但在高质量像素少的图像上，联合评价策略的MSE 都是最好的，例如，表1 所示的图GT10、GT16和GT23。实验数据进一步说明，多准则的采样策略和多评价联合的最优像素对选取在高质量像素少的图像上是有效的，并且能提升图像抠图精度。

由实验结果可知，基于多准则的采样策略和多评价联合的最优像素对选取策略在高质量像素少的图像上，其抠图效果更具有优势。

4.3 算法比较分析

在本实验中，将本文所提算法与目前比较流行的图像抠图算法抠图结果进行比较，以验证多准则的采样抠图算法优越 性。将DG［27］、PMDS［19］、KL-D［18］、PMF［25］、MOEAMCD［21］和多准则的采样抠图算法所求解的前景遮罩与标准前景遮罩的均方误差进行比较分析，实验结果如表2所示。

表2 展示了多准则的采样图像抠图算法、DG、PMDS、KL-D、PMF 和MOEAMCD 分别对Alpha Matting 基准数据中27 幅图像透明度遮罩估计的MSE。其中，多准则的采样图像抠图算法在大部分图上估计的不透明度遮罩的MSE 都要优 于所比较的DG、PMDS、KL-D、PMF 和MOEAMCD 抠图算法，并且MSE 的差距较为明显。数据结果说明，高质量的像素对存在于颜色相似的最佳局部区域。因此，多准则的采样策略能采样到高质量的像素对，所提采样的抠图算法估计出精度高的透明度遮罩。当图像出现前景背景像素极其相似的局部区域，多准则的采样图像抠图算法估计的透明度遮罩的MSE 高于MOEAMCD，但是MSE 的差距很小。实验结果进一步展示了多准则的采样图像抠图算法优于DG、PMDS、KL-D、PMF 和MOEAMCD 抠图算法。

Table 2 Image matting algorithm based on multi-criterion sampling，DG，PMDS，KL-D，PMF and MOEAMCD estimate the MSE of 27 image transparency masks in Alpha Matting benchmark data，respectively表2 多准则的采样图像抠图算法、DG、PMDS、KL-D、PMF和MOEAMCD分别对Alpha Matting基准数据中27幅图像透明度遮罩估计的MSE

为了进一步验证多准则的采样图像抠图算法，本文给出了多准则的采样图像抠图算法、KL-D、PMF 和MOEAMCD 分别估计的不透明遮罩的可视化比较，如图4所示。可以看出，多准则的采样图像抠图算法在高质量像素少的图像上估计出了很好的透明度遮罩结果，例如旗子的透明度遮罩（图4 第三行）和洋娃娃的头发透明度遮罩（图4第二行）都表现出了很好的抠图结果。

实验结果显示，多准则采样抠图算法在高质量的像素对较少时，获取了高质量的像素对，且与目前比较流行的算法进行比较，所提算法的综合抠图结果都最好。

Fig.4 Visualization comparison of matting result图4 抠图结果比较可视化

5 结语

针对图像中高质量像素对较少时，难以获取高质量的像素对问题，本文提出了多准则采样抠图算法，该算法通过像素对的多准则采样策略从全局相似性到局部相似性角度获取高质量的候选子集，从而解决了高质量的像素对丢失问题。在此基础上，设计多评价联合的最优像素对选取策略，该策略联合了多个像素对评价函数，避免了单一评价函数估计的解不是当前最优解。实验中，通过比较多准则采样抠图算法与目前比较典型算法的抠图结果，验证了多准则采样抠图算法的优越性，且在前景透明度遮罩和MSE 评价指标上都要优于目前比较典型的算法。

未来研究工作将主要集中在两方面：①局部复杂区域（局部前景背景信息极其相似的区域）的前景遮罩提取算法；②研究透明物体的高分辨率图形抠图算法。