基于纹理平滑和GrabCut的皮影图案轮廓的智能提取

刘静 庄梅玲 石历丽 高婷

摘要： 为客观有效地识别局部图案轮廓，实现可选择性目标的提取，文章以皮影图案为研究对象，针对皮影图像局部细节丰富、色彩饱和度高而背景信息干扰较大的特点，设计了皮影图案轮廓的智能提取算法。首先，采用相对总变差模型进行噪声与主结构的分离，实现图像的平滑处理;然后，设计GrabCut算法，通过分析图案轮廓的边界紧密度指标，确定最优的超像素分割数量，实现局部图案的优化分割;最后，运用Canny算子对分割后的皮影图案进行了轮廓提取。通过6幅皮影图像的轮廓提取实验结果表明，提出的方法准确完整地实现了目标图案的轮廓提取，且图案分割结果的像素准确度（PA）均大于95%。

关键词： 皮影;智能轮廓提取;相对总变差模型;超像素分割;GrabCut;Canny

中图分类号： TS941.2

文献标志码： A

文章编号： 1001-7003（2020）11-0020-08

引用页码： 111104

Abstract： In order to identify the local pattern contour and extract the optional target， this paper takes the shadow pattern as the research object. According to the characteristics of rich local details， high color saturation and strong interference of background information in the shadow image， an intelligent contour extraction algorithm for shadow patterns was designed. First of all， in order to achieve image smoothing， the relative total variation model was used to separate the noise from the main structure. Then， the GrabCut algorithm was designed. By analyzing the boundary compactness index of the pattern contour， the optimal super-pixel segmentation quantity was determined to realize the optimal segmentation of the local pattern. Finally， the contour of the segmented shadow pattern was extracted by Canny operator. The contour extraction experiment results of 6 shadow images showed that the method proposed in this paper could extract the contour of target pattern accurately and completely， and the pixel accuracy（PA） of the pattern segmentation was greater than 95%.

Key words： shadow play; intelligent contour extraction; relative total variation model; super-pixel segmentation; GrabCut; Canny

皮影是一門“动则成戏，静则成画”的古老艺术，蕴含着独特的美学特征和传统的文化内涵，至今已有两千多年历史[1]。皮影图案多采用仿生手法呈现，大体可以分为花草植物、鱼鸟动物及云纹水波三种图案类型。这些图案造型精美、内涵丰富，极具装饰性，在包装、服饰及家居用品[2-4]上已有大量应用。皮影艺术也极具地域性，不同的皮影图案可有效反映出所在时代和地域的文化特点及变迁。随着时代的发展，娱乐形式愈加多样化，皮影戏及皮影艺术正面临着退出历史舞台的危机。目前，对于皮影图案的研究主要集中于从艺术分析、应用及传承保护的角度进行[5-7]，对于图案提取技术的研究较少涉及。将计算机图像处理技术应用于皮影图案研究，有助于更深入探析其内在文化及更加客观的再设计应用，为信息时代皮影艺术的传承拓展新方向。区别于通用服饰图案，皮影中的服饰图案具有以下特点：1）色彩分明，饱和度高，互补色运用比例高，色块间对比反差大;2）以雕刻刀口留白的形式作为图案装饰和边缘划分;3）局部纹样细节丰富、背景复杂、刻工精细且图案饱满。

为消除噪声的干扰，进行轮廓提取前，一般采用平滑算法进行图像滤波。目前为止，在常见的服饰图案处理中，大多以均值、高斯及中值滤波等[8-9]传统的滤波算法进行图像处理。这些算法虽能达到较好的平滑效果，但经常会出现边缘模糊，导致部分细节失真。对于皮影中以刀口留白来区分图案边缘的图像而言，采用这些算法会造成小尺寸的图像留白部分边缘模糊，丢失细节部分，不利于后续的图像分割及轮廓提取。而相对总变差模型[10]（relative total variation，RTV）采用独特的变差算法，能够清晰地分辨出无规则的噪声部分及相对稳定的主结构部分，在平滑噪声的同时有效保留图案边缘。

近年来，在服饰图案轮廓和造型提取的研究中，基于聚类的图案分割方法较为流行。比如，李俞霏等[11]采用K-means聚类算法对明代赐服图像中的色彩进行聚类，实现了不同色彩纹样的分割;傅艺扬等[12]利用密度峰聚类算法在色彩空间内对织物进行分割聚类，最终分割并提取出提花织物纹样;邢乐等[13]采用Mean-Shift聚类算法，获取了云肩实物图像的主要色彩及图案的分割结果。上述研究方法对单目标图像进行整体的色彩聚类而实现图案造型与轮廓的提取，虽能准确获得图案纹样的分割结果，但对于皮影这种服饰图案与影人躯干结合紧密、图案纹样仅集中于局部且背景相对复杂的图像而言，该类整体化的图像色彩聚类方法无法准确分离背景与目标图案，所提取图案的独立性、完整性将有所欠缺。而Rother等[14]提出的Grabcut交互式图案分割方法在Grabphcuts[15]的基础上，将Gauss混合模型代替灰度直方图模型对前景和背景进行了颜色分布建模，通过简单的交互操作分割前景和背景。该方法虽然能够实现可选择性的局部目标提取，但会因为背景颜色与目标图案颜色相近而导致分割结果的不准确，且由于Gauss混合模型的建立增加了算法的运算时间。本文结合皮影图像的特点，将简单线性迭代聚类算法（simple linear iterative clustering，SLIC）与GrabCut算法结合，提出了一种改进的图案分割算法：首先细化聚类分割拟合目标图案边界，再利用GrabCuts算法进行交互式目标提取，使其在完成皮影图案的选择性提取的同时，增加了目标图案分割的准确性及运算效率。

本文设计轮廓提取算法流程如图1所示。首先，对输入的皮影图像进行平滑处理;其次，采用简单线性迭代聚类算法对平滑后图像作超像素分割;然后，使用GrabCut算法分割提取局部图案;最后，运用Canny算法提取图案边缘轮廓。

1 图像平滑

由于皮影艺术中影人的制作是使用驴皮等动物皮裁剪后进行的人工上色处理，受技术原因或上色工艺影响会产生污点及上色不匀的情况，且这些随机产生的污损（噪声）通常不具有规则性，对提取清晰的皮影图案轮廓造成了困难。相对总变差模型由于其独特的变差算法，能够清晰地分辨出无规则（方向多变）的纹理及相对稳定的主结构，适用于非统一的或各向异性的纹理[16]，可以有效分离皮影图像中的噪声纹理与主结构轮廓，具有较强的纹理抑制鲁棒性。

1.1 RTV算法设计

式中：σ为空间尺度参数，控制窗口的尺寸，根据所处理的图像纹理的大小进行选取，决定着图像的平滑程度。

2） 参数最小化，计算滤除小尺度纹理后的图像S：

式中：λ为图像平滑程度系数，控制保真项与相对总变差的比例，同样控制着图像的平滑程度。

1.2 平滑参数分析

控制图像平滑程度的两个参数分别为平滑程度系数λ和空间尺度参数σ。

1） 平滑程度系数λ：取值一般在0～0.03，仅调节λ并不能使噪声和图案有效分离，当单独增加λ可能造成图像的模糊并且不需要的纹理反而被保留下来[17]，所以需要与空间尺度参数σ并行调整。

2） 空间尺度参数σ：取值一般在0～6[10]，σ的取值由图像中污点的尺寸大小决定，增加σ可很好地去除干扰噪声信息及平滑图像污点。

3） 实验结果中的参数分析：在上述的范围内进行λ和σ两个参数的调整，使用Microsoft Windows 10系统下的MATLAB 9.7软件平台运行该算法，所用工具箱为Image Processing Toolbox 11.0版。对皮影图像进行平滑处理，得到结果如图2、图3所示。

从图2的结果对比发现，该算法在4次就可达到收敛状态。从图3（a）～（d）可看出，对于一些小尺寸的图像污点，σ增大到2～3时的平滑效果比较显著，噪声消除。但σ=3时，图案的细节部分有一定程度上丢失，所以选取空间尺度参数σ=2。同时，增加λ值对平滑效果的影响也非常大。从图3（e）～（h）可看出，随着λ的增大，图像中的一些细节也会被平滑，但是λ的取值过小，也会使图像的污点部分保留下来，所以在处理皮影图像时，选取平滑程度系数λ为0.01～0.02。

2 图像分割

影人服饰与常用服饰不同，影人中的服饰不可脱卸，且图案常与身体部位连接，无法脱离整体单独进行提取分析。因此，为了有选择性地提取皮影图案的轮廓，本文采用GrabCut[14]算法对皮影图像进行局部分割。GrabCut是一种交互式的图像分割算法，该算法在GraphCuts算法的基础上提出，是一种基于图论的分割方法[18-19]，仅需要简单的交互操作，即可达到较好的图像分割效果。

为提高GrabCut算法的图像分割的效率及准确度，降低算法复杂度，在进行皮影图像分割前，本文首先采用SLIC算法进行超像素块提取。SLIC算法是根据颜色差异和距离邻近性生成超像素块进行图像分割的聚类方法[20]，适用于颜色饱和度高且色块间差异显著的皮影图像。

2.1 SLIC算法設计

首先指定期望生成的超像素数量n，然后将图像转至CIE Lab空间，每个像素对应的三通道颜色值（L，a，b）和坐标（x，y）组成一个5维向量C=[L，a，b，x，y]T。图像S包含N个像素点，相邻超像素块的聚类中心点（种子点）之间的距离为H。在2H×2H领域内，两个像素的相似性（距离）由它们的色彩差异dLab和位置距离dxy来度量。n个聚类中心向量Cj=[Lj，aj，bj，xj，yj]T，j∈{1，2，…，n};则点Ci=[Li，ai，bi，xi，yi]T，i∈{1，2，…，N}到聚类中心的距离Ds定义为：

式中：m为控制超像素空间紧密度的参数，取值范围为1～20（默认为10），其值越大，就越强调空间接近程度，聚类越紧凑。

2.2 GrabCut算法设计

首先将超像素分割后的皮影图像Sp映射成带有权值的

网络图（图4），然后建立对应的能量函数E（α，k，θ，z），每条边的权值根据能量函数的数据项和平滑项确定，最后采用最大流/最小割算法对网络图进行分割，获得最小化的能量函数，实现图像的分割。具体步骤设计如下：

2.2.1 超像素分割

采用SLIC超像素分割后具有n个超像素集的图像Sp=（Sp1，Sp2，…，Spn）作为分割图像，并用超像素块作为节点构建s-t图。

2.2.2 参数初始化

4） 重复步骤3，更新高斯参数θ，直到能量函数E收敛。

2.2.4 结果输出

将分配后的超像素块按照坐标还原成原图，输出αi=1的超像素，得到最终分割结果图像。

2.3 结果分析与对比

2.3.1 超像素数量

超像素分割的精确度对后续的GrabCut分割影响非常大，一定程度上决定着最后目标分割的效果。因此，为客观分析图像超像素分割数量对图像分割精度及时间的影响，获得最优的超像素数量，本文设计评价指标——边界紧密度η进行超像素分割精度评价。以超像素个数n=300时的分割结果为例，η为超像素目标边缘领域内所含正确的像素数量（图5（c）中阴影区域）与实际分割所得目标边缘分类像素数量（图5（b）中阴影区域）的比值。

从图6可以看出，随着超像素个数的增加，除n=150时的运行时间在0.42 s内，其他运算时间均在0.424～0.432 s。在n>900时，运行时间有增加趋势，但其边界紧密度η无显著增加。由此得出，在n=900时，分割效果最为显著，且耗时较少，此时的边界紧密度η=99.5%。

由实验结果可知，虽然超像素分割数量越多精确度越高，但是达到一定的数量后，分割精度就很难再增加，反而会导致运行时间延长。因此，在进行超像素分割时，应根据自身所处理的图像尺寸大小合理选择分割数量。

2.3.2 图案分割结果分析

为对本文提出算法的实验分割结果进行定量的客观评价，使用PS软件人工抠出的目标图案作为正确分割的参照对象（图7（b）），采用分割精确度评价指标—像素准确度（PA）来评估目标图案的分割精度[21]。PA为分类正确的像素数量与所有实验所得分类像素数量的比值：

式中：TP为分类正确的像素数量，FP为分类错误的像素数量。

图7（a）为目标图案选取的简单交互操作。根据人工分割出的目标图7（b）得出，正确分类的像素数量TP=146 876;实验所得分割图7（c）的像素数量TP+TF=152 891，像素准确度PA=0.96。由实验结果可看出，本文算法仅需简单的交互操作，就能实现满意的分割结果。

为进一步验证算法的有效性，将本文算法（简称为GABRS算法）与GrabCut[14]算法、Graph cuts[15]算法及基于本文算法但去除平滑处理部分的算法（简称为GABS算法）进行比较。其中，GABRS为GrabCut Algorithm Based on RTV and SLIC的缩写;GABS为GrabCut Algorithm Based on SLIC的缩写。由图8（a）可见，未进行超像素分割的图像直接采用GrabCut算法进行目标分割时，由于背景中的色彩分布与目标图案中的色彩非常相似，导致目标图案无法精确分离。由图8（b）可见，经平滑处理后的Graph cuts算法进行目标分割，该算法未能正确识别并分割出目标图案，这是因为该算法自身的分割结果更倾向于具有相同类内相似度[22]的特性决定的，即在目标图案的选取时，背景中所含有的与目标相似的部分也会被选择出来，从而导致目标图案难以从背景中分离。由图8（c）可见，对未经平滑处理的图案分割结果出现大量冗余信息，分割精度受到影响。这是由于皮影图像本身的噪声对分割结果的影响导致，而平滑后的图像中目标图案的分割结果（图8（d））精确度显著提高。通过实验结果的比较分析得出，本文算法的分割精度优于其他三种算法。表1展示了不同算法分割结果的PA值。

表2为本文算法对其他皮影图像的目标分割及轮廓提取结果。本文算法不论是在前景与背景区别明显的图像（表2中虾的分割），还是在一些前景与背景复杂图像（表2中莲叶的分割），所得分割结果的PA值均大于0.95。实验说明，本文算法在各种场景下的鲁棒性较强，简单的交互操作可以有效地分割出目标图案，在较准确地预测出目标像素的同时，预测错误的像素也较少。

3 轮廓提取及结果分析

为获得单像素宽且精确度高的图案轮廓，本文采用Canny边缘检测算子进行目标的轮廓提取。Canny算子是根据需求逐步推导出的边缘检测算子，该算子采用高斯滤波对图像进行平滑处理，在一阶微分的基础上定位局部图像边缘[23]。能够检测出真正的弱边缘，得出的轮廓清晰、完整且准确性高。

将未经图像平滑处理的GABS算法和经过图像平滑处理的GABRS算法分割后的图案进行Canny算子轮廓提取，提取结果如图9所示。

图9结果表明，两类算法处理后的图案的目标轮廓提取结果存在着明显差异。由图9（a）可见，对未经平滑处理的图像所提取的目标轮廓含有大量疵点，这是皮影图案本身所含噪声像素对轮廓识别时产生的影响，导致提取的图案轮廓精度较低。而平滑后的图像（9（b））所提目标图案的轮廓精确度显著提高，提取出来的图案轮廓与原图案高度吻合。同时，本文算法（GABRS）应用在其他多幅图像的提取效果（表2）也表明：本文设计的目标图案轮廓识别算法可获得更加清晰且精确的目标轮廓，所含噪声少，目标图案的有效边缘得到最大程度的提取。

4 结 论

针对背景复杂、细节丰富而又极具文化内涵的服饰图像提取研究中存在的图案轮廓提取信息不全而导致的图案不完整、边缘不准确的问题，本文以皮影图像为代表，提出一种基于相对总变差平滑和Grabcut交互式的局部图案分割提取方法，能够准确地分割目标图案并且提取完整的轮廓。引入图像分割客观评价指标PA，将本文算法与其他三种算法进行了对比，并用6幅图像的局部图案进行分割算法实验，获得像素准确度PA均大于95%的结果，证实了本文的算法能够实现准确的局部图案轮廓提取。

然而，本文方法还有一些不足：1）由于算法的交互性，存在一些目标选取的主观因素，会在一定程度上影响分割结果的稳定性，以后的研究中有待提高;2）本文提出的算法更适合于单目标图像的局部图案分割，对于多目标图像有一定的局限性。后续工作将着重围绕上述问题展开，同时考虑对提取的图案及其轮廓构建相应数据库并进行分类，将进一步研究皮影图像的局部分割提取技術，以提高分割准确率和效率。

参考文献：

[1]闫子飞， 朱琳. 皮影图案在现代设计中的创新应用[J]. 前沿， 2014（17）： 232-233.

YAN Zifei， ZHU Lin. Innovative application of shadow pattern in modern design[J]. Forward Position， 2014（17）： 232-233.

[2]钟梦莹. 成都皮影视觉语言在土特产包装中的应用研究： 以四川灯影牛肉包装设计为例[D]. 成都： 西南交通大学， 2014.

ZHONG Mengying. The Research of Applying Chengdu Shadow Play Graphics Language to Native Products： In the Case of the Package Design of Sichuan Deng Ying Beef[D]. Sichuan： Southwest Jiaotong University， 2014.

[3]于雪. 唐山皮影造型形式在民族服裝设计中的应用[D]. 石家庄： 河北科技大学， 2012.

YU Xue. Application of Tangshan Shadow Modeling Form in National Fashion Design[D]. Shijiazhuang： Hebei University of Science and Technoligy， 2012.

[4]苏淼， 鲁佳亮， 林海雷. 皮影造型艺术在现代丝绸家纺中的应用[J]. 丝绸， 2012， 49（5）： 41-44.

SU Miao， LU Jialiang， LIN Hailei. Application of Chinese shadow play art in the modern silk home textile design[J]. Journal of Silk， 2012， 49（5）： 41-44.

[5]郭琳. 皮影戏的艺术特色及传播[J]. 河南社会科学， 2020， 28（2）： 119-124.

GUO Lin. Artistic characteristics and dissemination of shadow play[J]. Henan Social Sciences， 2020， 28（2）： 119-124.

[6]刘海英， 刘颁， 韩福丽， 等. 皮影元素在旅游纪念品设计中的应用研究[J]. 包装工程， 2018， 39（24）： 333-339.

LIU Haiying， LIU Ban， HAN Fuli， et al. Application of shadow element in the souvenir design[J]. Packaging Engineering， 2018， 39（24）： 333-339.

[7]杨保红. 非物质文化遗产民俗艺术造型保护与发展： 以河南罗山皮影为代表[J]. 经济研究导刊， 2020（10）： 50-52.

YANG Baohong. Protection and development of intangible cultural inheritance and folk art modeling： represented by Luoshan shadow puppets in Henan province[J]. Economic Research Guide， 2020（10）： 50-52.

[8]吴晓军. 基于图像理解的智能服饰搭配研究[D]. 成都： 电子科技大学， 2017.

WU Xiaojun. Intelligent Matching Based on Image Understanding[D]. Chengdu： University of Electronic Science and Technology of China， 2017.

[9]向忠， 何旋， 钱淼， 等. 基于边缘和颜色特征的织物印花花型检索[J]. 纺织学报， 2018， 39（5）： 137-143.

XIANG Zhong， HE Xuan， QIAN Miao， et al. Printed fabric pattern retrieval based on edge and color features[J]. Journal of Textile Research， 2018， 39（5）： 137-143.

[10]XU L， YAN Q， XIA Y， et al. Structure extraction from texture via relative total variation[J]. ACM Transaction on Graphics（TOG）， 2012， 31（6）： 1-139.

[11]李俞霏， 梁惠娥. 明代织物纹样的智能提取： 以斗牛袍为例[J]. 丝绸， 2018， 55（11）： 53-58.

LI Yufei， LIANG Huie. Intelligent extraction of patterns from Ming dynasty fabrics： the case study of the bullfight robe[J]. Journal of Silk， 2018， 55（11）： 53-58.

[12]傅艺扬， 刘妹琴， 樊臻， 等. 基于纹理滤波和颜色聚类的提花织物纹样自动提取方法[J]. 丝绸， 2019， 56（12）： 9-15.

FU Yiyang， LIU Meiqin， FAN Zhen， et al. Automatic pattern extraction of jacquard fabric based on texture filtering and color clustering[J]. Journal of Silk， 2019， 56（12）： 9-15.

[13]邢乐， 张杰， 梁惠娥， 等. 传统服饰云肩实物图像主色的智能检测[J]. 纺织学报， 2017， 38（11）： 110-115.

XING Le， ZHANG Jie， LIANG Huie， et al. Intelligent inspection of dominant colors for Chinese traditional folk Yunjian[J]. Journal of Textile Research， 2017， 38（11）： 110-115.

[14]ROTHER C， KOLMOGOROV V， BLAKE A. "GrabCut"： interactive foreground extraction using iterated graph cuts[J]. Acm Transactions on Graphics， 2004， 23（3）： 309-314.

[15]BOYKOV Y， JOLLY M P. Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images[C]//Proceedings of the 8th IEEE International Conference on Computer Vision. Vancouver， Canada： IEEE， 2001： 105-112.

[16]GONZALEZ R C， WOODS R E， EDDINS S L. Digital Image Processing Using MATLAB[M]. 2nd Edi. Beijing： Publishing House of Electronics Industry， 2009.

[17]向军， 张杰， 潘如如， 等. 采用纹理平滑的印花织物图案轮廓提取[J]. 纺织学报， 2017， 38（11）： 162-167.

XIANG Jun， ZHANG Jie， PAN Ruru， et al. Graphic contour extraction for printed fabric based on texture smoothing[J]. Journal of Textile Research， 2017， 38（11）： 162-167.

[18]TANG M， AYED I B， MARIN D， et al. Secrets of GrabCut and kernel k-means[C]//IEEE International Conference on Computer Vision. Santiago， Chile： IEEE， 2015： 1555-1563.

[19]JI Z H， YU S D， WU S B， et al. Improved GrabCut for human brain computerized tomography image segmentation[C]//International Conference on Health Information Science. Shanghai： Fudan University， 2016： 22-30.

[20]刘洋， 周宁宁. 基于SLIC的图像分割方法研究[J]. 计算机技术与发展， 2019， 29（1）： 75-79.

LIU Yang， ZHOU Ningning. Research on Image Segmentation Method Based on SLIC[J]. Computer Technology and Development， 2019， 29（1）： 75-79.

[21]廖旋， 繆君， 储珺， 等. 融合分割先验的多图像目标语义分割[J]. 中国图象图形学报， 2019， 24（6）： 890-901.

LIAO Xuan， MIAO Jun， CHU Jun， et al. Multi-image object semantic segmentation by fusing segmentation priors[J]. Journal of Image and Graphics， 2019， 24（6）： 890-901.

[22]姜枫， 顾庆， 郝慧珍， 等. 基于内容的图像分割方法综述[J]. 软件学报， 2017， 28（1）： 160-183.

JIANG Feng， GU Qing， HAO Huizhen， et al. Survey on content-based image segmentation methods[J]. Journal of Software， 2017， 28（1）： 160-183.

[23]禹晶， 孙卫东， 肖创柏. 数字图像处理[M]. 北京： 机械工业出版社， 2015： 278-294.

YU Jing， SUN Weidong， XIAO Chuangbo. Digital Image Processingm[M]. Beijing： China Machine Press， 2015： 278-294.