基于深度学习的清代云肩纹饰图案提取路径研究

关 瑛, 于瀚超, 王秀峰, 曹新强

(陕西科技大学 a.设计与艺术学院; b.丝路文化传承与创新设计研究中心; c.材料科学与工程,西安 710016)

云肩作为中国传统服饰的代表之一,具有装饰图案丰富、文化哲理深邃的特点,且纹饰的艺术语言有着极高的研究价值[1]。由于云肩广泛流传于民间,致使其保存残缺,导致云肩纹饰在研究过程中样本获取困难重重,严重影响了收藏爱好者与学者们的研究,限制了云肩纹饰的保护及应用。因此,在织物纹饰图像分割领域中,有效提取云肩纹饰,逐步完善云肩数字保护资源库愈发重要。现有相关学者已开展并完成一些相关研究工作,如分别在传统分割领域和深度学习领域的纹饰提取研究[2]。在传统分割纹饰提取研究中,向军等[3]为丰富印花产品的种类,提出平滑掉织物图像中纹理结构,并用Canny算子检测印花织物中图案轮廓的方法;傅艺扬等[4]为提高提花织物纹样提取的准确性,提出一种基于纹理消除滤波算法和密度峰聚类算法的纹样提取方法。在深度学习纹饰提取研究中,覃琴等[5]针对苗族服饰图像分割模型存在服饰掩码拟合质量不高的问题,提出基于渐进式注意力学习的多尺度深度学习金字塔模型;Wang等[6]为提高服装图像分割的性能,开发一种改进的服装图像分割DeepLab模型;He等[7]通过利用目标检测技术和深度残差网络(ResNet)提取综合服装特征,提出了服装图像识别的多深度特征融合算法。这些研究工作虽然验证了织物中图案提取的可行性,但传统分割方法针对大批量样本,无法达到实时性的要求。同时,深度学习对于纹饰图案多样性的情况,各算法在清代云肩数据集中普适性上表现欠缺。针对上述问题,本文以清代云肩实物为研究样本,利用U-Net算法为基准网络,通过采用损失函数与优化训练过程,充分发挥训练参数优化的优势来提高分割模型的准确性和鲁棒性,同时将训练参数优化后的U-Net模型与其他三种方法对比,发现该方法可以获得较优的分割效果。

1 清代云肩纹饰图像分割系统框架

本文系统框架如图1所示,该流程包括清代云肩图像数据集构建、U-Net网络搭建及参数训练、算法对比三个部分。

1) 建立样本库。高分辨率样本通过图像裁剪操作后分成512×512 dpi像素图像,建立清代云肩图像及其图像标签的数据集,并将其划分为训练集和测试集。

2) 搭建U-Net网络及参数训练。将带有清代云肩纹饰真实标记的图像数据和样本在U-Net模型中反复迭代训练,优化网络模型中关键参数并对各参数进行对比实验,将已训练的U-Net最优网络应用于清代云肩纹饰图像上进行纹饰分割。

3) 算法对比实验。选取各网络的最优模型对该数据集进行纹饰分割,将分割结果与参数优化后的U-Net模型分割结果进行对比,选取各项指标最优算法用于提取清代云肩纹饰图案任务。

图1 清代云肩纹饰图像分割系统框架Fig.1 Image segmentation system frame of Yunjian decoration in the Qing Dynasty

2 U-Net算法模型及评价指标

2.1 U-Net算法模型

Ronneberger等[8]在2015年设计了U型结构网络并命名为U-Net算法,该网络最初被用在神经结构与细胞结构中的图像分割任务中,目的是解决医学图像中边界模糊、梯度复杂的问题。

如图2所示,U-Net算法是一种编码—解码的网络结构,其左侧为编码结构,右侧为解码结构。U-Net编码器结构中,特征提取是通过3×3的卷积层进行提取,两次卷积之后进行一次下采样操作,下采样由最大池化层构成,该操作过程中特征图尺寸都会缩为原来的一半,在编码过程中,将会进行四次下采样操作。U-Net解码器结构中,解码过程是由上采样操作和反卷积操作组成。每进行一次反卷积,该操作后的特征图会与下采样中的同层级、同尺寸的特征图融合,在与低级特征进行融合后将会对融合后的特征图进行降维,特征图将通过四次上采样操作之后被还原到最初尺寸,最后通过1×1的卷积将原始尺寸的特征图继续降维完成分类。

图2 U-Net结构Fig.2 Structure of U-Net

2015年U-Net问世以来,该算法解决了一般卷积神经网络用于医学图像分割的问题,并在其他场景下逐步应用。U-Net算法在模型训练收敛速度和运行速度上表现较好,不仅可以运用到大型训练数据集中,也在少量样本训练中表现良好。U-Net在图像的低级特征对图像中复杂场景下的对象进行识别或检测具有局限性,并且由于图像中的细节信息不完整,仅通过图像语义特征来提取完整的图像边界不切实际。因此,在低级别和高级别的图像特征融合上,U-Net巧妙通过跳跃连接的处理将其实现。本文针对清代云肩的数据集,尝试利用U-Net算法模型解决清代云肩纹饰图像分割。

2.2 模型评价指标

图像分割任务结束后,实验出来的最终结果图,需要将网络模型预测的图像与人工标注的图像标签进行比对来衡量图像分割算法的优劣。因此,本文采用的指标评价为准确率(Accuracy)、召回率(Recall)、Dice系数和平均交并比(MIoU)。

准确率(Accuracy)为在纹样像素总数中被正确分类的纹样像素数,通常被用来衡量图像分类网络模型对像素分类的性能。其计算如下式所示:

(1)

召回率(Recall)为真实类别为纹样的像素被网络模型分类正确的概率。其计算如下式所示:

(2)

Dice系数通常被医学图像分割用作常用的评价指标,该指标用于对网络模型预测值与真实标注的相似度进行评估。[0,1]为Dice的取值范围,在评估中其得到的分值越高,表示该模型在分割结果中表现越好,其得到的分割结果与真实标注越接近。其计算如下式所示:

(3)

式中:TP表示预测为1,实际也为1像素的总数;TN表示预测为0,实际也为0像素的总数;FP表示预测为1,实际则为0像素的总数;FN表示预测为0,实际则为1像素的总数。

平均交并比(MIoU)为语义分割任务中的标准度量。在分割结果的指标评价任务中,平均交并比需要进行真实值和预测值这两个集合的交集并集之比。其计算如下式所示:

(4)

式中:pij表示真实值为i,被预测像素为j的数量,k+1是分类类别个数;pii是真正像素的数量;pij、pji则分别表示假正和假负。

3 实验与结果分析

首先,构建清代云肩纹饰图像样本库;然后搭建实验操作平台,并对网络模型的超参数进行设置并训练对比;最后,将最优的语义分割网络进行实验对比。

3.1 清代云肩纹饰图像样本库构建

3.1.1 数据集介绍

清代作为云肩发展历史上的鼎盛时期,具有种类丰富、做工细致、纹饰精美、文化内涵丰富的特点,是兼具实用功能与展示功能的文化产物,饱含丰富的人文寓意,是中国古代艺术宝库中的极具特色的艺术类型[9]。清代云肩的纹饰色彩鲜明、种类繁多,以植物纹和动物纹居多,草木、花朵和动物纹样之间有着醒目的视觉对比效果。

实验采用图像数据集是中国清代古纺织服饰文物云肩,如图3所示。尼康(Nikon)D850相机用于拍摄样本照片,共采集到44个2 048×7 168 dpi像素的样本和6个2 272×3 175 dpi像素的样本。为扩大样本数量及减少GPU消耗,将采集到的样本进行顺序切割处理,每张照片经过裁剪分成512×512 dpi像素的样本,去除无纹饰的图像,总共得到1 011张清代云肩的纹样图像。

图3 清代云肩数据集构建Fig.3 Construction of Yunjian dataset in the Qing Dynasty

3.1.2 数据集标注

经过切割的样本将直接作为U-Net网络模型的输入数据,本文以512×512 dpi像素的图像为初始样本数据集。为获取满足需求的云肩纹饰样本,利用Labelme标注工具人工标注出正确的云肩纹饰样本,由于Labelme标注出来的格式为json文件,故将其可视化转换为png格式,并二值化处理为单通道的黑白图像,其中定义纹饰区域的RGB值为(255，255，255),非纹饰区域的RGB值为(0，0，0)。原始图像和标注图像示例如图4所示。

图4 原始图像及标注图像示例Fig.4 Samples of initial images and annotation images

3.1.3 数据集划分

深度学习中网络模型将数据集分为训练集、验证集和测试集。由于清代云肩的数据集数量相对较小,为了获取不同纹饰图像类型的语义特征,使U-Net模型在训练中loss降到最低,得到更好的分割结果,因此将1 011张清代云肩数据集图像按照7︰3的比例随机抽取分为训练集与测试集,707张用于训练模型,304张用于测试模型。通过随机划分清代云肩数据集图像,不同纹饰之间的特征进行互补,使模型的泛化能力得到提升,尽可能提取到完整的纹饰图像。

3.2 实验设置

实验过程中的计算机硬件平台参数:GPU为NVIDIA GeForce RTX2070,CPU为AMD Ryzen7 2700 Eight-Core Processor 3.20 GHz,内存为16 GB。实验采用基于Pytorch深度学习框架,通过Python语言实现U-Net网络模型的搭建、训练和测试等部分工作。

实验中U-Net采用Adam优化器,初始学习率(Learning rate)为0.000 1,批大小(batch_size)为16,训练100轮次(Epoch),损失函数使用多分类交叉熵函数:

(5)

受限于实验硬件环境的限制,本实验所支持的batch_size的最大值为16,不同batch_size对实验的影响也会不同。在合理的范围内,batch_size越大,其确定的下降方向越准,引起的训练震荡越小,同时可以提高内存的使用率,所以本实验中batch_size设置为16。

3.3 参数优化实验

为得到清代云肩纹饰图像分割任务中效果最好的参数,实验中分别将lr和batch_size设置为变量进行对比,分割精度如表1所示。

表1 不同参数对比实验结果统计Tab.1 Statistics of experimental results obtained by comparing different parameters

由表1得知,当U-Net模型的初始学习率lr为0.000 1,批大小为16时,在该分割任务中效果最好,各评价指标Acc、Recall、MIoU和Dice精度高达97.57%、97.84%、92.04%、93.27%。在lr确定时,batch_size为16的Acc比其他参数中最高的要高出0.16%,Recall高出2.41%,MIoU高出0.43%,Dice高出0.02%;在batch_size确定时,lr为0.000 1的Acc比其他参数中最高的要高出0.27%,Recall高出2.56%,MIoU高出0.53%,Dice高出0.44%。

从整体来看,该套参数均高出其他参数的结果,因此在该语义场景下的清代云肩纹饰图案分割,利用U-Net模型可达到最优效果。另外,为分析各参数在训练过程中的loss收敛情况,将各个参数的训练100轮次的训练数据结果分别统计(图5),可以看出各个参数的训练过程。

图5 实验中的训练集和测试集lossFig.5 Training set and test set loss in the experiment

从图5可以看出,该过程是一个收敛的过程,各参数的收敛均能使模型达到较好的优化。当batch_size为16时,各模型的训练集在训练过程中均处于收敛过程。其中当lr为0.000 1时,收敛效果最好,训练完成后,模型测试集的loss亦处于一个拟合收敛过程,但lr为0.000 1时收敛更为明显,在接近100时达到最低值,模型收敛效果最好,loss值最低。当lr确定时,各模型的训练集亦是一个平稳收敛的过程,batch_size为16的模型收敛有微小优势,训练完成后,各模型测试集的loss开始处于一个平稳收敛过程,在接近于100轮次后,batch_size为4和8的收敛出现了过拟合现象,导致该参数下的loss收敛效果不明显,模型泛化能力不足。

因此,在当batch_size=16、lr=0.000 1时,U-Net网络模型的收敛呈逐步下降的态势,在此过程中U-Net模型达到了较好的泛化能力,从而在清代云肩纹饰图像分割任务中可以高效进行分割任务。

3.4 模型对比实验

实验选取3种语义分割网络与本文中训练好的语义分割网络进行对比,分别为U-Net++[10]、SegNet[11]、Deeplab V3。其中,U-Net++是在U-Net的基础上进行模型优化的改进算法,SegNet是深度学习的经典算法之一,Deeplab V3是近年比较热门的算法之一。因此,选取这3种算法在本实验中可以验证U-Net网络模型在清代云肩纹饰提取任务中的有效性。

将相关参数调为一致,每个算法的网络模型进行100轮次的训练,使用训练结果最好的网络模型对云肩纹饰图案进行分类。图6为各网络在清代云肩纹饰数据集中的分割结果示例,并用虚线方框标注出各分割结果明显不一致的地方。由图6可以看出,本文通过训练U-Net在云肩纹饰图像的场景下,分割效果较其他网络更优,分割细节与其他网络相比更加清晰,与真实标注更接近。

图6 不同网络模型对清代云肩纹饰分割结果示例Fig.6 An example of segmentation results of Yunjian decoration with different network models in the Qing Dynasty

在与其他算法的对比实验中,针对图6(a)的纹饰图案较为简单的情况下,分割效果都表现良好,具有较为明显的外轮廓线,其他算法与参数训练后的U-Net算法相比都出现纹样边界的线条连接不够圆滑、背景中有些许杂质和纹样内分割不完整等问题。其原因主要在于纺织文物中会出现褶皱、纹饰部分色彩与其背景色彩相似,导致其余算法中捕捉到的边缘信息过于复杂,纹饰图案捕捉特征较少。在图6(b)较为复杂的纹饰图案中,只有U-Net的分割相对完整,其他算法的分割效果开始残缺不全,边界信息丢失,图案不完整。除图6(a)中出现的问题,原因还有在真丝织物纹饰相似色彩间的重叠关系,因此图6(b)在分割过程中虚线方框中的特征信息捕捉较少,出现纹饰残缺等一系列的问题。

综合以上实验结果,在视觉效果上证明了经过参数优化训练后的U-Net更加有效地提取了清代云肩图像中的纹饰信息。为进一步直观地对比网络模型,按照各个网络中最优模型,即损失值最小,让其在测试集上进行模型评估并计算该实验的实验指标,通过数据定量分析各算法的泛化能力,得到评估数据如表2所示。

表2 不同网络模型对比实验结果统计Tab.2 Statistics of experimental results obtained by comparing different network models

由表2可见,经过优化训练过程后的U-Net网络结构的各项指均高于其他3种网络,各项评价指标Acc、Recall、MIoU和Dice系数精度为97.57%、97.84%、92.04%、93.27%。其中,MIoU比其他网络中最好的高出9.78%,Dice、Recall和Acc均高出了其他网络。

综上实验结果分析得知,本文方法可以有效提取清代云肩纹饰图案,也证明U-Net在清代云肩纹饰提取任务有显著优势,对古代纺织文物纹饰提取具有一定的可行性与借鉴性。同时,云肩纹饰的文化价值及应用意义可以利用高效的纹饰提取方法提取纹饰,进一步完善云肩数字保护资源库搭建基础,从而推动云肩文物的数字文化保护研究及其产品的应用。

4 结 论

本文以提高云肩纹饰图案提取的有效性为目标,利用U-Net网络结构的优势,即结合编码器中的低分辨率纹饰特征信息和解码器中的高分辨率纹饰细节信息,通过跳跃连接结构填补纹饰图像底层本质信息以完成对清代云肩纹饰的提取任务。实验对U-Net网络训练参数进行调整优化,得到最优网络,并选取U-Net++、SegNet和Deeplab V3这3个网络中最优网络分别进行对比分析。结果发现,本文方法对比其他3种网络中最好的实验结果,Acc、Recall、MIoU和Dice精度分别高出3.53%、4.88%、9.78%、11.44%,能够满足云肩纹饰图像的准确率和普适性要求。

借助本文研究方法可以高效解决云肩研究中纹饰提取问题,为完善云肩纹饰数字保护资源库提供一种新路径,将服饰艺术中云肩纹饰数字化保护并活化运用。但随着云肩纹饰图像数据的增加,该分割系统在纹饰细节上的进一步优化将是下一步研究的重点内容。

《丝绸》官网下载

中国知网下载