融合迁移学习的Inception-v3模型在古壁画朝代识别中的应用

2021-12-07 10:09曹建芳闫敏敏贾一鸣田晓东
计算机应用 2021年11期
关键词:朝代特征提取壁画

曹建芳,闫敏敏,贾一鸣,田晓东

(1.太原科技大学计算机科学与技术学院,太原 030024;2.忻州师范学院计算机系,山西忻州 034000)

0 引言

壁画是人类历史上最早的绘画形式之一,被称为墙上的艺术,我国古代壁画有悠久的历史,根据《中国敦煌壁画全集》等壁画资源所提供的朝代标签,将壁画图像按其所属朝代分为六类:石器时代、秦汉时期、魏晋时期、隋唐时期、宋金时期和明清时期。

多年的考古工作实践证明,壁画的数字化保护与修复、光谱重建技术[1]能将壁画信息永久保存,而且能够无限量复制,通过高品质的图片,建立原始、完整的壁画数据档案实现壁画的虚拟展示,是让后人欣赏古老壁画的可行方式,而清楚壁画所属的朝代更能帮助人们充分了解壁画文化。文献[2]中提出一套智能化技术方法,实现了对壁画的数字化修复。之后,文献[3]中针对古代绘画存在的撕裂、脱落等问题,利用最近邻法这一有效的机器学习算法对古代绘画进行了数字化修复研究。在上述对壁画进行数字化的方法基础上,文献[4]中利用稀疏建模的方法对敦煌壁画的纹理和结构进行探索,并对古代壁画的朝代识别分类。

利用特征提取、分类器分类等传统方法对壁画进行分类的研究有很多。文献[5]中针对壁画图像具有较大的类内差异和壁画图像的噪声问题,提出了一种对Latent SVM(Support Vector Machine)进行优化的分组多实例学习方法。文献[6]中通过对古代壁画构图学和特征进行研究,提出了一种对古代壁画内容等进行语义检索、融合古代壁画构图和语义的相关度模型。文献[7]将提取的壁画图像轮廓特征作为图像相似性的度量表达两幅图像的整体相似程度。利用传统的壁画分类方法虽然可以对壁画进行一定的特征提取,但是由于壁画绘制本身具有多样性和传统方法没有学习到壁画更丰富的特征,使得壁画的特征提取和分类结果具有泛化能力不足等问题。随着深度学习不断发展,卷积神经网络在图像识别和分类等领域已被证明非常有效,卷积神经网络除了为仿生模式识别[8]、深海渔网图像分类[9]和细胞图像[10]等图像分类领域助力之外,还广泛应用到各个领域。近几年,卷积神经网络逐渐被应用于古代壁画图像的修复、超分辨变率重建和分类等工作。本文利用Inception-v3 模型完成古代壁画图像的朝代分类工作。Inception-v3 模型是Google 团队在对AlexNet 的改进之上提出的一种网络结构,具有参数少、训练时间短等特点。传统的古壁画朝代识别是通过对壁画的纹理、颜壁画文本等特征进行分析研究,然后查阅大量文献判断壁画的朝代。传统的测定壁画朝代常用的判别方法[11]有:根据壁画自身的文本;根据记载壁画所描述事件的历史文献;根据壁画所展现出来的绘画风格。

为了解决之前壁画朝代分类方法存在的特征提取不充分和传统的人工识别壁画朝代所存在的无法对壁画朝代达成一致等缺点,应该对壁画的朝代进行更加科学、可信的识别,因此,一种能够科学有效地识别壁画朝代的方法显得格外重要。本文通过收集大量各个朝代的壁画图像,利用预训练的Inception-v3 网络模型,融合迁移学习,提出了一种能够有效识别壁画所属朝代的融合迁移学习的Inception-v3 模型,完成古代壁画图像朝代分类任务。

1 Inception-v3模型与壁画特征提取

1.1 Inception-v3模型

Inception 模型是Szegedy 等[12]在ImageNet 大型视觉识别挑战2014 中提出的一种深度卷积神经网络架构,目的是为了减少计算效率与低参数在移动视觉和其他应用场景等多种用途中产生的影响。Inception-v3 模型的非对称多卷积核结构,对较大的卷积进行了拆分操作,采用不同大小的卷积核,使得存在不同大小的感受野,在提高模型参数计算效率的同时,也减少了模型过拟合。拆分卷积后的网络结构与辅助滤波器相结合,对图像特征缩小的同时又在特征多样性方面有更好的处理效果,能够易于图像的高维特征的提取。为了减少网络的设计空间,采用模块化结构,最后实现拼接,达到不同尺度的特征融合。在防止过拟合问题方面,Inception-v3 模型在辅助分类器和全连接层加入了Batch Normalization 层作为正则化器。Inception-v3模型的网络结构如表1所示。

Batch Normalization 是一种非常有效的正则化方法。使用Batch Normalization 的模型可以使用批处理梯度下降进行训练,加速深度神经网络的训练和模型收敛。

Batch Normalization 的公式为:

式中:x为批量B的激活值的最小值;m为激活值的数量;γ、β为可学习参数,γ调整数值分布的方差大小,β调节数值均值的位置;μ代表一个维度的均值;σ2为计算的Feature map 每个维度的标准差;ε为常数。

另外Inception-v3 模型将较大的卷积核分为串联的小卷积核,将卷积和池化并联,还加入了标签平滑正则化(Label Smoothing Regularization,LSR)。传统的深度神经网络输入输出可能分布不一致,给特征提取带来了很大的障碍,在引入Batch Normalization 方法后,可有效地解决这个问题,通过规范每一层的输入,优化学习效果。

1.2 壁画底层艺术特征提取

壁画色彩丰富,不同朝代的壁画在色彩上的表现存在很大不同。本文将使用颜色直方图来提取壁画图像的颜色特征,通过颜色比例的计算来描述壁画图像中的颜色特征。颜色直方图的定义如下:

式中:i为像素所属的灰度级;L为灰度级总数;ni代表灰度级的像素数为;N为像素总数。

由于壁画图像绘制于墙壁,与自然图像相比较,壁画图像的纹理更加复杂。使用局部二值模式(Local Binary Pattern,LBP)计算壁画的纹理特征,LBP 算法能够在灰度变换操作下依然保持不变的特性,可以提供壁画图像90%的特征。LBP算法定义如下:

式中:p为中心元素的个数;(xc,yc)表示邻域中的中心元素,其像素值为ic,在邻域中的其他元素的像素值为ip;s(x)代表符号算子。s(x)定义如下:

2 融合迁移学习的古代壁画朝代识别模型

由于壁画图像存在质量低、数量少和收集困难等问题,为了在小型壁画数据集上能够深度提取壁画图像特征,本文模型将在ImageNet 大型数据集上进行预训练,将迁移学习到的知识应用在小型壁画数据集上,从而对壁画图像进行朝代识别并分类。

2.1 融合迁移学习的古代壁画朝代分类模型

本文提出的古代壁画图像朝代分类模型由特征提取部分和分类部分组成。特征提取部分采用卷积神经网络、颜色直方图与LBP 纹理特征直方图;分类部分为Softmax 层。分类模型如图1所示。

图1 融合迁移学习的古代壁画朝代分类模型Fig.1 Dynasty classification model of ancient murals integrated with transfer learning

由图1 可以看出,所提出的融合迁移学习的古代壁画朝代分类模型主要分为三部分对壁画进行朝代分类。首先,利用预训练的Inception-v3 模型对壁画进行高维特征提取,其中为了更好地对前端卷积层提取到的特征进行表达,在原全连接层中加入了两个Dropout 层,再增加全连接层数量,使用三个连续的全连接层提取壁画图像的深层特征;然后,利用颜色直方图提取壁画的颜色特征,并利用LBP 纹理直方图提取壁画图像的纹理特征,将这两种特征整合为壁画图像的艺术特征;最后,将预训练模型提取的高维特征与艺术特征相融合,生成为特征向量在Softmax层中作为所需要的输出节点。

2.2 改进的古代壁画朝代分类模型

2.2.1 融合迁移学习增强模型稳定性

由于现有壁画图像具有数量少、质量差、破损严重的特点,因此壁画图像的收集和筛选工作较困难。对壁画图像进行朝代分类需要收集不同朝代的壁画图像,使得大量数据的收集整理工作更加困难。

为了提高模型的学习效率和能更好地提取壁画图像的深度特征,克服壁画特征复杂导致的模型不稳定和在特征提取过程中出现断崖问题,本文方法基于Inception-v3 模型并融合迁移学习。迁移学习是一种利用所学习的共同知识解决其他领域问题的机器学习方法,其目的是完成将在某一领域学习到的有价值的信息迁移到另一领域。使用迁移学习可以提高模型的稳定性和可泛化性,不至于因为图像像素的改变而影响到最终的分类结果。

本文融合迁移学习的方法是将Inception-v3 模型在大型数据集ImageNet上进行预训练,提取到图像的浅层特征,再把迁移学习到的知识作为模型瓶颈层的输出应用于壁画数据集,冻结Inception-v3 模型全连接层和Softmax 层之前的卷积层,训练一个新的全连接层和Softmax 层用于深度提取到壁画的图像特征,在较短的时间内完成模型的训练和壁画图像的分类任务。

2.2.2 提出小样本随机梯度下降算法优化模型误差

为了不改变在训练过程中模型的收敛速度,针对壁画数量少的特点,对每批次采用小样本进行输入,使得模型通过不同的数据集学习共性部分,从而进行特征提取或比较样本之间的相似度来进行更好的分类。

由于学习率太小时,梯度大的参数收敛速度慢;学习率太大时,已经优化的参数可能不稳定。为了解决在训练过程中某些参数在极小值附近却梯度很大的问题,针对壁画图像数量较少的情况,使用自适应学习率的小样本随机梯度下降算法Mini-Gradient Descent 作为本文模型的优化器,将交叉熵函数作为最小化代价函数并在训练过程中通过适当修改学习速率来达到更好的收敛性,从而避免在模型训练过程中出现学习率饱和现象。

2.2.3 引入交叉熵损失函数稳定模型梯度

为了解决梯度消失问题和评估真实值与预测值之间的差距,使用交叉熵函数(Cross entropy)与Softmax 函数相结合作为损失函数,解决梯度消失现象,导致隐藏层的权值更新缓慢或者更新停滞的问题。

交叉熵的值越小,表明实际的输出和期望的结果越相近,效果越好。在相同条件下,与二次代价函数相比,交叉熵损失函数的学习速率更快;与Sigmoid 函数相比,可以避免学习速度下降。交叉熵用来表示实际输出与期望输出的距离。在反向传播过程中,真实值和预测值误差越大,参数调整幅度就越大,模型收敛越快。在实验最后输出训练过程中的交叉熵值,可以用来判断模型是否过拟合。

2.2.4 增加全连接层数量增强图像特征表达

原网络模型直接应用于提取壁画图像处理时,容易出现特征提取不充分等问题,本文实验在预训练Inception-v3 模型上,对所有层进行参数微调后,为了防止出现梯度消失、梯度爆炸、过拟合等问题,在全连接层中加入两个Dropout 层。在原网络结构的基础上,为了更好对前端网络提取到的图像高维多层特征进行学习和表达,在网络的瓶颈层之后构建3 个连续的全连接层。为了避免出现梯度色散问题,选用Softmax层对特征进行分类。

2.3 壁画分类流程

融合迁移学习的Inception-v3 模型对古代壁画进行朝代分类的框架如图2所示,主要分为六个阶段。

图2 融合迁移学习的Inception-v3模型对古代壁画进行朝代分类的框架图Fig.2 Framework diagram of dynasty classification of ancient murals using Inception-v3 model integrated with transfer learning

阶段1 图形预处理阶段。

输入 古代壁画图像数据集;

输出 训练集、测试集和验证集。

步骤1 对数据集中的每张壁画图像修改大小,都改为299×299像素;

步骤2 使用数据增强算法通过图像反转、颜色抖动、增加亮度等预处理方法对图像数据集进行扩充;

步骤3 得到扩充后的数据集;

步骤4 将扩充后的数据集图像通过随机函数将80%的壁画图像作为训练集,10%壁画图像作为测试集,10%壁画图像作为验证集。

阶段2 模型预训练阶段。

输入 训练集;

输出 迁移模型。

步骤1 在大型数据集ImageNet 上训练对Inception-v3 模型进行预训练;

步骤2 对模型进行参数微调,记录在不同迭代次数时学习率、batch值的准确率的变化情况;

步骤3 输入训练集壁画图像进行训练,得到已经训练好的Inception-v3模型。

步骤4 得到迁移模型。

阶段3 艺术特征提取阶段。

输入 训练集;

输出 壁画图像艺术特征。

步骤1 使用颜色直方图算法提取壁画图像的颜色特征;

步骤2 使用LBP 纹理直方图算法提取壁画图像的纹理特征;

步骤3 得到壁画的艺术特征。

阶段4 特征融合阶段。

输入 壁画高层特征与艺术特征;

输出 壁画图像融合特征。

步骤1 获取预训练模型中所提取的壁画深层特征;

步骤2 获取颜色特征与纹理特征;

步骤3 将深层特征、颜色特征与纹理特征进行融合,得到艺术特征。

阶段5 模型测试阶段。

输入 测试集;

输出 测试准确率。

步骤1 将测试集导入预训练完成的迁移模型中;

步骤2 统计分类结果,得出最终准确率。

阶段6 模型验证阶段。

输入 验证集;

输出 验证壁画图像分类的准确率。

步骤1 将验证集导入预训练完成的迁移模型中;

步骤2 统计验证结果。

3 实验与结果分析

3.1 实验环境

本文实验搭建CPU 为Inter Core i5-8250U、内存为16 GB、显卡为NVIDIA GeForece MX150 的硬件环境;所搭建的软件环境为Windows 10 操作系统,python3.7,采用Tensorflow 作为本实验框架,编译软件为PyCharm 2019.3.5 x64。

3.2 实验数据集及其来源

本文实验收集的壁画图像均来自《地下画廊——嘉峪关魏晋砖壁画》《中国敦煌壁画全集》《开化寺宋代壁画》等书籍电子版,内容包括佛菩萨像、佛传故事、本生故事以及各种经变。各内容中表现了采桑、车马、出巡、炊事、生产劳动、侍者、宴饮、狩猎、养殖放牧、宰杀、住宅、奏乐等各种生产生活常态,展现了各个朝代不同时期的壁画艺术。通过对壁画的裁剪研究,将所收集壁画艺术图像分为石器时代、秦汉时期、隋唐时期、宋金时期、魏晋时期和明清时期六个朝代(各朝代的部分图像如图3所示)。

图3 各朝代的部分图像示例Fig.3 Examples of some images of each dynasty

为了扩充数据集,采用了数据增强方式对壁画图像进行预处理(数据增强预处理示例图像如图4 所示),主要包括:对图像进行提亮;对壁画图像进行左右翻转;对图像随机进行颜色抖动,包括对比度增强颜色增强等;对壁画图像进行旋转,旋转角度为20°。本文实验(包括数据增强部分)共收集了9700 张,并将所构造壁画数据集分为训练集、验证集和测试集,其中80%的图像为训练集,10%的图像为训练集,10%的图像为测试集。不同朝代的壁画图像数量如表2所示。

表2 不同朝代的壁画图像数量Tab.2 Numbers of mural images of different dynasties

图4 部分图像数据增强示例Fig.4 Some image examples after data enhancement

3.3 结果分析

3.3.1 模型训练与模型验证

在本文实验中,经过对模型多次训练和测试,将训练步数设置为10000 步,将实验学习率设为0.1。从表3 可以看出,在学习率为0.1时,本文模型具有更好的性能。图5为训练过程准确率和交叉熵的变化情况。由图5(a)可以看出,在模型训练过程中,训练准确率不断上升,在8000步以后,准确率趋于平稳状态,达到88%左右;由图5(b)可以看出,在训练过程中,交叉熵不断下降,在3000 步左右交叉熵趋于平稳状态;由图5(c)~(d)可以看出,在验证过程中,验证准确率不断上升,在6000 步左右趋于平稳,验证交叉熵不断下降并最终趋于平稳。综上所述,本文模型在训练过程中具有较好的性能,不容易出现过拟合现象。

图5 训练过程和验证过程中的准确率和交叉熵变化情况Fig.5 Changes in accuracy and cross entropy during training and verification processes

学习率是在训练过程中对权重进行调整的一个比例因子,太大的学习率会导致模型波动不能收敛,而太小的学习率则会让模型收敛过慢,浪费训练时间和计算资源[13]。在本文实验中,在迭代步数相同(均为10000步)的情况下,将学习率分别设置为0.001、0.01 和0.1 进行多组实验,最后对实验结果进行统计分析。不同学习率下准确率的对比情况如表3所示。

由表3 可以看出,在学习率为0.1 时,本文模型表现出了良好的性能,最终准确率达到88.70%,与学习率为0.001 和0.01 的两组实验相比,本文模型的准确率分别提高了10.08个百分点和4.26个百分点。

表3 不同学习率时的准确率对比Tab.3 Comparison of accuracy at different learning rates

3.3.2 不同壁画特征对比

在壁画朝代识别的实验中,壁画图像的颜色特征、纹理特征和绘画风格对实验结果会产生较大的影响,而绘画风格是基于颜色特征的体现,色彩与纹理差异较大的朝代之间识别准确率较高。基于上述情况,从两个方面进行对比实验:

1)为了验证壁画图像的颜色特征对识别效果的影响,选取一部分朝代图像对其进行颜色调整(如图6 所示)后再进行朝代识别;

2)为了验证壁画图像的纹理特征对识别效果的影响,考虑到图像的分辨率变化直接影响到纹理特征的计算,故实验对一部分壁画图像的分辨率进行调整后再进行朝代识别。

图6 为一部分壁画图像的颜色调整示例。图6 中,(a)图像为实验所用299 × 299 大小的原壁画图像,(b)图像为在图(a)基础上增加灰度值,(c)图像为在图(a)基础上增加饱和度值,(d)图像为在图(a)基础上进行反色变换。

图6 壁画图像颜色调整Fig.6 Color adjustment of mural image

表4 中的准确率代表图像被正确识别为预设时代标签的概率。从表4 中可以看出,在对壁画图像进行了灰度值增加与反色变换后,最终的识别准确率都有所下降,在增加灰度值、增加饱和度和反色变换后准确率分别下降了57.59、3.78和26.87 个百分点。上述数据表明,在壁画失去一部分颜色特征后,颜色直方图并没有提取到壁画图像丰富的色彩特征,导致在识别朝代时,并不能很好地对特征进行学习和分类。

表4 不同颜色特征的壁画图像的朝代识别准确率对比 单位:%Tab.4 Comparison of dynasty identification accuracy of mural images with different color features unit:%

由于图像的纹理特征受到图像分辨率的影响,本文实验将原图像的分辨率扩大至3倍、5倍后,分别应用于本文模型,判断其被识别为原朝代的百分比。

表5 中的准确率代表图像被正确识别为预设时代标签的概率。从表5 中可以看出,当图像分辨率变大时,图像的纹理特征更加模糊,最终的识别准确率也有所降低。

表5 不同分辨率的壁画图像的朝代识别准确率对比Tab.5 Comparison of dynasty identification accuracy of mural images with different resolutions

由表4~5 可以看出,与图像的颜色特征相比,纹理特征的改变对于最终准确率的影响并不大。由此可以得出,颜色特征在本文的壁画朝代识别实验中起决定作用。

3.3.3 不同模型性能对比

为了更好地体现Inception-v3 模型与迁移学习融合的方法在古壁画朝代识别分类方面的优越性,本文实验将Inception-v3 模型与经典深度学习网络模型、改进的卷积神经网络模型进行准确率对比。其中经典深度学习网络模型包括:AlexNet 模 型[14]、VGGNet(Visual Geometry Group Net)模型[15],改进的卷积神经网络模型包括:LeNet-5 模型[16]、Alex-10模型[17]、R-VGGNet(Reduce-VGGNet)模型[18]、AlexNet-S6模型[19]。

1)运行时间对比。

将其他深度学习网络模型:AlexNet 模型、VGG 模型、LeNet-5 模型、Alex-10 模型、R-VGGNet 模型、AlexNet-S6 模型与本文的网络模型进行准确率和运行时间的对比,并对各实验结果进行分析。不同模型的运行时间以及准确率的对比如表6所示,加粗字体为最高准确率和最少运行时间。

表6 不同模型的运行时间及准确率对比Tab.6 Comparison of running time and accuracy of different models

由表6 可以看出,在运行10000 步后,本文模型最终达到的准确率相较于经典的AlexNet模型、ResNet模型、VGGNet模型和改进的卷积神经网络LeNet-5 模型、Alex-10 模型、R-VGGNet 模型、AlexNet-S6 模型分别提高了10.36、19.14、12.22、5.72、13.65、10.04和9.66个百分点。在运行时间上,本文模型运行10000 步所需的时间为1.5 h,而与AlexNet 模型、ResNet 模型和VGGNet 模型相比,是它们运行时间的3/5、5/14、3/10;与改进的卷积神经网络相比,本文在运行时间上也占有很大的优势。究其原因,主要是由于AlexNet 模型、ResNet 模型和VGGNet 模型拥有更深的网络结构,占用大的内存空间,计算量过大,在对壁画数据集进行特征提取时耗时长,而本文模型中拥有Inception结构,其优势在于将卷积进行分解,在感受野相同的同时,提高了计算效率,减少了网络参数,模型收敛更快,随着提取特征的增加,训练速度逐渐加快,平衡了网络的深度和宽度,在训练过程中不容易产生过拟合现象。

另外,改进的卷积神经网络其参数量与本文网络相比大得多,需要大数量样本进行训练,而对于本文的小样本壁画图像数量,将这些模型应用在壁画数据集上可能存在由于样本数量少导致特征提取不充分等问题,本文模型则是融合了迁移学习,是对Inception-v3 进行预训练之后在本文壁画数据集上进行训练,不需要训练特征提取部分,而且参数量较少是本文模型的一个改进之处,在训练过程中进行参数微调增强了网络的适应性,能深度提取到壁画的色彩、纹理和绘画风格等特征,所以有较高的识别准确率。

2)准确率对比。

在本文所构造壁画数据集上,运行时间设置为1 h,将LeNet-5 模型、Alex-10 模型、R-VGGNet 模型、AlexNet-S6 模型分别与本文的网络模型进行对比,并对各实验的准确率、召回率和F1值进行对比分析。在运行时间相同时,不同实验的准确率、召回率和F1值的对比情况如图7所示。

图7 不同模型的各评价指标对比Fig.7 Comparison of evaluation indices of different models

由图7 可以看出,在运行1 h 后,本文模型的准确率为88.70%,召回率为88.62%,F1值为88.58%,与改进的深度学习卷积神经网络LeNet-5 模型、Alex-10 模型、R-VGGNet 模型、AlexNet-S6模型对比,准确率分别提高了7.42、12.65、22.8和9.36个百分点,召回率分别提高了7.76、12.86、23.36和9.36个百分点,F1 值分别提高了7.92、12.92、23.12 和9.52 个百分点。主要是本文模型根据壁画所特有的特征进行微调,选择适合本文数据集的网络参数,其他网络模型由于参数量大和运行时间长等问题,与本文模型的提取效果相比,并没有很好地提取到壁画丰富的特征。从上述评价指标的对比情况可以看出,本文模型在各项指标对比中都有一定的优势,能够更好地提取古代壁画的特征,泛化能力强,分类结果比较稳定。

3)各朝代类别准确率对比

实验最后将本文模型与改进的卷积神经网络LeNet-5 模型、Alex-10模型、R-VGGNet模型、AlexNet-S6模型对各朝代类别识别准确率进行对比并分析。不同模型各类别的准确率对比情况如表7所示。

表7 不同模型对各朝代类别的识别准确率对比 单位:%Tab.7 Identification accuracy comparison of different models to each dynasty category unit:%

由表7 可以看出,与其他改进的卷积神经网络相比,本文模型在大部分类别识别上的准确率都比较高,各类别准确率平均提升了至少7个百分点。从表7中的实验数据可以看出,对于石器时代的分类准确率普遍都很高,主要由于石器时代的壁画大多是在岩石或墙壁,壁画内容多为动物形象,与其他朝代的壁画特征对比,壁画特征鲜明,因此实验中的所有模型都可以较好地识别石器时代的壁画图像;而在秦汉时期、隋唐时期和宋金时期,开始陆续出现对人物、宫殿寺观壁画、经变壁画和墓室壁画等,但是由于色彩、服饰、建筑物和绘画风格相似等内容的影响,在进行朝代识别时特征提取比较困难,出现了一些错分示例,如图8~图10所示。

图8 壁画内容相似错分示例Fig.8 Examples of misclassified murals with similar contents

图9 宋金时期壁画Fig.9 Murals of Song-Jin dynasties

图10 魏晋时期壁画Fig.10 Murals of the Wei-Jin dynasties

因壁画文本内容相似错分示例如图8 所示。图8 中的两幅图像由于壁画内容均为车马图像和菩萨形象,在进行特征提取时均提取到相似的特征,不容易进行朝代的区分。最终将隋唐时期的车马图像错分为宋金时期,宋金时期的菩萨图像错分为隋唐时期。

因壁画色彩和绘画风格相似错分示例如图9 和图10 所示。图9中均为宋金时期壁画,图10中均为魏晋时期壁画,这两组壁画图像均来自敦煌石窟壁画,色彩和绘画风格上相似,在进行朝代识别时容易出错。

上述错分示例均为本文预训练模型最终的分类精确度在一定程度上因壁画文本与壁画色彩等相似导致在秦汉时期、隋唐时期和宋金时期的识别与分类中准确率降低。尽管本文模型已经取得了较高的准确率,在石器时代、魏晋时期和明清时期的分类中效果较好,但错误分类示例也说明本文模型在使用颜色直方图与纹理直方图对颜色、纹理特征和上下文信息提取时还存在一定的不足之处,未来需要对这三个方面的特征提取进行进一步的深化研究。

4 结语

针对古代壁画朝代识别分类准确率较低和古代壁画特征提取困难、壁画文本和绘画风格相似等问题,对古代壁画图像朝代进行识别分类,提出了一种融合迁移学习的Inception-v3模型应用于古代壁画朝代分类任务。本文模型利用迁移学习解决了壁画数据集收集困难导致的训练数据有限等问题,通过数据增强算法对数据集进行拓展,最终在测试集上的分类准确率为88.70%,缩短了运行时间,能够提取壁画图像的颜色特征与纹理特征,并能将高层特征与艺术特征相融合。与改进的卷积神网络相比较,本文模型有稳定的识别与分类性能、更高的准确率,能够在较短的时间内达到10000 步,模型收敛更快,能够更好地提取壁画的高层特征,并能与壁画的底层特征进行有效的融合。

在实验中,由于硬件环境和部分古代壁画图像绘画风格存在差异小等问题,本文模型无法针对壁画的色彩梯度和断崖等进行很好的色彩特征提取,在未来的研究中,将继续扩充数据集,根据壁画自身的特点进行进一步的研究并提高分类精度,使得古壁画朝代分类更加快速有效。

猜你喜欢
朝代特征提取壁画
敦煌壁画中的消暑妙招
敦煌壁画中的消暑妙招
撒哈拉沙漠壁画之秘
空间目标的ISAR成像及轮廓特征提取
基于Gazebo仿真环境的ORB特征提取与比对的研究
基于特征提取的绘本阅读机器人设计方案
猜朝代
基于MED—MOMEDA的风电齿轮箱复合故障特征提取研究
浅解三字经(之八十)
朝代谁也不服谁