基于结构线拟合的残损丝织品文物虚拟修复

孙晓婉, 贾 静, 徐平华，b，c, 曹竟文, 李 碧

(浙江理工大学 a.服装学院; b.浙江省服装工程技术研究中心; c.丝绸文化传承与产品设计数字化技术文化和旅游部重点实验室;d.艺术与设计学院,杭州 310018)

丝织文物因长期埋藏于地下,受温湿度变化及微生物的影响,材质发生腐烂,表面图案出现褪色、老化、脏污等现象[1],导致丝织文物残缺不全。传统的丝织文物修复采用基布补全、以绣补织等工艺技术[2]对文物本体进行修复。采用虚拟修复技术还原文物图文信息,一方面有助于文物的展示和文化传播,另一方面可为人工本体修复提供内容参考。

文物虚拟修复主要依据参考资料或文物周边信息进行色彩和纹理修复,最大限度恢复图像原有视觉效果[3]。当前,文物虚拟修复技术已取得了一定进展。Wang等[4-5]采用稀疏修复和特征加权模型对壁画残损区域进行修复;朱耀麟等[6]、蒋超等[7]基于Criminisi算法进行改进实现了对残损织物图像的修复,但对于不规则独立纹样修复效果不佳。根据不同的图像先验模型,图像修复方法可以分为三类:1) 基于扩散的方法[8-9]建立参数模型,通过平滑先验传播图像的结构成分,该方法适用于修复直线、曲线和小孔,但不利于修补大面积的纹理;2) 基于范例的算法[10]合成匹配补丁,根据自相似先验重建未知区域,当缺失的区域纹理均匀且规则时,该方法可以产生视觉上可信的结果;3) 基于深度学习的方法[11-15]依赖于大样本信息作为参考资料,依靠卷积网络对图像特征进行学习和信息生成,解决了底层特征与高层语义之间的鸿沟,但该方法需要大量的样本和更多的时间来训练网络。在文物修复方面,由于参考信息量较少,缺损区域通常处于未知状态,本质上是一种可多方案推荐的盲修复问题。要解决纹理不均匀且结构复杂的图像修复问题,在实现方法上仍需对周边信息加以利用,因此本文提出了一种基于交互曲线拟合的结构块迭代修复算法,结合Criminisi改进算法[16-18]思路,对无参考信息下的丝织文物图像进行虚拟修复。

1 残损丝织文物虚拟修复思路

1.1 修复整体思路

丝织文物表面色彩、纹样蕴含语义,承载着特定时期的政治、文化、宗教及民俗内涵[19]。对于缺损严重的丝织品,人工本体修复一般采用基布打底,对其表面图案通常借助文献资料或专家经验进行修复。相较于规则纹样,非规则纹样判断比较困难。

无参考图像、文字描述下的文物信息,需要反复比对修复方案,此时需要借助于人工修复经验,以计算机辅助的方式,实现修复。为此,本文从文物图像周边信息出发,寻找图案结构主体,在初始骨架重构阶段采用交互方式进行引导,利用迭代方式对周边信息块进行比对分析,逐步填充缺损区域,虚拟修复思路,如图1所示。

图1 残损丝织文物图像修复流程Fig.1 Image inpainting pipeline of defected silk relics

1.2 基本步骤

算法流程主要包括图像预处理、纹样结构线拟合、缺损区域修复及修复质量评价四个模块。

图像预处理阶段,主要解决图像的模糊、噪声等问题。本文以新疆地区出土的敦煌凤凰纹丝织带为例,经博物馆工作人员消毒、清晰和平整化处理后,对其进行图像采集。由于采集后的图像存在一定的噪声和模糊现象。实验采用SRGAN算法训练模型[20]将退化后的图像进行超分辨率重建,保留了相对清晰的细节,用于后期图案修复。预处理后图案局部效果如图2所示,实现了图像的降噪和画质增强。

图2 图像预处理Fig.2 Image preprocessing

预处理后的图像,通过交互的方式,由文物修复人员在图像处理软件中(CorelDRAW)手动圈出待修复区域进行标识并填充为明显的绿色(R、G、B色值分别为0、255、0)掩膜。其目的是主动划分待修复区域和完好区域界限;对于真实残损情形,掩膜后确定的位置可以利于算法精准修复,降低时间损耗,提升修复效率。

模块2纹样结构线拟合是对图案骨架区域内容修复的有效引导;模块3缺损修复模块则是在结构线基础上,对周边信息进行匹配和优化,迭代实现内容填充。图像修复质量评价模块是对修复后的图像与完好原图进行相似度比较,以便评估修复算法的有效性。

2 结构线形态拟合

2.1 结构线关键点提取

一幅彩色图像可表示为一个m×n×3的三维矩阵,其中m、n分别表示图像的宽度和高度,单位为像素。单像素点三通道值分别为红、绿、蓝颜色值。实验中,采用交互方式选取待拟合结构线两端的像素点。选点操作应当遵循全局一致性原则,尽可能满足与结构线颜色接近的像素点。图3显示了关键点选择的方式,符号①～⑥表示待修复区域与图像源信息交界部分。图3中①、②块为待选像素区域,在其中各选一个纹样边界参考像素,像素选择的容差一般设置为±2 pixel位移,像素点的选取,应当与周边具有明显的色度差异。类似地,对配对区域③、④,以及⑤、⑥区域进行像素点选取操作。图3中,红色标示区域为可选像素点,蓝色区域为待拟合结构线上的像素点。

图3 关键坐标点选取示意Fig.3 Selection of key pixel points

2.2 反距离加权法插值

为使修复后的纹样尽量还原原本形态,拟合出的结构线各描述点需要填充相似色。实验采用反距离加权法插值,提取两端像素点的R、G、B色值,根据要拟合结构线上各个描述点至线的端点之间的距离计算权重,以距离越远的点贡献越小为原理进行加权。

设拟合结构线起始像素点为M,坐标为(x1,y1),终止像素点为N,坐标为(x2,y2),相应的插值公式为:

(1)

(2)

(3)

式中:R为所求的像素点红色分量,R1和R2分别为点M和N的红色分量;w1和w2为权重系数,(xc,yc)为要拟合的曲线上各个描述点的坐标。

类似地,求出像素点绿色分量和蓝色分量。将颜色三通道设为该像素点的颜色值。

2.3 结构线拟合

对于纹样残缺部分,可以根据纹样结构线的连通趋势将残损盲区纹样结构线拟合出来,从而将纹样残损盲区划分成若干待修复区域,提高修复纹理结果的精确度。本文采用Bezier曲线[21]自动拟合丝织文物残缺纹样中断的轮廓线。

设S(t)为曲线上的坐标,对给定的一组控制点P0,P1,…,Pn,则Bezier曲线的公式为:

(4)

式中:S(t)为曲线上的坐标;t为自变量,取值范围为[0,1];n为Bezier曲线阶数。

采用Bezier曲线拟合纹样轮廓的直线部分,取n=1,选取两个控制点,即为待拟合线段的起始点P0和端点P1,则两端点之间的连续点描述的一条线段即拟合出的所需结构线。

对于结构线的曲线部分,本文采用二次Bezier曲线,取n=2,设定控制点P0,P1,P2,则曲线的参数表示为:

S(t)=(1-t)2P0+2t(1-t)P1+t2P2,t∈[0,1]

(5)

式中:S(t)是当t从0到1变化时由点P0至点P1的连续点和点P1至点P2的连续点所描述的曲线。

由于控制点P1的选取决定拟合曲线的精度,本文在算法设计中给出两种曲线拟合方案:

1) 自动确定控制点P1,根据曲线两端点的切线斜率自适应确定控制点,公式如下:

(6)

式中:(x0,y0)和(xb,yb)为残损区域边界处曲线坐标。

用式(6)计算出曲线端点处切线的斜率,过曲线端点作切线,两条切线交点即为控制点。

2) 由专家选取控制点P1,由专家选取需拟合的结构线曲线部分可见的端点P0(x0,y0)、P2(x2,y2)和控制点P1(x1,y1),则S(t)所连成的曲线即拟合出的所需结构线曲线部分,如图4所示。

图4 结构线拟合Fig.4 Structure line fitting

3 图案缺损区域修复

纹样内容修复很大程度上依赖于残损区域以外的图像信息,待修复信息主要分为结构部分和内容部分,采用样本合成的先验模型可以同时填充样本中损害区域的结构和纹理,在视觉上呈现出完整性。

3.1 样本块填充修复

样本合成是运用了纹理合成技术,合成纹理依据缺损边缘的等照度信息,在算法运行的过程中,边缘信息向内演化,提供填充过程中使用的样本。修复过程如图5所示。

图5 样本合成填充修复过程Fig.5 Process of exemplar-based inpainting

样本合成填充修复过程中,标记待修复区域在图像预处理阶段通过对图像主观掩膜操作完成。优先权的计算对于填充前缘上最先填充的样本顺序具有重要影响,如图5(d)所示。

P(p)=C(p)×D(p)

(7)

C(p)与p点周边的可参考像素点的数目成正相关,计算公式为:

(8)

D(p)与p点周边结构信息的强弱成正相关,计算方法为:

(9)

计算出δΩ上所有点为中心的小块的优先级后,确定其中P(p)最大的小块按照上述方法筛选出优先级最高的小块的中心点(对应为图中点p)。然后利用SSD匹配准则根据待修复小块Ψp′中所含的有效点的信息,在源区域Φ中搜寻与Ψp′最相似的匹配块Ψq′来填补Ψp′中缺失点的信息。

(10)

(11)

式中:I和I′分别表示小块Ψp′和Ψq的像素点。

至此形成一个修复周期,之后将通过更新已修复像素点的置信度C(p)算法为:

C(p)=C(p′)∀q∈Ψp∩Ω

(12)

重复迭代直至目标区域Ω填充完成。

但由图5(f)可以看出,块填充修复区域结构线与原图结构线并不能完全吻合,这主要是因为图像源信息区域不能搜索到与待修复小块一致的匹配块,从而产生修复效果偏差。

3.2 结构线引导下的填充修复

首先通过结合纹样结构线拟合来构造缺失的结构信息,在进行纹理合成修复之前,采用Log边缘检测算子,检测待修复区域的边缘,改变了原修复图像缺损部分的边界δΩ。将整个缺损区域Ω分为若干个待修复的小区域Ωi,引入边界函数B(p)改进填充前缘的优先级P(p)[22],提高了后面修复的小块p的置信度C(p),增加了修复信息的可信度。

改进优先权函数为:

P′(p)=C(p)+D(p)+B(p)

(13)

(14)

(15)

由式(13)可知,距离待修复区域边缘δΩ越近的像素点B(p)值越大,算法可沿所拟合的结构线向内填充修复,从而避免修复后图像结构错乱。

首先采用曲线拟合连接破坏的纹样细部轮廓,再利用改进优先权函数选择目标小块进行修复。最后利用SSD匹配准则寻找与待填充区域纹理相似的小块填充修复,不断迭代,直至待填充区域面积为零,如图6所示。在结构线拟合的辅助下进行样本填充类修复,可以有效地避免填充修复过程中结构线错乱的问题。

图6 结构线引导下的填充修复Fig.6 Inpainting guided by the structure line

4 结果讨论与分析

4.1 模拟残损修复

为了比对验证修复效果,实验以敦煌凤凰纹丝织带图像为参照进行模拟修复,如图7所示。随着迭代过程的推进,本文算法很好地实现了掩膜区域纹样结构修复,同时又实现了结构引导的纹理块修复。

图7 修复过程部分示意Fig.7 Partial illustration of repair process

由于模拟实验中残损面积较大,而纹样细节部分的信息被掩盖,无法拟合出合适的结构线。因此,在修复丝织文物图像时,首先应对大面积区域进行修复,为图像细节部分提供更多图像信息。其次,修复完成后应检查图像细节部分,对于一次修复不能完成的部分,根据上一次修复结果提供的图像源信息对此部分进行再次修复,二次修复效果如图8所示。

图8 局部二次修复效果Fig.8 Local secondary repair effect

任意选取三幅文物图像,分别是敦煌凤凰纹丝织带图局部、清朝盘匏图局部、宋代黄色缠枝牡丹山茶花绫图,然后运用不同的算法进行修复,结果如图9所示。

从图9可以看出,文献[16]和文献[17]算法对三幅图像的白色线框和蓝色线框区域的修复均有错配和结构断联现象,主要是因为残损文物图像中的图案均为独立图案,在块匹配时无法与残损区域的结构线契合。图9中的黄色线框区域无结构线,文献[16]文献[17]算法均可正确填充纹理块,而图9中黄色线框区域内一片叶子的修复无任何参考信息,图像自动修复固然失效。因此本文算法在专家指导下以人机交互的方式进行结构线拟合是必要的,文物图像中纹样结构上基本保持了原图的路径趋势,能够完好地对内容进行修复,差异在于所拟合的结构线的颜色的饱和度略低,其原因是优先权模块选取依赖周边块信息,颜色的过渡呈现非自然状态。

进一步地,为了量化修复质量,实验部分采用结构相似性(Structural similarity,SSIM)和峰值信噪比(Peak signal to noise ratio,RSNR)[5]对修复质量进行评价,结果如表1所示。SSIM值越接近1,图像相似度越高。PSNR值一般取值范围为20～40,值越大,两张图片差距越小。

图9 模拟残损修复效果对比Fig.9 Comparison of the simulated damage repair effects

表1 不同修复算法修复图像的SSIM和PSNR值Tab.1 SSIM and PSNR values for the repaired images with different algorithms

表2记录了修复图像的时长,文献[16]和文献[17]算法在时间的损耗上是客观的,本文算法修复耗时较长,主要是因为在结构线的拟合部分需要专家操作,时长是可控的。但是,不论是从视觉上还是比较SSIM和PSNR值,本文算法在效果修复上都优于文献[16]和文献[17]算法。

表2 不同修复算法下修复图像的耗时Tab.2 Time of the repaired images with different algorithms

4.2 真实残损修复

部分丝绸文物发生形变,表面图案复杂且不规整,修复极具挑战性。为了验证本文算法的优势,选取了三幅结构复杂的典型破损丝绸文物图像,在专家指导下进行真实破损织物文物图像虚拟修复,将本文算法修复结果与文献[16]和文献[17]进行比较,如图10所示。图10中,三幅图像分别表示唐朝残损“团窠联珠对狮纹锦”图像、元代残损“舞人纹锦”图像及北朝残损“罗地缠枝莲花纹贴绣片”图像。

文献[16]算法对图10三幅图像的修复结果中均出错,是因为算法以平均灰度值为衡量标准全局搜索最佳匹配块填充待修复块,无法满足复杂图像中结构线的修复。文献[17]算法对图10三幅图像的修复结果中均出现了结构线的错误延伸,究其原因,算法对待修复块的优先级判断错误。而本文算法实现了结构线引导纹理块填充,解决了织物表面纹样结构线断联和纹理填充错误问题。

图10 真实残损修复效果对比Fig.10 Actual repair effect comparison

5 结 论

本文提出了基于结构线拟合的丝绸图像虚拟修复算法,利用纹样结构残留信息,重建缺失的结构线,对缺损盲区进行引导修复,引入边界函数改进优先权,优化了小块的修复次序,解决了修复后图像结构断联问题。修复后图像取得的SSIM均值为0.98、PSNR均值为36.76,保证了修复结果与原图高度相似,同时满足了视觉上图像结构连续性和内容一致性。

虚拟修复作为本体修复的补充,一方面辅助文物本体修复,可为文物本体修复提供效果参考;另一方面为在线博物馆虚拟展示提供了技术支撑。由于参考信息仅依赖文物自身及周边纹理和色彩,使得一定程度上难以完全修复至原始效果。针对此类参考样本稀少、处于盲修复状态下的自动修复问题,当面对复杂形态的纹样修复时,目前尚难依据周边信息进行生成。今后需重点对修复参数交互调整进行研究,以适应多方案推荐的复原需求。

《丝绸》官网下载

中国知网下载