敦煌壁画数字化修复方法综述

陈 永，陶美风

（1.兰州交通大学电子与信息工程学院；2.甘肃省人工智能与图形图像处理工程研究中心，甘肃兰州 730070）

0 引言

敦煌莫高窟是我国乃至世界艺术殿堂的瑰宝，是融建筑、雕塑、壁画为一体的综合性艺术，其内容丰富，被誉为“世界上最大的美术史画廊”。其中，敦煌壁画更是世界古代文明的缩影。但经千年历史洗涤，许多壁画存在脱落、起甲、褪色、裂痕等病害［1］。为使敦煌壁画文化走向世界，更好地保护壁画对文化发展与传播起着决定性作用。传统壁画保护手段存在不可逆的缺点，且保护人员较缺乏，严重制约了敦煌壁画保护事业发展、阻碍了甘肃文化战略落地。因此，如何利用数字化修复技术实现对敦煌壁画艺术的保护具有深远意义，这也是目前计算机视觉和图像处理热点问题之一［2］。

图像修复（Image Inpainting）指借助于破损图像中的已知先验信息，通过建立破损图像修复模型，对破损区域进行匹配、复制、扩散等操作，从而完成重构修复。常用的图像修复方法分为4 种：基于偏微分方程的图像修复方法、基于纹理合成的图像修复方法、基于稀疏表示的图像修复方法与基于深度学习的图像修复方法。

1 基于偏微分方程的图像修复方法

基于偏微分方程的图像修复方法基于Bertalmio 等［3］提出的BSCB 模型，该模型将待修复区域边缘像素沿等照度线方向扩散完成修复。文献［4］提出了全变分（Total Varia⁃tion，TV）图像修复模型，该方法通过对欧拉-拉格朗日偏微分方程求解，迭代传播信息，完成图像修复。BSCB 模型与TV 模型在修复破损区域边缘曲率变化较大的图像时，修复结果中易出现视觉连通性较差的问题。为了解决该问题，文献［5］提出曲率驱动扩散（Curvature-Driven Diffusion，CDD）模型，通过引入曲率控制信息扩散强度，克服了TV 修复视觉不连通的缺点；文献［6］针对敦煌壁画裂纹形状多样及不规则的特性，通过改进CDD 算法扩散项，并引入自适应控制策略，最后利用光滑函数进行角点扩散以实现修复；文献［7］在CDD 模型的基础上，采用不同的曲率选择适应系数以控制修复模型的选择，修复结果和速率均优于CDD 模型；文献［8］提出一种基于可变Laplace 算子的非标准高阶偏微分方程进行图像去噪和修复。基于偏微分方程的图像修复方法在较小破损壁画图像修复时，能够降低图像噪声和锐化边缘信息，但是对于图像缺失面积较大的情况，修复效果比较模糊，图像边缘特征较差。

1.1 CDD 算法原理

TV 模型通过对偏微分方程求解，不断循环像素传播过程以完成修复，但TV 模型修复结果存在不满足视觉连通性的问题，如图1 所示。当待修复区域尺寸大于图像先验信息尺寸时，如图1（a）中的l>w时，TV 模型修复结果如图1（b）所示，可发现未能完成扩散修复，不能满足人类视觉连通性要求，而符合视觉连通性修复结果如图1（c）所示。CDD 曲率驱动扩散模型在TV 模型基础上进行了改进，当图像扩散达到图1（b）时，CDD 模型通过引入曲率进一步增强扩散强度，直至保持连通性原则。

Fig.1 Connectivity principle图1 连通性原则

CDD 曲率驱动扩散算法定义为：

其中，C为破损区域，E为C的边缘已知信息，∇为梯度计算符，λ为拉格朗日算子。∇⋅为扩散项，将扩散系数记为w=，|∇v|为梯度模值，可表示为：|∇v|=，b为正提升参数。g(|h|)为曲率，v为破损图像像素值，v0为修复后的像素值。g(|h|)=|h|，h的计算方法为：

1.2 CDD 算法实验结果及分析

以敦煌壁画第322 窟“树下说法图”截取的局部壁画为例，采用不同粗细的划痕破损壁画图像进行实验，如图2 所示。图2（a）为掩膜图像，图2（b）为修复结果，从图2 可以发现，对于较细的划痕，CDD 算法通过像素扩散，得到了较好的结果，如第一列图像的修复结果；随着划痕的不断加粗，破损区域的完好信息大部分缺失，CDD 算法无法完成扩散，修复后会存在修复不彻底的问题，如第三列图像修复结果的矩形框中存在明显的修复痕迹。

Fig.2 Repair results of CDD algorithm图2 CDD 算法修复结果

2 基于纹理合成的图像修复算法

基于纹理合成的图像修复方法指通过在图像完好的区域中，根据样本相似度匹配准则，在图像完好区域选择破损图像块的最佳匹配块，经过复制填充完成破损图像块修复。该类图像修复方法中代表算法为Criminisi 算法［9］。后续多位学者对其进行了改进。文献［10］采用D-S 证据理论数据融合方法对敦煌壁画色变和人为污染破损进行了修复研究；文献［11］利用图像纹理特征和边缘特征引入差别因子以改进优先权函数，并对不良匹配区域进行定位分解修复；文献［12］提出了一种新的置信度函数，并将Census变换匹配准则与SSD 变换准则相结合，增强了图像修复鲁棒性；文献［13］针对Criminisi 算法置信度项会迅速衰减至0 和填充次序不稳定等问题，提出一种结合梯度特征与色彩不一致的图像修复算法，使修复后的图像满足人眼视觉要求；文献［14］在优先权计算时，引入分散度项，改进了图像块修复顺序，并将协方差因子引入相似度计算，减少了图像块误匹配率；文献［15］提出了一种将局部特征与边缘纹理分辨相结合的分段修复算法，采用样本和信息熵相似度结合的方式确定最佳匹配块集合，并通过基于信息熵自适应修复模板克服了Criminisi 算法错误填充问题；文献［16］通过引入结构张量，利用其特征值定义数据项，改进图像填充顺序，同时利用结构张量平均相关性自适应选择样本块大小，对开化寺壁画进行了修复实验；文献［17］引入信息熵度量图像块复杂度，改进优先权函数，并利用颜色特征和块间协方差结合的方式确定匹配块集合，抑制了Criminisi 算法错误填充问题；文献［18］采用P-Laplace 算子重新定义数据项，引入动态阈值序冠相似性检测算法进行匹配块搜索，并利用布谷鸟寻优算法确定最佳匹配块，克服了Criminisi 算法在壁画修复时易出现错误填充和修复效率较低的问题。基于纹理合成的图像修复算法对较大面积的破损壁画图像及延伸纹理方面有较好的修复效果，但很难获取图像全局结构与图像语义信息。

2.1 Criminisi 算法原理

Criminisi 算法是通过计算优先权，选择优先权最大的图像块作为待修复块，依据平方差和（Sum of Squared Dif⁃ference，SSD）相似度函数从图像的完好区域中选取最佳匹配块，并复制填充，不断迭代完成图像修复。该算法具体实现如下：

如图3 所示，在破损区域Ω的边界δΩ上寻找一点p，选取以p为中心、大小为n×n的图像块ψp，通过优先权函数式（3）计算所有ψp的优先权确定图像块修复顺序。

其中，C(p)为置信度项，表示破损区域中完好信息占总体信息百分比。D(p) 为数据项，表示有效信息可信度。C(p)与D(p)定义分别为：

式（4）中，ψp是以p点为中心的破损块，φ为完好区域，C(q)表示含有效信息像素数，|Ψp|为选取的图像块中的像素总数。式（5）中，为p点的等照度矢量，np为边缘δΩ上点p的单位法向量，α为归一化因子，一般取α=255。

Fig.3 Principle of Criminisi algorithm图3 Criminisi 算法原理

在确定优先待修补块ψp后，通过SSD 相似度函数在完好区域中寻找与待修复块ψp最相似的块ψq，用ψq代替ψp完成一次填充。SSD 相似度计算函数定义为：

其中，d(ψp,ψq) 表示块ψp与块ψq对应像素点间RGB 三通道欧氏距离平方和。

在找到最佳匹配块后，将匹配块复制填充到待修复块，更新置信度项，迭代以上步骤，直至修复完成。

2.2 实验结果与分析

选取敦煌壁画第201 窟“观无量寿经变之大势至”局部壁画和第158 窟“天请问经变之菩萨二身”局部壁画进行Criminisi 算法修复实验，如图4 所示，图4（a）为原始壁画图像，图4（b）为掩膜图像，图4（c）为修复结果。从图中可以发现，Criminisi 算法通过块匹配可完成对较大破损区域的修复，修复结果符合人眼视觉感受，如第一行图像修复结果；但因为Criminisi 算法对图像结构信息考虑不足，会出现块匹配错误问题，如第二行图像矩形框中的修复结果出现了结构传播错误问题。

Fig.4 Repair results of Criminisi algorithm图4 Criminisi 算法修复结果

3 基于稀疏表示的图像修复算法

稀疏表示是将信号通过字典中极少量的原子进行重构。Olshausen 等［19］将稀疏表示引入到图像处理领域，指出自然图像在某种变换域下具有稀疏性。基于稀疏表示的图像修复方法是在众多不定解中，寻求满足稀疏度要求的特殊解的最优线性组合。稀疏表示可分为两个关键步骤：稀疏系数求解和字典学习与更新［20］。稀疏系数求解有MP（Matching Pursuit，匹配追踪）算法［21］、OMP（Orthogonal Matching Pursuit，正交匹配追踪）算法［22］等。字典学习按照字典构成和训练方式分为固定基字典和学习型字典。其中，固定基字典主要有DCT 字典［23］、曲线波［24］等；学习型字典主要算法有MOD 算法［25］、K-SVD 算法［26］等。

众多学者对稀疏表示图像修复进行了改进，文献［27］针对图像字典自适应性差的问题，提出一种基于特征分类学习的结构稀疏传播图像修复方法；文献［28］提出将图像块与组稀疏联合稀疏表示的修复方法；文献［29］利用颜色与方向信息结合衡量样本块间相似度，并利用多个匹配块在构造颜色和方向空间内的邻域一致性约束下重构了目标块；文献［30］提出一种基于多尺度金字塔图像修复方法，将局部图像块统计信息与几何特征采用稀疏表示的方法完成图像修复；文献［31］通过线描的方式补全缺失的结构信息，并通过先纹理后结构的修复策略完成图像重构；文献［32］通过建立两个轮廓之间的相似变换模型估计待修复物体轮廓信息，并利用修复优先级和搜索区域划分进行纹理区域的修复；文献［33］引入组稀疏表示概念，提出以欧式距离作为分组准则，取得了较好的修复效果；文献［34］提出自适应图像组的稀疏正则化图像复原方法，通过自适应调整迭代次数，完成图像修复。基于稀疏表示的图像修复算法，通过不断更新字典和稀疏系数对缺失信息进行修复，对于壁画裂纹、划痕等有较好的修复效果，但是无法完成大面积破损壁画图像修复，存在修复模糊、平滑等问题。

3.1 组稀疏表示基本原理

相似组构造过程如图5 所示，首先将原始图像H划分为k个n ×n大小的图像块Hk∈，并将划分后的图像块按先行后列的顺序排列，记录各图像块索引；接着在提取样本块的M×M邻域中，计算样本块与匹配块欧式距离，并选取距离最小的a个匹配块组成集合，将排成矩阵形式，得到相似组。图像块p和q的欧式距离计算如式（7）所示。

其中，W、W′分别表示图像块p、q中对应位置的像素点。

Fig.5 Similar group construction process图5 相似组构造流程

经过上述过程，每个相似组由相同数量且具有相似特性的图像块构成。为了使相似组可以通过字典得到更好的表示，先采用双线性插值对相似结构组进行估计，得到一个初始值，之后进行SVD 奇异值分解，如式（8）所示。

组内字典学习对于每一个组都是自适应的，且只需进行一次奇异值分解，收敛速度加快。相似结构组相对应的自适应字典为：

其中，β为常数，采用分裂伯格曼迭代优化算法对式（11）进行求解，得到稀疏系数。最后将每个相似组字典和系数代入式（12）中，即可得重构修复后的图像H。

3.2 组稀疏表示实验结果与分析

选取敦煌壁画第158 窟“天请问经变之菩萨一身”局部壁画、第25 窟“观无量寿经变之九品行生”局部壁画、第159窟“普贤变之普贤菩萨”局部壁画进行组稀疏表示修复实验，实验结果如图6 所示，图6（a）为原始壁画，图6（b）为掩膜图像，图6（c）为修复结果。从修复结果可以看出，组稀疏对于较细划痕破损具有较鲁棒的修复效果，如第一行图像修复结果所示；但由于修复时利用字典原子与系数线性组合，因此，当较大区域破损时，修复结果中会出现局部模糊现象，如第二、三行图像矩形框中修复结果所示。

Fig.6 Group sparse representation repair results图6 组稀疏表示修复结果

4 基于深度学习的图像修复算法

传统图像修复方法大多基于图像先验信息进行缺失像素恢复，然而在大面积图像破损时，由于图像先验信息不足，传统图像修复算法无法正确完成修复。文献［35］根据博弈论中的零和博弈理论提出一种新型神经网络模型，称为生成对抗网络（Generative Adversarial Networks，GAN）；文献［36］生成器采用由粗到精的级联式模型，判别器采用局部与全局特征相融合的双重判别式模型，损失函数采用最小化重构损失与对抗网络损失相结合的方式，对人脸进行修复实验。深度学习壁画图像修复在图像全局结构和语义方面具有优势，但在学习模型泛化能力及收敛性方面还存在一定问题。

4.1 生成对抗网络GAN 基本原理

生成对抗网络GAN 由生成器模型G与判别器模型D两个部分组成，网络结构如图7 所示。生成器G学习训练集数据概率分布，然后生成新数据，判别器D判断生成数据真实性。其中，z表示噪声，X表示真实数据，G(z)表示生成数据，GAN_loss为损失函数。

Fig.7 The basic model structure of GAN图7 GAN 基本模型结构

GAN 目标函数可描述为：

其中，D代表判别器，G代表生成器，x为在真实数据分布Pdata（x）的采样，E［.］为计算的期望值，Pz（z）为原始噪声分布，z为噪声输入数据，GAN 的训练目标是让判别器能够更准确地判别真实数据和生成器生成数据，并让生成器生成的数据与真实数据更为接近。判别器D和生成器G采用交替训练的方式，直至网络收敛。

4.2 生成对抗网络GAN 实验结果与分析

选取敦煌壁画第25 窟“北壁弥勒经变中·弥勒二会”局部壁画和第25 窟“文殊变”局部壁画进行深度学习修复实验，实验结果如图8 所示，图8（a）为原始壁画，图8（b）为掩膜图像，图8（c）为修复结果。从修复结果可以看出，深度学习通过对数据集的不断训练，可以完成较大区域的破损修复，但对复杂结构的图像修复还需进一步优化。

Fig.8 Deep learning repair results图8 深度学习修复结果

5 结语

敦煌壁画作为世界文化遗产，具有较高的历史和艺术价值，但长期面临着自然和人为的严重损毁，如何有效地保护和传承敦煌文化遗产备受关注。数字化修复技术为古代壁画修复提供了全新的方法和视角，同时数字化修复技术使现代科学与古代文化交融碰撞，促进信息科学与文物科学交叉研究，形成新的学科研究方向。传统壁画图像修复方法利用破损壁画图像的完好区域信息，完成破损区域估计，各类修复算法均有应用局限性，仅适用于特定的修复对象，如在面对前后景难于区分、模糊以及大面积脱落的敦煌壁画图像修复时效果不佳。为了更好地对敦煌壁画进行数字化修复保护，未来可从壁画纹理、结构、颜色等特征出发，充分利用壁画多维知识属性进行数字化修复。此外，采用深度学习结合壁画图像语义、历史、文化、宗教等因素，广泛吸纳物理、化学、计算机、人工智能、认知心理学等领域相关技术进行修复，是未来研究主要方向。