新津观音寺明代壁画图像的计算机自动虚拟修复研究

王 展，王慧琴，吴 萌，陈 卿

(1. 国家文物局砖石质文物保护基地(陕西省文物保护研究院)，陕西西安 710075； 2. 西安建筑科技大学，陕西西安 710055)

0 引 言

新津观音寺始建于南宋淳熙年间(1174～1189年)，元末毁于战火，明代重建，清虽有修葺，但仍在后世中被破坏，现仅存有明代壁画和泥塑的毗卢殿与观音殿。观音寺作为川西地区著名佛寺，现存的毗卢殿壁画是我国明代壁画的代表，具有极高的艺术价值[1]。由于历史的原因，珍贵的毗卢殿壁画或多或少地存在不同文物病害，这些病害使画面缺损，内容线条、色彩不连续、不自然。近年来，数字图像修复技术已经被引入到文物领域应用中，如2007年意大利的DEL MASTIO A等[2]研究了虚拟重现与水印加密技术作用在文化遗产图像上效果，并设计符合该国文物数字修复要求的软件。2008年希腊的GEORGE PAPANDREOU等结合图像稀疏表示，并加入了隐马尔可夫树，获取相邻信息素的小波系数的相关性，复原了希腊史前壁画。同年，爱尔兰的PAPANDREOU采用基于正则化概率模型的数字修复技术，通过小波系数引导隐马尔可夫树模型，保证了修复过程中良好的位移不变性和方向选择性，完成德黑兰古代壁画的数字修复。2009年捷克的BLAZEK在壁画数字信息中的可见光与紫外光谱部分进行了图像配准与图像融合，分析壁画信息老化的演变过程，并实现模拟复原，给修复师提供更多的修复效果参考[3]。2011年捷克的BENES M[4]提出用图像分割与数字修复技术相结合，去除古代艺术品上的人为痕迹。2012年印度的CHANDA B[5]对古代壁画采用了块匹配技术进行了退化信息的复原技术的研究。同年，AGRAWAL通过检测Vinayagar神庙的外围墙面壁画中的重复图案，模拟重复规则，利用高度相似分块，进行外墙壁画的数字修复。2013年美国的KARIANAKIS N利用形态学算子进行德黑兰古代壁画的病害检测，并通过改进的TV算法对其进行了修复[6]。同年，比利时的CORNELIS[7]采用三种裂缝检测方法，自动标记根特祭坛壁画上错综复杂的病害区域，并进行了数字修复。2014年韩国的YUKYONG Lee[8]建立一个虚拟展示古代高丽国墓室壁画修复过程的系统，该系统拥有友好的人机界面并且可以动态展示修复过程。2016年印度的ASWATHA S M[9]建立了一套以数字修复技术为核心的一体化涂漆系统重建帕斯帕提那神庙壁画的信息，采用双边滤波，样本源约束修复，色调处理和纹理梯度融合等技术实现数字油漆系统。本研究针对观音寺壁画的主要病害特点，通过对数字图像修复技术中的Criminisi基于样本的图像修复算法的改进，实现了对观音寺壁画的数字图像修复[10]。

1 观音寺壁画主要病害特点及数学模型

新津观音寺位于四川成都平原西部，属亚热带半湿润气候区，常年较为潮湿。观音寺壁画的制作工艺因地制宜，壁画底部墙体垫以石条阻断地下水，每幅壁画四周固定木框防止画面开裂形变。地仗以棕丝和泥作底，上沙泥覆盖，再以白垩土和矾水涂刷找平，既坚固又防潮。画面“用漆入画”，以生漆勾勒线条和填以矿物颜料[11]。所以，观音寺壁画防水、耐潮、不易退色，整体结构和画面保存较好，表面主要病害均因磕碰、刻画或起甲、剥落，使局部缺失露出白色地仗。这种局部不同程度的缺失可以从其周围画面已知区域得到推断进行修复补绘。

观音寺壁画的主要病害修复的数学模型如图1所示，其数学描述为：假设D表示图像中的未知区域，E表示图像中的已知区域。这种数学模型和数字图像修复技术在数学上的模型具有高度的一致性。从而观音寺壁画的数字图像修复和文物本体修复的修复过程都是利用E中的有效信息来修复区域D中的未知信息，也就是在修复过程中提出合理假设的基础上，从计算机(人体视觉)和信息论的角度进行分析，通过对比各种假设的合理性，最终解决图像(壁画)的修复问题，从而使得图像更加连续、自然。

图1 修复数学模型

2 基于Criminisi算法的观音寺壁画数字图像自动虚拟修复策略

2.1 Criminisi算法基本原理

Criminisi算法是基于样本的修复算法，可同时兼顾图像纹理信息和结构信息，并通过全图搜索设定匹配准则以寻找最佳匹配块。Criminisi算法修复过程主要由优先权计算、搜索最佳匹配块、复制更新三部分组成[12]。

首先，计算待修复区域边界上像素点的优先权，如式(1)所示。

优先权：P(p)=C(p)×D(p)

(1)

(2)

式(2)中，待修复区域边界上像素点p的置信度C(p)为待修复块中已知像素之和与待修复块所含像素总数的比值，Size(ψp)是待修复块所含像素总数。

(3)

其次，根据待修复块的已知信息在图像已知区域内按一定的匹配准则寻找最佳匹配块。经典Criminisi算法采用基于欧氏距离的匹配准则，欧氏距离d(ψp，ψq)定义为待修复块ψp与匹配块ψq对应像素点的灰度值平方和，计算如式(4)中所示。

(4)

最后，将最佳匹配块中复制到待修复块对应的位置上，更新待修复边缘置信度与数据项，更新计算如式(5)所示。

(5)

以上三步不停地循环直到图像中所有的受损区域全部被修复为止。每次循环前都要重新计算新的边界上各点的优先权，以确定下一个最先需要修复的目标块。

2.2 观音寺壁画数字图像自动虚拟修复策略

本研究针对壁画数字图像修复策略在算法上主要进行以下几方面的改进：

第一，在Criminisi的优先值计算公式(1)中引入β因子，即：P(p)=C(p)β·D(P)，保证在相同情况下置信度项C(p)的重要程度减小。而数据项D(p)对优先值P(p)贡献增大，使在修复过程中对图像纹理细节较为敏感，进而增进修复效果。

第二，针对不同纹理程度的图像，通过选取Haar小波对纹理特征进行量化。由于β因子的选取与图像纹理特征的相关性，使β因子在纹理的量化的基础上可以自适应调节(表1)，以保证修复策略针对不同纹理程度的图像能够自适应，提高纹理色彩的连续性和自然度。

表1 自适应分解位置范围选取

第三，通过离散化处理图像已知区域，提高选取填充样本速度。此外，在填充时，采用环形填充策略，在完整的填充边缘被完全修复后，再重新计算填充边缘，节省重复边缘检索的时间开销。从而通过样本选取和填充边缘策略的改进提高修复图像的效率。

3 观音寺壁画图像修复仿真实验

观音寺壁画图像修复仿真实验基本环境是在Windows平台下，利用开源计算机视觉库(Open Source Computer Vision Library，OpenCV)进行仿真实验。OpenCV是1999年由Intel建立的基于BSD许可证授权发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作系统上。OpenCV是由一系列C函数和少量C++类构成，同时提供了Pyhthon、Ruby、MATLAB等语言接口，实现了图像处理和计算机视觉方面的很多通用算法。观音寺壁画图像修复仿真程序编写集成开发环境(IDE)为Visual Studio 2010，OpenCV版本为2011年8月发布的OpenCV 2.3.1。

实验用数字图像是在观音寺壁画中截取具有典型病害特征的部分为研究对象(图2)。通过OpenCV编写的仿真程序读入该研究对象并定义为待修复图像；判断出图像中的已知点和未知点，形成二值图像；计算填充前缘优先值，取得待填充点坐标；执行最优样本选择；进行待填充点像素填充；计算未知点个数，再次填充直到一个完整的填充边缘全部被修复完成。实验中通过优先值的选取，使每次修复过程形成环形填充，当一个完整的填充边缘全部被修复完成后，形成新的待修复图像，再次执行仿真程序，直到所要修复的待修复图像全部修复完成(图3)。

图2 原始待修复图像

图3 标记图中病害

具体实验方案设计有三个。方案一：最小修复尺度，仅仅修复壁画中的划痕类病害(图4)；方案二：中度修复尺度，修复划痕和小块的剥落(图5)；方案三：大尺度修复，修复壁画中所有的非绘画内容(图6)。

图4 方案一修复效果

图5 方案二修复效果

图6 方案三修复效果

图7 最终修复完成图像

图像修复过程及结果见图3到图6，其中在各图的右上图为原始待修复图像，左上图为标记新未知区域的待修图像，左下为已知点与未知点二值图像，右下为标记新未知区域待修图像的二值图像。

对不同的实验方案的算法效率进行比对，对于不同修复尺度，算法迭代的时间复杂度也不同(表2)。

通过研究实验，从待修复图像的虚拟修复效果来看，缺损壁画数字图像整体纹理、色彩连续、自然。由于使用壁画图像本身的已知像素点作为填充样本，修复完成壁画图像依然古朴，具有强烈的历史沧桑感。实验结果说明，在Criminisi基于样本的图像修复算法的基础上，针对观音寺壁画数字图像自动虚拟修复的改进是有效可行的。

表2 方案效率比较

4 结 论

信息化时代的到来，在“互联网+”的影响下，数字文化遗产的利用、传播、交流会有越来越大的应用空间。通过新津观音寺明代壁画图像的计算机自动虚拟修复研究，针对不同文物病害造成的不同尺度的图像缺损，可以通过改进优化数字图像修复技术相关算法，提高其适用性与修复效率。

通过壁画图像的自动虚拟修复研究，一方面文物图像虚拟修复提供的连续、自然、完美的文物数字图像满足了不同审美取向的观众；其次，在文物保护修复工程实施之前，虚拟修复使修复结果有了一定的可视性与预见性，能够有利地促进文物保护修复方案的制定与实施。

但是，针对采集的文物二维数字图像，通过对图像修复算法的改进可以完成不同种类的文物病害在图像上造成的不同尺度的缺损图像的修复。对于更能充分展现文物各类信息，包括不同种类的病害信息的三维数字图像，相关图像修复技术还有待进一步的深入研究。