马琳娜,马生涛,张加万,韩 冬
(1. 天津大学智能与计算学部软件学院,天津 300350; 2. 秦始皇帝陵博物院,陕西西安 710600)
青铜器作为中国古代文化的一种重要表现形式,造型多样,纹饰丰富,有着不可替代的历史研究意义。它不仅能够展示中国古代劳动人民的高超制造工艺,还通过丰富多样的纹样形式展现社会内涵,它是一个时期政治、经济、文化的缩影[1]。秦始皇陵封土西侧发掘的铜车马拥有丰富绚丽的彩绘纹样,为研究秦朝文化特别是为研究秦朝王室的纹饰提供了极其稀少和珍贵的实物资料[2]。然而由于墓室坍塌,长时间被封土掩埋挤压的铜车马表面的纹样受到较为严重的破坏,因此对其纹样的复原及保护工作迫在眉睫且意义重大。考虑到文物本身的特殊性,采取非接触且科学可靠的方法是开展研究的重要基础。
从遥感领域发展而来的高光谱成像凭借自身光谱范围大,光谱分辨率高等优势在农业,医疗,能源[3]等领域都有所应用。近年来,得益于其操作的非接触性和检测的高效性,高光谱成像技术成为文物保护领域热门的无损检测技术之一。其“图谱合一”的特点,能在可见光和红外等光谱范围内获取数百波段的高光谱图像[5],并同时记录目标的光谱曲线,在文物材料识别,发现隐藏信息,图像增强等方面具有较好辅助。例如:Polak等[7]将高光谱成像技术与信号处理和分类技术相结合,作为提高艺术品伪造鉴定准确性的一种手段。天津大学的孙美君等[8]提出了一种基于高光谱成像的自动敦煌壁画起甲程度分析算法,故宫博物院的史宁昌等[9]利用高光谱成像技术提取出《慈禧书佛字匾》上肉眼无法辨别的“慈禧皇太后之宝”章印,还发现了《崇庆皇太后八旬万寿图》中的几处修改痕迹和底稿信息。但现有的高光谱成像技术在文物领域的研究多用于油画或壁画,未见有对青铜器表面的彩绘纹样的应用。本实验针对青铜器彩绘纹样的损坏类型,对高光谱成像技术在恢复青铜器表面彩绘纹样的可行性进行研究。利用高光谱数据及一系列数据处理过程,从纹样的边缘信息和色彩信息两方面综合使受损严重的纹样以数字方法再现。
秦始皇陵出土的彩绘铜车马,是迄今为止发现的体量最大、结构最复杂的古代青铜器,有“青铜之冠”之称。铜车马通体彩绘,拥有夔龙纹,云气纹,几何纹等数百种图案[10]。其中以夔龙纹最为重要,数量多,形态精美,色彩绚丽,最具代表性。本次实验主要采集的纹样样本为铜车马主舆上6个损坏程度不同的夔龙纹。每个夔龙纹长约10 cm,宽约7 cm,如图1所示。通过对采集到的纹样数据的观察分析及对青铜器疾病相关文献的调研分析,将纹样的受损情况总结为以下4种类型:1)颜料层的剥落。由于铜车马的纹样均由“堆绘法”层层叠加颜料画成[10],而这些颜料涂层受到外力的摩擦,或者颜料层自身内部结构发生变化导致部分颜料层翘起或者剥落。2)纹样被铜锈覆盖。青铜器作为金属铸成的器物,在一定的湿度、温度条件下产生铜锈,使得纹样变得不完整[11]。3)纹样被泥土等混合物所覆盖。铜车马出土前被泥土覆盖,出土后部分泥土混合物无法完全清理。4)纹样的色彩发生变化。当前颜料所呈现的颜色由于氧化等作用并非本色,或者不同颜料呈现近乎相同的视觉感知色彩。而对于铜车马彩绘纹样的复原目标,实际上是探寻有效的方法将因为上述情况造成的缺失信息找回,从而将图像信息完整的纹样重现出来。
图1 高光谱数据采集样本夔龙纹示意图Fig.1 Picture of the gathering area
研究中所采用的高光谱成像系统由高光谱相机,两个卤素灯,一个电机平台和一台电脑组成。本实验中使用两个不同光谱范围的高光谱相机,工作光谱分别为875~1 725 nm和372~1 041 nm,高光谱相机的其他具体参数如表1所示。由于采集数据的环境在室内不具有太阳光源,两个卤素灯作为实验必须的光源,以便系统可以获取更高质量的数据。电脑主要通过程序实现控制电机平台的旋转移动,包括:角度、位置及速度,同时控制高光谱相机的快门曝光等。
表1 高光谱相机参数表Table 1 Basic specification for the hyperspectral cameras in study
实验中,高光谱成像系统的布置如图2所示,相机距离采集对象30 cm,并与被采集对象处于同一水平高度,电机角度为0°时,正好与采集平面垂直。卤素灯从采集目标的左右两侧均匀地提供采集数据所需的光源。为最大程度减少环境及设备对数据的影响,在确保每个纹样采集完成后,在相同位置和相同光照环境下采集标准白板(反射率99.9%)的高光谱数据以及为相机盖上镜头盖后(反射率0%)的黑标准数据,用于之后的数据预处理。
图2 高光谱成像系统示意图Fig.2 Hyperspectral imaging system
本实验提出的复原方法分为以下几个部分,数据处理的流程如图3所示。
图3 复原方法流程图Fig.3 Flow chart of restoration method
1.3.1数据预处理 原始数据受环境光和设备自身的影响,存在误差且有较多噪声。因此需要一系列的数据预处理。经实验证明,原始数据在经过黑白校准,数据过滤以及主成分分析和逆主成分分析变换的处理后,可以为边缘提取和颜料识别提供更优质的数据。
1.3.2边缘提取 边缘提取主要有以下几个步骤:1)波段选择,在上百个波段的高光谱图像中选择边缘信息最为完整的图像作为边缘提取的图像;2)图像矫正,为了弥补高光谱图像分辨率低的缺陷,需要结合普通数字图像(数码相机采集)上的边缘信息,图像矫正用于解决不同成像设备造成的图像变形;3)边缘增强及提取,主要是为了增强高光谱图像上的边缘信息,并将其提取;4)融合分别从高光谱图像上和普通数字图像上提取的边缘信息。
1.3.3颜料识别 颜料识别主要由两大部分的工作:1)合成伪假色图片,由主成分分析获得的多个正交不相关的主成分中选择3个主成分的数据作为图像R,G,B(Red,Green,Blue)三通道的数值合成伪假色图片。以此来判断纹样不同颜料分区。2)光谱拟合,通过采集矿物颜料的光谱曲线样本,制作矿物颜料标准光谱曲线库,并与纹样上的未知颜料的光谱曲线进行拟合,判断彩绘纹样所采用的颜料种类。
1.3.4整合复原 整合2和3中所获得的边缘信息和颜色信息,进行边缘勾勒与色彩填充,最终绘制数字图像,完成纹样复原。
为了消除环境光和设备暗电流噪声对实验准确性的影响,需要对原始数据进行变黑白校准,黑白校准的计算过程如公式(1)所示。
(1)
式中,D为黑白校准后的数据;D0为未经处理的原始数据;B为反射率接近0%的黑标准数据;W为反射率接近99.99%的白标准数据。
黑白校准后的高光谱数据在较低(band1-band39)和较高(band241-band256)的波段处存在大量噪声,数据没有参考价值,为避免这些极端数据在后续的实验中影响结论的准确性,在预处理阶段删除band1-band39和band241-band256的数据。再将删去低信噪比波段后的高光谱数据先通过主成分分析得到前10个主成分,再由这10个主成分通过逆主成分分析运算得到最终的高光谱数据。这进一步减少了数据噪声且获得更平滑的光谱曲线以及质量更高的高光谱图像[12]。这是由于经过主成分分析后高光谱数据被映射到新的空间,获得正交不相关的主成分,从图4a可以看出第一主成分就包含了绝大部分的信息,图4b也统计出前10个主成分就可以包含99.83%的信息,越往后的主成分所含信息就越少噪声也越多,因此在逆主成分分析时删除。
图4 夔龙纹主成分分析结果示意图Fig.4 Principal component analysis results of “Kuilong” pattern
2.2.1基于光谱特征的高光谱波段筛选 本研究假设高光谱数据在红外波段的图像可能存在可见光环境下肉眼无法直接获取到的信息。在已有的研究中也发现红外对某些特定材质有一定的穿透作用,并且对墨有着强烈的吸收效果[13]。铜车马主舆外部的大部分纹样已经损坏得相当严重,原本用墨线在纹样最上层勾勒出的边缘模糊不清甚至消失,无法把握纹样边缘的走势。
在图5中,对比展示了普通相机(即人眼)所采集到的受损夔龙纹局部区域图像和同一区域在红外波段处的高光谱图像。在图5a、5c中,夔龙纹的边缘无法识别,主要原因分别是边缘颜料层的剥落和边缘被一种黄褐色的混合物所覆盖。而在相应的高光谱图像中(图5b、5d),几乎所有看不到的夔龙纹边缘都较为完整地显示出来,对复原完整纹样有极高的意义。经过对大量样本数据的观察与实验,可以总结出在1.1中所提到的4种受损类型中,颜料层轻微的剥落或者被物质轻微覆盖而导致的边缘信息缺失,红外波段的高光谱数据有较好的辅助效果。对于颜料层完全剥落,青铜材质暴露的状况,属于信息完全缺失,高光谱数据也无法发现更多信息。
(a)和(c)不同夔龙纹的普通数字图像;(b)和(d)与普通数字图像中的对应区域的高光谱图像(band158处高光谱图像)图5 夔龙纹普通数字图像和高光谱图像对比图Fig.5 Contrast between ordinary digital images and hyperspectral images
为了从201个红外波段的高光谱图像中筛选出边缘最为清晰的波段作为边缘提取的图像。在高光谱图像上选择龙纹3个不同的边缘区域处的像元集合作为感兴趣区域(Region of Interest,ROI),如图6a中所示。每个区域的像元个数超过20个,以此避免由于单个像元误差而导致结果错误。图6b为3个ROI的均值光谱曲线,反映了对应物质随着波长变化而改变的反射率。可以看出虽然3个边缘区域的光谱曲线不是完全相同,但是它们都在1 450 nm附近有个明显的吸收谷。而在非边缘区域所获取的光谱曲线则趋于平缓没有明显吸收谷。因此,选择了波长为1 450.82 nm(band177)处的高光谱图像作为边缘提取的图像。其边缘区域和非边缘区域的反射率差异最大,使得边缘和其他区域的对比最强,边缘信息可见度最高。
图6 夔龙纹边缘区域平均光谱曲线Fig.6 Spectral curves of the “Kuilong” pattern’s edge
2.2.2基于最小移动二乘法的图像矫正 高光谱数据很大程度上帮助研究人员获得更多研究对象的有效信息。但受限于目前硬件技术,高光谱成像技术的图像分辨率相较目前普通的数码相机是较低的,经过前期的数据裁剪,一个夔龙纹的空间分辨率大约在100×150像素,因此它也会比一般的数字照片损失部分的细节。为了更好地提取纹样的边缘,需要结合高光谱图像和普通数字图像优势,相互佐证与补充边缘信息。由于不同的图像采集设备获取的图像存在不同的形变,所以本实验以高光谱图像上的夔龙纹作为基准,使用基于双三次插值法和最小移动二乘法(Moving Least-Squares,MLS)的图像变形算法将普通数字图像中夔龙纹的位置,大小,形状矫正到与高光谱图像中的龙纹一致。
通过在普通数字图像上设置关键点集合P,在高光谱图像的相应位置上设置关键点集合Q来获得控制点,如图7a和7b所示。集合P为图像变形前控制点的初始位置,集合Q为P对应控制点在变换后的目标位置。图像矫正的目的就是将P上所有的点的坐标映射到Q的坐标,通过不同的变形函数将原始图像上其余的点也映射到相应的新坐标。
图7 夔龙纹图像几何矫正示意图Fig.7 Pictures of image correction
为了让变换后的普通数字图像和高光谱图像上纹样的边缘重合的效果达到最佳。控制点的选择有以下几点要求:1)特征明确,能快速明确地在两幅图中识别出来,且能确定两点所代表的意义相同,即点Pi和点Qi一一对应。2)均匀分布,特征点需要均匀地分布在图像上,且覆盖图像上的大部分的纹样区域。设置好关键点后,根据最小二乘原理,要使得公式(2)取得最小值。
∑wi|lv(Pi)-Qi|2
(2)
(3)
公式(2)中,Pi和Qi分别为行向量,代表着变形前后控制点的位置;lv()为变形函数;wi为权重值。根据公式(3),wi的值与变形点和该点到控制点Pi的距离成反比。也就是说变形点里控制点越远,受到控制点的影响越小,不同的wi代表不同的变形函数lv()。最后通过刚性变换约束变形函数可以得到最终的变形结果。详细的变换函数公式推导可以参考引用Image Deformation Using Moving Least Squares[14]。夔龙纹的普通数字图像经过图像矫正,基本可以保证其纹样的边缘和高光谱图像上龙纹的边缘相重合。
2.2.3基于高通滤波的边缘增强及提取 高光谱图像拥有较为完整的夔龙纹,但是由于各类干扰信息较多,图像分辨率有限,夔龙纹的边缘不是特别清晰。高通滤波作为频率域滤波的一种,它保留高频,抑制低频,能加强图像中数值突变的区域,同时减弱图像中数值相对较平缓的区域,是边缘增强的一种方式[15]。本实验使用内核为3×3,中心像素值为8,外部像素值为-1的高通滤波器来增强边缘锐化图像。图8a中的图像融合40%的原始高光谱图像和经高通滤波器变换后的数据。很明显减弱了底色和完全剥落区域,增强了不同区域之间的边缘,使得夔龙纹的边缘轮廓可见性更好。图8b为基于8a提取的夔龙纹边缘信息。
图8d为矫正后的一般数字图像(图8c)上的边缘信息提取结果。相比于高光谱图像中提取的边缘结果完整度较低,但是很好地补充了高光谱图像中因为采集时电机卡顿,造成的图像小范围内折叠而损失的信息且夔龙纹尾部的边缘可见性也优于高光谱图像。图8e融合8b和8d两幅图像中提取的边缘信息。相比起肉眼能获得到的边缘部分,经融合后的图像多补充了48.59%的夔龙纹边缘信息,较为完整地展示了夔龙纹的精美线条形态,为相关领域的专家学者更好地研究秦始皇二号铜车马提供更加详细科学的资料。
图8 夔龙纹边缘增强、提取过程示意图Fig.8 Pictures of the enhancement and extraction process of the “Kuilong” pattern’s edge
2.3.1纹样色彩区域的划分 颜料作为古代彩绘的基础,是彩绘文物复原的重要组成部分,从秦始皇二号铜车马的彩绘纹样的现状来看,大部分的纹样颜料层不全,且有颜料层变色的问题。这些问题影响对于彩绘纹样原本色彩的判断。
与普通相机所拍摄的数字图像不同,高光谱图像是对应波段的目标反射率数据可视化的结果,一般来说是0到1之间的数值形成的灰度图像,而人眼对于灰度图像的敏感度也较低,难以获得更多信息。为了更好地将高光谱数据可视化,最大化高光谱数据所拥有的优势,可以选择3个波段的反射率数值作为图像R,G,B三个通道的数值,从而合成一张“伪假色”的图像。但是由于高光谱成像技术获取连续、窄波段的图像数据,两个相邻波段的数据上有极高的相关性。因此,高光谱数据在拥有更多细节信息的优势上,其数据的冗余度也相对较大。波段和波段之间的差异小,单个波段在整个数据立方体中所含的信息比例也较小。这使得从201个波段中选择3个波段难以展示出高光谱数据所拥有的全部信息。基于主成分分析可以将上百个波段的信息根据不同物质的光谱特征变换到几个主成分中,这几个主成分将包含整个高光谱数据99.98%以上的信息。而且主成分变换后的得到的所有主成分是正交的,也就是它们之间完全不相关,且没有信息重复。利用3个主成分合成的伪假色图像最能体现出不同颜料之间的差异。
为了充分测试高光谱数据对于色彩识别方面的潜力,选择所有夔龙纹样本中颜料层保存得相对较完整的夔龙纹作为实验数据。图9b是由高光谱数据经主成分分析后所得的主成分1,主成分4和主成分10作为RGB 3个通道的值形成的伪假色图像,图9c是主成分1,主成分3和主成分8形成的伪假色图像。主成分1至10的数据可参考2.1中的图4。
图9 夔龙纹主成分合成伪假色图Fig.9 Pseudo-color image of “Kuilong” pattern
伪假色图片包含了3个主成分的所有信息,并且由于人眼对于彩色图像更为敏感,可以获取更多有用信息。图9b与普通相机拍摄的数字图像9a相比较,图9a黑色矩形框内的颜色十分相似,会使人误判为同一种颜色。而在图9b对应的位置,可以看出该部分包含了两种颜料,而且两种颜料拥有清晰的边界。同样的,根据图9c红色矩形框中的内容,该部分也是由两种颜料构成。实验通过伪假色图像上的不同颜色区域,能够快速划分夔龙纹不同的颜料区域。除此之外,图9b上玫瑰红色并有凸起质感的区域为颜料层完全剥落的部分,可以用于评估纹样的破受损程度。
2.3.2彩绘纹样颜料光谱拟合分析 伪假色图像帮助区分夔龙纹的不同颜料区域,但是图像上的颜色并不是夔龙纹的原有色彩,因此对于颜料的鉴别需要更进一步的实验。秦始皇帝陵博物院的研究人员确认了秦人在制作彩色兵马俑时所用的十余种矿物颜料,部分如图10a所示。颜料名称后的数字越小,代表粉末的直径越小。相同颜料的不同颗粒粗细对颜料所呈现出来的颜色以及它的光谱曲线会有一定的影响。再通过与博物馆专家的沟通及查阅各类文献资料[16],确定了矿物颜料是同作为粘着剂的天然树胶混合均匀后采用平涂方式绘制于青铜器上。因此确定了相同的颜料准备与绘制方式,在博物馆研究人员的帮助下,采集了除了白色颜料之外(铜车马上的白色颜料已确定为羟基磷灰石和铅白的混合物)的其他矿物颜料的高光谱数据,通过数据预处理,选择ROI和计算均值光谱曲线最后建立了矿物颜料标准光谱库,如图10b。
图10 颜料样本库示意图Fig.10 Standard spectral library of pigments
同时,根据伪假色图片划分的夔龙纹不同颜料的区域,在每个区域上选择颜料层保存较好的地方,避开颜料层剥落严重或者其他物质覆盖的区域,选定ROI,计算均值光谱曲线如图11所示。
图11 夔龙纹不同区域光谱曲线示意图Fig.11 Spectral curves of “Kuilong” pattern
本实验将未知颜料的光谱曲线和矿物颜料标准光谱库中所有的光谱曲线进行光谱拟合。拟合算法采用了光谱特征拟合法(Spectral Feature Fitting,SFF),波谱角填图法(Spectral Angle Mapper,SAM)和二进制编码(Binary Encoding,BE)。利用SFF方法实现基于光谱吸收特征匹配及分类,将经过包络线去除处理的光谱曲线用最小二乘法拟合,主要比较的是光谱间的整体形态和吸收深度的相似性。SAM则是将光谱看成是维数与波段数相等的空间里的向量,通过计算光谱间的角度判定两个光谱之间的相似性[17]。计算公式如下。
∂的值越小代表两个光谱匹配程度越高。BE主要是根据波段是否低于波谱平均值,通过判断结果将数据和端元波谱编码0和1。使用“异或”逻辑函数对编码的光谱进行比较,匹配的波段数越多相似性越高。本实验为了更合理的拟合光谱曲线将SFF,SAM和BE的单独相似度得分乘以0.5,0.3,0.2得到最终的加权相似度,最后将其与标准库中参考光谱的相似度得分按降序排序。
夔龙纹各个颜色区域的匹配结果如下:区域C的光谱经过光谱拟合与雄黄1的相似度得分最高为0.721,其次是朱砂,得分为0.651。通过得分基本可以确定区域C,也就是龙身上的鳞片绘画所使用的颜料是雄黄。区域D的光谱曲线和石青5有最高的相似度,相似度评估得分为0.654,并且与石青4,石青3和石青2的相似度得分均超过0.5。因此可以确定,夔龙纹龙身羽翼的基本填色所用颜料为石青。区域A的光谱曲线和石绿1有着最高的相似度,得分为0.505。区域B的光谱曲线与黄丹有着最高的相似度,得分为0.643。代表所有纹样的底色的区域E1,代表夔龙纹龙身腹部颜色的区域E2和代表夔龙纹羽翼处鳞片颜色的区域E3,虽然肉眼上看起来颜色不同,但是它们的光谱曲线相互之间的相似度都超过了0.8,这意味着虽然看起来这3个部分的颜色不同,实际上它们所用的颜料是相同的。而在马车出土后,博物馆的研究人员就对马车上掉落的白色底色颜料进行了X射线衍射分析,白颜料被确定为羟基磷灰石和铅白的混合物。因此上述3个区域都应为白色。
将实验结果和博物馆专家的意见以及相关参考文献综合分析,相互论证下,初步复原了夔龙纹的数字图像(图12)。与在秦始皇二号铜车马上看到夔龙纹相比,数字复原图不但展示夔龙纹的完整边缘还恢复了夔龙纹原本的颜色。不论是对专家学者还是对博物馆参观者都能更好地提供秦始皇二号彩绘铜车马的纹样图像。
图12 夔龙纹数字复原图Fig.12 Digital restoration of the “Kuilong” pattern
高光谱成像技术凭借非接触,光谱范围广,光谱分辨率大等优势,为彩绘青铜器的检测,修复和保护提供了更高效,更科学的技术支撑。本研究利用高光谱成像技术的多维信息辅助以计算机信息处理技术,从铜车马彩绘纹样的边缘信息提取和色彩信息复原两方面数字再现铜车马的典型纹样——夔龙纹。并提出了一种更为科学高效的青铜器彩绘纹样数字复原方法。1)通过纹样在近红外区域的高光谱成像结果复原出其难以识别的图案边缘信息以恢复彩绘纹样的结构。2)利用高光谱数据中的光谱信息识别出铜车马上彩绘所采用的颜料种类以恢复彩绘纹样的色彩。从研究结果看一方面复原的纹样可以用于更深层次文物研究与应用,帮助了解和宣传秦朝文化;另一方面也提出了可行的青铜器彩绘纹样复原方法并证明了高光谱成像技术在彩绘青铜器上的应用潜力。
致 谢:由衷感谢在课题研究期间提供帮助的所有秦始皇帝陵博物院的专家们以及工作人员们,特别感谢夏寅研究员在彩绘、颜料研究等专业领域提供的专业知识支持,感谢安洲科技公司提供了部分实验设备。