基于高光谱影像分类线性回归的古画污渍虚拟恢复

周平平，侯妙乐，赵学胜，吕书强，胡云岗，张学东，赵恒谦

(1. 中国矿业大学（北京） 地球科学与测绘工程学院，北京 100083； 2.北京建筑大学 测绘与城市空间信息学院，北京 100044)

0 引 言

古画作为中国文化艺术的重要文化遗产，在长期的保存过程中，由于自然环境和人为保存不当等因素的影响，古画中含有霉变、水渍、烟熏、蝇粪、油斑等污渍[1]，模糊了画作的信息表达，降低了字画的艺术表现力，从而影响其欣赏或收藏价值。针对画作中污渍，传统的修复方法主要有物理和化学方法两种[1-3]。物理方法主要利用水清洗或者手术刀轻轻去削，能够有效地去除蝇粪或者霉变。油斑的去除主要依靠丙酮、乙醚、高锰酸钾等化学试剂进行氧化和溶解，导致纸绢发脆甚至粉化，对文物损伤较大。然而油渍的存在模糊了画作的信息表达，降低了字画的艺术表现力，如何在不损伤古画物质本身的同时，对画作中被污渍遮挡的隐含信息进行有效提取，并尽可能恢复展现画作原貌，成为了一个较难解决的问题。

近年来，高光谱技术凭借无损检测、光谱分辨率高和光谱范围广等优势逐渐应用到文物保护领域中。首先，较高的光谱分辨率使得精细辨别成为可能，目前已有一系列的关于颜料识别分析的研究，并取得了一定的研究进展[4-7]。其次，涵盖较广的光谱范围增加了模糊文物信息的探测能力[8-14]。侯妙乐[8]等利用主成分分析实现原始数据的降维，选出含底稿信息量大的特征波段，并利用最大似然分类法实现基于特征波段合成影像的壁画底稿信息提取；Pan等[9]对敏感波段进行归一化，在此基础上利用密度分割、阈值分割等方法实现了褪色壁画图案的提取；Legnaioli 等[10]应用主成分分析、独立成分分析和正交化等统计方法增强画作隐含信息，结果表明正交化是一种高效快速的方法。Emanuele[11]等假设影像是由反射率不同的每种物质线性混合而成，通过主成分分析、独立成分分析等方法将信息集中在前几个波段，每个波段表示一种物质，以此增强古时羊皮纸上被抹去的阿基米德手稿信息，为现代历史学家研究历史提供了重要的依据。然而，以上文献研究重点主要放在感兴趣局部信息的增强或者提取，经过处理影像的光谱信息不再具有物理意义，同时不再保留原始文件的样貌。而虚拟修复目的是尽量恢复整幅影像的原始样貌。Kamal等[12]根据模糊的壁画上某些颜料信息在近红外波段成像比较清晰，在HSV颜色空间（或YIQ）将近红外波段图像与可见光影像进行融合，对整幅影像进行增强；Han等[13]基于光谱解混提取了壁画人物轮廓线颜料纯净端元，然后利用波谱角分类获得轮廓线，在此基础上与可见光影像融合，改善了整幅影像的清晰度，以上两种方法虽然一定程度上恢复了画作的原始风貌，但是得到的融合结果会弱化图像清晰区域的图像质量。Seon Joo Kim[10]等虽以保持旧文档的外观和感觉为目标，使用梯度域方法，对采集的旧文档高光谱数据进行了黄点、墨水侵染痕迹去除，增强了历史文档的可读性；但是与书籍相比，古画含有多种颜料，对象更为复杂，该方法能否适用尚未可知。对于遭受油斑损害的古字画，不仅要通过修复提取被遮挡信息，还要尽可能地去除污渍侵染所引起的字画艺术偏差，以期尽可能还原原始字画的初始样貌及艺术表现效果，为后期字画保护与修复提供科学支撑。

针对古画油渍区域科学修复困难，本文提出了一种基于高光谱影像分类线性回归的古画油渍虚拟修复方法。该方法主要针对污渍区域真彩色波段像素值进行处理，首先建立各类线性回归方程，利用受污渍影响较小的波段去校正受污渍影响较大的真彩色显示波段，从而实现污渍下颜料在真彩色波段的显示，以提高古画的鉴赏价值和艺术表现力，避免化学方法对珍贵文物的损伤。

1 方法原理

油渍区域虚拟修复算法流程如图1所示。

图1 基于分类线性回归的古画虚拟修复技术流程图Fig.1 Technical flowchart of virtual restoration based on classified linear regression

1）基于SVM分类的污渍区域及无污渍区域提取

高光谱遥感数据大量的光谱波段提供了非常丰富的遥感信息，极大地增加了信息的探测能力，然而波段的增加，导致了数据的高维特征和信息的高冗余性。研究表明，利用高光谱影像进行分类时，必须保证足够数量样本才能达到较理想的分类效果[15]。支持向量机（SVM）是适用于小样本、高维特征的分类器[16]，通过利用其特有的核函数与惩罚变量技术，将低维线性不可分映射成高维线性可分，并通过设置惩罚因子，处理极个别的离群值的类别归属，达到自动识别的目的，是目前高光谱影像分类常用的方法。本文利用SVM分类器解决小样本、高维特征问题的优势，通过在影像中选取颜料、纸和污渍的样本，对处理后影像进行分类，实现无污渍区域各个种类和污渍信息的提取。

2）基于波谱特征分析的污渍区域内隐含信息提取

污渍往往会模糊古画的表达信息，甚至一定程度上对古画信息造成遮挡。如何提取污渍区域内隐含信息成为古画虚拟修复的关键。本文通过分析影像各物质的波谱特征，寻找受污渍影响小的波段，以分辨污渍区域内各种物质。然后通过制作的污渍区域掩膜，利用人工神经网络（ANN），以受污渍影响小的波段作为输入影像，提取污渍区域内的各种物质。

3）基于分类线性回归的污渍去除

利用SVM可以提取影像中无污渍区域各个种类信息，获取各种物质的分布区域。在处理后影像上分别选取各种物质一定数量的样本，利用这些样本依次对真彩色显示波段与经过波谱特征分析确定的受污渍影响较小波段进行相关性分析，其中，受污渍影响较小波段作为自变量，真彩色显示波段作为因变量。根据相关性系数大小、信噪比以及受污渍影响程度等因素，从受污渍影响较小波段中选取一个波段作为建立回归模型的自变量，并建立各种类的线性回归方程，如式（1）所示。示真彩色显示波段下第i个波段，种类j的像素值，aij则表示第i个波段，种类j回归方程系数，bij表示相应的截距，X表示自变量，即选取波段的像素值。通过对自变量和因变量进行回归分析，得到相应的回归方程参数。

基于分类线性回归的污渍去除主要思路是通过建立各个种类的线性回归方程，利用受污渍影响较小的波段去校正受污渍影响较大的真彩色显示波段。其中，无油渍区域像素值保持不变，而油渍区域根据公式（1）建立各个类别所对应的变换方程，预测油渍区域上被遮挡的颜料信息的像素值，对污渍区域真彩色波段像素值进行替代，以实现油渍区域在真彩色波段下隐含信息的虚拟修复。

2 实验与分析

2.1 实验数据概况

实验数据选取了一幅清代绢本古画，画作采用蓝色和黑色水墨颜料为主。画作上部叶片中部有一处极为明显的污渍区域。污渍的存在不仅对覆盖区域下的叶脉纹络造成了遮挡，还使得整体芭蕉叶片的色彩原貌展示受到一定影响。

古画高光谱图像采集使用美国Themis Vision System公司的高光谱图像分析系统THEMIS—VNIR/400H，其光谱覆盖范围为377.45～1033.10nm，本文从采集的一景古画数据中选取方框部分作为实验区域，如图2所示为实验数据的真彩色显示，实验数据共1040个波段，光谱分辨率达到2.8nm。去除低信噪比波段后，光谱覆盖范围为433.57～974.96nm，波段数为851。

图2 实验区域Fig.2 Experimental area

2.2 实验数据处理

2.2.1 辐射校正及去噪处理

高光谱原始数据的校正由光谱仪自带软件包自动完成，主要包括：原始数据辐射强度中暗电流去除，各光谱数据通道的增益校准，波长订正等。

校正完成后，数据中噪声仍然比较严重，导致数据波谱曲线呈锯齿状波动和不规则变化。为了限制数据中的随机噪声水平，采用MNF逆变换[17]对数据进行平滑处理，以在一定程度上消除光谱曲线误差。经过MNF处理后，影像波段之间的相关性得到消除，图像与噪声能够相互独立。然后再利用MNF逆变换技术对MNF变换后的前五个波段进行处理，处理后的影像不仅能够保留光谱信息，而且能够很好地抑制影像中噪声。如图3所示，经过MNF逆变换处理后，影像中波谱曲线毛刺现象得到了明显的改善。

图3 MNF逆变换数据去噪：a) 原始影像光谱曲线，b）MNF逆变换后影像光谱曲线Fig.3 Data denoising through inverse MNF transform: a）spectral curve before data denoising, b）spectral curve after data denoising

2.2.2 波谱特征分析

通过波谱特征分析识别污渍区域内的各种物质是利用分类回归进行虚拟修复的基础。本文利用波谱特征分析，确定能识别污渍区域物质种类的波段。本文所使用的数据中主要含有3种物质，即纸、蓝色颜料（绘画中叶子）和黑色颜料（叶子的脉络，墨水）。不同的物质具有不同的光谱特征，通过对比3种物质光谱反射率曲线发现，3种物质的光谱特征差异较大，如图4所示，纸反射率整体较高，蓝色颜料反射率次之，黑色颜料反射率最低。其中，黑色颜料整体光谱特征与另外两种物质反差较大，易于区分；纸和蓝色颜料在474.21～724.60nm区间光谱差异较大，具有较好的可分性，而在724.60nm～近红外波段区间内两者光谱比较接近。而污渍区域由于受到油渍的影响，导致各种物质的反射率整体偏低，并呈现以下规律：①在433.57～702.28nm区间受油渍影响较大，波谱曲线基本一致，此时无法辨别各种物质，如图5a所示；②在702.28nm以后的区间，随着波长的增加，油渍影响逐渐减弱，油渍下物质逐渐隐现，如图5中b和c所示。因此鉴于选择波段需要具备以下两种条件：①3种物质具有可分性，②受油渍的影响较小，选择波段465（724.60nm）作为确定油渍区域种类。但该波段下显示油渍覆盖区域只有两种物质，即蓝色颜料和墨色颜料，因此选择的波段只要波长大于702.28nm即可。

图4 物质光谱反射率曲线图Fig.4 The spectrum of blue pigment, dark pigment and paper

图5 污渍区域物质在不同波段的显示Fig.5 The display of oil stains at diあerent bands

2.2.3 分类线性回归模型建立

综合考虑遥感影像各波段与真彩色显示波段（波段45、192、334）的线性关系、信噪比以及受污渍影响程度，本文选择使用高光谱影像中第492波段（741.82 nm）作为自变量，分别与3个真彩色显示波段进行相关性分析。由于不同物质的亮度值变化并非呈一致的变化趋势，利用整幅影像进行相关性分析，建立准确的回归模型较为困难。从波段间的相关性系数来看，见表1，不同波段间相关性存在较大差异，其中，492波段与45、192波段相关性较好，与334波段相关性较差。图6为以492波段为自变量，与其他各波段的散点图。

表1 492波段与其他波段之间的相关系数和标准误差Tab.1 The correlation coeきcient and standard deviation between the band 492 and other bands

图6 黑色颜料各波段与492波段反射率线性关系散点图Fig.6 Scatter plots of spectral reflectance between the band 492 and other bands of black pigment

考虑到不同物质在不同波段上具有不同的变化规律，可以对不同类型的物质分别采取不同的线性变化方程，从而提高回归模型的准确性。在分类后的影像上分别随机选取黑色颜料、蓝色颜料和纸575、812、400个样本点进行相关性分析。从相关性系数来看，见表2，相关性有了明显的提高，尤其是黑色颜料相关系数高达0.86以上，表3为各波段各物质的标准差。

表2 影像分类后各个类别之间的相关系数Tab.1 The correlation coeきcient between the band 492 and other bands after the classification

表3 像分类后各个类别之间的标准误差Tab.3 The standard deviation between the band 492 and other bands after the classification

2.3 虚拟修复实验结果及分析

利用以上所研究的修复技术，对影像中污渍区域进行处理，其中，无污渍区域像素值保持不变，污渍区域像素值则由回归模型得到的值进行替代，最终获得影像如图7a所示。从最终影像效果中可以看出，经过层层处理后，污渍的影响逐渐被减弱。

修复后的影像与原始影像相比，污渍下被遮挡的颜料信息得以显现，影像中黑色颜料信息均能够较好地显现出来，叶脉纹络得到了很好的展现。分类回归处理由于考虑到各类物质在不同波段的对应关系，因此对色彩还原效果更显著，如图7b所示，这种色彩的还原效果在纵观整个画作的尺度上体现更为明显，如图7d所示。对比污渍污染作品原始影像如图7c所示和分类回归的修复影像如图7d所示，可以明显地看出，污渍下的隐藏信息在得到了提取展示的同时，污渍处的色调也得到了很好的还原。总体来讲，利用分类回归处理能够有效去除污渍对字画的影响。

图7 实验结果Fig.7 Experimental results

信息熵反映了图像的信息含量，其值越大，信息越丰富。本文采用均值、方差和信息熵等常用影像质量综合评价指标对影像进行定量化分析见表4。各个波段的平均值都有所增加，这是因为物资信息的存在，导致蓝色颜料反射率在可见光波段降低，黑色颜料反射率在可见光波段升高，而污渍区域内主要物质是蓝色颜料，所以处理后的均值有所提高。本文实验结果中方差、信息熵与文献[18]中去雾结果相反，可能是因为云层对底层地物起到了模糊的效果，经过云雾去除，各种地物包括草地、建筑、水体等细节信息得以显现，所以无论是方差还是信息熵都在一定程度上增加；而在本文中，污渍作为画作中的物质，经过处理后，该信息在很大程度上得到抑制，所以使得在定量化分析中，并未出现方差和信息熵增大的情况。

表4 处理结果比较Tab.4 The result comparison before and after restoration

3 结束语

本文利用古画高光谱数据红波段、近红外波段对油渍污染不敏感的特点，通过建立各个物质的分类线性回归方程，对污渍污染古画隐含信息的提取技术方法进行了研究。该修复方法能够在不损伤原作实体物质的同时，对受污渍影响较大的真彩色波段进行修复，在尽量地保持了古画原有的色彩基础上，有效地提取了被油渍遮挡的隐含信息，并一定程度地恢复了画作原貌。

本文修复方法主要是利用了污渍、画作颜料信息的光谱差异，而对于光谱更为复杂的情况，修复效果可能会受到限制，这有待于进一步研究和探讨。另外，本文只是针对真彩色显示下3个波段的影像进行了修复，因此，对于其他各个可见光波段还需要进一步的研究。