曹鹏辉,吕书强,汪万福,高振华,侯妙乐
基于光谱降维与Hu矩的壁画颜料层脱落区域提取方法
曹鹏辉1,2,吕书强1,2,汪万福3,高振华1,4,侯妙乐1,2
(1. 北京建筑大学测绘与城市空间信息学院,北京 100044;2. 北京市建筑遗产精细重构与健康监测重点实验室,北京 100044;3. 敦煌研究院,甘肃 敦煌 736200;4. 山西省考古研究院,山西 太原 030000)
颜料层脱落区域的提取是壁画现状调查的重要环节,由于其光谱特征与壁画白色图案较为相似,仅利用光谱特征提取的精度较低。因此,提出了一种兼顾光谱特征和Hu矩形状特征的颜料层脱落区域提取方法。首先,利用壁画高光谱图像的光谱信息,经光谱降维,采用支持向量机监督分类法提取颜料层脱落区域与白色图案。然后,对颜料层脱落区域与白色图案分类结果分别进行连通,将连通后的图斑视为最小识别对象,利用Hu矩计算每一个对象的形状特征,采用支持向量机二分类再次区分对象图斑,实现颜料层脱落区域的半自动提取。最后,以青海省瞿昙寺壁画高光谱图像进行了提取。结果表明,该方法能提高颜料层脱落区域的提取精度,为壁画的现状调查提供支撑。
颜料层脱落;病害提取;壁画;高光谱成像;Hu矩;支持向量机;最小噪声分离
壁画是中国传统的绘画形式之一,其色彩瑰丽,内容丰富,具有重要的历史、科学和艺术价值[1]。由于长期受到自然和人为等因素影响,很多壁画出现了褪色、起甲、颜料层脱落等病害,存世现状堪忧。颜料层脱落是指壁画的颜料层脱离其底色层或地仗层的现象,属于危害较大的病害类别[2]。为了对壁画进行科学保护、制定合理的永续留存方案,病害提取是必不可少的工作之一。对壁画病害的自动高效识别与提取是保护修复的基础,综合利用现代科学技术进行壁画病害识别与提取已成为研究热点。
近年来,许多学者对壁画病害的提取和识别方法进行了系列研究。李彩艳等[3]提出了一种壁画泥斑的自动标定算法,通过分析泥斑的空间特征,实现对唐墓室壁画泥斑病害的识别。曹建芳等[4]提出一种基于壁画图像的颜料脱落病害自动标定方法,利用脱落区域的颜色特征和区域生长算法,实现了开化寺壁画脱落病害的自动标定。刘建明[5]利用小波局部二值模式的纹理提取算子实现壁画霉菌、疱疹、酥碱等病害的识别。上述方法主要使用数字图像进行病害识别与提取,依据壁画表面的颜色、粗糙度、光滑度等色调纹理特征,尚未用到病害光谱特征。随着高光谱成像的发展,其覆盖波长宽,光谱分辨率高,光谱连续[6],对文物表面颜料层具有较高的透射性,且检测手段无损,已逐渐应用于文物表面相关信息的提取与分析[7-9]。如孙美君等[10]针对不同起甲病害程度的壁画高光谱图像,分析光谱特征,利用最小二乘回归实现了壁画起甲病害的风险评估。周霄等[11]采用平均光谱反射率和特征峰位置作为分类标准,对云岗石窟砂岩的粉状风化病害进行了评估。LI等[12]利用主成分分析和稀疏自编码器提取光谱特征,用点排序识别聚类结构(ordering points to identify the clustering structure,OPTICS)密度聚类算法实现光谱特征聚类,实现了对敦煌壁画起甲病害的评估。上述方法主要利用病害的光谱特征进行分析与提取,忽略了高光谱图像提供的病害的空间特征,而且专门针对颜料脱落病害提取的研究较少。
颜料层脱落后的底色层与壁画中白色图案的主要成分均为钙化物,两者的颜色相近、光谱特征相似,很难区分。因此,本文提出一种兼顾壁画高光谱图像光谱特征与形状特征的壁画脱落区域提取方法,利用高光谱图像提供的光谱特征,采用支持向量机(support vector machine, SVM)进行监督分类,实现颜料层脱落病害、白色图案与壁画其他图案的区分。然后,基于颜料层脱落区域与白色图案区域边缘形状特征差异较大的特点,提取两者图斑的Hu矩形状特征,再次利用SVM依据形状特征区分颜料层脱落图斑与白色图案图斑,实现颜料层脱落区域的提取。该方法可以提高壁画脱落病害分类精度,提高壁画病害提取的效率,为其他类别壁画病害多特征计算机提取提供借鉴。
本文高光谱数据采集自瞿昙寺壁画,瞿昙寺位于青海省海东市乐都区,始建于明代,壁画多绘于明清两代,具有较高的研究价值,寺内原有壁画廊78间,总面积超过300 m2[13]。目前,由于存世久远,壁画存在较严重病害。本文选择瞿昙寺西回廊部分壁画进行颜料层脱落病害提取,为壁画的保护修复提供辅助参考。
1.2.1 数据获取
高光谱图像采用VNIR400H型高光谱成像仪进行数据采集,主要参数见表1。
表1 VNIR400H高光谱成像仪参数
数据于2018年8月28日下午采集,现场采用卤素灯作为光源。成像仪距壁画109 cm,光圈4.0,曝光时间80 ms。研究区域壁画正射影像如图1所示。选择图中红色矩形所标识高光谱图像进行颜料层脱落病害提取。
图1 瞿昙寺西回廊部分壁画正射影像
1.2.2 预处理
高光谱成像仪获取目标物的辐射亮度,其中包括目标物本身的辐射信息和噪声,由于地面高光谱成像仪在测量时距离目标物距离较近,大气对辐射亮度影响较小,因此在高光谱数据辐射校正时只需对原始数据进行反射率重建[14],即
其中,为重建后的高光谱反射率图像;为高光谱原始图像数据,即辐射亮度;为同等条件下的标准反射板图像数据;为暗电流噪声数据,本文使用反射率为99%的标准反射板,采集环境与真实数据采集环境相同。在获取暗电流数据时,关闭人工光源,盖上镜头盖。
观察高光谱反射率图像发现,处于波长两端的波段数据噪声较大,为降低噪声对数据的影响,对高光谱反射率图像进行了波段选择,人工选择了第51-990波段作为研究数据。
瞿昙寺回廊壁画绘制于明代,描绘了释迦牟尼从降生到圆寂的全过程,其色彩丰富,包括绿色、蓝色、红色、白色和黑色等图案[13]。为了研究不同颜色区域和颜料层脱落区域的差异,提高病害提取的精度,对不同颜色区域和颜料层脱落区域的光谱特征进行分析。首先采用最小噪声分离(minimum noise fraction, MNF)正逆变换,降低高光谱反射率图像中的噪声。然后,在图2的高光谱图像中对不同颜色图案进行取样,每类颜色图案分别取多个块状区域,对其分别进行平均得到对应颜色图案的光谱曲线,如图3所示。
图2 不同颜色图案样本
图3 不同类别样本平均反射光谱曲线
由图3可知,不同颜色区域的反射光谱在可见光波段与其所呈现颜色一致,在近红外波段也具有较为明显的差异。而颜料层脱落区域与白色图案的视觉颜色都为白色,其光谱曲线形状相似,仅存在整体反射强度上的差异。而颜料层脱落区域与其他颜色图案的反射光谱则存在明显差异。为定量分析其光谱的相似度,计算了颜料层脱落区域与其他颜色图案光谱的相关系数和光谱角余弦。若2条光谱曲线相似,其光谱角余弦值与相关系数的绝对值趋近于1,结果见表2。
表2 颜料层脱落与其他颜色图案光谱相似度
由表2可知,颜料层脱落区域与白色图案的光谱角余弦和相关系数的绝对值均接近1,其值明显高于颜料层脱落区域与其他颜色图案的相应值。从上述壁画不同区域光谱特征的分析可知,颜料层脱落区域光谱曲线与白色图案的光谱曲线相似性高,与其他颜色图案相似性低。因此,利用400~1 000 nm的光谱特征可以将颜料层脱落区域与壁画其他颜色进行区分,而较难对颜料层脱落区域和白色图案区域进行区分。
虽然颜料层脱落区域和白色图案很难利用光谱特征进行区分,但通过对壁画白色图案与颜料层脱落区域比较发现,白色图案区域为人工绘制,其形状一般较为规则,边缘较为光滑。而颜料层脱落区域为自然形成,其形状一般不规则,边缘不光滑。两者形状特征相差较大,有可能利用形状特征对其进行区分。
针对颜料层脱落区域和白色图案光谱相似,难以区分的问题,本文提出一种兼顾光谱和形状特征的颜料层脱落区域提取方法,其过程如图4所示。
(1) 预处理:包括对获取的高光谱图像进行反射率校正,对生成的反射率图像进行MNF变换,选择信噪比最高的前个成分。
(2) 光谱特征首次分类:利用高光谱反射率图像合成一景真彩色图像,人工选择各颜色图案和颜料层脱落区域样本,利用SVM对选择的前个MNF成分进行分类,其依据的主要是高光谱图像的光谱信息。然后将颜料层脱落区域和白色图案之外的其他类别合并成一类,将壁画光谱图像分类为颜料层脱落区域、白色图案和其他类别3种。
(3) 形状特征再次区分:分别对颜料层脱落区域和白色图案进行连通区域标记,生成对象图斑。利用Hu矩提取每个对象图斑的形状特征,分别随机选择颜料层脱落和白色图案各10%的对象图斑作为样本,人工标定其所属类别。然后基于对象图斑的Hu矩形状特征,采用SVM对所有对象图斑重新进行二分类,最终生成颜料层脱落病害分布图。
图4 光谱与形状结合的颜料层脱落区域提取过程
2.3.1 MNF变换
MNF变换是高光谱图像常见的降维方法,该方法可以将数据里的噪声与信息分离[15],减小噪声对于后续运算的影响。
首先,对高光谱图像进行处理获得噪声协方差矩阵并生成其对角化矩阵,即
其中,为噪声的协方差矩阵;为的特征值按降序排列的对角矩阵;为特征值对应的特征向量组成。对式(2)进行变换可得
其次,对噪声数据进行标准的主成分变化,即
其中,为高光谱反射率图像的协方差矩阵;为经过变换后的矩阵,对进行对角化,可得
其中,为的特征值按降序排列的对角矩阵;为特征值对应的特征向量组成。结合以上变化,根据公式=可得MNF的变换矩阵。
2.3.2 Hu不变矩特征提取
Hu矩是一种可以描述物体形状的特征[16],目前已应用在图像识别等领域[17-18]。本文对象图斑为二值图像,对于任意对象图斑(,),其()阶原点矩和()阶中心矩分别为
由式(8)可知,经过归一化后的中心矩具有平移和缩放的不变性。为消除旋转带来的影响,Hu于1962年利用代数不变矩理论构造出7个不变矩,即
经过证明,Hu构造的7个矩具有平移、缩放、旋转不变性[19]。本文利用式(9)计算每一个对象图斑的7个Hu矩,形成一组描述对象图斑形状的特征向量,将其作为SVM分类器的输入,从而对每一个对象图斑进行识别。
利用SVM分类通过构建最优分类平面,实现对不同样本的划分[20],可以有效解决样本线性不可分和高维问题,尤其适合于解决二分类问题。
当()<0时,该对应的=-1;当()>0时,该对应的=1。
为解决高维空间分类问题,将核函数引入SVM分类器中,得到分类器的最终决策方程为
其中,a,b为常数;(,)为核函数,文中选择多项式核函数。
对高光谱反射率图像进行MNF变换,将结果按信噪比由高到低排列,其特征值分布如图5所示。图中第10成分的特征值已经衰减非常低,因此选择特征值较高的前10个成分。图6是利用高光谱反射率图像合成的彩色图像,在图示位置选择块状区域,作为颜料层脱落区域和其他各颜色图案的监督分类样本。然后利用SVM分类器对MNF变换后的前10成分数据进行分类,SVM核函数选择为多项式核函数,其分类结果如图7所示。
图5 MNF特征值
图6 颜料层脱落与各颜色区域样本
图7 光谱特征分类结果
为了检验分类的精度,在图8所示区域选择了检验数据,人工识别类别并进行标识,对一些边缘部分难以辨认的归为未分类。利用其对光谱特征分类的结果进行了混淆矩阵计算,其结果见表3。
图8 各颜色区域和脱落病害区域验证样本
混淆矩阵中的总体分类精度、制图精度、用户精度和Kappa系数是评价分类结果的常用指标[21]。
总体分类精度是指分类正确的像元占像元总数的比例,即
制图精度是指本类像元划分至本类的比例,即
用户精度是指分类结果中确实属于本类的像元所占比例,即
Kappa系数描述了分类结果与真值的吻合度,即
其中,pa,ua,分别为总体分类精度、制图精度、用户精度和Kappa系数;a为混淆矩阵中对应的行、列的像元个数;为总行(列)数;为像元总数。
根据表3可计算光谱特征SVM分类的总体分类精度为67.10%,Kappa系数为0.60。观察各颜色区域的用户精度,发现绿色图案、蓝色图案、红色图案、白色图案的用户精度较好,均达到75%以上。由于黑色图案样本获取较为困难,所以导致其用户精度仅为47.02%。颜料层脱落区域共计提取84 279个像元,其中仅有25 957个像元属于颜料层脱落区域,导致用户精度仅为30.80%。主要错误集中在白色图案,颜料层脱落区域提取的像元中有45 727个像元属于白色图案,影响了颜料层脱落区域的用户精度。
表3 光谱特征分类精度
为了提高颜料层脱落区域的提取精度,利用MATLAB中的bwlabel函数按八连通方式分别对颜料层脱落区域和白色图案进行处理,生成对象图斑。颜料层脱落图斑共计生成437个,白色图案图斑共计生成280个。根据式(9)计算出每个对象图斑的7个Hu矩。利用SVM将所有对象图斑进行二分类。核函数选择多项式核函数,利用MATLB中的ClassifitionLearner工具箱自动选择最优参数,采用5折交叉验证获取最佳模型,结果如图9所示。图中红色为颜料层脱落区域,绿色为白色图案。验证样本依据图8进行合并,保留颜料层脱落区域和白色图案类别,将其他类别进行合并,命名为其他图案。颜料层脱落区域提取精度见表4。
图9 颜料层脱落区域提取结果
表4 颜料层脱落区域提取精度
由表4可计算,经提取Hu矩利用SVM进行二次区分后,分类总体精度为86.25%,Kappa系数为0.73。颜料层脱落区域用户精度为55.55%,制图精度为65.75%。白色图案用户精度为95.25%,制图精度为72.47%。
保留表3中颜料层脱落区域和白色图案,其余类别合并为其他图案,获得光谱特征颜料层脱落区域提取精度,见表5。
由表5可计算,总体分类精度为80.75%,Kappa系数为0.63。因此,经Hu矩二次区分后,总体分类精度提高了5.50%,Kappa系数提高了0.10。与仅使用光谱特征进行分类结果相比,利用Hu矩二次区分的颜料层脱落区域提取的像元中属于白色图案的减少了32 869个,这些像元被正确分为白色图案类别,因此颜料层脱落区域用户精度从30.8%提高到了55.55%,白色图案的制图精度从51.89%提高到了72.47%。但是,原本分类正确的颜料层脱落区域的像元减少了4 787个,导致颜料层脱落区域的制图精度由80.61%降低至65.75%,白色图案的用户精度由95.25%降低至86.91%。
表5 光谱特征颜料层脱落提取精度
综上所述,利用光谱与形状结合的颜料层脱落区域提取精度比仅使用光谱特征进行提取得到了提高。
为了比较不同不变矩和分类器对颜料层脱落区域提取结果的影响,本文利用Zernike矩、决策树 (decision tree, DT)和K近邻(K-nearest neighbor, KNN)分类器进行对比实验。本文采用相同的处理流程,其总体分类精度见表6。结果证明Hu矩与SVM分类器相结合方法更适用于颜料层脱落区域提取工作。
表6 不同矩与分类器的总体分类精度(%)
由于Hu矩对噪声比较敏感,为比较不同噪声对实验结果影响。本文为对象图斑添加了强度为10 dBW,20 dBW的高斯白噪声和密度为0.05的椒盐噪声,按照文中形状特征再次提取方法进行实验,其结果的总体分类精度见表7,说明噪声对提取精度有一定影响。在后续研究中可以考虑利用滤波等方法,保证对象图斑不受噪声影响,从而保证较高的提取精度。
表7 不同噪声的总体分类精度(%)
观察分类后的图像发现,在部分区域存在明显的误分类现象,如图10所示。其原因是算法没有考虑当颜料层脱落区域与白色图案在壁画上相邻,在利用光谱特征进行分类后,若两者被误分为同一类别,根据算法进行连通形成对象图斑后将成为一个整体对象,是利用Hu矩形状特征二次区分的最小单元,不可分割。如图10所示,仅该图斑中颜料层脱落区域像元数就为1 757个。若选用更加合理的标记方法,使得颜料层脱落区域与白色图案分别生成对象图斑,脱落区域的制图精度则可以提高至71.20%,用户精度可提高至57.50%。白色区域用户精度提高至88.07%。能够得到明显的提高。
图10 颜料层脱落与白色图案误分类区域
因此,为了进一步提高颜料层脱落区域提取的精度,可以研究更加合理的连通区域标记方法区分不同对象图斑,也可以考虑利用长宽比、面积等多种形状特征指数参与分类。
针对壁画颜料层脱落区域与白色图案光谱相近较难区分的问题,提出了利用光谱特征和形状特征结合的颜料层脱落区域提取方法。利用光谱特征提取壁画颜料层脱落区域与白色图案,再利用Hu矩形状特征来进行二次分类。实验结果表明,综合利用光谱和形状特征可以提高壁画颜料层脱落区域的提取精度。该方法可以为壁画的现状调查提供效率更高的脱落区域提取,有助于壁画保护修复方案的制定。
[1] 汪万福, 赵林毅, 裴强强, 等. 馆藏壁画保护理论探索与实践——以甘肃省博物馆藏武威天梯山石窟壁画的保护修复为例[J]. 文物保护与考古科学, 2015, 27(4): 101-112. WANG W F, ZHAO L Y, PEI Q Q, et al. Exploration and practice of conservation of wall paintings in the museum: the case of conservation of wall paintings collected in the Gansu Museum from Tiantishan Grottoes, Wuwei[J]. Sciences of Conservation and Archaeology,2015, 27(4): 101-112 (in Chinese).
[2] 刘晓琴, 侯妙乐, 董友强, 等. 基于高光谱图像的瞿昙寺壁画颜料层脱落病害评估[J]. 地理信息世界, 2019, 26(5): 22-28. LIU X Q, HOU M L, DONG Y Q, et al. Extraction and evaluation of the disease of the mural paint loss[J]. Geomatics World, 2019, 26(5): 22-28 (in Chinese).
[3] 李彩艳, 王慧琴, 吴萌, 等. 唐墓室壁画泥斑病害自动标定及虚拟修复[J]. 计算机工程与应用, 2016, 52(15): 233-236. LI C Y, WANG H Q, WU M, et al. Automatic recognition and virtual restoration of mud spot disease of Tang Dynasty tomb murals image[J]. Computer Engineering and Applications, 2016, 52(15): 233-236 (in Chinese).
[4] 曹建芳, 李艳飞, 崔红艳, 等. 改进的区域生长算法在寺观壁画脱落病害标定中的应用[J]. 新疆大学学报: 自然科学版, 2018, 35(4): 429-436. CAO J F, LI Y F, CUI H Y, et al. The application of improved region growing algorithm for the automatic calibration of shedding disease on temple murals[J]. Journal of Xinjiang University:Natural Science Edition, 2018, 35(4): 429-436 (in Chinese).
[5] 刘建明. 古代壁画图像保护与智能修复技术研究[D]. 杭州: 浙江大学, 2010. LIU J M. Intelligent image processing and inpainting for ancient fresco preservation[D]. Hangzhou: Zhejiang University, 2010 (in Chinese).
[6] 张兵. 高光谱图像处理与信息提取前沿[J]. 遥感学报, 2016, 20(5): 1062-1090. ZHANG B. Advancement of hyperspectral image processing and information extraction[J]. Journal of Remote Sensing, 2016, 20(5): 1062-1090 (in Chinese).
[7] PENG J Y, YU K, WANG J, et al. Mining painted cultural relic patterns based on principal component images selection and image fusion of hyperspectral images[J]. Journal of Cultural Heritage, 2019(36): 32-39.
[8] WU T X, CHENG Q, WANG J F, et al. The discovery and extraction of Chinese ink characters from the wood surfaces of the Huangchangticou tomb of Western Han Dynasty[J]. Archaeological and Anthropological Sciences, 2019, 11(8): 4147-4155.
[9] ROHANI N, POUYRT E, COSSAIRT O, et al. Nonlinear unmixing of hyperspectral datasets for the study of painted works of art [J]. Angewandte Chemie International Edition, 2018, 57(34): 10910-10914.
[10] 孙美君, 柴勃隆, 张冬, 等. 基于近红外高光谱技术的敦煌莫高窟壁画起甲病害风险评估方法[J]. 文物保护与考古科学, 2016, 28(4): 1-8. SUN M J, CHAI B L, ZHANG D, et al. Assessing the degree of flaking of the murals in the Dunhuang Mogao Grottoes using near-infrared hyperspectral imaging[J]. Sciences of Conservation and Archaeology, 2016, 28(4): 1-8 (in Chinese).
[11] 周霄, 高峰, 张爱武, 等. VIS/NIR高光谱成像在中国云冈石窟砂岩风化状况分布研究中的进展[J]. 光谱学与光谱分析, 2012, 32(3): 790-794. ZHOU X, GAO F, ZHANG A W, et al. Advance in the study of the powdered weathering profile of sandstone on China Yungang Grottoes based on VIS/NIR hyperspectral imaging[J]. Spectroscopy and Spectral Analysis, 2012, 32(3): 790-794 (in Chinese).
[12] LI P, SUN M J, WANG Z, et al. OPTICS-based unsupervised method for flaking degree evaluation on the murals in Mogao Grottoes[J]. Scientific Reports, 2018, 8(1): 1-10.
[13] 王晓珍. 瞿昙寺明清建筑实物及壁画中的建筑彩画[J]. 美术, 2019(11): 115-119. WANG X Z. The architectural objects of Ming and Qing Dynasties in Qutan Temple and the architectural colored drawings in mural paintings[J]. Art Magazine, 2019(11): 115-119 (in Chinese).
[14] BURGER J, GELADI P. Hyperspectral NIR image regression part I: calibration and correction[J]. Journal of Chemometrics: A Journal of the Chemometrics Society, 2005, 19(5-7): 355-363.
[15] GREEN A, BERMAN M, SWITZER P, et al. A transformation for ordering multispectral data in terms of image quality with implications for noise removal[J]. IEEE Transactions on Geoscience and Remote Sensing, 1988, 26(1): 65-74.
[16] HU M K. Visual pattern recognition by moment invariants[J]. Information Theory, IRE Transactions on Information theory, 1962, 8(2): 179-187.
[17] 陈跃伟, 彭道刚, 夏飞, 等. 基于区域生长法和BP神经网络的红外图像识别[J]. 激光与红外, 2018, 48(3): 401-408. CHEN Y W, PENG D G, XIA F, et al. Infrared image recognition based on region growing method and BP neural network[J]. Laser & Infrared, 2018, 48(3): 401-408 (in Chinese).
[18] 成杰, 李新德. 基于Hu矩与改进PNN的飞机姿态识别算法[J]. 航空兵器, 2017(1): 55-61. CHENG J, LI X D. An algorithm of aircraft pose recognition based on Hu moments and IPNN[J]. Aero Weaponry, 2017(1): 55-61 (in Chinese).
[19] 李洪安, 杜卓明, 李占利, 等. 基于双特征匹配层融合的步态识别方法[J]. 图学学报, 2019, 40(3): 441-446. LI H A, DU Z M, LI Z L, et al. Research on gait recognition algorithm based on double features using the layer matching fusion method[J]. Journal of Graphics, 2019, 40(3): 441-446 (in Chinese).
[20] CORTES C, VAPNIK V. Support-vector networks[J]. Machine Learning, 1995, 20(3): 273-297.
[21] 徐辉,潘萍, 杨武, 等. 基于多源遥感影像的森林资源分类及精度评价[J]. 江西农业大学学报, 2019, 41(4): 751-760. XU H, PAN P, YANG W, et al. Classification and accuracy evaluation of forest resources based on Multi-source remote sensing images[J]. Acta Agriculturae Universitatis Jiangxiensis, 2019, 41(4): 751-760 (in Chinese).
Extraction of mural paint loss regions based on spectral dimensionality reduction and Hu moment
CAO Peng-hui1,2, LYU Shu-qiang1,2, WANG Wan-fu3, GAO Zhen-hua1,4, HOU Miao-le1,2
(1. School of Geomatics and Urban Spatial Informatics, Beijing University of Civil Engineering and Architecture, Beijing 100044, China; 2. Beijing Key Laboratory for Architectural Heritage Fine Reconstruction & Health Monitoring, Beijing 100044, China; 3. Dunhuang Academy China, Dunhuang Gansu 736200, China; 4. Shanxi Provincial Institute of Archaeology, Taiyuan Shanxi 030000, China)
The extraction of mural paint loss plays an important role in investigating the present situation of murals. Given the similarity of spectral features of paint loss to the white patterns of the mural, the only utilization of spectral features would make it less accurate for the extraction of the mural paint loss. Aiming at improving the extraction performance, a comprehensive method was proposed that integrated spectral features and Hu moment. First, the supervised support vector machine method was employed to classify paint loss and white patterns by the spectral features which the dimension had been reduced. The classified pixels of paint loss and white patterns were then connected to form two types of polygons, which were regarded as the smallest indivisible objects. Subsequently, seven Hu moments for each polygon were calculated as the shape features serving as the feature vectors to distinguish each polygon again based on the support vector machine method. In this way, the semi-automatic extraction of mural paint loss was realized. A case study was conducted to evaluate the performance of our proposed method, using the hyperspectral data of the Qutan Temple mural. The results show that our proposed method is capable of enhancing the extraction accuracy of mural paint loss and supporting the investigation of the present situation of murals.
paint loss; disease extraction; mural; hyperspectral imaging; Hu moment; support vector machine; minimum noise fraction
TP 391
10.11996/JG.j.2095-302X.2020060930
A
2095-302X(2020)06-0930-09
2020-05-14;
2020-07-04
14 May,2020;
4 July,2020
国家自然科学基金项目(41371492);国家重点研发计划项目(2017YFB1402105);北京市属高校高水平教师队伍建设支持计划长城学者培养计划项目(CIT&TCD20180322);北京建筑大学研究生创新项目(PG2020070)
National Natural Science Foundation of China (41371492); National Key Research and Development Program (2017YFB1402105); Great Wall Scholars Training Program Project of Beijing Municipality Universities (CIT&TCD20180322); BUCEA Post Graduate Innovation Project (PG2020070)
曹鹏辉(1994-),男,北京人,硕士研究生。主要研究方向为高光谱遥感、壁画高光谱数字化保护。E-mail:15210481449@163.com
CAO Peng-hui (1994–), male, master student. His main research interests cover hyperspectral remote sensing, hyperspectral digital protection of murals. E-mail:15210481449@163.com
侯妙乐(1974–),女,陕西西安人,教授,博士,博士生导师。主要研究方向为建筑遗产数字化保护与研究工作。 E-mail:houmiaole@bucea.edu.cn
HOU Miao-le (1974–), female, professor, Ph.D. Her main research interests cover digital protection and research of architectural heritage.E-mail:houmiaole@bucea.edu.cn