敦煌莫高窟第45窟彩塑高保真三维重建方法研究

余生吉，吴 健，王春雪，俞天秀，胡琢民

(1. 敦煌研究院，甘肃酒泉 736200； 2. 国家古代壁画与土遗址保护工程技术研究中心(敦煌研究院)，甘肃酒泉 736200；3. 古代壁画保护国家文物局重点科研基地(敦煌研究院)，甘肃酒泉 736200； 4. 甘肃省古代壁画与土遗址保护重点实验室(敦煌研究院)，甘肃酒泉 736200； 5. 上海颢汉数字技术有限公司，上海 201600)

0 引 言

敦煌莫高窟艺术是集建筑、彩塑、壁画于一体的综合艺术[1]。彩塑是敦煌石窟艺术的重要组成部分，它是外来艺术和中国雕塑艺术的完美结合，在形体、空间、材质等方面传递出特殊的精神价值取向，最大限度地满足当时的信徒及后世观众的心理要求[2]。如何保护和传承莫高窟现存的精美彩塑，是一个不容忽视的现实问题。近年来，随着计算机技术和三维扫描技术的高速发展，既能减少彩塑损坏，又能最大限度真实复制还原彩塑的高精度三维重建成为人类对文化遗产进行保护和再利用的重要手段[3-4]，概括起来有：三维激光扫描技术[5-8]、数字摄影测量技术[9-11]和结构光获取技术[12-13]三大类[14]。其中，三维激光扫描技术能够快速获取三维几何信息，但是缺乏纹理图像信息；数字摄影测量技术在分析纹理图像的同时获取文物几何空间关系，但色彩均质表面存在解析误差大；三维激光扫描技术配合数字摄影技术往往出现纹理错误匹配的情况。

鉴于此，本研究基于双相机结构光的彩塑三维重建方法，设计基于图像像素重建物体三维信息的FOTOMOULD三维重建系统，主要包括图像数据采集、基于结构光的彩塑三维重建和几何数据后期制作三部分内容，研究流程如图1所示。

图1 FOTOMOULD三维重建系统研究流程

1 彩塑三维重建数据采集

敦煌石窟形制各异，彩塑主要分布在窟内的中心塔柱上、佛龛内、佛床上等。石窟寺内的大型彩塑和洞窟空间狭小等环境因素，及不可移动彩塑因紧靠墙面或与其他彩塑距离过近而造成遮挡，使得部分区域表面数据无法被拍摄，需借助多种采集设备和摄影手段来完成。例如莫高窟第45窟佛龛内总共7身彩塑(图2)。

图2 45窟彩塑布局

本工作主要针对一尊菩萨(图2中右起第二尊，即图中红框标注部分)进行三维重建研究，该塑像身躯倾斜作“S”型，曲眉丰颊，面色莹洁，柔姿绰态，具有极高的艺术价值[15]。数据采集作为三维重建的首要步骤，决定了彩塑三维重建的高色彩还原度。数据采集概括分为采集方案制定、采集系统设计、图像预处理三部分内容。

1.1 现场勘察和方案制订

现场勘查是研究被采集彩塑的历史价值和艺术价值，发现和解决数据采集的难点。而方案制订则以现场勘察为基础，确定彩塑要采集的信息内容、单幅图像的数据量、相应的器材和辅助设备、灯光系统和投影仪的配置、采集的先后顺序、数据记录和存储要求以及采集过程中相应注意事项等内容[13]。

本工作针对三维数据采集的对象高度约为1.72 m，身躯宽度约为0.55 m，其所处的空间如图3所示。由图中菩萨身体各部分与壁面的最小距离数据分析可知，该菩萨头部和背部区域的采集空间均非常有限。考虑到彩塑靠壁面的肉髻、身躯靠壁面部位、双臂内侧等部位既细小又遮挡，且受内外环境(如采集光源)、彩塑几何形貌、彩塑表面特征的影响，这些部位信息的完整获取是数据采集的难点。彩塑菩萨所处的位置在佛龛内，在无接触文物下进行数据采集，使可见区域的数据获取达到90%以上。如何克服数据采集的不利因素，需要在采集方法和采集设备上进行创新和探索。

图3 菩萨采集空间图示

1.2 采集系统设计

FOTOMOULD三维重建系统是将彩塑二维图像数据直接转化成具有真实RGB色彩属性点云数据的技术，无需重建后根据原物体的色彩进行手工模拟贴图着色渲染。因此，该系统的采集是指包含一系列二维图像数据的获取过程。在该采集系统中，利用光栅投影(普通可见光谱)同轴的高分辨率数码相机采集，具有非接触式、设备自由度高、稳定性好、可操作性强、自动化程度高、灵活方便、适用广泛等优点，适合于形制各异的洞窟数据采集，且不受彩塑体量大小限制，即保证了不对重建文物进行干预和触碰又是降低盲区数据采集的有效方法。

FOTOMOULD三维重建采集系统由支承架、轨道、电控三轴拍摄云台、采集光源等主要部分组成。如图4a所示，支承架主要由三个可伸展的集成设备构成(分别沿X、Y、Z轴方向)。X轴方向的采集架可以左右整体移动，保证了与彩塑和壁面的平行移动；Y轴方向的纵深电动进入，保证了佛龛内纵深的数据采集；Z轴方向的上下电动升降，保证了彩塑体量大小的数据采集不受限制。电控三轴拍摄云台主要包括两台相机和一台投影仪，并具有360°旋转单元、左右旋转单元、上下旋转单元，确保了对彩塑的平视角度、俯视角度、仰视角度、顶视角度等全方位视角的数据采集(图4b)。此外，受洞窟内采集环境和采集架等条件的限制，为了减小灯光箱的箱体，灯光箱与相机、扫描头、投影仪和电子闪光灯集成为一体，集成箱升降移动便于控制，且保持光源的一致性，集成箱的装置尺寸可随采集空间的大小任意调节(图4a箭头所指方向)。这种设计消除了环境光对采集区域的干扰，减小了相邻图像间的色彩差异，彩塑表面的层次感、质感、细节得以有效还原。

图4 三维重建采集系统

针对这尊菩萨的图像采集，数码相机采用了全画幅Sonyɑ7，镜头焦段为100 mm，摄距为1.6 m，相邻图像的重叠区域为50%。数码相机的拍摄角度分别为：水平夹角分为正面、侧面、前侧面、后侧面；垂直夹角分为平视、俯视、仰视、顶视角度；相机沿X轴、Y轴和Z轴的移动进行全方位视角的拍摄。

1.3 图像预处理

在采集图像的过程中，由于外界环境中各种因素对成像系统的影响，会导致成像质量有所降低。例如，图像采集现场的电子噪声会干扰到相机的工作，给图像增加随机噪声等。因此，为了降低系统误差，图像要进行预处理操作，图像预处理包括裁剪、图像格式、旋转、去噪、锐化、亮度、对比度、饱和度、色调等。

由于塑像数据采集受窟内实际条件、空间干扰、色彩环境信息相互影响等条件制约，彩塑的真实色彩难以得到准确客观的还原。因此，色彩管理至关重要，本工作中采用将数据文件中的色卡文件和需要重建的色彩图像导入到Photoshop cc中，然后对文件统一吸取白平衡的方法来统一所有图像的icc色彩样条曲线，这样就可以成功地将色彩管理系统结合到FOTOMOULD三维重建系统里面。对于莫高窟45窟绚丽丰富的色彩环境而言，这样的色彩控制能够十分有效地还原洞窟的实际色彩信息，进而增强了三维重建结果的色彩表达效果(图5)。

图5 色彩管理

2 基于结构光的彩塑三维重建

三维重建是将图像数据转化成具有RGB彩色信息的三维点云数据的过程，主要包括相机标定和结构光获取三维几何信息两部分内容。前者是确定二维图像上每个像素点与真实物体对应点之间的变换关系，后者则是利用该关系确定待重建图像上每个像素点对应的点云几何信息。二者的计算精度决定了重建点云的精度，是FOTOMOULD三维重建系统的核心部分。

2.1 相机标定

相机成像的几何模型决定了物体三维点与图像中对应点之间对应关系，几何模型的参数就是相机的内外参数及畸变参数，相机标定的过程就是确定这些参数的过程[16-17]。在此理论上，FOTOMOULD三维重建采用了“自适应多视点空间坐标转换”技术。依据多视点成像结果的共面关系标定成像设备的“成像后标定”的算法，对有共面图像的自动分析，能瞬间获得不同视点拍摄设备的相对坐标系参数和姿态角参数，解决了两个关键问题：

1) 提高了获取二维图像的自由度。成像设备在拍摄前是无需机械标定的，重建彩塑与成像设备之间不受位置、距离、角度的限制，对于大型彩塑或小型彩塑，只要多视点的图像有共面存在，即可进行三维重建；

2) 标定精度的提升。由于是成像后标定，避免了现有技术在拍摄过程中成像设备、机械固定设备容易受到外因影响，导致误差影响标定结果的情况，从而使标定结果达到像素级的精度，为像素级的三维重建解决了关键性的难题。

采集系统和灯光系统搭建就绪后，根据彩塑的尺度，决定拍摄距离、选定传感器类型和镜头焦段，对图像采集设备进行拍摄前的标定，在采集现场由左右相机同时拍摄纯平面和几何精度高的棋盘格，导入三维重建软件中进行相机标定，获得左右相机之间的旋转矩阵和平移矩阵及两相机的畸变参数。在本工作中，使用黑色和白色方块边长均为65 mm的黑白相间棋盘格标定板，长宽分别为780 mm和650 mm。

为了降低计算量，本工作采用双目极线校正算法[18]，将相机匹配的搜索范围从一个平面缩小到了一条极线上，即两个相机的图像共面且“行对齐”，实现了理想状态下的平行双目系统。为满足软件的计算要求，FOTOMOULD采集系统双相机遵循如下放置原则：

1) 左右相机类型相同，镜头焦段相同；

2) 左右相机且平行安装，即光轴平行；

3) 左右相机坐标系的X轴共线，并与基线平行[19]。

在实际数据采集中，为避免得到错误的深度信息，采用左右相机同步采集图像。左右相机采集到被测目标的原始图像后，图像调整过程会先对各种畸变进行矫正，然后调整左右图像使它们共面且行对齐(图6a)。被拍摄彩塑图像调整前后的效果图如图6b所示，可以看出在图像调整之前，彩塑头颈部的特征点并不是行对齐的。图像调整之后，已经达到了行对齐状态，在搜索匹配点时可以沿着水平方向进行搜索，为后期重建过程的快速立体匹配奠定了基础。

图6 图像调整展示

2.2 彩塑三维几何信息获取

彩塑三维几何信息的获取原理是用投影器向彩塑表面投射经过编码的可控制的条纹，结构光受到彩塑表面形状的调制而产生了变形，变形的程度反映了彩塑表面的形状变化。因此，变形的条纹包含了彩塑表面形状的三维几何信息，再由两台数码相机拍摄彩塑表面调制变形的图像，经计算机处理解码后，经过几何约束关系，利用立体视觉原理，即可得到彩塑表面的三维坐标(图7a)。条纹的数量根据目标空间分辨率的要求确定，条纹数量越多，得到的彩塑三维信息就越多，彩塑形状重构精度就越高。该系统中，单幅图像的左右相机获取的结构光条纹数各700或900条，且条纹按照最小一个像素的间隔移动构成了多条纹结构光的数字化图像(图7b)。因此，FOTOMOULD三维重建系统是将二维图像的每个像素点转换成对应三维点云的过程，重建彩塑模型的分辨率和精度取决于单位面积像素点的多少，而不受拍摄距离及重建彩塑几何形状、大小等因素限制。此外，两台相机获取彩塑表面的光栅图条纹，要严格逐条检查条纹的完整性，错位和重影的条纹会造成像点匹配不正确。

图7 结构光获取三维几何信息原理

本系统中，选择PRO4500VIS700高精度投影仪。此外，为了避免其它光源对光栅图条纹的干扰，洞窟内采集光栅图条纹在全黑状态下进行。

3 彩塑三维重建数据后期制作

经预处理的图像导入FOTOMOULD三维重建系统，利用其独有的多视点体视匹配算法，得到每个像素点还原成的有序三维点云，由于相机和投影仪关系精细严格检校，像素点上固有的RGB色彩信息会通过几何投影关系解算到三维点云上，能实现高保真色彩还原并且达到像素级匹配的三维重建(图8)。

图8 单片点云数据生成

但是，以上得到的点云数据仍然是分片独立，且含有不同程度的噪声及死角空洞。因此，需要点云拼接、三角曲面处理、死角修补等后期制作过程来得到高质量的三角曲面模型。

3.1 三维点云拼接

该部分采用基于点云数据的三维纹理信息来对齐，拼接精度由逆向建模软件(通用软件)Geomagic Studio中的全局注册下面的参数来控制。具体精度控制由以下几个参数来决定：

1) 公差。公差越小，表示几何精度越高，是以一组闭环数据的公差数值来考量精度数值，两三块只是连接不闭合的数值没有实际意义。

2) 配准检测。通过Geomagic Control的点云对齐颜色测试可以对配准的结果进行检测。绿色显示为配准精度较高，红色表示配准精度较低。

3) 迭代次数。迭代数量越多，表示两块拼接物体注册配准精度越高。45窟彩塑经过以上流程的实际操作，拼接精度在0.01 mm以内。图9展示了使用Geomagic Studio软件将点云A和点云B拼接成点云C。

图9 点云拼接示意图

3.2 多边形曲面生成及处理

基于3.1拼接成的点云数据，使用Geomagic Studio软件生成多边形曲面，并对多边形曲面进行如下处理：

1) 修补小洞。小洞的修补要切合小洞周围的曲面结构来定。一般分为平面补洞、小曲率补洞和较大曲率补洞三种标准，具体的使用主要根据实际数据情况来确定。45窟彩塑三维重建中，考虑到文物数字化的精细要求，使用的是小曲率补洞，只补一些小面积的数据空洞。

2) 表面噪点的二次处理。在去掉色彩的情况下对曲面的噪点情况进行检查，如果表面受噪点干扰较大，对数据进行适度的降噪处理。

3) 穿插曲面的删除和修正。对边缘的多边形删除大致有三类：法线反转的多边形、形变影响物体曲面纹理的多边形、悬浮的多边形。多边形曲面数据的检查结果对下面的修补死角及最终的数据结果影响巨大。在45窟彩塑的数据处理过程中，十分注意对边缘等有误多边形的检查。

3.3 修补死角

由于采集空间狭小、彩塑之间互相遮挡、彩塑分布密集、彩塑紧贴壁面等因素，彩塑进行数据获取时会遇到难以拍摄的盲区(图10)，导致最终的点云数据存在无几何信息区域。在确保文物安全的前提下，利用覆盖式采集方法来降低可见区域盲区数据的产生，使可见区域的数据获取达到90%以上，尽可能获取完整的文物信息。具体来说，在空缺面附近使用比较轻便的小巧卡片相机采集特征纹理和色彩信息，利用Maya、Zbrush等软件细致修补缺损表面，保证正常扫描形体精确的前提下完善模型，使重建结果达到客观的程度，以达到文物存档、研究和展示的要求。修复合并好的模型需具体有结构造型、颜色和纹理三个方面的标准。结构造型标准是以原物体为标准，高保真还原真实物体形态；颜色标准是以拍摄物的颜色贴图元素为主要内容，以接近原来物体纹理的图片为辅助对盲区死角的缺损部分进行修补；纹理标准则是以原物体的纹理走势进行辨别判断。对于修复模型的纹理不仅要在大的走势上与原物一致，在细小的凹凸上也要做到与原物一致。几何死角部分的纹理，通常采用普通单反相机拍摄的纹理进行补充；对于一些无法拍摄的区域，例如一些灰层堆积处，通常采用就近选取相似纹理进行补充。

图10 数据采集盲区补拍

4 重建结果分析

4.1 模拟数据

为了验证FOTOMOULD三维重建系统的准确性和有效性，设计了一个模拟实验。由于曲面上任意两点之间的测地距离难以计算和测量，于是选取每个面均是平面的长方体实体木箱(记作Orig)(图11a)。采用FOTOMOULD三维重建系统获取该长方体的高保真三维模型(记作Out)(图11c)。

图11 模拟数据的三维重建

为减小误差、增加实验结果的稳定性，本实验选取该长方体的8个顶点(A～H)为检查点，分别用游标卡尺测量Orig上的AB、AD、AE、BC、BF、CD、CG、DH、EF、FG、GH和HE的长度，以及利用欧式距离计算Out上对应线段的长度，并统计在表1中。

表1 检查点测距统计

从统计结果计算可得，该实验的平均误差为0.012 mm，平均相对误差为0.01%，可以满足文物数字化保护的要求。因本次测量采用的测量工具为游标卡尺，测量本身也存在误差，因此，实测值本身有一定的精度损失。

4.2 莫高窟第45窟彩塑菩萨

除了模拟实验，对莫高窟第45窟彩塑菩萨也进行了高保真三维重建。图12三维重建的菩萨展示了使用FOTOMOULD三维重建系统生成的三维结合数据，该模型约由4 700万个多边形面片、8 000万个点构成，最终文件量大概有2.6 GB。由结果分析可发现，对于遮挡严重的头部和胳膊部位，无论是几何特征还是纹理特征均得到了高保真还原。

图12 三维重建的菩萨

本工作主要采用整体拼接结果与激光扫描仪得到的对应点云之间的平均距离与标准偏差两个指标来衡量和分析重建结果的质量。其中，平均距离是指两点云之间每点距离的平均值，而标准偏差是指各点偏离平均数的距离的平均数；点云精度是指整体拼接结果与激光扫描仪的点云之间的比对误差。图13展示了使用FOTOMOULD三维重建系统生成的点云数据与激光扫描仪得到的点云距离对比。平均距离为0.015 mm，标准偏差为0.058 mm，满足数字存档、保护和考古、展示展览、3D打印的要求。

图13 与激光扫描仪得到的点云数据的对比

5 结 论

FOTOMOULD三维重建系统是基于图像像素重建物体三维信息的技术。该系统融合了二维图像的采集及处理和基于结构光的三维重建算法，从硬件和软件两个方面着重研究面向不可移动文物的高精度三维重建方法，使文物的整体形象与造型、质地、纹理、色彩、立体感等充分地表现出来，为基于高精度几何模型的档案保存、保护和考古研究、网络浏览、3D打印等奠定了数据基础，推动了敦煌莫高窟彩塑艺术的传播。目前，该方法已在敦煌石窟数字化实际工作中得到了较好的应用，实现了40余身彩塑的高精度三维重建，并用于数字档案的存储及3D打印输出展示等。

莫高窟彩塑三维重建数据采集技术还需不断改进，如狭小空间内的数据采集、如何降低图像采集的盲区仍是未来研究的重点和难点。此外，石窟寺超大型彩塑数据采集设备的研发、如何解决超大型彩塑数据量和精度之间的矛盾，也将是未来三维重建研究的重要方向。