基于AR的漆器表面构造细节虚拟重建仿真

王 乐，任小甲

(山西农业大学信息学院，山西 晋中 030800)

1 引言

中国有着丰富的传统文化遗产和出土文物，非物质文化遗产的传承和保护力度不断加大。一些经济文化发达地区已采用最先进的数字化管理方法对这些非物质文化遗产资源进行保护。山西省被誉为“中华文明的摇篮”，文化遗产十分丰富，尤其是漆艺，但数字保护工作仍处于探索阶段。漆器数字化的发展方向是在表面细节重构的基础上，发展虚拟现实结合、全景显示等技术，从生产方式和成品效果上更好地表现漆器工艺，以便于人们随时随地了解山西漆艺的文化背景和制作工艺，使其成为一种独特的非物质文化遗产传承和保护方式。

细节重建不仅可以为保存完好的文物细化重构提供技术支持，也是修复受损文物表面纹理的关键环节。为了提高虚拟重建的效果，一些学者在后续的研究中提出了具体的改进措施。文献[1]提出一种优化的迭代反投影超分辨率重构方案。将迭代反投影和限制对比度自适应直方图均衡方法相结合重建高分辨率图像，增强重建后的纹理信息，同时使用灰度信息和梯度特征的能量优化模型对重建后的图像做进一步优化处理，但是最终结果不利于多媒体数据库建立和漆器细节重构的虚拟展示。文献[2]提出结合光照补偿的图像细节重构方法。根据光照方向与光强的参数估计，选取高光区域并进行均匀光照处理，以激光点变化路径修正均值漂移算法的漂移部分，构建改进的均值漂移中心描述子，对图像噪声与空洞进行修复，实现物体表面细节重构，但是细节表达方式存在二义性。文献[3]基于AR技术对激光图像进行重建，利用分块颜色的特征提取方法对激光图像的特征进行提取，将提取的激光图像特征利用在激光图像的识别中，对图像的特征进行匹配，并利用激光图像的适应度函数降低了激光图像重建产生误差，却不涉及细节重构。

充分利用AR技术的特点，再现漆器的造型和生产过程。细节重建是利用计算机图形学技术，通过对原始物体的获取和映射，在计算机模型的表面上实现对原始物体细节的重构。为此，利用AR技术实现漆器表面构造细节虚拟重建。AR与细部重构相结合，可以保持不同类型漆器表面细节的完整性，更好地再现文物肌理重建的过程，有效保护地方文化资源，促进山西文化软实力和地方经济建设。

2 AR系统基本结构与关键技术分析

2.1 组成结构

AR系统基本结构如图1所示。主要包含真实场景获取、虚拟目标数据库、图像变换和渲染以及显示设备等模块。

图1 AR系统基本组成结构示意图

首先，系统需要采集真实物体的图像，获取虚拟物体的配准信息，包括将虚拟物体转换为真实场景所需的位置和姿态信息。计算机将这些信息组合起来，实现虚拟目标的坐标变换和绘制，然后将其与真实目标图像叠加，达到虚、实结合的目的。最后，使用显示装置向用户提供虚拟与真实相结合的详细重建图像[4]。

2.2 AR实现的核心技术

在AR系统的运行过程中，通常需要经过以下几个过程：该系统利用摄像机获取真实目标图像，对真实图像进行分析处理，通过不同坐标系之间的转换计算得到摄像机外部参数数据，确定摄像机在真实场景中的位置和姿态信息，从而真实地呈现虚拟内容信息时间，通过虚实融合，将其叠加在实际场景中，并通过显示设备输出。

结合AR系统的结构，AR具有虚拟现实结合、实时交互和三维跟踪配准三大特点[5]。真实感增强的最终目的是使虚拟信息和真实场景信息实时叠加，并将二者准确地融合在一起。在这个过程中，三维跟踪配准是系统中的一个重要步骤，即在系统的工作过程中，需要检测和识别真实环境中目标的特征，并根据实际环境图像确定三维空间中真实物体的摄像机坐标，从而实现了虚拟物体在实际场景中的精确定位。三维跟踪注册流程如图2所示。

图2 AR三维跟踪注册流程示意图

3 基于AR的漆器表面构造细节虚拟重建

3.1 漆器表面构造细节采集

漆面纹理的纹理获取是细节重构的第一步，也是重构工作的重要组成部分。细节信息采集的真实性和完整性直接影响最终重建质量。因此，有必要设置采集装置，确定采集条件。

3.1.1 细节采集装置设计

图3 回转台示意图

在采集过程中，首先搭建一个转台[6]，将漆器放在中间的固定工作台上，将摄像机放在转台上。设定旋转角度、转弯半径、离地距离和拍摄角度，并根据实际需要进行调整。此外，建立了与静止工作台相关的模型坐标系。在图像采集时，需要从不同角度进行拍摄，通过不断调节回转台与静止台相对高度实现相机绕Z轴的旋转，完成细节采集点的空间布置。同时必须清楚相机内部参数与外部参数，确定照片与模型之间位置关系。

需要注意的是，漆器是相对于相机的位置。在采集过程中，相机可以移动，漆器静止，相机不动，漆器在动。如果采用后一种方法采集，工作台需要有两个自由度来旋转坐标轴，并且必须增加固定和夹紧装置。

3.1.2 采集误差对细节重建的影响

成像误差对被拍摄物体平面造成的影响如图4所示，针对实体表面点p根据投影原理在照片平面中最佳成像点是p′，由于各类因素影响形成的成像误差使实际成像点落在p″。假设Δ=|p′p″|，则因为误差Δ导致细节重建误差表示为Δ1=|pp1|。

图4 成像误差对纹理重建影响示意图

由此可知，纹理重建误差不容忽视，可对采集点进行准确分配控制纹理采集误差，达到理想重建效果。

3.2 细节图像预处理

利用图像扫描仪等设备采集细节图像时，因为多重原因导致图像中包括不同种类噪声与畸变。去除影响图像画质的因素，使图像中有用的信息更易于提取，是图像预处理的关键目标。本文从以下几个方面提高了图像采集的质量。

1)对比度增强

对比度是屏幕上最亮和最暗点之间的亮度对比。如果图像对比度差，其内容就很难识别。本文采用直方图变换的方法来增强对比度。

本次设计方法是使变换后的图像整体灰度分布，各灰度级的直方图高度相同。图像的灰度分布有稠密和稀疏两部分。将稀疏区域拉长，使整体对比度得到压缩。

2)图像锐化

在图像采集系统中，由于聚焦不好和信号频带狭窄，不可避免地会造成目标轮廓模糊。图像模糊的原因是高频空间分量较弱，这种影响主要存在于灰度变化较大的边缘部分。因此，为了提高模糊度，必须增强高频分量。本文采用空间处理的方法对图像进行锐化处理[7-8]。

在空域处理过程中利用拉普拉斯算子对高频区域增强滤波，其表达式为

g(i，j)=f(i，j)-∇2f(i，j)

(1)

式中，输入图像f(i，j)的二次微分拉普拉斯算子表示为

∇2f(i，j)=f(i+1，j)+f(i-1，j)+f(i，j+1)

(2)

这种方法较为直观，计算量较小，可实现图像锐化处理。

3)平滑与噪声去除

本文采用移动平均法消除噪声。这种方法是从同一角度对多幅图像进行平均得到一幅图像。去除一幅图像中的噪声时，可将输入图像中某点邻域值k的平均灰度当做输出图像点(i，j)的值，以此降低图像中噪声导致的灰度偏差。

利用n×n的正方形邻域时刻得到

(3)

式中，[n/2]代表低于n/2的最高整数，并将n设置为奇数。

图5 平均滤波示意图

在使用上述方法时，需要注意的是，如果将平均灰度值的邻域设置得更大，或者重复操作，图像会变得模糊，质量会降低。因此，这是一个3×3小面积的使用。为了进一步抑制模糊现象，矩阵的中心权可以高于周围的权重。

3.3 细节虚拟重建实现

为了实现表面结构细节从图像到计算机模型的映射，需要建立图像点与漆器表面点之间的对应关系，本文利用几何变换矩阵得到了相应的关系式[9-10]。

1)坐标系的旋转和平移变换

整个细节采集过程相当于相机坐标系围绕漆器模型坐标系旋转，从不同角度采集表面细节。该过程可以通过旋转和平移模型坐标系中的点来实现。在细节采集过程中，相机针对于目标存在一个绕Y轴的顺时针旋转角θ，即相机保持不动，而目标朝着反方向旋转θ角，则变换矩阵表示为

(4)

根据上述原理，假设令R2表示相机围绕X轴旋转的矩阵，则总矩阵表示为

R=R1×R2

(5)

相机针对目标的移动同样也看做目标对相机做反向运动，平移变换矩阵如下：

(6)

式中，(Xc，Yc，Zc)表示相机镜头在模型坐标系中的坐标位置。经过旋转与平移矩阵实现点从模型坐标系到相机坐标系的位置变换，变换公式如下

(x，y，z，1)=(X，Y，Z，1)×R×T

(7)

式中，(x，y，z，1)与(X，Y，Z，1)分别表示相机与模型坐标系的齐次坐标点。

2)投影变换

在分析坐标系的旋转和平移后，结合相机成像几何关系图，将o作为相机光心，点o与x，y，z轴构成的坐标系为相机坐标系，uo1v属于图像坐标系。x轴、y轴分别和u轴、v轴相互平行，z轴为相机光心线，与图像平面垂直。光心线和照片平面交点o1是照片坐标系原点，通常处于图像中心位置。因此可以得出

u=fx/z

(8)

v=fy/z

(9)

式中，f表示相机焦距，z属于相机坐标点p的深度坐标值。因此，p点相机坐标和照片坐标的投影关系能够描述为

w(u，v，1)=(x，y，z，1)×F

(10)

由式(9)与式(10)可以得出模型坐标点与照片坐标点投影变换公式：

w(u，v，1)=(X，Y，Z，1)×R×T×F

(11)

由于其它网格模型的映射情况和三角网格基本相同，因此，本文只考虑漆器模型为三角网格的情况。假设在面片i的全部纹理采集图像中，只有图像j与j+1中含有面片i的细节信息，此面片在图像j与j+1中分别与三角形1、2区域的纹理值相对。向量Ni表示面片i的外法向量；Aj与Aj+1分别代表与图像j和j+1平面相互垂直的向量，和两个图像细节采集方向相同。在选择利用哪张图像的纹理映射该面片时，必须分析向量Ni与Aj、Aj+1之间夹角，将夹角较小向量对应方向采集的纹理用作对该面片映射。

经过上述映射流程，可实现漆器模型表面任意一个三角面片的纹理均来自采集的最佳细节图像，确保整个表面构造细节中间的真实性，实现面片间纹理连续性，提高重建效果。

4 仿真数据分析与研究

为验证基于AR的漆器表面结构细节虚拟重建效果，选取一只漆器盘子进行仿真对比实验。对这只盘子的形状与表面纹理进行观察，可以看出，盘子的水平截面比较匀称，存在恒定曲率；表面纹理分布较为集中且分布角度较小。所以结合细节采集原则，在纹理图案中心处设置一个采集点1，在与采集点1相对的回转轴旋转60°、120°、240°三个位置分别设置采集点2、3和4，这样即可实现全面的表面细节采集工作。同时测量该盘子尺寸，利用计算机建立模型。

图6 盘子表面纹理采集

从实验对比图7中可以看出：利用本文方法得到的漆器表面结构细节重建效果最佳，与样本图像没有差别。文献[1]、文献[2]和文献[3]方法展示出来的重建效果都存在边缘模糊现象，这是因为所提方法在采集图像后，对图像进行预处理，去除噪声，增强对比度，充分利用AR技术特点再现了漆器表面细节重构工艺。

图7 不同方法重建效果图

因为漆器图像受到光照强度、相机位置等因素影响，会出现不同变形量。针对任意一个细小片面，细节值不只由一张图像的对应点获得，而是与多张图像纹理值相互对应，不同方法的纹理采集方向表示相机坐标系的位置变换程度，不同方法的片面纹理采集方向示意图如图8所示。

图8 面片纹理采集方向

图8中，为降低面片映射的纹理变形程度，选取和其法向量夹角最小角度的图像进行映射，因此其可以精准定位到文理区域，相比其它文献方法，具有较强的鲁棒性。

针对漆器而言，其法向量夹角即最小的细节采集方向，因此，对比不同方法重构后相机针对于目标的向量夹角，对比结果如图9所示。

图9 面片最佳纹理效果获取

如图9所示，相比于其它文献方法，对于纹理映射误差问题，可以利用AR系统的可编辑性，对映射参数调整使映射的纹理缩放和平移，与目标的向量夹角一直保持在54-72°之间，与实际向量夹角拟合度为89%，补偿重建误差。

5 结论

1)利用AR技术对漆器表面细节重建进行分析与探索，与目标的向量夹角一直保持在54-72°之间，获得理想重建效果。

2)定位相机通过虚拟再现，与实际向量夹角拟合度为89%，便于相关工作者了解漆器制作工艺，有利于对传统文化遗产的保护与传承。

3)在接下来研究中，可在现有工作基础上，建立人-机操作界面，将细节采集的有关数据作为信息输入，在模型上自动实现细节重建工作，将其当作最后信息输出，省去中间复杂环节。通过数字化展示平台扩大山西漆艺的社会影响力，创造一定非遗价值与品牌。