基于生成对抗网络的单图像材质SVBRDF重建方法

柴文光, 曾庆洲

(广东工业大学计算机学院, 广州 510006)

1 高光感知生成对抗网络

构建如图1所示的网络模型．选择高光感知双流网络作为生成器, 其中编码器由高光卷积模块(highlight-aware, HA)和标准卷积模块(standard, ST)组成, 将HA编码图像的高光特征与ST编码特征相结合, 通过注意力感知选择模块(attention-aware selection, AWS)传递至解码器进行解码．对解码后得到的SVBRDF参数, 包含表面法线n、漫反射率kd、镜面粗糙度r和镜面反射率ks, 通过合成重建为纹理贴图．在网络中嵌入光源位置卷积模块以估计图像的点光源位置．在估计的点光源位置下, 内置渲染模块渲染SVBRDF参数得到用于评估重建准确率的渲染图像．内置渲染模块采用微表面模型Trowbridge-Reitz(GGX)[7]作为渲染模型．由鉴别器鉴别区分网络合成的SVBRDF纹理贴图(包含渲染图像)与参照图像(即真实值), 并与生成器一同进行对抗性训练．

1.1 光源位置估计模块

在真实材质拍摄图像数据集上, 利用生成器估计的点光源位置协助网络训练．由于生成器中编码器输出的特征维度为128×128×128, 若在估计点光源位置时直接采用6层全连接网络模块[12]映射到3×1×1的特征维度, 则会导致计算量过大, 故本文设计如图2所示的光源位置卷积模块, 目的是在不降低估计准确率的同时减小计算量．点光源位置处于笛卡尔坐标系(x,y,z)中, 在光源位置卷积模块先利用卷积和池化操作提取编码特征中的光照特征信息, 再经由全连接的方式准确估计出点光源位置．

图2 光源位置卷积模块Fig.2 Light source position convolution module

1.2 鉴别器设计

采用具有较大感受野的多尺度块鉴别器架构[13]区分网络生成图像与参照图像, 其结构如图3所示．将网络估计的SVBRDF参数及其渲染图像经过鉴别器筛选, 最终生成维度为11×11×1的特征图像, 用于鉴别器的损失计算．同时, 将上述SVBRDF参数及其渲染图像通过掩膜结构处理后的结果输入鉴别器进行筛选．该鉴别器具有更广阔的全局视图, 可以引导生成器生成全局一致且细节精细的图像．

图3 鉴别器的结构示意图Fig.3 Schematic diagram of discriminator

1.3 高光感知生成对抗网络训练策略

合成图像的数据集包含4种SVBRDF纹理贴图(作为参照图像)和通过GGX模型渲染的图像(作为输入图像)．在合成图像数据集上, 采取的网络训练策略是首先将输入图像直接输入网络, 由生成器重建SVBRDF纹理贴图; 然后利用内置渲染器随机生成点光源位置p渲染SVBDRF纹理贴图得到渲染图像, 同时利用点光源位置p渲染SVBRDF参照图像得到渲染图像的参照图像; 最终经过鉴别器鉴别区分重建的SVBRDF纹理贴图与参照图像, 并计算合成图像损失Lsyn．

由于合成图像和真实材质拍摄图像的数据分布存在较大差异, 故仅在合成图像上训练的网络无法在真实材质拍摄图像示例中产生较为准确的结果, 并且难以获取真实材质拍摄图像的SVBRDF真实值．为了解决该问题,现结合合成图像和真实材质拍摄图像的数据集来训练网络．

图4 真实材质拍摄图像训练策略Fig.4 Real material image training strategy

1.4 高光感知生成对抗网络训练过程

高光感知生成对抗网络训练分为3个不同阶段进行．第一阶段, 仅在合成图像数据集上训练, 该阶段不使用渲染鉴别器,即不优化渲染损失Lren．为了有效训练生成器, 通过最小化合成图像数据集上的合成图像损失Lsyn来训练网络:

经过上述分析，产品质量信用水平的高低取决于产品质量信用意愿、产品质量提供能力和产品质量保障能力三个方面。由此构成的产品质量信用评价理论模型如下图3所示。该评价模型旨在通过卓越的过程创造卓越的结果，产品质量信用意愿是结果类目，产品质量提供能力和产品质量保障能力是过程类目。过程旨在结果，结果通过过程取得，并为过程的改进和创新提供导向，即针对质量信用评价指标的要求，确定产品诚信生产、经营、管理的方法，并评价、改进、创新和共享，从而不断提升产品质量意识和信用意识。

(1)

式中Li为各SVBRDF参数的估计值与真实值之间的损失,

(2)

(3)

第二阶段, 结合渲染鉴别器, 采用改进的

(4)

训练网络, 式中渲染损失Lren用于确保网络生成的SVBRDF参数可渲染成与输入图像高度相似的渲染图像,

(5)

第三阶段, 将合成图像数据集与真实材质拍摄图像数据集一并输入网络进行训练, 通过最小化混合损失L来训练网络:

L=Lsyn+λLreal,

(6)

式中λ为真实材质拍摄图像损失Lreal的权重, 在合成图像数据集上仍采用式(4)所示的Lsyn损失, 而在真实材质拍摄图像数据集上, 通过最小化Lreal损失训练网络:

Lreal=Ladv(G,Dren,real)+Lfc(G,Dren,real)+Lren,a+Lren,b+LVGG(G,Dren,real)．

(7)

本阶段以真实材质拍摄图像训练为主,根据经验设置式(6)中的λ值为5, 使用3个批量大小, 以一幅合成图像和一对真实材质拍摄图像(同材质, 不同光照条件)作为网络输入, 进行20万次迭代训练．

2 仿真实验与结果分析

2.1 数据集及参数设置

合成图像数据集采用DESCHAINTRE公开数据集[17], 真实材质拍摄图像数据集采用MaterialGAN公开数据集[18]和Zhou公开数据集[19]．对于合成图像数据集, 根据数据集中的一组SVBRDF纹理贴图随机生成点光源位置, 并采用GGX模型渲染得到渲染图像, 据式(5)计算渲染损失．将渲染图像大小裁剪为256×256像素后对其进行gamma校正, 当渲染图像作为输入图像传递到网络时, 将其张量值皆归一化至[-1,1]区间．随机生成点光源位置的规则如下: 1) 采用正交视图, 根据图像表面上半球的余弦加权分布随机选择点光源的位置; 2) 使用ed随机选择点光源到表面中心的距离, 其中d为随机数, 遵循正态分布N(μ=1.0,σ=0.75)．对于真实材质拍摄图像数据集, 在训练期间, 根据式(7)从每个场景中随机选择一对待用图像．本文方法在PyTorch中实现, 设置自适应矩估计(adaptive moment estimation, Adam)优化器的超参数: 学习率采用TTUR[20]方法, 生成器学习率αG=1×10-5, 鉴别器学习率αD=4×10-5,β1=0.5,β2=0.999,ε=1×10-8．

2.2 合成材质SVBRDF重建性能评价

为了检验本文方法在重建合成图像中材质的SVBRDF纹理贴图质量, 现选择文献[3]、文献[5]、文献[11]和文献[12]方法的重建性能进行对比, 其中文献[3]、文献[5]和文献[11]模型都仅在合成图像数据集训练,而文献[12]模型和本文模型则在合成图像与真实材质拍摄图像2种数据集训练．本文使用文献中作者提供的源代码进行所有比较, 均在GeoForce RTX 2080 Ti GPU上训练72 h, 实验环境保持一致．

在合成图像上,将重建的SVBRDF纹理贴图及其在不同点光源下的渲染图像与其他方法进行视觉比较, 结果如图5所示．由图5可见: 文献[3]、文献[11]和本文方法的法线贴图重建结果更接近参照图像;对于粗糙度贴图与镜面反射贴图, 本文方法可估计出更接近参照图像的反射参数; 由于文献[5]主要针对多图像进行重建,故其单图像的SVBRDF重建质量低于其他单图像方法．

A. 输入图像; B. 文献[3]; C. 文献[5]; D. 文献[11]; E. 文献[12]; F. 本文方法; G. 参照图像.图5 在合成图像上的材质SVBRDF重建纹理贴图Fig.5 Material SVBRDF reconstruction texture maps on synthetic images

图6给出了点光源位置分别位于输入图像左侧、正上方和右下方时渲染网络预测的SVBRDF纹理贴图所得渲染图像．由图6可见: 本文方法生成的结果更接近参照图像, 折线明确, 金属光泽清晰, 既弥补了文献[11]方法恢复折线细节能力的不足, 也弥补了文献[12]方法恢复金属光泽能力的不足．

A. 输入图像; B. 文献[3]; C. 文献[5]; D. 文献[11]; E. 文献[12]; F. 本文方法; G. 参照图像(局部放大); H. 参照图像.图6 在不同位置点光源下合成图像的材质SVBRDF重建渲染图像Fig.6 Material SVBRDF reconstruction rendered images on synthetic images under point light sources at different positions

在测试集的84张合成图像上, 以学习感知图像块相似度(learned perceptual image patch similarity, LPIPS)为评价指标, 定量分析本文方法的感知性能, 结果如表1所示．由表1可见: 本文方法所得渲染图像的感知质量显著高于其他方法的, 其法线贴图和粗糙度贴图的重建效果最优, 漫反射贴图和镜面反射贴图的重建水平次优．

表1 SVBRDF重建的学习感知图像块相似度对比结果Tab.1 Similarity comparison results of learning-aware image blocks reconstructed by SVBRDF

在测试集的84幅合成图像与训练集的2 000幅合成图像上, 以均方根误差(root mean square error, RMSE)为指标, 定量评价本文方法估计点光源位置的准确率, 结果如表2所示．由表2可见: 本文方法估计点光源位置的RMSE更低, 表明本文方法估计出的点光源位置更加准确．

表2 SVBRDF重建的均方根误差对比结果Tab.2 Comparison results of root mean square error for SVBRDF reconstruction

2.3 真实材质SVBRDF重建性能评价

图7为本文方法与其他方法在重建真实材质拍摄图像的SVBRDF纹理贴图．由于真实材质的SVBRDF均为估计或测量结果, 故无参照图像, 于是根据主观感知判断其性能及真实感, 图中真实场景应为一种表面法线平坦和纹理较粗糙的木制材料．由图7可见: 本文方法产生的法线贴图中各处相对均匀, 即更加平坦, 与真实情况更相符;粗糙度贴图较好地还原了年轮的凹凸情况; 在漫反射贴图和粗糙度贴图右上角,本文方法有效地降低了高光的影响,不会产生严重的伪影．

A. 输入图像; B. 文献[3]; C. 文献[5]; D. 文献[11]; E. 文献[12]; F. 本文方法.图7 在真实材质拍摄图像上的材质SVBRDF重建纹理贴图Fig.7 Material SVBRDF reconstruction texture maps on real images

在真实材质拍摄图像上, 不同位置点光源下采用本文方法与其他方法重建SVBRDF纹理贴图的渲染图像如图8所示．图中真实场景为一本绿皮书, 因光照条件较弱致使材质表面呈现绿色泛光现象．由图8可见: 本文方法能够重建并渲染出更真实且清晰的图像, 更符合真实情况．

A. 输入图像; B. 文献[3]; C. 文献[5]; D. 文献[11]; E. 文献[12]; F. 本文方法.图8 不同位置点光源下真实材质拍摄图像的材质SVBRDF重建渲染图像Fig.8 Material SVBRDF reconstruction rendered images on real images under point light sources at different positions