基于中国人数据集的参数化人体建模

徐增波, 赵 娟

(上海工程技术大学 纺织服装学院,上海 201620)

参数化人体重建方法依赖于统计得到的人体参数化模型,仅需一组低维向量即可描述人体形状。目前常见的参数化人体模型有SCAPE[1]、SMPL[2]、SMPL-X[3]等。Cheng等[4]对几种主流参数化人体模型的速度和准确性进行了比较,结果表明,SMPL模型在速度和准确性方面都比SCAPE具有更好的性能。

传统参数化人体重建方法通常使用特殊设备获取人体三维点云数据或深度数据,然后通过点云配准、模板变形等方式拟合SCAPE参数,从而重建三维人体形状。此类方法[5-7]的人体重建结果主要取决于Kinect获取的深度图质量。但由于Kinect的硬件限制,深度图往往含有较大噪声,这严重影响了重建质量。不同于利用扫描数据拟合人体,一些研究采用诸如人体2D关节点坐标、人体轮廓等其他数据形式来约束参数化人体几何形状重建。如Guan等[8]以轮廓和渲染图作为优化项拟合SCAPE参数,但该方法需要用户事先手动对人体2D关节点进行标注,无法自动化完成三维人体建模。Bogo等[9]使用一个二维的姿势卷积网络检测2D关节点,并以此作为约束求解SMPL模型参数。该工作在重建姿势方面取得了显著效果,但并没有较好地约束体型。近年来,基于深度学习的参数化人体形状重建方法变得越来越流行。Kanazawaa等[10]在其提出的端到端人体网格恢复(Human mesh recovery,HMR)网络中采用2D关节的重投影损失,并借鉴生成对抗网络(Generative adversarial network,GAN)思想,引入判别器来检测生成人体网格的合理性。然而,该方法并未有效监督人体体型,并且人体姿态也与输入图像中的人体相差较大。王巧丽[11]将基于深度学习和优化的人体建模算法结合起来重建人体模型,首先利用OpenPose获取图像2D关节点,并基于HMR获取模型的参数作为初始值,通过深度学习方法获取人体的分割轮廓,然后将所得数据应用到能量函数进行优化求解。其中,能量函数以2D关节约束来保证人体模型姿态的准确性、以人体轮廓约束来避免优化过程中体型出现误差,经过若干次优化迭代最终获得与图像中人体姿态和体型相似的人体模型。

参数化人体建模及与其密切相关的非刚体配准研究已经较为成熟。然而,这些参数化人体模型大多是基于西方人体体型开发的,其形体与中国人形体存在一定的适配性问题。基于中国人数据集的重建鲜有报道,故本研究从构建中国人数据集的角度提炼创新点并开展相应的研究工作。

1 算法描述

1.1 三维人体数据采集及处理

本研究共采集152名中国成年女性净体的轻量级样本,样本的身高、身体质量指数(Body mass index,BMI)、年龄分布如图1所示。采集时要求受试者站立在指定脚印标志上并直视前方,手臂从体侧自然向外展开。考虑到采集样本的一部分个体辫子会影响后续模型拟合精度,借助于Meshlab开源软件预先人工交互修剪,进行辫子部位去除。此外,由于线激光三维扫描设备固有缺陷(如遮挡、准平行于发射光源平面等),人体网格中存在大大小小的破洞,采用屏蔽泊松重建算法[12]预先进行重建修补。同时,三维点云包含大量冗余数据,权衡后续模型匹配的精度和速度,采用二次边折叠抽取的降采样方法[13]将采集网格面数降至20 K(平均原始点云网格面数600 K以上)。

图1 目标样本的身高、BMI、年龄分布Fig.1 Distribution of height, BMI and age of the target sample

由图1(a)可知,目标样本的身高基本符合正态分布规律。其中,155～159 cm的样本量最多,而最新统计数据中中国成年女性身高50百分位为158 cm,正好位于155～159 cm内,目标样本可以较好地体现中国成年女性人群的身高分布情况。由图1(b)可知,目标样本的BMI分布(依据中国参考标准)同样符合正态分布规律,“正常”水平的区间值为18.5～23.9 kg/m2,比其他区间大,故该区间样本量明显大于其他区间。目标样本分布在各级BMI分类中,对于中国成年女性人群的BMI分布情况具有较好的表征作用。根据图1(c)可知,目标样本的年龄较为均匀地分布在各个年龄区间,整体来说可以较好地表征年龄差异特点。

1.2 三维人体网格配准

Pishchulin等[14]提出的非刚性模板拟合方法对初始站姿要求较高,而且每个顶点有12个自由度,计算负荷和收敛稳定性较差;基于深度学习的LoopReg算法[15]计算效率较低,且与人体网格点云对应点精度误差仍然在厘米级以上。

在综合考虑配准精度和效率基础上,本研究采用“粗—精”的两步配准策略,首先基于基点集(Basis point sets,BPS)对点云进行高效学习[16],将SMPL模型网格点快速初始配置至扫描网格点附近;然后采用基于迭代最近邻点(Iterative closest points,ICP)的非刚性网格配准算法进行精配准,只优化顶点位移D分量,生成精准匹配的SMPLD模型。设M(vi,x):J×x→R3,表示将标准人体表面MT⊂R3上的三维顶点vi⊂J映射到按照模型参数x∈x变形后的三维点的人体模型。SMPL+D模型中x={θ,β,D},对应于姿态θ、形状β和非刚性变形D,这里D可理解为由{θ,β}重建后的SMPL模型各顶点偏移。标准的配准方法是找到一系列对应的由x重构后模型点集Cv={c1,…,cNv}和人体扫描点{s1,…,sTv}(si∈S),并最小化损失:

(1)

式中:Cf={f1,…,fNf}表示SMPL模型网格面集合,其网格顶点数Nv=6 890、三角网格面片数Nf=13 776,Tv为待匹配网格点数,Cf0表示由BPS粗配准后的初始网格面,Lap表示拉普拉斯算子,dist(·)是可微分的点到表面的距离,ci∈MT是连续的表面点,M(·)表示对离散模型顶点vi∈J定义的模型函数M(·)进行重心插值,di为重建后的SMPL模型各顶点偏移,α、β和γ为动态加权系数。

式(1)可以使用ICP进行最优搜索。每次迭代过程中,先计算人体模型—SMPLD模型的对应点对,然后利用梯度或高斯牛顿优化器对模型参数进行更新,使扫描点与对应模型点之间的距离最小。

1.3 统计形体分析

三维人体模型的形体空间被定义为一个平均模板和主成分形状方向。它是通过在多形体数据集上,对配准样本的形体进行主成分分析(Principal component analysis,PCA)[17]计算得到的。

图2 位姿校正Fig.2 Pose correction

1.4 模型重建

最终构建的适配中国人形体的参数化人体模型为:

(2)

2 结果及分析

2.1 数据采集分析

筛选泊松曲面重建及其降采样结果如图3所示。鉴于曲面重建后出现脚底平面失真,本研究还进行了地板平面的切削处理。

图3 筛选泊松曲面重建及其降采样结果Fig.3 Screened Poisson surface reconstructionand its downsampling results

2.2 三维人体网格配准分析

扫描数据的LoopReg预测及拟合SMPL模型如图4所示,其中第1列为原始网格(灰色)与粗匹配网格(蓝色)融合图,第2列为第1列的侧视图,第3列为粗配准三角网格图,第4列为配准误差图,其网格点颜色对应配准误差,误差色表如最上方图所示(下同)。图4中,样本粗配准平均误差分别为2.08和1.88 cm。扫描数据的BPS粗配准SMPL模型网格输出如图5所示。图5中,样本网格顶点匹配平均误差为0.91和0.79 cm,同LoopReg算法结果相比,平均精度提升了2倍多。

图4 LoopReg配准结果Fig.4 LoopReg registration results

图5 粗配准结果Fig.5 Coarse registration results

基于Python平台下Pytorch 1.17.0+cu11.0开发套件实现非刚性模板精配准,非线性优化采用Adam方式,学习率lr=0.005,betas=(0.9,0.999)。图6为图5精配准的能量迭代曲线,其中系列1对应第1行样本拟合结果,系列2对应第2行样本拟合结果。由图6可以看出,迭代至30次时,目标函数基本收敛。图7为精配准结果,其中第1行和第2行样本精配准平均匹配误差为0.56 cm和0.54 cm,与粗配准平均匹配误差相比,下降近50%。

图6 精配准的能量迭代曲线Fig.6 Energy iteration curve of fine registration

152个样本的粗配准和精配准网格点平均匹配误差如图8所示,基于BPS的粗配准平均匹配误差的最大值、最小值及平均值分别为1.15、0.75 cm及0.90 cm,对应的基于非刚性模型匹配的精配准的最大值、最小值及平均值分别为0.60、0.48 cm及0.53 cm。

图7 精配准结果Fig.7 Fine registration results

图8 152个样本的粗配准和精配准网格点平均匹配误差Fig.8 Average matching error of grid points in coarseand fine registration of 152 samples

“粗—精”两步配准代码运行硬件平台配置为:Intel i7-9750H,16 G内存,Win64系统,GPU为NVIDIA GeForce RTX 2070 with Max-Q Design,8 G内存。所有关键代码都基于GPU运行,而基于同样平台,传统人体三维扫描后的非刚性匹配每样本大致需要15 min(包含姿态预配准、非线性迭代等)。基于深度学习的BPS预配准,在保证相对较高的匹配精度同时,每样本平均耗时仅0.5 s,同时基于Pytorch 1.17.0+cu11.0编制的精配准过程每样本平均耗时仅50 s左右。因此,基于BPS预配准和非刚性模板拟合的“粗—精”两步配准方法不仅保证了非线性模型配准精度,而且极大地提升了配准效率(每样本配准精度提升了2倍多,配准效率提升了15倍多)。

2.3 形体统计分析

位姿校正前后结果如图9所示,其中第1列为精配准结果、第2列为位姿校正结果、第3列和第4列为融合示意(白色表示校正前,蓝色表示校正后)。主成分分析的目的是在给定有限的形体方向条件下,相对于平均形体,最大化顶点偏移的可解释性方差。前10个主成分的方差累计贡献为89.180 97%>85.000 00%。前10个主成分分析的可视化结果如图10所示,表示每个PCA参数(±5)单独变化时的人体形体图,其中中间图为平均形体。

图9 位姿校正前后结果Fig.9 Results before and after pose correction

图10 前10个主成分分析的可视化Fig.10 Visualization of the first ten PCA

图10中,PC1代表整个人体的大小和胖瘦,初始(平均模型)为0的情况下,正向变胖小,负向变瘦大,正向身体前倾;PC2正向变胖小,负向变瘦大,负向身体前倾;PC3负向表示肚子变大,手臂和腿变瘦长,可以调整上下身的比例;PC4人体横向压缩拉伸,正向压缩,正向肩膀变低;PC5人体横向压缩拉伸,正向压缩,负向肩膀变宽;PC6正向上半身向前倾斜+整体变胖;PC7负向上半身向左倾斜+整体变瘦;PC8人体纵向压缩拉伸,负向压缩;PC9负向胸部变小,腹部和臀部变大,正向胸部变大,腹部和臀部变小;PC10代表胸部、腹部、臀部的大小,初始为0的情况下,负向变大,正向变小。

2.4 重建模型分析

SMPL平均模板(第1列及后两列的蓝色,且进行了位姿校正)与基于中国人数据集重建的参数化模型平均模板(第2列及后两列的白色)的比较如图11所示。由图11可知,中国成年女性形体与欧美成年女性存在明显差异。

图11 平均模型比较Fig.11 Average model comparison

3 应 用

本研究将重建模型和SMPL模型分别应用于王巧丽[11]提出的基于单幅图像的三维人体建模,所得重构结果如图12、图13所示。其中,图12(a)基于重建模型;图12(b)基于SMPL模型。图13第1列:基于重建模型;第2列:基于SMPL模型;第3、4列为两者重构模型的融合(蓝色表示SMPL模型,白色表示重建模型)。

图12 基于图像的人体三维重构结果Fig.12 3D reconstruction results of human body based on image

图13 重构结果比较Fig.13 Comparison of reconstruction results

本研究选取重构结果的细节差异处进行对比,如图12(b)中的4处红圈部分。明显可以看出,基于中国人数据集的参数化模型重建结果更加贴合人体。再将两个模型拟合结果中关节平均误差和顶点平均误差数据进行对比,如表1所示。

表1 误差对比Tab.1 Error comparison

从表1可以看出,相比基于SMPL模型的拟合结果,基于重建模型的拟合结果关节误差和顶点误差均有所降低,实验对象1关节平均误差和顶点平均误差分别降低了26.2%、20.0%;实验对象2关节平均误差和顶点平均误差分别降低了19.4%、16.1%;实验对象3关节平均误差和顶点平均误差分别降低了21.7%、12.5%。整体而言,基于中国人数据集的参数化模型重建能够明显提升模型拟合精度。

4 结 语

本文创新性采用了“BPS粗配准+基于ICP的非刚性网格精配准”两步配准策略构建了适合中国人体的参数化模型平均模板。与先进配准算法LoopReg相比,“BPS粗配准+基于ICP的非刚性网格精配准”两步配准每样本配准精度提升了2倍多,配准效率提升了15倍多。但是配准结果还存在一些问题:裆部中间存在重构黏连及双手重构失真现象,而且右手存在粗配准误差,导致精配准时右手大拇指最近点云最优搜索出现错误,这些问题还需在后续研究中进行修正。在基于单幅图像的三维人体重建中,与基于SMPL模型平均模板的拟合结果相比,基于重建模型平均模板的拟合结果关节误差和顶点误差均有所降低,3个实验对象的关节平均误差分别降低了26.2%、19.4%、21.7%;顶点平均误差分别降低了20.0%、16.1%、12.5%。整体而言,基于中国人数据集的参数化模型重建能够明显提升模型拟合精度。

《丝绸》官网下载

中国知网下载