人脸皱纹三维测量与量化系统

【作 者】蔡国超，于云雷，曹熠伟，黄朔，周平, 2 东南大学生物科学与医学工程学院，南京市，200962 东南大学苏州研究院，苏州市，2523



人脸皱纹三维测量与量化系统

【作 者】蔡国超1，于云雷1，曹熠伟1，黄朔1，周平1, 2
1 东南大学生物科学与医学工程学院，南京市，210096
2 东南大学苏州研究院，苏州市，215123

【摘 要】人脸皱纹的三维测量与量化在众多领域有着重要的应用价值。该文提出了一套完整的系统，实现了对人脸皱纹的三维测量与量化。首先，该系统采用基于结构光的立体视觉测量方法，完成了系统标定、对应点匹配与三维反求，实现了人脸皱纹的三维测量。其次，该系统将皱纹视为叠加在人脸光滑轮廓上的噪声，采用三维噪声提取与形态学处理方法，实现了人脸皱纹的量化。实验结果表明，该文提出的系统可以实现对人脸皱纹的准确测量与客观量化评价，且具有非接触、高精度等特点，具有广泛的应用前景。

【关 键 词】皱纹；三维测量；立体视觉

0　引言

皮肤的衰老伴随着人体的衰老，是人体衰老的表征之一。对人脸皱纹进行准确、客观的测量、评价具有重要的应用价值[1-4]。

早期的皱纹测量多采用硅胶倒模得到表面皮肤复制品（SSR），再以SSR为测量对象，以机械手段对SSR进行三维测量[5]。由于硅胶为柔性材料，挤压变形等原因会导致SSR与真实皱纹之间存在必然差异，因此SSR方法只能作为皱纹的初步评价，分辨率较低，误差较大。激光测距方法是上世纪八十年代逐步发展起来的一种皱纹三维测量方法[6]，此方法提高了测量的分辨率与精度，但整个测量过程需进行逐点扫描，耗时较长，人体的绝对位置在测量中的微小改变是其主要误差源。近年来虽然出现了很多基于二维图像的皱纹测量与评价方法[7-8]，但由于二维图像测量对于皱纹深度信息的损失无法避免，因此这种方法的准确性与重复性都难以得到保证。

本文提出一种基于结构光的立体视觉方法进行人脸皱纹的三维测量[9]，并对测量得到的人脸皱纹点云数据进行了特征提取与量化研究，研发了一套完整的人脸皱纹测量与量化系统。

1　皱纹测量

针对上述问题，本文针对人脸皱纹进行三维测量，提出了一种基于结构光的立体视觉测量方法，如图1所示为本文测量系统的结构示意图。

本文提出的人脸皱纹三维测量系统采用立体视觉原理，由图1中所示的两台CCD相机（A1, A2）同时采集人脸皱纹二维图像；P为投影仪，在进行人脸皱纹测量时，投影仪向待测人脸皱纹投射正弦结构光栅，由CCD相机采集经人脸皱纹调制后的变形光栅。本系统采用多频外差法[10]，生成的光栅表示为：

图1　人脸皱纹三维测量系统结构示意图Fig.1 3D facial wrinkle measurement system structure diagram

其中Iki表示频率为λi的第k步相移光栅的光强，ϕki表示频率为λi的线性相位函数的第k步相移相位，A与B是光栅的调制系数。本文使用四步相移函数，光栅频率分别为λ1= 1/74，λ2= 1/68，λ3=1/63。 本系统采用投影仪投射结构光栅的目的为：当在由两台CCD采集到的二维人脸皱纹图像中进行对应点匹配时，其匹配精度不高，因此需要结构光栅提供额外的匹配信息，以提高对应点匹配精度，进而提高人脸皱纹的三维测量精度。

完成两幅二维图像间的对应点匹配后，需通过系统的内、外参数矩阵实现人脸皱纹的三维反求，即需要对测量系统进行标定。本文采用张正友标定工具箱实现系统标定，此方法基于小孔成像原理，将双目立体视觉系统简化为如图2所示结构。

图2　系统标定原理Fig.2 System calibration principles

空间中一点P在左右相机的成像平面上分别成像为PL(uL, vL)与PR(uR, vR)，PL与PR即为一对匹配的对应点，前述采用结构光栅的目的即为提高PL与PR的匹配精度。

此标定方法包含如下坐标系：世界坐标系Ow-XwYwZw、相机坐标系Oc-XcYcZc、理想图片坐标系OI-XY和计算机图像坐标系o-uv。对世界坐标系中的一点P(xw, yw, zw)，其与左相机成像平面的成像关系可以表示为：

其中，[uL, vL, 1]’为PL的齐次坐标，[RLTL]分别为左相机的旋转矩阵与平移向量，二者构成左相机的外参数矩阵，外参数左侧的矩阵为左相机的内参数矩阵。将式(2)中的下脚标L变为R，则可得到点P与右相机成像平面的成像关系。本文采用以圆形为特征图形的标定板实现人脸皱纹三维测量系统的标定，标定板的精度为 0.005 mm。为提高系统测量精度，本系统在标定时考虑了二阶径向畸变与偏心畸变。最终，高精度标定后的系统测量精度达到了小于0.1 mm的水平，基本满足了人脸皱纹三维测量的要求。

完成标定相当于得到了如公式(2)所示的两个矩阵表示，若以方程形式展开公式(2)，则空间中一点P在左右相机的成像关系可表示为一个含有4个方程的方程组，其中的待求未知数即为点P在世界坐标系中坐标。本文采用基于结构光的立体视觉方法，实现了点P在左右相机成像平面的对应点匹配，即搜索得到点P在左右相机所成的像点PL(uL, vL)与PR(uR, vR)。至此，本系统将点P坐标的三维反求转化为求解一个3个未知数4个方程的超定线性方程组问题，本系统求其最小二乘解。如图3所示，为采用本系统测量的一幅人脸外眦皱纹的三维结果。

图3　人脸外眦皱纹三维测量结果Fig.3 3D measurement result of face outer canthus wrinkles

2　皱纹提取

考虑到人脸轮廓在成年后变化很小，若忽略皱纹，人脸轮廓可近似为光滑、连续曲面，因此本文将人脸皱纹视为叠加在光滑、连续曲面上的噪声，并采用三维噪声提取方法实现人脸皱纹的提取。

对如图3所示的人脸皱纹采用式(3)进行低阶样条曲面拟合。

公式(3)表明拟合曲面每一点都是相邻节点数据的线性组合，因此可将拟合过程采用一线性函数表示，即：

其中，Z为拟合后的光滑曲面。为了将含有皱纹的人脸区域拟合成光滑、连续的曲面，对式(4)表示的拟合过程增加一阶导数相等的约束，表示为：

其中，B为二阶差分算子。本文采用拉普拉斯正则化方法对曲面拟合的过程进行迭代求解，求解公式(6)所得的最小值以获得向量x，该过程表示为：

其中，参数λ被初始化为1。求解某一次的拟合结果为Zi，i为大于0的整数，通过计算Zi与前一次迭代结果Zi-1的残差，Z0表示原始含有皱纹的曲面。以阈值法确定迭代结束的时刻，若残差超过设定阈值，则增加λ并重新计算式(6)，直到残差小于阈值。对应于图3所示含有皱纹的人脸区域，当满足阈值条件时，λ迭代至60，迭代结束。图4所示为采用此方法获得的光滑、连续人脸轮廓。

图4　光滑人脸轮廓拟合结果Fig.4 Fitting result of smooth face contour

以人脸皱纹为研究对象，将图3、图4所示点云数据做差，即可实现人脸皱纹的三维提取，但此提取结果含有较多的噪声。由于三维噪声滤除算法过于复杂，不利于实现系统实时性，且由于本文提取的人脸皱纹三维点云数据是以二维图像为基础进行三维反求获得，因此，本文采用了一种便捷的方法实现对噪声的滤除。

将初步提取的三维人脸皱纹数据向XY平面进行投影得到二维图像，将皱纹深度量化为二维图像相应像素的灰度值，如图5所示。

图5　三维皱纹数据的二维投影Fig.5 2D projection of 3D wrinkle data

对图5所示的二维图像采用基于形态学的处理方法，通过连通域提取、连通域面积计算、基于连通域面积直方图的阈值选取、基于阈值去除噪声连通域的方法进行噪声滤除。经去噪处理后的皱纹如图6所示，可见其中共有8条皱纹。

图6　人脸皱纹三维提取结果Fig.6 Facial wrinkles 3D extraction results

3　实验结果与讨论

本文采用皱纹数量(number of wrinkles, Wn)、平均皱纹深度(overall average wrinkle depth, Wd)、皱纹最大深度均值(average maximum wrinkle depth, MaxWd)、最大皱纹深度(maximum largest wrinkle depth, lWd)、皱纹绝对面积(absolute wrinkle area, aWa)等五个参数来量化、评估人脸皱纹状态。图6所示皱纹的量化结果为Wn=8，Wd=0.12 mm，MaxWd=0.41 mm，lWd=1.14 mm，aWa=286.25 mm2。

由测量数据可知，lWd较大，显示皱纹存在深度较大的区域。同时，lWd显著大于Wd和MaxWd，显示皱纹深度分布不均，在某些区域深度显著大于其余部分。同时，结合图6中给出的三维提取结果，可以确定深度较大区域的位置，即位于y∈[6～10] mm，x∈[15～20] mm的区间内。

根据测量数据，Wd和MaxWd较小，表现出皱纹整体深度较浅，这与图3中的测量结果吻合。相较于实验区域表面积，aWa较大，显示皱纹区域面积较大，皱纹分布密集。综合以上测量结果，可以判断该实验区域皱纹分布较为密集，整体深度较浅，但深度分布不均匀。

本实验的测量分析结果有助于医生掌握病人的皱纹分布、皱纹深度等信息，有助于医生客观地分析病人的皱纹严重程度，并根据病人皱纹的整体与局部特点制定有针对性的治疗方案，提高治疗效果。同时，在治疗期间使用本测量方法对病人皱纹严重程度与特点进行持续的跟踪与分析，有助于对治疗效果进行量化分析，从而合理调整治疗方案。使用本系统也可以评测去皱产品的去皱效果。

由此实验结果可见，本文提出的人脸皱纹三维测量与量化系统可以实现对人脸皱纹的精确三维提取与客观量化。后续的研究将进一步围绕提高系统测量精度进行。

参考文献

[1] 顼改燕, 徐华, 翟忠武, 等. 基于Gabor滤波器与BP神经网络的人脸皮肤皱纹区域自动识别[J]. 计算机应用, 2010, 30(2): 430-432.

[2] Choi SE, Lee YJ, Lee SJ, et al. Age estimation using a hierarchical classifier based on global and local facial features[J]. Pattern Recogn, 2011, 44(6): 1261-1281.

[3] 熊磊, 毕笃彦，何林远, 等. 分层人脸模型机器真实感风格表情合成[J]. 计算机辅助设计与图形学学报, 2013, 25(8): 1204-1212.

[4] 蒋大林, 曹虹, 李琳, 等. 皮肤表面测量技术的研究[J]. 北京生物医学工程, 2007, 26(1), 107-110.

[5] Hatzis J. The wrinkle and its measurement— a skin surface profi lometric method[J]. Micron, 2004, 35(3): 201-219.

[6] Chernoff G, Slatkine M, Zair E, et al. Silk touch: a new technology for skin resurfacing in aesthetic surgery[J]. J Clin Laser Medand Surg, 1995, 13(2): 97-100.

[7] 夏寅辉. 人脸皮肤纹理测量及识别方法研究[D]. 秦皇岛: 燕山大学, 2003.

[8] 宋佳丽. 皮肤纹理图像特征的提取与分析[D]. 沈阳: 东北大学, 2009.

[9] 郝丽俊, 程胜. 基于结构光亚像素提取的三维重建[J]. 中国医疗器械杂志, 2009, 33(5): 336-338.

[10] 黄亚楠，娄小平. 基于多频外差原理的相位校正及匹配方法研究[J]. 应用光学, 2014, 35(2): 237-241.

Three-Dimensional Facial Wrinkle Measurement and Quantifi cation

【Writers】CAI Guochao1, YU Yunlei1, CAO Yiwei1, HUANG Shuo1, ZHOU Ping1, 2
1 School of Biological Science and Medical Engineering, Southeast University, Nanjing, 210096
2 Suzhou Research Institute of Southeast University, Suzhou, 215123

【Abstract】The three-dimensional facial wrinkle measurement and quantification have important applications in many fields, which are implemented by an entire system proposed in this paper. The system uses stereo vision method based on structured-light to achieve three-dimensional facial wrinkle measuring, where the system calibration, corresponding points matching and three-dimensional reverse method are implemented. Furthermore, the facial wrinkle is considered as the noise attached on smooth facial profi le so that the facial wrinkle is acquired quantitatively by three-dimensional noise acquisition and morphologic processing method. The experimental results show that this system can accomplish accurate facial wrinkle acquisition and objective quantifi cation. This system has comprehensive applications as it is non-contact and it has high precision.

【Key words】wrinkle, three-dimensional measurement, stereo vision

【中图分类号】TP391.41

【文献标志码】A

doi:10.3969/j.issn.1671-7104.2016.02.001

文章编号：1671-7104(2016)02-0079-04

收稿日期：2015-10-22

通信作者：周平，E-mail: capzhou@163.com