人脸对齐处理对面部色泽变化的影响

李思璇　孙兵

摘要：对人脸识别考勤系统所获取的图像序列进行色泽变化分析，可有效获取员工的健康信息。本文利用基于Haar-like特征的人脸识别算法自动确定左眼、右眼、鼻子和嘴巴特征点位置，分别采用左右眼两点对齐法、左右眼+鼻子三点对齐法、左右眼+嘴巴三点对齐法，对图像序列进行配准处理以得到标准化图像序列，对标准化图像序列的各色彩分量进行相关函数分析，研究人脸图像序列对齐处理方法对面部色泽变化的影响。探讨能够有效减小图像序列对齐处理引起的面部色泽变化的方法，更好地保留员工自身健康变化引起的面部色泽变化，提供更为准确的健康警示信息。

关键词：人脸对齐;面部色泽变化;健康警示;相关函数

中图分类号：TP391                                   文献标识码：B                                 DOI：10.3969/j.issn.1006-1959.2019.19.002

文章编号：1006-1959（2019）19-0004-04

Analyzing the Influence of Face Alignment Processing on Facial Color Change

LI Si-xuan1，SUN Bing2

（College of Biological and Medical Engineering1，College of Electronic and Information Engineering2，

Beijing University of Aeronautics and Astronautics，Beijing 100191，China）

Abstract：The color image change analysis of the image sequence obtained by the face recognition attendance system can effectively obtain the employee's health information. In this paper， the face recognition algorithm based on Haar-like feature is used to automatically determine the position of the left eye， right eye， nose and mouth feature points， respectively， using the left and right eye two-point alignment method， left and right eye + nose three-point alignment method， left and right eyes + mouth three point alignment method is used to register the image sequence to obtain a standardized image sequence， and the correlation function analysis is performed on each color component of the normalized image sequence， and the face image sequence alignment processing method affects the color change of the face. To explore ways to effectively reduce facial color changes caused by image sequence alignment processing， to better preserve facial color changes caused by employees' own health changes， and to provide more accurate health warning information.

Key words：Face alignment;Facial color change;Health warning;Correlation function

人脸对齐处理是采用计算机进行人脸图像处理的一个很关键的预处理步骤，通过人脸对齐处理可以将多幅人脸图像中的眼睛、鼻子和嘴巴等特征点位置校准到相同位置，进而实现多幅人脸图像的配准[1]。在对彩色人脸图像进行配准时，人脸对齐处理会对人脸图像的色彩产生影响，所以应选取对色彩影响尽可能小的对齐方法。本文围绕人脸采集后进行人脸对齐处理开展研究，通过实验分析了基于几何变换的两点对齐法和三点对齐法[2]对人脸图像色彩（人脸面部色泽）变化的影响，从而优选出对人脸面部色泽变化影响尽可能小的人脸对齐方法。

1概述

人体内脏器官在人脸面部都有对应的反射区，可以通过对人脸面部反射区的色泽观察了解对应内脏器官的状况，进而评估人体的健康状况。“亚健康”是介于健康和疾病间的一种状态[3]，既没有达到“健康”的标准，又不符合西医中对于“疾病”的诊断标准，如果能够及时发现并采取相应的措施和手段就可恢复健康，否则可能引起疾病。据世界卫生组织的一项全球调查显示，75%的人群处于亚健康状态，20%需要医治，健康人群只占5%[3]。中医“治未病”的主要思想是未病先防，在中医診断的“望、闻、问、切”四诊法中，“望诊”是通过观察人面、舌、眼、耳、手的颜色、纹理和形态来了解就诊者的身体状况和内脏器官功能的变化情况，其中面部是很重要的观察部位，也就是“望诊”中的“面诊”。

随着计算机信息处理技术的发展，人们已经能够通过采集人脸面部图像并结合图像处理技术实现中医面诊，已获得很多的相关研究成果[4-9]。但就目前的研究成果来看，都要求人们必须在指定的时间段到指定的场所采集人脸面部图像，这对于上班族们来说就成了一种“额外”的负担，不能做到随时随地实现健康状况的评测和监管。人脸识别考勤机已成为利用人脸识别技术对员工进行非接触、快速高效的考勤记录设备[10]，并可积累员工的长时间人脸图像。本研究提出了一种兼有健康警示功能的人脸识别考勤系统，该系统能够在完成员工日常签到考勤的同时，对人脸图像序列进行面部色泽变化检测，通过分析给出员工健康评估和健康警示。基于该系统获取健康警示信息的关键是从人脸图像序列中提取面部色泽变化信息，而面部色泽变化一方面是由于员工自身健康状况变化引起，另一方面是由于人脸采集和处理过程中的误差导致，后者需要尽可能减小。

2人脸图像对齐处理方法

2.1人脸图像和特征点数据采集  人脸图像序列的采集过程首先选取实验场地，然后采集测试者人脸图像并自动检测出左眼、右眼、鼻子和嘴巴特征点，记录相应的位置信息。人脸图像序列采集采用Python语言实现，其中人脸检测采用了OpenCV库函数中的基于Haar-like特征的Haar级联分类器实现，处理流程见图1。

本文采用了以下函数分别检测人脸、眼睛、鼻子和嘴巴特征位置。

cv2.CascadeClassifier（'haarcascade_frontalface_default.xml'）

cv2.CascadeClassifier（'haarcascade_eyes.xml'）

cv2.CascadeClassifier（'haarcascade_nose.xml'）

cv2.CascadeClassifier（'haarcascade_mouth.xml'）

Haar级联分类器以长方形框出眼睛、鼻子或嘴巴的位置信息，本文以长方形中心处的位置作为眼睛、鼻子或嘴巴特征点的位置数据。

2.2人脸对齐处理和标准化图像截取  标准图像是指经过人脸对齐处理后、从采集的人脸图像中截取仅包含人脸面部的图像，标准化图像的模板见图2。

标准化图像宽度W、高度H，图像左上角为原点（0，0），固定左眼和右眼位置分别为（x1，y1）和（x2，y2），由于每个人的鼻子和嘴巴位置相对于眼睛的位置不尽相同，所以在模板中没有固定鼻子和嘴巴的位置。

2.2.1左右眼两点对齐法  人脸图像双眼两点对齐法只需要知道两个眼睛的位置就可以实现。通过MATLAB的两个函数可以实现人脸两点对齐和标准图截取。

tform2=cp2tform（input_pts，base_pts，'Nonreflective Similarity'）

Img2=imtransform（Img， tform2，'XData'，[1：W]，'YData'，[1：H]）

上述函数中Img是采集的图像序列Pi，i=1，2，3…K，人脸对齐和标准化截取后的图像序列Img2记为Ii=i，1，2，3，……，K。

2.2.2左右眼+鼻子三点对齐法  人脸图像双眼和鼻子三点对齐法需要知道两个眼睛和鼻子的位置对应关系，图2的标准化图像模板中只预设了左眼和右眼位置，没有预设鼻子的位置。本文首先采用前文所述的双眼两點对齐法对第1幅图像进行标准化处理后，再将第1幅人脸图像中鼻子（x）的位置投影到标准图上并设定为标准化图像模板中鼻子的位置（x3，y3）。

tform3=cp2tform（input_points， base_points，'Similarity'）

Img3=imtransform（Img，tform3，'XData'，[1：W]，'YData'，[1：H]）

上述函数中Img是采集的图像序列Pi，i=1，2，……，K，人脸对齐和标准化截取后的图像序列Img3记为Ii=i，1，2，3，……，K。

2.2.3左右眼+嘴巴三点对齐法  双眼和嘴巴三点对齐法只是将第三个特征点选为嘴巴，处理过程与左右眼+鼻子三点对齐法相同。

3面部色泽变化评价指标

为了定量描述标准化图像序列的色泽变化，分别对人脸图像的红色、绿色、蓝色三个通道分量和灰度图像数据进行统计分析，计算图像序列的相关系数及相关系数的均值和均方差。

人脸对齐处理后，得到标准化图像序列Ii=i，1，2，3，……，K，分别采用公式（1）计算红色、绿色、蓝色通道数据和灰度图像数据的相关系数C（i）i，i=1，2，3，……，K。

其中，Ii=i，1，2，3，……，K，表示第i幅标准化图像， 是像素点位置。如果上式计算过程中像素点取自红色通道，得到红色通道数据相关系数，同理可以得到绿色和蓝色通道以及灰度图像的相关系数，B（k，l）是由0或1组成的掩膜数据，见图3。

获得相关系数C（i），i=2，3，……，K后，通过公式（2）和（3）计算相关系数的均值和均方差。

4人脸对齐方法对面部色泽的影响分析

4.1数据采集方法  首先让测试者面对镜头、双目凝视镜头，头部随机上下左右做微小摆动和转动，获得原始图像序列;再利用基于Haar-like特征的人脸识别模块识别出面部、左眼、右眼、鼻子和嘴巴位置，存储原始人脸图像和各人脸图像中左眼、右眼、鼻子和嘴巴位置数据。

4.2实验数据集  为了充分验证所采用三种不同对齐方法的性能差异，共设计采集了两类各2组数据，每组数据由24幅图像组成，分辨率为640×480：

①同一天同一背景下测试者面部位置和姿势略不同的48幅图像分成2组（各24幅），后续分析分别称为数据1和数据2。这两组数据避免了时空因素的影响，能够较好地反映人脸对齐法对图像色彩的直接影响。

②背景不同、隔天（相近时间）采集的48幅图像，地点1采集的24张人脸数据称为数据3，地点2采集的24张人脸数据称为数据4。这两组数据在测试者无显著健康变化的前提下获得，反映人脸对齐法对图像色彩影响分析结论的鲁棒性。

4.3实验结果和分析  实验选取标准图像宽121个像素、高151个像素，左眼位置（91，45）、右眼位置（31，45）。

对各组图像序列进行特征点位置提取，并基于双眼两点法、双眼+鼻子三点法、双眼+嘴巴三点法获取相关系数，数据1的特征点位置以及三种方法得到的相关系数曲线见图4～图7，另外3组数据的结果类似。在此基础上计算得到三种方法相关系数的统计结果见表1。

由图4和表1可以看出：①在每组实验结果中，红色通道相关系数的均方差最小，蓝色通道相关系数的均方差最大;②同一组图像序列中，双眼两点对齐法的相关系数方差最大，双眼+嘴巴三点对齐法的相关系数方差最小;③相同背景、短时间内获得的图像序列的相关系数变化要远小于不同背景及不同时间获得的图像序列。

综上所述，三种对齐方法中的双眼两点对齐法对色泽影响较大，双眼+嘴巴三点对齐法对色泽影响较小。理论分析也可知，由于双眼+嘴巴构成三个特征点三角形要大于双眼+鼻子三个特征点三角形，从而在图像配准过程中减小未知畸变，进而避免带来较大的色彩变化，因而实验结果也获得了较好理论支撑。

参考文献：

[1]张建树.人脸对齐与图像分类关键算法研究[D].浙江师范大学，2018.

[2]王文峰，李大湘，王栋，等.人脸识别原理与实战[M].北京：电子工业出版社，2018：70-84.

[3]黄海波，肖子曾，向忠军，等.中医药治疗亚健康的进展[J].中医药导报，2015，21（5）：50-52.

[4]孙琦，李新霞，武建，等.TCMI智能中诊平台的设计与开发[J].医学信息，2018，31（7）：7-9.

[5]王天芳，李灿东，朱文锋.中医四诊操作规范专家共识[J].中华中医药杂志，2018，33（1）：185-192.

[6]梁玉梅.基于面象特征的中醫体质自动辨识系统研究[D].北京工业大学，2016.

[7]张红凯，李福凤.中医面诊信息采集与识别方法研究进展[J].世界科学技术-中医药现代化，2015，17（2）：400-404.

[8]蔡轶珩，吕慧娟，郭松，等.中医望诊图像信息标准量化与显示复现[J].北京工业大学学报，2014，40（3）：466-472.

[9]王祉，张红凯，李福凤，等.中医面诊信息计算机识别方法研究及临床应用概述[J].中华中医药学刊，2014（8）：1882-1885.

[10]王晓亚，封筠.人脸识别考勤技术研究[J].河北省科学院学报，2014，31（2）：54-59.