曲线相似度眼型分类*

孙劲光，荣文钊

辽宁工程技术大学 电子与信息工程学院，辽宁 葫芦岛 125105

曲线相似度眼型分类*

孙劲光，荣文钊+

辽宁工程技术大学 电子与信息工程学院，辽宁 葫芦岛 125105

眼型分类；眼睑曲线；眼型指数；曲线相似度；最小二乘法；曲线拟合

1 引言

眼睛是人脸重要的面部特征器官，具有遗传性，并为人脸识别和亲缘关系识别提供关键信息。人脸识别作为计算机视觉与模式识别领域重要的研究课题，在过去的几十年中，得到了研究者们的广泛关注。随着自动人脸识别技术的广泛应用，人脸数据库不断增大，如何解决由人脸数据库不断增大带来的识别率和识别速度下降问题成为人们研究的新热点。若可以将人脸根据不同的眼睛类型进行分类，将一个海量人脸数据库分为若干个子人脸库，然后在子人脸库中进行人脸识别会有助于提高人脸识别率和速度。眼睛作为面部的一个遗传特征，运用眼型分类可以对亲子眼型之间的遗传关系进行细致研究，进一步提高通过人脸面部特征进行亲缘关系识别的准确性。文献[1-5]是自2010年以来公开发表的人脸亲缘关系识别的研究成果，这些研究成果充分展示了利用人脸面部特征以及人脸识别技术开展亲缘关系识别的可能性和有效性。文献[6]提出利用ASM（active shape model）进行眼型分类，将ASM特征点进行直线连线，从而对左眼、右眼进行了区分，但并没有针对不同眼睛形状进行眼型分类。这种眼睛形状描述方式损失眼睑曲线弧度信息，而眼睑曲线是对眼型分类的关键所在。文献[7]采用对眼睛区域进行变换投影的方法得到符合图像原信息的人眼轮廓曲线。文献[8]将在复平面内的人眼轮廓分别做实轴和虚轴上的投影，然后对所得到的两种信号做傅里叶变换，利用得到的傅里叶系数拟合人眼轮廓。文献[7-8]说明了提取人眼轮廓曲线具有一定可行性。文献[9]通过下颌轮廓上的点拟合得到下颌曲线表达式，利用下颌曲线表达式计算均方差达到脸型分类目的。文献[10]采用人体测量学方法对面部特定检测点进行测量，计算得到相关的面型指数，由此实现脸型分类。文献[11]采用ASM和K近邻算法进行脸型分类，通过ASM算法提取待测图像特征点，对点集归一化后计算人脸轮廓特征点与样本库中所有样本点集的Hausdorff距离，根据该距离，通过K近邻算法实现待测图像的脸型分类。

本文的主要贡献是：定义上、下眼睑轮廓曲线及其相似度，关联眼型指数进行眼型分类。

2 相关工作

2.1 眼型类别

使用眼型美学的分类方法[12]，根据眼睛大小、眼睑、眼角的形态变化，将眼睛大致分为标准眼、圆眼、眯缝眼、细长眼4种类型，如图1所示。

Fig.1 4 categories of eyes图1 眼型的4种类别

标准眼：睑裂宽度比例适当，外眦角较钝圆，黑眼珠、眼白露出较多。

圆眼：睑裂较高宽，睑缘呈圆弧形，黑珠、眼白露出多，眼睛显得圆大。

眯缝眼：睑裂小狭短，内外眦角均小，黑珠、眼白大部分被遮挡，眼球显小。

细长眼：睑裂细长，睑缘弧度小，黑珠及眼白露出相对较少。

通过观察得到：不同类型眼睛有不同的形状，但是相同类型的眼睛形状具有一定相似性。通过总结同类型眼睛相似的特征，比较一个未知眼型与4类眼型特征相似程度就可以判断未知眼型属于哪一类。

2.2 归一化互相关系数

3 基本方法

以人眼眼睑特征点为基础，拟合出上、下眼睑的轮廓曲线，通过计算上、下眼睑轮廓曲线相似度，并与眼型指数相结合进行不同眼型分类。过程如下：

（1）在提取到眼部特征点的基础上，使用基于轮廓的形状描述方法增加上、下眼睑采样点的个数。

（2）使用最小二乘法，根据上、下眼睑采样点数据拟合出上、下眼睑的轮廓曲线。

（3）使用归一化互相关系数描述眼睑轮廓曲线相似度。

（4）计算不同眼型的眼型指数。

（5）使用曲线相似度和眼型指数进行眼型分类。

3.1 上下眼睑的轮廓曲线方程的拟合

3.1.1 上下眼睑曲线采样点的求取

基于轮廓的方法[15]是以形状的边界信息为基础，将眼部特征点Fi(i=0,1,…,11)依次连线得到眼睛轮廓多边形，F12为瞳孔点，F0为内眼角点，F6为外眼角点，F1～F5为上眼睑点，F7～F11为下眼睑点。

以瞳孔点F12为圆心点，以过瞳孔点平行X轴直线为0°线，进行等圆心角采样，将圆心48等分，等分线与眼睛轮廓多边形相交得采样点Pi(i=0,1,…,47)，即4种眼型采样点分布情况如图2所示。通过内眼角点F0与外眼角点F6连线，把48个采样点Pi(i=0,1,…,47)分为上眼睑采样点 Pi(i=0,1,…,m)、下眼睑采样点Pi(i=m+1,m+2,…,47)。其中，1为标准眼(standard eye)，2 为眯缝眼(slender eye)，3 为细长眼(narrow eye)，4为圆眼(round eye)。

3.1.2 眼睑曲线拟合的基函数选取

最小二乘算法是以误差的平方和最小为准则，根据观测数据估计线性模型中未知参数的一种基本参数估计方法。它通过最小化误差的平方和寻找数据的最佳函数匹配，利用最小二乘法可以进行曲线拟合。本文上、下眼睑曲线拟合的基函数为Φ=span{φ0(x)=1,φ1(x)=x,φ2(x)=x2,…,φn(x)=xn}，只要满足n＜m且n＜48-m，可以得到唯一眼睑曲线方程。由上文可知上、下眼睑采样点，内眼角点F0，外眼角点F6满足n＜m且n＜48-m，可以使用最小二乘进行曲线拟合，分别将上眼睑采样点Pi(i=0,1,…,m)，内眼角点F0，外眼角点F6，下眼睑采样点Pi(i=m+1,m+2,…,47)，内眼角点 F0，外眼角点 F6进行曲线拟合（如果内外眼角点与采样点重复则取其一）分别得到最接近采样点的上、下眼睑曲线方程：

其中，当*为up时为上眼睑轮廓曲线方程，当*为down时为下眼睑轮廓曲线方程；n为拟合次数；为曲线方程系数；φk(x)为基函数。

3.1.3 拟合次数的选定

由于眼角点对于上、下眼睑曲线的确定有至关重要的作用，通过上、下眼睑采样点拟合到的眼睑曲线必须经过内眼角点F0、外眼角点F6，取基Φ=span{φ0(x)=1,φ1(x)=x,φ2(x)=x2,φ3(x)=x3,φ4(x)=x4}。使用4种眼型上、下眼睑采样点各一份为例，说明拟合次数n的取值。

当n=1时，为线性拟合，不满足对上下眼睑曲线拟合的要求。

当n=2时，即二次拟合效果如图3所示，拟合得到的曲线没有通过内外眼角点，不满足对上下眼睑曲线的拟合要求。

当n=3时，即三次拟合效果如图4所示，拟合得到的曲线没有通过内外眼角点，不满足对上下眼睑曲线的拟合要求。

当n=4时，即四次拟合效果如图5所示，拟合得到的曲线经过内外眼角点，满足要求。

当n＞4时，拟合得到的曲线都满足曲线经过内外眼角点的要求，但拟合次数增加，增加了计算量。

通过大量实验比较，只有在拟合次数达到4次以上时，上、下眼睑的内、外眼角点位置拟合效果才能达到要求，因此取拟合次数n=4。

Fig.2 Sampling points distribution of 4 eye types图2 4种不同眼型采样点分布情况

Fig.3 Effect diagram of quadratic fitting图3 二次拟合效果图

3.1.4 上下眼睑的轮廓曲线方程

取基 Φ=span{φ0(x)=1,φ1(x)=x,φ2(x)=x2,φ3(x)=x3,φ4(x)=x4}，四次拟合眼部轮廓曲线方程为式（3），求的法方程为式（2）。

Fig.4 Effect diagram of cubic fitting图4 三次拟合效果图

Fig.5 Effect diagram of four fitting图5 四次拟合效果图

分别将圆眼、标准眼、细长眼、眯缝眼的内、外眼角点与上眼睑采样点Pi(i=0,1,…,m)和下眼睑采样点Pi(i=m+1,m+2,…,47)，带入法方程即可求出相应(t=1,2,…,4,k=0,1,…,4)。上、下眼睑轮廓曲线方程为式（4）。

其中，t=1代表圆眼，t=2代表标准眼，t=3代表细长眼，t=4代表眯缝眼。

3.2 眼睑曲线相似度判别方法

根据不同类别眼型在相同位置采样点的眼睑切线坡度存在差异，同类别眼型在相同位置采样点的眼睑切线坡度具有相似性，考虑到斜率的几何特征明显，不受缩放和位移的影响，可以得到良好的分类效果。因此采用眼睑采样点的斜率特征描述眼睑曲线之间的相似性。对拟合得到的上、下眼睑的曲线方程求导后，计算出上、下眼睑采样点的曲线切线斜率值为：

当 ρ越大时，两个眼型曲线切线斜率相似度越大，两个眼型为同类型的程度越高，反之表示两个眼型差异越大，两个眼型为同类型的可能性越小。通过实验将|ρ|=0.95作为相似度阈值来区分不同眼型取得比较好的效果。

眼睑曲线相似度判别方法具体步骤：

（1）计算上、下眼睑采样点斜率值。

（2）计算眼睑相似度 ρ。

（3）当上、下眼睑相似度同时满足||ρ≥0.95时，两个眼型为相同类型，反之为不同类型。

3.3 眼型指数

通过测量法对不同类型的眼型进行测量发现，不同类型眼型的眼型指数有明显区别。眼型指数Ei由式（7）计算得出，eh、ew如图6所示，通过实验得出不同眼型的眼型指数大致范围如表1，说明眼型指数可以作为判别眼型的特征。

Fig.6 Sketch map of eye wide and high图6 眼宽、眼高示意图

Table1 Eye type index range表1 眼型指数范围

3.4 眼睑曲线拟合可行性

Table2 Range for distance difference of sampling points表2 采样点距离差范围

3.5 眼型分类

由于眼睛形状属于为人熟知的“一般”形状（即具体实例各不相同），无法使用一种刚性形状模型来描述。因此把待判别类型的眼型与各类型眼型标准样本进行比较，如果待判别类型的眼型与某一类眼型满足归类条件就认为这个眼型属于该类。

将待判别类型的眼型分别与圆眼、标准眼、眯缝眼、细长眼这4类眼型标准样本通过式（8）计算每类眼睛可能性Ci，作为一个归类条件。计算待判别眼型的眼型指数Er，通过式（9）计算眼型指数差和Di，作为另外一个归类条件。判断规则如下：

（1）当唯一i值同时满足Ci≥0.7，min(Di)时，则待判别的眼型是第i类眼型。

（2）当多个i值同时满足Ci≥0.7，min(Di)时，则max(Ci)的i值是第i类眼型。

（3）当i值无法满足Ci≥0.7，min(Di)时，则无法识别这个眼型。

其中，Wi为一类眼型中上下眼睑相似度同时满足|ρ|≥0.95的个数；Ni为一类眼型中标准样本个数。

其中，N为每类眼型中标准样本个数。

4 算法设计

算法1眼型分类算法

输入：Sampleij为标准样本，i=1,2,3,4,表示4类眼型，j=1,2,…,N,表示每类眼型有N个标准样本；Unknow为待识别眼型。

输出：Unknow的类别。

（3）把每一个采样点向量pij分为上下眼睑(x0,y0,…,xm,ym)、(x47,y47,…,xm+1,ym+1)两部分，如果内外眼角点不包含在(x0,y0,…,xm,ym)，(xm+1,ym+1,…,x47,y47)中，则插入内外眼角点，构成(x内,y内,x0,y0,…,xm,ym,x外,y外)、(x内,y内,x47,y47,…,xm+1,ym+1,x外,y外)。

（7）计算Unknow的斜率向量sunknow(n0,n1,…,n47)、眼型指数eunknow。

（8）计算sunknow与斜率集合S列向量相似度C(c1,c2,c3,c4)，计算eunknow与眼型指数集合E列向量的差和D(d1,d2,d3,d4)。

（9）由相似度向量C与差和向量D通过判别规则，判别Unknow的类别。

5 实验及分析

本实验每类眼型选取无表情、眼部无遮挡正面人脸照各200张。

5.1 使用最小二乘法拟合出眼睑轮廓曲线

Fig.7 Fitting effect diagram of round eyes contour图7 圆眼轮廓拟合效果图

Fig.8 Fitting effect diagram of standard eyes contour图8 标准眼轮廓拟合效果图

Fig.9 Fitting effect diagram of screwed up eyes contour图9 眯缝眼轮廓拟合效果图

Fig.10 Fitting effect diagram of elongated eyes contour图10 细长眼轮廓拟合效果图

5.2 使用曲线切线斜率相似度判别眼型

每次随机选取圆眼、标准眼、眯缝眼、细长眼这4类眼型标准图片各20张，进行3次实验，通过类内、类间图片两两计算归一化互相关系数，发现两个上、下眼睑|ρ|同时大于0.95时可以比较准确地区分不同类别眼型。如果两个眼型上下眼睑同时满足|ρ|≥0.95，说明这两个眼型属于同一类，否则两个眼型属于不同类型。实验结果见表3，说明使用眼睑轮廓曲线切线斜率相似度判别不同眼型正确率约为74.3％。

Table3 Classification accuracy of eye type of curve similarity表3 曲线相似度眼型判别正确率

5.3 使用眼型指数判别眼型

选取圆眼、标准眼、眯缝眼、细长眼这4类眼型标准图片各200张，通过计算眼型指数Eij(i=1,2,3,4,j=1,2,…,200)，得知Eij满足眼型指数范围见表1，实验结果见表4，说明使用眼型指数Eij判别不同类型眼型正确率为84.25％。但经过实验发现，不属于这4类眼型的眼型指数也满足这4类眼型指数范围，因此眼型指数不可以单独作为分类标准，只能在5.2节实验的基础上对分类结果加强。

5.4 使用曲线切线斜率相似度与眼型指数结合进行眼型分类

随机选取圆眼、标准眼、眯缝眼、细长眼这4类眼型标准图片各150张作为测试样本，随机选取圆眼、标准眼、眯缝眼、细长眼这4类眼型标准图片各50张作为标准样本。各眼型分类的正确率见表5，标准眼分类正确率最高为88.67％，眯缝眼分类正确率最低为82.00％，平均分类正确率为85.17％。对实验样本分析认为分类的正确率不一致与标准样本选定有关系，标准样本的好坏对分类正确率有影响。

Table5 Classification accuracy of combination of curve similarity and eye type index表5 曲线相似度与眼型指数结合分类正确率

6 结束语

本文提出了针对不同眼型分类的方法，对不同眼型有良好的分类效果，容易实现。可以把本文方法应用在人脸识别、亲缘关系识别中，通过对不同眼型分类后再进行分析，进而提高识别的准确率。未来研究方向为把更多的眼型加入眼型分类中，寻找更好的眼睑曲线拟合方法，更好地实现对眼型的分类。

[1]Taigman Y,Yang Ming,Ranzato MA,et al.Deepface:closing the gap to human-level performance in face verification[C]//Proceedings of the 2014 Conference on Computer Vision and Pattern Recognition,Columbus,USA,Jun 23-28,2014.Washington:IEEE Computer Society,2014:1701-1708.

[2]Fu Yun,Guo Guodong,Huang T S.Age synthesis andesti-mation via faces:a survey[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2010,11(32):1955-1976.

[3]Xia Siyu,Shao Ming,Luo Jiebo,et al.Understanding kinrelationships in a photo[J].IEEE Transactions on Multimedia,2012,14(4):1046-1056.

[4]Zhou Xiuzhuang,Hu Junlin,Lu Jiwen,et al.Kinship verification from facial images under uncontrolled conditions[C]//Proceedings of the 19th ACM International Conference on Multimedia,Scottsdale,USA,Nov 28-Dec 1,2011.New York:ACM,2011:953-956.

[5]Shao Ming,Xia Siyu,Fu Yun.Genealogical face recognition based on UB KinFace database[C]//Proceedings of the 2011 Conference on Computer Vision and Pattern Recognition,Colorado Springs,USA,Jun 20-25,2011.Piscataway,USA:IEEE,2011:60-65.

[6]Bhat S,Savvides M.Evaluating active shape models for eyeshape classification[C]//Proceedings of the 2008 International Conference on Acoustics,Speech and Signal Processing,Las Vegas,USA,Mar 31-Apr 4,2008.Piscataway,USA:IEEE,2008:5228-5231.

[7]Liu Weifeng.Research on facial expression recognition[D].Hefei:University of Science and Technology of China,2007.

[8]Wei Bo,Li Zhanming.The application of Fourier transform in human eye contour fitting and eye geometry parameter calculation[J].Electronic Design Engineering,2015,23(20):177-180.

[9]Wang Junyan,Su Guangda.Face classification method based on mandibular contour line[J].Infrared and Laser Engineering,2004,33(2):159-163.

[10]Zhao Wei,Wang Zengfu.Study on the face classification of face recognition based on large database[J].Electronic Technology,2009,36(11):77-79.

[11]Zhang Qian,Ding Youdong,Lan Jianliang,et al.Face classification based on ASM and K nearest neighbor algorithm[J].Computer Engineering,2011,37(11):212-214.

[12]Zhang Wei.The eye shape classification and beauty treatment of oriental people[J].Medical Aesthetic Beauty,1995(5):38-39.

[13]Gao Guangzhu,Li Zhongwu,Yu Lifu,et al.The application of normalized cross-correlation coefficient in image sequence object detection[J].Computer Engineering and Science,2005,27(3):38-40.

[14]Ling Xufeng,Yang Jie.Face classification and recognition based on contour line curvature features[J].Infrared and Laser Engineering,1999,28(4):37-39.

[15]Shen Yangcheng.Based on the shape of the plant leaf image retrieval and clustering[D].Xiamen:Xiamen University,2006.

附中文参考文献：

[7]刘伟锋.人脸表情识别研究[D].合肥:中国科学技术大学,2007.

[8]魏博,李战明.傅里叶变换在人眼轮廓拟合和人眼几何参数计算中的应用[J].电子设计工程,2015,23(20):177-180.

[9]王俊艳,苏光大.基于下颌轮廓线的人脸分类方法[J].红外与激光工程,2004,33(2):159-163.

[10]赵薇,汪增福.用于大库人脸识别的脸型分类研究[J].电子技术,2009,36(11):77-79.

[11]张倩,丁友东,蓝建梁,等.基于ASM和K近邻算法的人脸脸型分类[J].计算机工程,2011,37(11):212-214.

[12]张威.东方人的眼形分类与美容术[J].医学美学美容,1995(5):38-39.

[13]高广珠,李忠武,余理富,等.归一化互相关系数在图像序列目标检测中的应用[J].计算机工程与科学,2005,27(3):38-40.

[14]凌旭峰,杨杰.基于轮廓线曲率特征的人脸分类及识别[J].红外与激光工程,1999,28(4):37-39.

[15]沈阳城.基于形状的植物叶子图像检索与聚类研究[D].厦门:厦门大学,2006.

Eye Shape Classification of Curve Similarity*

SUN Jinguang,RONG Wenzhao+
School of Electronics and Information Engineering,Liaoning Technical University,Huludao,Liaoning 125105,China
+Corresponding author:E-mail:mrdlzhao@aliyun.com

SUN Jinguang,RONG Wenzhao.Eye shape classification of curve similarity.Journal of Frontiers of Computer Science and Technology,2017,11(8)：1305-1313.

Aiming at the problem of human eye classification in facial images,this paper utilizes different types of eyelid and proposes an approach to classify ocular types based on the combination of eyelid contour curve similarity and ocular type index.The description method of contour types is introduced,the sampling points are added on account of obtaining the initial feature points of the eyes;Then on the basis of upper and lower eyelid curves and inner and outer corner of the eyes,the equation of eyelid contour curve is obtained by the least square fitting method according to the sampling points of the upper and lower eyelids;The slope of upper and lower eyelid sampling points are calculated by the eyelid contour curve equation,the slope similarity of upper and lower eyelid sampling points is described by the normalized cross-correlation coefficient;Finally,ocular type index can be calculated by the eyelid contour curve equation,which combined with slope similarity,can achieve the purpose of ocular types classification.The main contributions of this paper are the definition of upper and lower eyelid contour curves and the similarity between them,and the related ocular type index can be used in ocular type classification.The proposed method reaches an accuracy of 85.17％on the four eye shapes of round,standard,slender,narrow.The experiments prove that the proposed algorithm is easy to implement and can obtain better classification results.

eye shape classification;eyelid curve;ocular type index;curve similarity;the least square approximation;curve fitting

2016-05,Accepted 2016-08.

RONG Wenzhao was born in 1990.He is an M.S.candidate at School of Electronics and Information Engineering,Liaoning Technical University.His research interest is computer image processing.荣文钊（1990—），男，辽宁普兰店人，辽宁工程技术大学电子与信息工程学院硕士研究生，主要研究领域为计算机图像处理。

A

：TP391

*The National Natural Science Foundation of China under Grant No.61401185(国家自然科学基金青年基金).

CNKI网络优先出版:2016-08-01,http://www.cnki.net/kcms/detail/11.5602.TP.20160801.1406.008.html

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology 1673-9418/2017/11(08)-1305-09

10.3778/j.issn.1673-9418.1605050

E-mail:fcst@vip.163.com

http://www.ceaj.org

Tel:+86-10-89056056

摘 要：针对人脸面部图像中人眼型分类问题，利用眼睑曲线的不同形状，提出一种基于眼睑轮廓曲线相似度与眼型指数相结合的人眼分类方法。采用基于轮廓的形状描述方法，在获取眼睛初始特征点的基础上增加采样点；然后根据上、下眼睑采样点与内、外眼角点，通过最小二乘法拟合得到上、下眼睑曲线方程；通过眼睑曲线方程计算出上、下眼睑采样点的斜率，利用归一化互相关系数描述上、下眼睑采样点斜率相似度；通过眼睑曲线方程计算眼型指数，与斜率相似度结合使用，达到眼型分类的目的。主要贡献是：定义了上、下眼睑轮廓曲线及其相似度，通过关联眼型指数进行眼型分类。使用该方法对标准眼、圆眼、眯缝眼、细长眼4种眼型进行分类，获得了85.17％的正确率。实验表明，所提方法易于实现，并且具有良好的眼型分类效果。