基于HSV空间优化耦合参数PCNN的人眼定位方法

王 霞，牟骏杰，王蒙军，栗 洋

(河北工业大学 电子信息工程学院，天津 300401)

基于HSV空间优化耦合参数PCNN的人眼定位方法

王 霞，牟骏杰，王蒙军，栗 洋

(河北工业大学 电子信息工程学院，天津 300401)

为解决人眼定位中受光照、人脸姿态、人眼开闭影响的问题，提出了一种HSV空间肤色模型与优化耦合参数的脉冲耦合神经网络(Pulse Coupled Neural Network，PCNN)相结合的人眼定位算法。将RGB空间图像转化为HSV空间图像，根据肤色检测人脸图像，利用优化耦合参数PCNN模型良好的捕捉特性及衰减特性，对图像进行分割，提取出人眼范围，利用形态学运算对图像进行增强处理，去除背景干扰，精确定位人眼。实验结果表明，所提算法在不同光照条件、不同人脸姿态，人眼闭合均能成功定位，且具有定位准确、速度快、不受人眼开闭程度影响的特点。

肤色模型；数学形态学；脉冲耦合神经网络；人眼检测

人眼定位在计算机视觉领域中具有重要地位，提高定位准确性、加快检测速度对于疲劳检测、临床医学以及虹膜支付等领域发展具有极大的现实意义。人眼定位算法发展至今，已经出现了一些实现方法，文献[1-2]使用基于色彩信息概率模型的检测法，依据眼睛颜色与肤色差异定位人眼。该方法具有检测速度快的特点，但受光照、亮度等因素影响。文献[3-5]利用Adaboost算法对眼部图片训练，用训练生成的检测器定位人眼。该方法具有检测成功率高的特点，但是每次检测前都需要利用Harr-like特征进行训练，检测速度低。文献[6-7]用积分投影方法检测出人眼大致位置，利用边缘算子提取边缘信息，再用Hough变换定位人眼。该方法不能在人脸姿态变化的状态下检测人眼。文献[8-9]在YCb’Cr’色彩空间中，利用肤色对人脸进行检测，采用几何特征对人眼分割，利用积分投影定位人眼，该方法具有光照，人脸姿态不敏感特性，但当眼睛处于闭合状态时，该方法检测失效。

针对人眼定位过程中易受到光照、人脸姿态、人眼闭合等因素的影响，本文提出了一种基于HSV色彩空间优化耦合参数PCNN结合的人眼定位算法，HSV色彩空间具有亮度分离的特性能有效的克服光照对检测的影响。优化耦合参数PCNN模型具有良好的衰减和捕捉特性并且不必进行特征训练，即可准确完整地分割人眼，去除眉毛、头发等干扰，克服了人眼闭合情况下检测失效的难题，提高了检测速度。对人眼分割结果进行形态学处理可以去除背景边缘干扰，进一步提高人眼定位准确性。

1 人眼定位算法设计

1.1 人眼初定位

利用HSV空间肤色模型检测人脸，去除不同自然光照和背景环境影响，根据人的五官特征，将人眼检测范围缩小到人脸上半部分，实现人眼的初定位。

1.1.1 RGB色彩空间转换为HSV色彩空间

在HSV色彩空间下，利用肤色进行人脸检测， HSV分别代表Hue色调、Saturation饱和度以及Value值[9-10]。对人脸进行检测，实际上就是寻找人脸在色彩空间中的聚类特征，但聚类特征极易受到亮度的影响。依据HSV色彩空间具有亮度，色调以及饱和度分离的特点，可直接得到亮度信息，使用饱和度以及色调进行聚类，这样人脸检测不受亮度干扰。

1.1.2 确定人脸范围

设定Hue的阈值对肤色区域进行分割，滤波，自适应区域归并，使肤色的像素值为1，非肤色的像素值为0，同时将人眼眉毛部位像素也置1，从而获取肤色范围。肤色范围提取参数值设定为

(1)

式中：Cr为红色分量，Cb为蓝色分量。提取出肤色范围，如图1b所示，与原始图像(如图1a)相乘，即可得到人脸范围，如图1c所示。

a原始图像 b肤色范围 c人脸范围图1 人脸检测结果

由图1检测结果可知，HSV色彩空间肤色模型法实现的人脸检测，可以有效的屏蔽人脸以外的区域。

1.1.3 人眼初定位

图2 人眼初定位

依据人的五官特征可知，人眼约位于脸高2/5处，因此可以截取人脸上半区域作为待检测区域，缩小人眼检测的范围，为人眼分割做准备，所截取的部分如图2所示。

1.2 人眼分割

设计优化耦合连接系数PCNN模型，根据其良好的衰减和捕捉特性，对初定位图像进行人眼分割，获取人眼分割图像。

1.2.1 PCNN模型

PCNN模型是由Eckhorn根据哺乳动物大脑视觉皮层运行的机理提出的一种视觉皮层同步发放脉冲的网络模型，作为一种单层次的二维反馈型的神经网络，它由若干个脉冲耦合神经单元互联构成[11]，其结构如图3所示。由于PCNN模型直接源自哺乳动物的视觉特性，利用神经元的学习特性、阈值指数衰减特性以及神经元之间的链接强度，可有效的对图像进行分割。与其他的图像分割方法不同，PCNN是模仿人类视觉特性，对图像进行分割时完全利用图像的自身属性，不需要像传统神经网络模型一样进行训练，可以有效提高分割速度。

图3 PCNN模型结构

为提高PCNN模型运行的效率，根据分割时具体参数要求，将PCNN模型进行简化。简化后，单个PCN(Pulse Coupled Neural)神经元通过连接域实现相互影响，可以通过改变连接矩阵控制连接强度，操控神经元的影响程度。简化后的表达式如。

Fij(n)=Iij

(2)

(3)

Uij(n)=Fij(n)(1+βLij(n))

(4)

Eij(n)=exp(-αE)Eij(n-1)

(5)

(6)

式中：Fij(n)是反馈输入通道；Iij灰度图像的灰度值；Lij(n)是各个神经元内部连接输入矩阵；Uij(n)是神经元内部活动信号；Eij(n)是动态阈值；Yij(n)是脉冲输出序列；Wijkl是连接阈值矩阵；β是连接强度；αE是阈值衰减的时间常数。

1.2.2 改进参数的PCNN进行人眼分割

由PCNN的单个神经元PCN邻域捕捉特性可知，图像像素点灰度值越大，其脉冲发放周期越短，由于人脸中眼睛部分灰度值比其他部位灰度值都低，因此人眼外的肤色区域理应先被点火。当链接输入信号到达时，动态连接项Uij升高，同时由于PCNN具有指数衰减的特性，且被参数αE所控制，促使肤色区域带动周围的非人眼区域同步点火，人眼区域由于灰度值最低，最后被点火。根据PCNN的领域捕捉特性以及衰减特性，通过选取恰当的点火次数及衰减率，可有效的分割出人眼区域。由于人眼部分与眉毛部分灰度值接近，在利用PCNN对闭眼图像进行分割时，可能同时分割眉毛区域，干扰分割结果，因此衰减指数及迭代次数的选取，对分割结果的好坏起着决定性作用。本文通过大量实验，选取最佳的迭代次数N=12，衰减指数αE=0.185，使眉毛及肤色区域都被优先捕捉，人眼得以分割。

神经元PCN的连接强度β控制着邻域对中心神经元点火贡献程度，一般取值固定，若选取固定的连接强度，容易使

分割过程中灰度值相近神经元不能被同步激发，造成人眼区域残缺的问题。根据区域内的数据及的离散程度可通过均方差反应，因此本文提出用眼睛边缘区域PCN的灰度均方差来表示β。改进的连接系数β，一定程度上兼顾了人眼区域以及边缘信息的完整性。β改进模型为

(7)

式中：xmn表示的是以(i,j)神经元为中心的其他9个领域神经元的灰度值；xij表示的是m×n区域神经元灰度的均值。利用改进参数后的PCNN模型进行分割，12次迭代点火过程分别由图4～5所示。

图4 睁眼12次点火过程

图5 闭眼图像12次点火过程

1.3 精确定位人眼

利用形态学变换去除分割图像中边缘干扰，遍历二值化图像，取值为1且面积最大的两个区域，作为人眼区域，实现人眼精确定位。

1.3.1 形态学变换

低帽变换(bottom-hat)和高帽变换(top-hat)都是由数学形态学中基本运算推导出来的算法。其中低帽变换具有低通滤波的特性，而高帽变换具有高通滤波的特性。对图像进行开启运算、闭合运算、低帽变换、高帽变换分别由式(11)～(14)表示。

(8)

(9)

Bottom=f=(f·b)

(10)

Top=f-(fob)

(11)

式中：f是原始图像；b是结构元素因子；Θ是腐蚀算子；⊕是膨胀算子。

由式(8)～(11)可以看出，数学形态学运算中结构元素因子b的形状和大小对于形态学处理结果有着重要的影响。选取构造形状、大小不同的元素可以分析不同的图像成分。本文选取了3×3圆盘形状的结构元素，利用此结构元素进行形态学运算具有运算速率快，运算结果精确的特点，并且小尺寸的结构元素对于背景边缘去除的效果要优于大尺寸的结构元素。

高帽变换具有高通滤波的特性，图像经过高帽变换后突出其灰度峰值，即为图像背景信息，低帽变换具有低通滤波特性，原始图像经过低帽变换后突出其灰度谷值，即为突出目标区域。将高帽变换和低帽变换相结合，起到图像增强的作用，如式(12)。

Top_Bottom=f+Top-Bottom

(12)

高帽变换和低帽变换相结合后图像得以增强，将增强后的图像输入b为3×3的圆盘形结构元素因子的开运算中，即可以得到去除边缘后的人眼图像。如图6所示。

a 睁眼形态学处理 b 闭眼形态学处理图6 高低帽变换及去背景过程

1.3.2 精确定位人眼

根据去边缘后二值图像，值为1且面积最大的两个区域，即为人眼精确区域。利用矩形框出人眼区域实现精确定位，定位结果如图7所示。

a 睁眼定位结果 b 闭眼定位结果图7 精确定位效果图

2 实验结果

2.1 仿真平台搭建

在型号为VN7-591G-56BD的宏碁笔记本电脑上设计一个人眼检测的系统，硬件采用Intel酷睿i5第四代处理器，处理频率2.90 GHz， NVIDIA GEFORCE GTX860m显卡，内存为4 Gbyte，软件采用MATLAB平台。实验图片来自由普通手机摄像头，分辨率为640×480，共采集了200张样本图片，根据不同自然光照，不同人眼开闭状态, 不同人脸姿态等要素，共分为10组测试样本。

2.2 仿真结果及结果分析

2.2.1 主观结果及结果分析

人眼定位主观结果共分为以下三部分：1)不同光照条件下人眼定位结果，如图8所示；2)不同人眼开闭状态定位结果，如图9所示；3)不同人脸姿态定位结果，如图10所示。

a 强光下 b 弱光下图8 不同光照定位结果

a 闭眼 b 睁眼1 c 睁眼2 d 睁眼3图9 不同人眼开闭状况定位结果

a 仰视 b 俯视 c 左偏 d 右偏图10 不同人脸姿态定位结果

由图8分析可知，本算法适用于不同自然光照条件下的人眼定位，无论光照强度强弱，均能准确定位人眼。由图9分析可知，本算法不受人眼开闭状态影响，人眼不同开闭状态下均能准确定位人眼。由图10分析可知，本算法基本不受人脸姿态、角度偏移的影响，人脸左右偏离不大于45°，上下偏离不大于60°，均可准确定位人眼。

2.2.2 客观结果及结果分析

对不同光照强度，眼睛不同开闭状态，人脸不同姿态的10组200张样本图像进行实验，成功率如表1所示，检测时间如表2所示。

表1 不同方法定位成功率表

样本图片成功率/%本文方法色彩模型法Otsu法正常光照94.0086.4086.80非正常光照91.3080.0083.50人眼打开96.4090.2090.10人眼关闭89.60——无姿态变化94.5088.6088.90姿态变化90.3084.4083.00

表2 不同方法定位时间

样本图片定位时间/s本文方法色彩模型法Otsu法正常光照1.812.563.67非正常光照1.962.683.78人眼打开1.872.873.54人眼关闭2.06——无姿态变化1.782.763.47姿态变化2.092.843.63

表1给出结果表明，色彩模型法和Otsu法中法在正常光照条件以及姿态不变化的情况下都可以给出较好的检测效果，但当人脸姿态发生变化以及光照不正常这两种情况下，定位的成功率有所下降。在人眼闭合的情况下，两种方法均不能成功定位人眼。表2给出的结果表明，本文定位方法速度较其他两种方法速度更快。综上，本文提出的人眼定位方法，在不同光照条件下，人脸偏离中心发生姿态变换及人眼处于闭合状态下，均能实现人眼定位，具有适应性强、速度较快的特点。

3 小结

传统方法受关照强度、脸部偏离、人眼开闭等因素影响较大，而这些敏感因素对于定位人眼来说，是亟待解决的问题，本文提出了一种将HSV色彩空间肤色模型、改进脉冲耦合神经网络以及数学形态学三者相结合的人眼检测方法，实现了人眼的精确定位。根据检测结果可以看出，本文人眼定位方法具有对自然光照不敏感、脸部偏离不敏感、人眼开闭不敏感的特性。

[1] 朱淑亮, 王增才, 王树梁,等. 头部多角度的眼睛定位与状态分析[J]. 重庆大学学报：自然科学版, 2010, 33(11):20-26.

[2] BAPTISTE C, SOTOMAYOR M, VIZCAYA P. Segmentación -y parametrización automática de rostros en videos[J]. Bogotá: Pontificia Universidad Javeriana, 2002, (10):13-15.

[3] NIU Z, SHAN S, YAN S, et al. 2D Cascaded AdaBoost for Eye Localization[C]// Proc. of Internationl Conference on Pattern Recognition, 2006. [S.l.]：IEEE Press, 2006:1216-1219.

[4] ZHANG X, TANG Q, JIN H, et al. Eye location based on adaboost and random forests[J]. Journal of Software, 2012, 7(10):2365-2371.

[5] 孟令军, 于磊, 郭雄飞. 疲劳检测中人眼定位方法研究[J]. 电视技术, 2015, 39(1):133-135.

[6] 张杰, 杨晓飞, 赵瑞莲. 基于积分投影和Hough变换圆检测的人眼精确定位方法研究[J]. 电子器件, 2005, 28(4):706-709.

[7] KHAIROSFAIZAL W,NOR'AINI A J. Eyes detection in facial images using circular Hough transform[C]//Proc. 5th International Colloquium on Signal Processing & Its Applications.[S.l.]: IEEE Press, 2009: 238-242.

[8] WANG X, YAN G, YAN W. Eyes location based on maximum entropy segmentation and skin model[J]. Computer Engineering，2010，7(36):161-165.

[9] 杨秀芳, 戚银城, 李婷,等. 基于YCb'Cr'肤色特征和Otsu算法的人眼定位优化方法[J]. 南京邮电大学学报：自然科学版, 2014, 34(1):99-102.

[10] GHIMIRE D, LEE J. A robust face detection method based on skin color and edges[J]. JIPS, 2013, 9(1):141-156.

[11] CHEN J, SHIBATA T. A neuron-MOS-based VLSI implementation of pulse-coupled neural networks for image feature generation[J]. IEEE Trans. Circuits & Systems I Regular Papers, 2010, 57(6):1143-1153.

王 霞(1970— )，女，博士，教授，硕士生导师，主研计算机视觉、光电图像处理；

牟骏杰(1990— )，硕士生，主研计算机视觉、光电图像处理；

王蒙军(1978— )，博士，副教授，硕士生导师，主研机器视觉、光电信息检测与处理、光谱分析；

栗 洋(1989— )，硕士生，主研计算机视觉、光电图像处理。

责任编辑：哈宏疆

Eye Location Based on HSV Space Optimized Coupling Parameters of PCNN

WANG Xia, MOU Junjie, WANG Mengjun, LI Yang

(SchoolofElectronicsandInformationEngineering,HebeiUniversityofTechnology,Tianjin300401,China)

The paper proposes an algorithm of human eye location, which combines skin color model with optimized coupling parameters PCNN model. Transforming RGB space image into HSV space image, detect skin color. Then detecting the image of human face based on skin color model. In order to separate out the scope of the human eye, properties of coupling parameters optimized PCNN model of well capturing and attenuation are employed to segment the image. Conducting image enhancement by combining the top hat transformation with a low cap transformation. Implementing morphological open operation processing on the enhanced image, removing background noise, and locking the accurate positioning of the eyes with the gray curve. According to the result of simulation, it shows that this algorithm can achieve accurate positioning of human eye under differently illuminant background. This algorithm has superiorities both in positioning accuracy and high speed. Moreover, it is not affected by human eyes’ states, which means it can operates well in all conditions no matter the human eyes are opening or closing.

skin color model; mathematical morphology; PCNN; eye detection

河北省高等学校自然科学研究重点基金项目(ZD20131043)

TP391.41

A

10.16280/j.videoe.2015.24.027

2015-06-07

【本文献信息】王霞，牟骏杰，王蒙军，等.基于HSV空间优化耦合参数PCNN的人眼定位方法[J].电视技术,2015，39(24).