周明明,龚敏
(1.四川大学计算机学院,成都 610065;2.西南大学数学与统计学院,重庆 400715)
伴随着计算机科学技术、网络和通信技术的快速发展,信息化也快速融入到我们的生活当中,人类在生活中获取到的信息有超过50%的为人类视觉系统所感知的图像信息,图像信息有着生动直观、表达准确和适应范围广等优势。而在图像信息中应用较为广泛的一个领域——人脸识别[1]。
实际应用中,人脸识别受光照因素影响较大,目前,对于图像过曝光区域检测方法有简单阈值法,FLA算法[2]和过曝光映射算法[3],由于传统的简单阈值法仅仅考虑图像像素点的亮度信息,因此检测出的过曝光点存在较大的误差;过曝光映射算法很好地解决了传统方法的不足,但是检测出的过曝光区域没有呈现较好的连通性;而FLA算法是一种分类器训练算法,检测消耗时间较长,且过曝光点的标注依赖其他算法,因此对于图像是否过曝光不易把控。
为解决当前人脸图像过曝光检测过程中存在的问题,本文提出一种基于图像三种特征的过曝光检测增强算法,同时,利用C++编程实现并应用到人证壁挂设备中以验证该算法的有效性。
对于人脸图像注册过程中图像过曝光检测算法设计,首先利用人脸检测算法提取出图像中最大人脸位置,再利用本文提出的算法检测人脸图像过曝光区域,接着计算该人脸图像的过曝光置信度,最后(是否考虑加入聚类算法)将人脸图像入库,大致流程如图1所示。过曝光检测算法设计分为两个步骤。
图1 人证壁挂设备人脸识别总流程
首先,本文设计出用来衡量图像像素点过曝光程度的指标。通常,RGB颜色空间没有将图像光照信息和颜色信息区分开来,因此,对于输入图像拟将其转换到CIELAB颜色空间,从而得到输入图像在CIELAB颜色空间里的L通道、a通道和b通道信息。在CIELAB色彩空间上,选取图像的光照信息L*L*、色彩信息C=(a*,b*)TC=(a*,b*)T和空间邻域特征3项指标作为检测人脸图像过曝光区域评判标准。
接着,基于sigmoid函数设计出关于图像中各像素点是否过曝光置信度,即概率,本文设定,若该点置信度大于0.5,则认为为过曝光点,反之,则为正常曝光点。
最后,根据过曝光点数占图像总像素点数的比例来判定图像是否为过曝光图像。
(1)传统阈值法
图像直方图分布一定程度上能反映出该图像是否过曝光,直方图表示了图像中每一个亮度值出现的频率,灰度空间图像的亮度值范围为[0-255],过曝光图像的灰度直方图分布不均匀,大部分像素值集中分布在直方图右侧或者左侧[4-5]。传统阈值法简单设置一个亮度阈值,若像素点的亮度值大于该阈值则认为是过曝光点,反之,则为正常点。
(2)算法改进
为了分开处理颜色信息和亮度信息,将人脸图像从RGB颜色空间转换为CIELAB颜色空间,其中L*通道表示图像亮度信息,a*和b*通道表示图像颜色信息,本文中,不妨以L表示输入图像的L*通道,C=(a,b)T表示输入图像的a*和b*通道。本文拟将设计以下3个衡量图像过曝光指标:
①亮度特征
图像的亮度信息可以通过图像直方图反映出该图像的过曝光程度[6],因此,本文将图像分离出来的亮度信息L(i,j)作为衡量像素点(i,j)过曝光的一个指标。
②颜色特征
颜色特征以‖C‖2表示,则像素点(i,j)颜色特征表示为:
其中‖·‖2表示 2范数,a()i,j表示该像素点的a*通道颜色信息,b(i,j)表示该像素点的b*通道颜色信息。
③空间区域特征
空间区域特征指的是图像中某个中心像素点与其周围像素点亮度值的均值。事实表明,图像中像素点所在位置与其周围像素点存在着一定的空间关系。由人眼主观视觉感知区域和韦伯定律[6],单一像素点是否过曝光难以被感知,从而无法得到有用信息,实际经验表明,图像过曝光点往往呈现出区域性。图像中像素点的空间区域特征是基于中心像素点并结合该点周围像素点的颜色特征来克服单个像素点无法表示更多区域信息的难题,由于充分考虑到图像各像素点空间结构信息,因此检测的区域更加符合人眼主观视觉感知习惯。
当用3×3窗口来计算中心像素点I0的空间区域特征[2],I0邻域分布如图2所示:
图2 以I0为中心像素点的邻域分布
则中心像素点I0空间区域特征表示为:
关于图像过曝光检测传统方法用的较多的是简单阈值法,即若输入图像中某一点的亮度信息大于或者等于某一预先设定的阈值,则认为该像素点为过曝光点,通常,这一阈值设定为253,以减少由于图像压缩算法引起的错误。但是,这种阈值法没有很好地解决过曝光区域到其相邻区域的渐变问题,即,由于过曝光像素点的邻域颜色信息被稀释导致光照强度增加,并且图像内各个像素点与其周围像素点存在一定的空间关系。为了充分考虑到各像素点相邻区域颜色信息和空间区域特征的影响,本文设计出表征像素点过曝光指标Ψ∈[0,1],其数学表达式如下:
其中,Lδ、Cδ和SEδ表示过曝光区域边界值,为常数,α控制Ψi随着Li和SEi的增大或Ci的减小而增大的速率。
在实际应用中,由于对位于图像边界像素点作为中心像素点计算其空间区域特征时存在周围像素点缺失问题,此时丢弃缺失的像素点,如图3所示:
图3 中心像素点周围像素缺失处理
LCS算法计算步骤的伪代码如下表1所示:
表1 LCS算法计算步骤伪代码
为了验证LCS算法在不同曝光程度条件下对过曝光图片与正常图片检测效果,采用与文献[3]相同的8张非均匀曝光图像。而在实际项目应用中对**大学出入宿舍时人证壁挂设备记录的100个人2230张注册图像进行人脸过曝光检测实验仿真。
(1)参数调优
实验在 Intel Xeon E5 2.00GHZ,32GB,Windows7,VS13,OpenCV3.0环境下进行,为了获得对图像中过曝光区域检测较优效果,需要预先对算法中设计的各个参数(窗口大小,Lδ,α,Cδ和 SEδ)进行参数调优,选取窗口大小为 3×3、5×5,Lδ为 110、120、130、140,α为,C为 10、20,SE为 130、140、150、160,观察各δδ个参数值对LCS算法整体效果的影响,通过对比分析检测效果以得出较优模型参数值。
针对上述各个模型参数,取图5中8张图片作为验证图片,实验共得到样本总个数为512,从中随机抽取2组参数得到的实验图片,其实验结果如图4所示。
由对比分析实验结果可得,当窗口大小为5×5,Lδ=130,Cδ=10,SEδ=150时可以得到较优的过曝光区域检测效果,此时得到的过曝光点呈现出区域性,从而有效减少了图片中那些没有有用信息的单个曝光点,当算法设置为上述模型参数时检测到的过曝光区域更加严密,误检测的单个过曝光点有效减少,使得检测出的过曝光区域更符合人眼视觉习惯。
(2)对比分析
为了比较LCS算法与简单阈值法以及过曝光映射LC算法的实验效果,选取在参数调优过程中得到的最优模型,同时,对比分析实验用图选择和参数调优相同。从得到的对比分析结果中随机选取两组实验结果,如图5和图6所示。
另外一组对比分析实验结果如图6所示。
由对比分析实验结果可知,LCS算法检测出的图片中过曝光点呈现出明显的区域性[7],且过曝光区域更加紧凑。LCS算法充分考虑到图像中各像素点的亮度信息、颜色信息和空间区域特征,因此可以剔除很多单个无用的过曝光点,从而使得检测出的过曝光区域表现出较强的整体性。
图4 参数调优对比分析实验结果。图中括号内的值分别代表参数:窗口大小,Lδ,Cδ和SEδ。
图5 算法对比分析实验结果-青竹
图6 算法对比分析实验结果-房屋
由于简单阈值法只是简单的将图像中各个点的亮度值和给定的阈值进行比较得出是否是过曝光点,因此很大程度上导致检测出的过曝光点分布过于松散,并且有较多的误检测过曝光点[8-9]。
虽然过曝光映射算法考虑了图像中各像素点的亮度信息和颜色特征,但是却忽略了图像中各像素点的区域特征,从而使得检测出的过曝光区域无法表现出整体性和均匀性,并且存在过度检测问题。
在将算法应用到人脸注册图像是否过曝光时,由于需要检测的宿舍出入注册图像处于大致相同的背景环境下,但与1.2节中对比分析所处背景环境不同,因此需要对LCS算法进行一次参数调优处理。首先利用LCS算法检测出注册图像中过曝光区域,然后计算图像中过曝光点占总像素点的比例,将其与预先设定的阈值进行比较,最终判断该图像是否过曝光,对于正常图片则将其注册图片的特征向量存入数据库,以提高人脸识别准确率。
实际应用时,若注册的人脸图像较多则可以设置较大过曝光阈值,反之,则可以降低阈值,这样可以避免阈值设置过高没有照片入库或设置过低入库照片过曝光但入库的情整体性和紧凑性,剔除大部分单个无用信息的过曝光点,且能满足实时性要求。由于涉及的实验数据存在安全性,故不做展示。
现实生活中,采集人脸图像的过程经常存在着过曝光问题,在很大程度上影响了图片质量,进而影响人脸识别结果,因此,在将人脸图像入库时需要刷选出过曝光图像。本文基于图像亮度信息、颜色信息和像素点空间区域特征设计出一种图像过曝光区域检测算法,实验表明,该算法相较于简单阈值法和过曝光映射算法,检测出的过曝光区域更加符合人眼视觉习惯,大大减少了误检测的过曝光点,在应用到检测宿舍人脸验证考勤系统采集的人脸照片是否过曝光时取得比较好的效果,避免了将过曝光人脸图像存储进数据库。但是,LCS算法需要预先针对不同背景环境照片设置一个合理的模型参数,该过程略显繁杂,因此该算法仍有进一步改进的空间。
参考文献:
[1]Paul Viola,Michael Jones.Rapid Object Detection using a Boosted Cascade of Simple Features[J].
[2]林庆帆,李钊杰,刘颖,李娜.监控视频图像过曝光区域检测[J].西安邮电大学学报,2015,20(06):2-7.
[3]GUO Dong,CHENG Yuan,ZHUO Shao-jie,et al.Correcting Over-exposure in Photographs[C].Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition.San Francisco:IEEE,2010:515-521.
[4]胡安洲.主客观一致的图像感知质量评价方法研究[D].中国科学技术大学,2014:30-32.
[5]尹渺源.人脸图像的光照和清晰度质量无参考评价及应用[D].重庆大学,2015:10-21.
[6]唐鉴.人脸识别中的图像质量评价方法研究[D].华南理工大学,2011:12-32.
[7]唐文剑.正面人脸图像质量评价方法研究[D].西安电子科技大学,2012:21-35.[10]专利所有者.专利题名:专利国别,专利号[P].公告日期.获取和访问路径.
[8]Debevec PE,Malik J.Recovering High Dynamic Range Radiance Maps from Photographs[C].Proceedings of Computer Graphics Annual Conference:SIGGRAPH 97 369–378,1997.
[9]Yao S.Robust Subpixel Image Registration of Different Exposed Images[J].Electronics Letters,2010,46(18):1270-1271.