一种基于移动平台的掌纹ROI定位算法

刘金浩，孙冬梅

（北京交通大学计算机与信息技术学院，北京100044）

随着移动信息时代已经到来，智能手机等移动通信设备已经在日常生活中普及，在移动设备介入人们生活的方方面面的同时，也加大了移动设备被不法分子攻破时所带来的风险。而基于生物特征识别的认证方式，例如掌纹，指纹和虹膜，因其具有唯一性，持久性和不可忘记性，克服了传统认证方式的缺陷，成为一项极具竞争力的技术。其中，掌纹区域较大因而不需要很高的图像分辨率，使用一般移动设备上所配备的摄像头便可满足需求，使得掌纹识别在移动平台上的应用具有先天优势。

在之前的掌纹识别系统中，掌纹ROI定位方法[1-7]一般分为3步：

1）对图像进行二值化处理；

2）提取手掌区域边缘；

3）利用形态学方法定位指间谷点并根据指间谷点定位感兴趣区。

但在使用移动设备采集掌纹图像时由于光照以及背景复杂，很难比较稳定的提取到准确的手掌区域边缘并影响最终掌纹ROI的定位精度。另一方面，由于移动设备具有存储空间稀缺，计算能力相对较弱的特点，一些已经在人脸分割领域十分成熟但需要较大运算能力的算法，例如AAM[8]、CLM[9]等在移动设备上运算速度较慢，不适宜移植到移动平台上。

因此，文中提出一种基于移动设备的掌纹ROI定位算法，该算法利用Haar随机森林回归投票[10]算法学习谷点附近纹理特征，并综合考虑谷点附近形态学特征，从而定位指间谷点并获得最终的掌纹ROI区域，在移动设备上保持较快运算速度的同时获得提高定位的准确度。

1 Haar随机森林回归投票算法

Haar随机森林回归投票算法[10]类似于Hough-Tree[11]算法，与其不同的是其对图像类别不做区分，且叶子节点只存储平均偏移而不是训练样本，从而节省了存储空间。该算法分为训练和检测两部分。

1.1 训练过程

在特征点附近[-dmax,dmax]范围内随机选取一系列坐标点z，以z为中心提取大小为m×m的样本图像，计算其haar特征f(z)，并记录点z与特征点的偏移量d。使用{fi,di}来训练随机森林，学习偏移量d与特征f之间的关系。

在树的训练过程中，使用

达到最小时的特征fi以及阈值t作为节点分割的标准，其中G({di})=Nlog|Σ|，Σ为di构成向量的协方差矩阵。当树到达最大深度或节点中样本数小于预先设定的最小样本数时停止分割，叶子节点的权重即为1/σxσy，(x,y)为落在该叶子节点上样本的偏移量。

1.2 检测过程

在检测时，对于样本图像每隔间隔n选取大小为m×m的样本，记录其中心位置fj并计算其特征fj，将特征fj输入随机森林得到多组该样本中心点与特征点的偏移量和与之对应的权重的预测值{dj,wj}，对于每个预测值，均在pj+dj的位置权重增加wj，汇总所有样本的投票结果最终获得关于特征点的响应图像。

2 算法流程

算法流程图如图1所示，首先不断的检测当前获取到的图像中是否有手掌出现且在适当的位置，在检测到手掌出现且在适当位置的同时划分出谷点ROI，随后分别计算指间中线以及谷点ROI对于谷点位置的响应图像，结合指间中线与响应图像确定谷点，最后根据谷点位置定位掌纹ROI区域。

2.1 手掌检测

图1 算法流程图

如图2所示，参照JS Kim等人[12]的手掌检测方法，在摄像头采集的实时图像上叠加手形轮廓线，用于引导用户将五指张开并放在适当的位置。在轮廓线上食指与中指间谷点和无名指与小拇指间谷点的上下各存在两条检测线，我们在Ycbcr空间上利用肤色检测[13]将检测线上的像素点分为肤色点和非肤色点。当两组检测线均同时满足以下两个条件时判断手掌已经处于合适的位置，并将上下两条检测线内的正方形区域作为谷点ROI以便后续定位谷点位置。

1）顶部检测线左侧和右侧像素点为肤色点，中间部分像素点为非肤色点；

2）底部检测线上像素点全部为肤色点。

图2 手掌检测示意图

2.2 计算指间中线

从谷点ROI顶部边界线开始，从左向右计算所有像素点与肤色空间中心点的欧式距离，根据阈值将像素点分为肤色点和非肤色点，如图3（b）所示，两个手指的边界点即为肤色状态发生转换的位置。如图3（a）所示，沿谷点ROI顶部向下每隔3像素扫描一次，重复20次或者检测线上全部为肤色点时停止，得到所有边界点对并计算中点，最后拟合所有中点得到指间中线。

2.3 计算谷点响应图像

2.3.1 训练Haar随机森林

首先训练Haar随机森林。我们将训练集所有图像根据人工标定的谷点位置进行归一化，对于每幅训练图像在谷点附近35像素距离内随机取15个大小为20×20像素的正方形图像用于随机森林的训练，两个谷点各训练一组具有10棵树的Haar随机森林，其中每棵树的最大深度为200，每个节点中样本数小于5时停止生长。

图3 指间中线定位示意图

2.3.2 计算谷点响应图像

对待检测图像进行缩放和旋转，使得两个谷点ROI的中心与训练集中两个谷点的平均位置对齐，在谷点ROI内每隔3像素取大小为20×20像素的正方形图像，计算其Haar特征后输入与该谷点对应的随机森林。对于每个正方形样本，Haar随机森林均会输出一组投票，其中每张投票包括一个预测为谷点的位置p′以及该位置的权重w′，权重w′越大则该投票的可信度越高，汇总所有投票结果便得到谷点ROI区域内对于谷点位置的响应图像。如图4所示，响应图像中某一位置的权重越大，该位置为谷点的可能性就越高。

图4 响应图像示意图

2.4 确定谷点并定位掌纹ROI

为了综合考虑谷点附近的形态学特征与纹理特征，将指间中线叠加在关于谷点的响应图像上，选取指间中线沿线上权重最大的五个位置计算它们的平均值作为最终的谷点预测位置。如图5所示，根据Zhang[14]的掌纹ROI划分方法，两谷点距离为L，在距离两谷点连线的位置取边长为L的正方形区域作为掌纹ROI。

图5 ROI定位示意图

3 实验与分析

由于以往的掌纹数据库大多均为使用固定设备在封闭环境下采集，为了验证本文所提出的算法的有效性，我们在室内和室外两种环境环境下使用移动设备采集50人份的掌纹作为掌纹数据库，并在该掌纹库上与JS Kim等人[12]提出的移动平台下的掌纹ROI定位算法进行比对实验。

3.1 数据采集

我们在Android系统上实现掌纹图像采集系统，该系统包括本文算法中的手掌检测功能，在检测到手掌后将手掌图像和检测线位置一并记录，以便在后续实验中使用。我们使用该系统在多种Android手机上共采集50人的左手手掌图像，其中每人在不同场景下采集12张手掌图像，包括6张在室内拍摄，6张在室外拍摄。随后采用人工标定的方式对这600张掌纹图像的谷点进行标定。

3.2 针对谷点的Haar随机森林训练

我们将采集的图像分为训练集和测试集，训练集包括30人共360张掌纹图像，其余20人共240张掌纹图像作为测试集。在训练时为了使模型获得一定尺度和角度的适应性，我们在0.9到1.1之间每隔0.05选取α作为缩放因子对原始图像进行缩放，在正负12度内每隔6度选取β作为旋转因子对原始图像进行旋转，因此我们一共有9 000个手掌图像样本作为训练集，6 000个手掌图像样本作为测试集。对于每个谷点，训练一个由10棵树组成的随机森林，每棵树的训练集为从9 000个样本中随机抽取的3 000个样本。对于每幅训练样本在以谷点为中心偏移在[-35,35]像素的区域内，随机选取15个大小为20×20像素的图像计算其Haar特征和到谷点的偏移（从全部Haar特征[15]中随机选择700个参与训练）。根据文献[16]的结论，在树的训练过程中当节点上样本数大于500时只从中随机选择500个样本用于训练该节点，从而加速训练过程。当树的深度达到200或者节点中样本数小于5时停止生长。

3.3 试验结果

3.3.1 准确度测试

在Intel（R）Core（TM）i5-4210U CPU@1.7 Hz 2.40 GHz平台上进行准确度实验，使用Matlab平台实现算法并与JS Kim等人[12]的方法进行比较。使用算法预测的谷点位置与人工标定的谷点位置之间的欧式距离作为准确度的衡量标准，准确度对比结果如表1。

表1 定位准确度测试结果

由上表数据可以看出，本文算法在室内和室外环境下具有较高的定位准确度，而JS Kim等人[12]中的方法在室外环境下准确度下降明显。

3.3.2 速度测试

在Android平台上借助NDK实现本文算法，并在MX5手机上进行速度测试，各阶段平均耗时如表2。

表2 计算速度测试结果

从上表可以看出，本文算法在移动设备上依然保持较快的计算速度。

4 结论

随着移动设备的普及，对掌纹ROI定位算法提出了更高的要求。以往基于形态学的谷点定位方法具有计算速度快的特点，但在移动环境下光照与背景更为复杂时定位精度下降明显，本文将其与基于纹理特征的定位方法相结合，在速度与准确度之间做出平衡，使算法更适用于移动平台。未来的研究重点将放在继续优化算法速度以及研究定位算法准确度的提升可以为掌纹识别的准确度带来多大提升。

[1]张建新，欧宗瑛，刘典婷.基于移动设备的掌纹验证系统[J].计算机工程，2010，36（4）：164-165.

[2]薛延学，刘敏，马思欣，等.复杂背景下基于二维OTSU和肤色分割结合的掌纹图像分割方法[J].西安理工大学学报，2015（3）：353-359.

[3]许爽，索继东，赵继印.自动找点的掌纹图像定位分割方法[J].计算机工程与技术，2011，32（9）：3102-3105.

[4]高亚男，于肇贤，梁建霞.基于移动摄像头的掌纹识别研究[J].北京信息科技大学学报：自然科学版，2015（1）：70-74.

[5]F Li，Neera.Mobile based palmprint recognition system[C]//International Conference on Control，Automation and Robotics.2015：233-237.

[6]Marc Franzgrote，Christian Borg，Benjamin J.Tobias Ries，et al.Palmprint Verification on MobilePhonesUsingAcceleratedCompetitive Code[C]//International Conference on Hand-based Biometrics，2011：1-6.

[7]Li F，Neera.Mobile based palmprint recognition system[C]//International Conference on Control，2015：233-237.

[8]Edwards GJ，Taylor CJ，Cootes TF.Interpreting face images using active appearance models[C]//IEEE International Conference on Automatic Face&Gesture Recognition，1998：145-149.

[9]Cristinacce D，Cootes TF.Feature detection and tracking with constrained local models[C]//British Machine Vision Conference，2006：929-938.

[10]Lindner C，Thiagarajah S，Wilkinson JM，et al.Fully automatic segmentation of the proximal femur using random forest regression voting[J].IEEE Transactions on Medical Imaging，2013，32（8）：1462-72.

[11]Gall J，Lempitsky V.Class-Specific hough forests for object detection[C]//Conference on Computer Vision and Pattern Recognition，2009：1022-1029.

[12]Kim JS，Li G，Son B，et al.An empirical study of palmprint recognition for mobile phones[J].IEEE Transactions on Consumer Electronics，2015，61（3）：311-319.

[13]Singh S，Chauhan DS，Vatsa M，et al.A robust skin color based face detection algorithm[J].Tamkang journal of science and engineering，2003（6）：227-234.