动态分数选择的多视角非接触指纹识别融合

李 永，殷建平，祝 恩，李 宽，赵志恒

(1.国防科技大学 计算机学院，410073 长沙;2.武警工程大学信息工程系，710086 西安)

动态分数选择的多视角非接触指纹识别融合

李 永1，2，殷建平1，祝 恩1，李 宽1，赵志恒1

(1.国防科技大学 计算机学院，410073 长沙;2.武警工程大学信息工程系，710086 西安)

与传统的二维指纹采集方式相比，非接触的指纹采集方式可以提供更丰富的特征，并能克服二维采集方式某些不足.基于多视角非接触指纹识别融合问题，提出了基于聚类的动态分数选择(CDSS)算法.首先，通过聚类将匹配分数分为两类，分别计算两类中匹配分数的个数以及其他统计量，然后通过参数的判断选择相应的统计量作为整个系统最终用于决策的匹配分数.实验表明:相比单视角非接触二维指纹识别，基于CDSS的多视角非接触指纹识别的识别性能有显著提高.与sum、max、SVM和Fisher线性判别算法等的实验比较也验证了CDSS在多视角非接触指纹识别融合方面的优越性.

指纹识别;动态分数选择;融合;非接触;多视角

经过近30年的研究和应用，指纹识别技术已比较成熟，特别是针对高质量指纹的预处理、特征提取和匹配.但尚有部分低质量指纹难以被识别，究其主要原因是传统的二维指纹采集方式仍存在着一些自身的不足.传统的二维指纹采集方式一般是通过手指与平面的传感器接触而获取指纹.在这种方式下，由于每次手指与传感器平面接触的压力不同而使得同一手指的不同指纹样本之间有一定的形变，从而使得指纹对齐比较困难［1－3］;在采集指纹时，传感器平面上会留下指纹痕迹，这些痕迹可以被利用来伪造指纹，也使得指纹分割困难，容易产生干扰特征［4－5］;手指皮肤的干湿情况或者油渍等脏物也会降低采集的指纹图像的质量;手指在传感器平面上移动则会降低图像质量;手指与传感器接触的面积太小时易使得特征太少而识别困难.为了解决图像采集过程中的这些问题，B.F.Hiew［6］、Y.Song［7］和 C.Lee［8］等通过数字照相机非接触地获取指纹图像;美国TBS North AmericaInc.［9］和 奥 地 利 JOANNEUM RESEARCH［10］合作对三维指纹进行研究，开发了基于非接触的三维指纹采集系统.香港理工大学在香港政府的资助下启动了三维指纹识别的研究，目前已经开发出三维指纹采集系统.

目前的三维指纹采集系统的原理均为多视角非接触采集，然后通过三维重建获得三维指纹模型.多视角非接触三维采集方式可以提供更丰富的特征用于识别，并能克服二维指纹采集方式的一些不足.尽管目前三维采集仪成本较高，但随着身份认证需求的不断增加、硬件技术的发展和制造成本的降低，三维指纹采集仪将逐步被用户接受.三维指纹识别过程包括三维重建，再次展开为二维指纹图像，特征提取和匹配.同时，三维指纹识别过程离不开二维指纹识别，现有方法最终归结为二维指纹匹配.从三维指纹识别过程输入输出看，本质上是一个将多幅不同角度非接触指纹图像的信息进行融合做出最终的身份认证.因此本文尝试以非接触二维指纹识别研究为基础，从融合的角度来研究多视角非接触指纹识别问题.

1 多视角非接触指纹识别系统

多视角指纹图像采集系统原理如图1所示，多个(本文为3个)高分辨率摄像头环绕手指共面间隔排列，同步采集获得多幅二维指纹图像，每幅图像对应一个成像视角.如图2所示为一个真实的多视角非接触指纹采集系统实际采集过程.在指纹采集过程中，采集者将手指放在采集位置，操作者通过确定即可同时获得手指的左中右3个不同角度的指纹图像.在图2的采集过程中，系统会发出蓝色光，这是因为通过蓝色光反射能够较好的获取指纹的纹路信息.多视角识别系统每一次采集的图像如图3所示，从左到右依次为左中右视角摄像头所采集的图像.每幅图像为768×576，像素深度为8.可以看到，该系统可以完整的采集到手指轮廓信息、手指第1关节的位置和纹路信息.图像中纹路的对比度相比接触式指纹采集的对比度降低.

多视角指纹采集系统原理多视角指纹采集仪记多视角系统认证时模板和查询样本分别为

图1 多视角指纹采集系统原理

图2 多视角指纹采集仪

图3 多视角指纹采集仪的非接触指纹图像

式中:s为第i次匹配时模板和输入特征之间的匹配分数，s越近1，则表示输入特征来自合法用户的概率越大.记式中:为第i次匹配时左视角指纹模板特征与查询样本的左视角指纹的输入特征的匹配分数，slli越接近于1，则表示输入特征来自合法用户的概率越大.同理，可以得到如果Ti，Qi来自于同一个对象，那么匹配分数，s，越接近于1;同时由于多视角指纹采集系统采集的中间视角与左右视角差异小，图像相互重叠较大，因此也会相对接近于1;而由于视角差异大，重叠区域小，因此不能体现出接近于1这个特点.实验也证实了这一点，具体的实验结果数据如表3所示.表3列出了不同视角匹配分数的等错误率(Equal Error Rate，EER)，可以看到slir，sril的等错误率远远大于其他7种不同视角组合.因此，在本文中，选用其余7种视角组合的匹配分数，称之为有效视角匹配.则

定义有效视角组合的匹配分数集合为

多视角指纹识别系统的匹配分数可以通过对以上7个不同视角组合的匹配分数的融合得到，将多视角系统的识别问题转化为基于匹配分数的融合问题.

信息化调查既是犯罪调查领域的一场信息化变革也是监察体制改革的自身要求，这一战略需要以常态化工作机制为载体才能充分发挥其效用，对于信息化调查来说，除了需要建设软件硬件等方面之外，建立完善一套信息引导犯罪调查的工作机制至关重要。信息引导犯罪调查工作机制是一套成体系的科学机制，从获取线索到调查终结都有信息引导犯罪调查机制的作用，还要勇于突破之前职务犯罪侦查原有“由人到案”和“由供到证”的习惯性做法。

2 多视角非接触指纹识别融合算法

2.1 非接触指纹识别

非接触指纹识别建立在一般的二维指纹识别基础之上，其过程也包括图像预处理、特征提取、特征匹配.非接触指纹与接触式指纹相比，数据量较大，可以看到完整的手指轮廓，同时纹路的对比度相对降低.这些特点都是非接触指纹识别与接触式指纹识别的不同所在.

1)图像预处理阶段.首先采用金字塔采样去除噪声，并用自适应的阈值分割图像，实现二值化;用3*3的矩形元素腐蚀图像，去除图像背景中的细节部分;用Canny算子［11］进行边缘检测，从黑色背景中提取出手指轮廓;图像预处理阶段的主要任务就是提取手指轮廓，同时实现手指和背景分离.

2)特征提取阶段.在预处理阶段实现手指轮廓和背景分割的基础上，计算纹路方向，根据方向正确性对纹路方向进行修正和分割［12］，然后使用圆形Gabor滤波器进行指纹图像增强［13］.最后对图像进行二值化和细化，提取细节点特征.

3)特征匹配阶段.首先根据手指轮廓进行粗对齐，然后使用结合节点和方向场的指纹匹配算法［14］，结合BP神经网络，实现最终的匹配算法.

2.2 融合算法

基于匹配分数融合的多视角非接触指纹识别，从融合分类来说类似于多单元或者多模板生物特征识别.J.Kittler等［15］提出了5 种简单的融合规则:sum，Product，min，max，Median.文献［15－17］研究表明sum算法通常优于其他固定规则算法.考虑到同一个分类器产生的匹配分数，因此各个分数之间具有可比性.同时，匹配分数位于［0，1］，无需进行标准化.

考虑到匹配分数的相似性以及可能出现的噪音分数，本文提出了基于聚类的动态分数选择的多视角非接触指纹识别算法CDSS.层次聚类的特点是在算法运行过程中，聚类中心不断修正，但模式一旦归为一类后就不再被分开.首先将匹配分数聚成2类.表1是程序对某次匹配所产生的匹配分数进行聚类所得的结果.

表1 匹配分数聚类举例

在聚类中，将均值较大一类标记为 +1，而将均值较小的一类标记为 -1.通过聚类可以发现，第4个匹配分数实际上是一个错误的匹配分数，那么在融合算法中，就可以排除这个干扰.通过聚类算法，将每一次的匹配分数集合Si划分为两个子类中匹配分数均值分别为 Avg，Avg(+)，Avg(-)，Si的匹配分数最大、最小值分别为max，min，记S，S中元素个数分别为N(+)，N(-).在本文的算法中，需要设定3个初始参数t-M、t-G、t-I，其中:t-M为用来分开合法用户匹配分数和非法用户匹配分数;t-I为用来限定非法用户匹配分数;t-G为用来限定合法用户匹配分数.在聚类后，可以计算出中匹配分数的一些统计量以及中元素个数的统计量N(+)，N(-).当N(+)较大时，说明均值较大的一类匹配分数样本较多，则该次匹配为合法匹配的可能性较大，否则，当N(-)较大时，则说明均值较小的一类匹配分数样本较少，则该次匹配为非法匹配的可能性较大.

CDSS算法的流程如图4所示，具体的算法过程如图5所示.算法首先通过Avg和max确定最终的匹配分数是否取 max，min，否则，将根据N(+)，N(-)进一步确定最终的匹配分数是否取Avg(+)或Avg(-)，在前两步没有决定取值时，说明关于此次匹配为合法还是非法的判断证据还不明显，因此就将最终值设定为Avg.总之，CDSS根据匹配分数的大小以及聚合关系判断此次匹配为合法或者非法可能性的大小，然后决定最终的匹配分数所采用的统计值，从而避免采用单一统计量带来的系统性误差.算法的基本思想是为合法匹配的概率越大则取较大的统计量，概率越小则取较小的统计量，而对于概率居中的则取均值.

当匹配分数均值 ＜t-M时，该次匹配为非法入侵者的概率较大，反之，则为合法用户的概率较大.当某个匹配分数 ＞t-G时，说明该次匹配为合法用户的概率非常大，而当某个匹配分数 ＜t-I时，说明该次匹配为非法入侵者的概率非常大.参数的确定可以在训练集上通过不同的参数组合来确定最优组合来确定.另外，实验也发现，本文的算法具有很好的鲁棒性，因此参数的选择可以通过估计得到.记u{I}，σ{I}，u{G}，σ{G}分别为非法入侵者匹配分数和合法用户匹配分数的均值和方差，则 t-I＜=t-M ＜=t-G，t-M的值满足u{I}＜t-M ＜ u{G}.在实验中，t-M，t-G，t-I的值分别取为 0.230，0.600，0.001.

图4 CDSS算法流程图

图5 基于匹配分数的多视角非接触指纹识别融合算法HFC

3 实验结果

目前尚无公开的多视角非接触指纹数据库，为了研究和评价多视角非接触指纹识别系统的识别性能，采集了120(个手指)×8(次采样)×3(种视角)总计2 880个指纹的实验数据库.每个手指的采集分两次进行，每次采集4次，共计(4×3种视角)12个指纹，两次采集之间至少间隔15 d.凡是采集的用户都给予了简单说明，但没有特别限制用户手指的放置方式.

3.1 性能参数

当生物特征识别系统对两个样本进行匹配时，会得到它们的匹配分数，可以将匹配分数看做相似度.不失一般性，可以更进一步地将相似度规约到［0，1］.相似度越接近1，则两个指纹越相似;相似度越接近0，则两个指纹差异越大.如果给定一个相似度阈值t，若匹配分数≥t，则判断两个样本为匹配(来自同一用户)，否则判断两个指纹为不匹配(来自不同用户).这样，给定相似度阈值t，则可以得到两个错误率，即错误拒绝率和错误接受率.

1)错误接受率(False Accept Rate，FAR).对两个不同手指的指纹进行匹配，系统认为两个指纹来自相同手指的概率.

2)错误拒绝率(False Reject Rate，FRR).对来自相同手指的两个不同指纹样本进行匹配，系统认为两个指纹样本来自不同手指的概率.其中，正确接受率(Genuine Accept Rate，GAR)对来自相同手指的两个不同指纹样本进行匹配，系统认为两个指纹样本来自相同手指的概率，GAR=1－FRR.

3)相等错误率(Equal Error Rate，EER).FAR和FRR相等时FAR或FRR的值，即求取t0满足FAR(t0)=FRR(t0)，则EER=FAR(t0).对于生物特征识别系统来说，EER的值越小越好.

4)ROC曲线下的面积AUC(Area Under the ROC curve)［18］，定义为

AUC的具体计算为

式中:n+、n-分别为合法用户和非法用户的数量.I(xq，yp)的定义为

式中:xp、yp分别为合法用户匹配分数和非法用户匹配分数.

5)d-prime定义为

式中:μgen、σ分别为合法用户匹配分数的均值和方差;μimp、σ分别为非入侵者匹配分数的均值和方差.

对于生物特征识别系统而言，其中的EER，AUC，d－prime都可以用来评价生物特征识别系统的总的性能.EER越小，AUC、d－prime越大，则系统的识别性能越好.

3.2 单视角非接触指纹识别比较

为了验证7种组合选择的合理性，首先研究各种视角匹配组合的单独性能.表2列出了全部可能的视角匹配组合的EER，其中前7种为所选用的进行融合的视角组合，后两种为没有选用的视角组合的匹配分数，从表中可以看出，后2种LR，RL视角组合的识别的准确率非常低.因此根据多视角非接触指纹识别系统分析以及表2的数据，文中选用了前7种组合作为基本的融合分类器.

表2 不同视角组合识别的EER

3.3 与其他多生物特征融合算法比较

由单视角非接触指纹识别比较分析可知，基于7种视角组合的匹配融合的非接触指纹识别是必要的.相对于单一视角组合非接触指纹识别，基于多视角融合的非接触指纹识别可以显著提高系统的识别性能.同时，将本文的工作与几种典型的算法sum、max、SVM和Fisher线性判别做了比较.sum规则主要思想就是取各个匹配分数的均值，而max规则的就是取各个匹配分数的最大值.图6给出了几种算法比较的ROC曲线图，其中x轴为错误接受率(FAR)，y轴为正确接受率(GAR).表3给出了5种融合算法的EER以及FAR=0.1%时的GAR.在SVM实现时，实验尝试了各种不同的参数组合，不同参数组合对最终识别性能有一定影响，但是SVM的性能始终不能超过CDSS和sum算法.实验中采用了径向基函数为SVM的核函数，图6中SVM的性能为其中的一个最优解.由图6以及表3可以看到本文的算法优于以上4种算法，另外sum算法在实验中表现出了比SVM和Fisher线性判别更好的性能.

图6 本文的算法与其他融合算法的比较

表3 当FAR=0.1%时5种融合算法的EER和GAR%

3.4 不同数量视角组合的非接触指纹识别比较

每次认证所产生的Si集合中的匹配分数是有冗余的，为此本文考虑在不同数量视角组合中的匹配分数可能带来的性能变化.从视角组合的角度的意义考虑，选取了基于前3种视角组合的融合和后4种视角组合的融合以及所有9种组合匹配.由与其他多生物特征融合算法比较分析sum规则也是相当稳健的算法，因此在比较这几种组合的识别的相对性能差异时，选用了sum规则作为比较的算法.图7比较了几种数量组合的性能，可以看出，前7种组合的融合性能优于前3种以及后4种，而全部9种的组合反而没有更好的性能表现.

图7 不同数量组合的多角度非接触指纹识别融合比较

4 结论

1)采集了一个小规模多视角非接触指纹数据库，研究了非接触指纹的预处理、特征提取和特征匹配过程，初步实现了非接触指纹识别.非接触指纹识别在采集过程中手指不发生形变，不会在采集仪器上留下痕迹，可以通过多视角采集到手指的轮廓和指纹的全景视图，还能同时采集多个手指的指纹.

2)区别与已有的三维指纹重建展开再匹配方法，提出了CDSS的多视角非接触指纹识别融合算法，通过聚类获得了匹配分数之间一些新的特征，将这些新的特征以及匹配分数一些统计量的数值大小关系，灵活的选择不同融合规则作为最终的融合策略.

3)将 CDSS算法与 sum、max、SVM 和 Fisher线性判别算法进行了比较，实验结果显示本文的算法优于sum、max、SVM和Fisher线性判别能够取得较好的性能.原因是在聚类过程中考虑了各个分数之间的关系，将合法匹配分数和非法匹配分数的可能性做了区分，合法匹配分数可能性大的赋予了较大的值，非法匹配分数可能性大的赋予了较小的值.

4)比较了SVM、Fisher线性判别、sum规则的识别性能.总体而言，CDSS性能最优，sum次之，而均优于max算法、基于分类器的SVM和Fisher线性判别.可以看到除了CDSS算法，sum算法的性能表现也很稳健，比较复杂的分类器算法如SVM和Fisher线性判别效果反而不是很理想.

［1］ZHU En，YIN Jianping，ZHANG Guomin，et al.Fingerprint minutiae relationship representation and matching based on curve coordinate system［J］.International Journal of Image and Graphics，2005，5(4):729 －744.

［2］ZHU En，YIN Jianping，ZHANG Guomin.Fingerprint matching based on global alignment of multiple reference minutiae［J］.Pattern Recognition，2005，38(10):1685－1694.

［3］DASS S C，JAIN A K.Fingerprint-based recognition［J］.Technometrics，2007，49(3):262 －276.

［4］JAIN A K，FEN Jianjiang，NAGAR A，et al.On matching latent fingerprints［C］//Proceedings of the 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.Washington，DC:IEEE，2008:1－8.

［5］YIN Jianping，ZHU En，YANG Xuejun，et al.Two steps for fingerprint segmentation［J］.Image and Vision Computing，2007，25(9):1391 －1403.

［6］HIEW B Y，ANDREW B J，PANG Y H.Digital camera based fingerprint recognition［C］//Proceedings of the 2007 IEEE International Conference on Telecommunications and Malaysia International Conference on Communications.Washington，DC:IEEE，2007:676－681.

［7］SONG Y，LEE C，KIM J.A new scheme for touchless fingerprint recognition system［C］//Proceedings of 2004 International Symposium on Intelligent Signal Processing and Communication Systems.Washington，DC:IEEE，2004:524－527.

［8］LEE C，LEE S，KIM J.A study of touchless fingerprint recognition system［C］//Proceedings of the 2006 Joint IAPR International Conference on Structural，Syntactic，and Statistical Pattern Recognition.Berlin，Heidelberg:Springer-Verlag，2006:358－365.

［9］PARZIALE G，DIAZ-SANTANA E，HAUKE R.The surround imagerTM:a multi-camera touchless device to acquire 3d rolled-equivalent fingerprints［C］//Proceedings of the 2006 International Conference on Advances in Biometrics. Berlin， Heidelberg:Springer-Verlag，2006:244－250.

［10］JOANNEUM RESEARCH.Touchless 3D fingerprinting［EB/OL］.http://www.joanneum.at/en/fb3/dib/projects/touchless －3D-fingerpri-nting.html.

［11］CANNY J.Finding edges and lines in images［C］//Technical Report Finding Edges and Lines in Images.MA，USA:Massachusetts Institute of Technology Cambridge，1983.

［12］ZHU En，YIN Jianping，Hu Chunfeng，et al.A systematic method for fingerprint ridge orientation estimation and image segmentation［J］.Pattern Recognition，2006，39(8):1452－1472.

［13］ZHU En，YIN Jianping，Zhang Guomin，et al.A gabor filter based fingerprint enhancement scheme using average frequency［J］.International Journal of Pattern Recognition and Artificial Intelligence，2006，20(3):417－429.

［14］祝恩，殷建平，周婧.一种结合节点和方向场的指纹匹配算法［J］.计算机工程与科学，2005，27(9):54－56.

［15］KITTLER J，HATEF M，DUIN R P，et al.On combining classifiers［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(3):226 －239.

［16］ALKOOT F M，KITTLER J.Improving the performance of the product fusion strategy［C］//Proceedings of the 15thInternational Conference on Pattern Recognition.Washington，DC:IEEE Computer Society，2000:164－167.

［17］Tax DAVID M J，Van BREUKELEN M，Duin ROBERT P W.Combining multiple classifiers by averaging or by multiplying?［J］.Pattern Recognition，2000，33(9):1475－1485.

［18］TRONCI R，GIACINTO G，ROLI F.Designing multiple biometric systems:Measures of ensemble effectiveness［J］.Engineering Applications of Artificial Intelligence，2008，22(1):66－78.

Dynamic score selection for multi-vision touchless fingerprint recognition fusion

LI Yong1，2，YIN Jian-ping1，ZHU En1，LI Kuan1，ZHAO Zhi-heng1

(1.School of Computer Science，National University of Defense Technology，410073 Changsha，China;2.Dept.of Information Eingeering，The Chinese People's Armed Police Force Engineering University，710086 Xi'an，China)

Touchless fingerprint capturing can provide richer features and overcome the deficiency of 2D fingerprint recognition.In this paper，a clustering-based dynamic score selection(CDSS)algorithm is proposed for the combination of scores which are generated by different vision touchless fingerprint recognition systems.First，the scores are divided into two classes and the number of elements in each class and other statistic variables is computed.Then appropriate statistic value is chosen as the score for final decision of the whole system.The experimental results show that the performance of CDSS-based multi-vision touchless system can be enhanced efficiently compared to touchless fingerprint recognition and better than those of sum，max，SVM and Fisher linear discrimination algorithms.

fingerprint recognition;dynamic score selection;fusion;touchless;multi-vision

TP391

A

0367－6234(2012)07－0108－06

2011－04－26.

国家自然科学基金资助项目(60970034，60603015);高等学校全国优秀博士学位论文作者资助项目(2007B4);湖南省教育厅资助科研项目(湖南省优秀博士学位论文获得者资助项目).

李 永(1981—)，男，博士，讲师;

殷建平(1963—)，男，教授，博士生导师.

李 永，ylee.nudt@gmail.com.

(编辑 张 红)