基于三角范数的多模态手指生物特征的分数层融合方法

彭加亮

摘 要：多模态的生物特征融合已成为目前生物识别研究领域的主要发展趋势，本文从防伪性角度出发，满足普适性和易采集、易接受性的应用需求，提出了基于手指静脉，并结合指纹、指关节纹和指形的分数层融合来实现多模态生物特征的身份认证方案。实验结果表明，本文提出基于Sugeno-Weber三角范数的分数层融合方法，能够增大类内与类间匹配分数分布间的距离，提高了多模态生物特征的身份认证性能。

关键字：多模态；手指；分数层融合；三角范数

中图分类号：TP391；TN911.73 文献标识码：A 文章编号：2095-2163（2014）02-

Finger Multimodal Biometric Verification based on Score-level Fusion

PENG Jialiang1， 2， LI Qiong1， NIU Xia-mu1

（1 School of Computer Science and Technology， Harbin Institute of Technology， 150080 Harbin， China；2 Information and Network Administration Center， Heilongjiang University， 150080 Harbin， China）

Abstract：Multimodal biometrics has become the main trend in the field of current biometric research. From the anti-spoofing point of view， the paper proposes the finger multimodal biometric approach that combines finger vein， fingerprint， finger knuckle print and finger shape to meet the actual demand of universality， acquisition and acceptance convenience. The experimental results show that the proposed score-level fusion approach using triangular norm can enlarge the distance between intra-class and inter-class matching scores and make verification performance improvement over the existing score-level fusion approaches.

Key words：Multimodal biometrics； Finger； Score-level fusion； Triangular norms

0引 言

基于手指生物特征的身份认证技术，现已广泛应用于社会生活的各个领域，这些身份认证技术所利用的人体手指生物特征，一般包括指纹、指静脉、指关节纹、指形等[1-3]。但是，基于手指单一模态的身份认证技术面临着诸多固有的问题，例如，生物特征类内变化大、普适性低、防伪性差等[4]。而且，手指单模态生物特征的身份认证系统的识别性能往往受到手指生理情况、采集光照、采集传感器类型等条件的严重影响。因此，基于手指的多模态生物特征认证技术吸引众多研究人员的高度关注[6-7]，目的是为当前手指单模态生物特征的身份认证系统所遇到上述的问题寻求解决办法。多模态手指生物特征的认证系统较单模态系统来说，具有更高的普适性、识别准确性、噪声抵制性、防伪性。本文以手指的生物特征为研究对象，选择使用具有防伪性的指静脉特征，并结合其他的指纹、指关节纹、指形生物特征，构建了基于手指的多模态生物特征身份认证方法。

多模态生物特征认证技术的关键问题是如何将来自不同模态的生物特征数据实现融合。从生物特征信息的不同利用角度来说，基于多模态生物特征的融合方法可以分为如下的三个主要融合层次：特征层（融合不同模态的生物特征数据），分数层（融合不同模态产生的匹配分数）和决策层（融合不同模态产生的认证结果）[8]。与特征层和决策层融合方法相比较，分数层融合方法能够从不同模态的类内＼类间的匹配分数中获得更好的区分性，而且相对来说实现起来也要更为容易。目前，针对手指多模态的分数层融合方法所使用的融合规则，主要包括：基于Sum， Weighted Sum， Max， Min规则的融合方法[7]，基于支持向量机（SVM）的融合规则[6]，基于高斯混合模型（GMM）的分数概率密度估计的融合规则[9]。但是，现有的分数层融合方法的主要缺陷是没有充分考虑类内与类间分数分布的问题，由此而导致融合后认证性能的提高程度有限。

为了避免上述分数层融合方法的不足，本文提出了一种新的基于三角范数的分数层融合方法来实现多模态手指生物特征的融合。同时，受到文献[10]的研究工作启发，本文进一步评估了用于分数层融合的不同三角范数的认证性能，并且提出了基于Sugeno?Weber三角范数的融合方法。与现有其它分数层融合方法比较，基于Sugeno?Weber三角范数的融合方法能够获得更好的类内与类间匹配分数分布的区分性，进而将使手指多模态生物特征的身份认证性能得到显著提高。

1多模态手指生物特征的身份认证方法

1.1 基于三角范数的分数层融合方法的架构

本文针对指纹、指静脉、指关节纹、指形的多模态融合系统，所设计的分数层融合方法如图1所示。

图1 基于三角范数的手指多模态分数层融合方法

Fig.1 Finger multimodal fusion scheme using triangular norm at score level fusion

图1中分数层融合方法所涉及的具体过程，可描述如下：

（1）指静脉特征是利用本文之前的研究工作成果，通过Gabor小波与LBP模式所得提取到的GLBP特征[11]；指形特征是通过检测指静脉图像中的手指轮廓，并利用傅里叶描述子（Fourier Descriptors，FD）[7]计算得到；

（2）指纹特征是经过Gabor滤波器卷积所产生的固定长度Fingercode特征[12]所得到，指关节纹特征是经过Log-Gabor的相位一致性模型计算所产生的Pccode特征[2]；

（3）针对每个手指的单一模态特征，分别经过独立的单模态特征匹配过程，产生对应匹配分数，即 、 、 、 ；

（4）分数 、 、 、 经Max-min规则归一化到[0，1]区间，归一化后的结果分别为 、 、 、 ；

（5）利用三角范数计算得到融合后的分数 ，并经阈值匹配来获得类内＼类间的认证结果。

1.2三角范数的选择

三角范数在模糊集理论以及信息融合理论中有着重要作用，根据Bonissone等人的结论，三角范数是将二维单位空间映射到一维单位区间的函数[13]：

（1）

并且对 ，三角范数T满足以下的条件：

（1） 交换律： ；

（2） 结合律： ；

（3） 单调性：如果 ，那么 ；

（4） 边界条件： 。

以上这些属性使得三角函数更加适用于多模态的分数层融合。提别需要指出的是，利用三角范数进行分数融合，并不需要所融合的单模态分数具有分布独立性的假设[10]，而且三角范数满足结合律，在多模态分数融合过程中，也就不需再考虑所融合单模态分数出现次序问题。同时，三角范数的单调性还可以进一步地保证在融合过程后类内与类间的匹配分数的区分性。

因此，针对手指多模态分数 、 、 、 ，利用三角范数的计算融合后的分数过程如公式（2）所示：

（2）

其后，再将分数 经过与预先设定的阈值 进行比较，不妨设 为类内匹配，否则为类间匹配。

已有的文献[10]在多模态分数层融合中使用了以下几种三角范数：

（1）Einstein product （EP） ：

（2）Frank （Fk）：

（3）Hamacher （Hm）： （3）

（4）Yager （Yg）：

（5）Schweizer-Sklar （SS）：

其中， 分别表示归一化后的单模态分数，实数 为对于三角范数的延展范围。

如何选择具体三角范数是实现多模态分数融合的关键，因此根据公式（3）中三角范数的定义，本文分析了在[0，1]区间上各函数值的分布情况，如图2（a）-（e）所示。其中，Frank，Yager，Schweizer- Sklar中p的取值分别对应为0.4，0.5和-0.1，这里p的取值分别是由实验中基于相应三角范数的分数融合所能获得的最佳认证性能而最终决定的。由图2（a）-（e）中，可以发现除了Yager三角范数，其他的三角范数仅能最大化类内分数（Score2），却不能同时最小化类间分数（Score1）。

因此，本文的目标是继续寻找新的三角范数用于多模态分数融合，在提高融合后类内分数值的同时，进一步降低融合后类间分数值，使得类内与类间分数更容易得到区分，以利于确定阈值来提高认证性能。也就是说，比较现有的三角范数，最终使得公式（4）和（5）能够同时成立。

图2 不同三角范数的数据分布图

Fig.2 Data distribution graphs of the different t-norms

（4）

（5）

其中， 为融合后的分数值， 为融合后的阈值。

在对三角范数进行研究时，发现Sugeno?Weber三角范数[14]在适当的条件下，可以满足上述需求。对于给定的 ，有

Sugeno-Weber （SW） [14]： （6）

如图2（f）所示，通过适当地选择参数p的取值（ ），三角范数SW即可同时满足公式（4）和（5）的条件。在下一小节中，将讨论基于三角范数SW的手指多模态的分数融合所获得的认证性能。

2 实验结果

如图3所示，手指多模态分数层融合方法是利用指静脉的HKPUFID图像数据库[15]、指纹的 FVC2002图像数据库[16]和指关节纹PolyU FKP图像数据库[17]来形成的手指多模态图像样本进行实验。其中，指形特征提取使用的图像均来自指静脉图像样本。由于不同数据库中样本类别和样本数量上的差异，因此针对每种手指单模态特征折中地选择了100个类别的图像样本，每类单模态图像样本包含6幅图像，随机选择3幅进行注册产生特征模板，剩余3幅进行认证性能的测试。因此，实验中共进行300 （100*3）次多模态的类内匹配，29 700 （100*99*3） 次多模态的类间匹配。

实验中，等错误率（Equal Error Rate，EER）作为评价身份认证性能的指标[5]。EER是指ROC曲线中错误匹配率（False Match Rate，FMR）曲线与错误非匹配率（False Non-Match Rate，FNMR）曲线的交点。EER数值越低，则代表所使用方法的认证性能越准确越好。

图3手指多模态样本图像实例： a） 指静脉 b） 指纹 c） 指关节纹 d） 指形

Fig.3 The finger multimodal image samples：a） finger vein image sample b） fingerprint image sample c）finger knuckle image sample d） finger shape image sample

首先，本文给出基于手指单模态特征的身份认证性能的ROC曲线，如图4所示。其中，指静脉、指纹、指关节纹、指形四类特征所对应EER性能指标分别为0.36e-02，1.55e-02，2.55e-02，2.73e-02。

图 4 手指单模态特征的身份认证的ROC曲线

Fig.4 ROC curves of finger unimodal modalities

表1中给出了基于不同分数层融合方法的手指多模态认证性能的EER，可以发现EER随着所参与融合的手指模态数量增加而降低，从中可以看出使用手指多模态生物特征融合可以提高身份认证性能。而且，基于SW三角范数的融合方法，在选择参数 时，无论是在融合2个手指特征模态（FVP）、3个手指特征模态（FVPS），还是4个手指特征模态（FVPKS）的情况下，相对表1中其他融合方法均获得了更好的认证性能。

为了进一步说明SW三角范数的融合方法的优势，图5分别给出了不同分数融合方法在FVPKS情况下的ROC曲线。其中，EER数值较低方法的ROC曲线如图5（a）所示，EER数值较高方法的ROC曲线如图5（b）所示。从图5中可以看出，基于SW三角范数融合的手指多模态认证方法具有最佳的认证性能。

图5 在FVPSK情况下不同分数层融合方法的ROC曲线

Fig.5 ROC curves of different score-level fusion approaches on FVPSK

3 结束语

本文提出了融合指静脉、指纹、指关节纹、指形的多模态生物特征的身份认证方案，并利用了基于Sugeno-Weber三角范数的分数层融合来提高手指多模态的认证性能。基于三角范数的分数层融合方法不需要任何学习与训练过程，降低了多模态融合过程中的计算代价。实验结果表明，Sugeno-Weber三角范数相对其他分数层融合方法，能够获得更大的类内与类间分数的分布距离，从而提高手指多模态特征的身份认证性能。

参考文献：

[1]KUMAR A， ZHOU Y. Human identification using finger images [J]. IEEE Transactions on Image Processing， 2012， 21（4）：2228–2244.

[2]ZHANG L， ZHANG L， Zhang D， et al. Phase congruency induced local features for finger-knuckle-print recognition [J]. Pattern Recognition， 2012， 45（7）：2522–2531.

[3]MALASSIOTIS S， AIFANTI N， STRINTZIS M G. Personal authentication using 3-D finger Geometry [J]. IEEE Transactions on Information Forensics and Security， 2006， 1（1）：12–21.

[4] FENG J， JAIN A K. Fingerprint reconstruction： from minutiae to phase [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（2）：209–223.

[5]LI S Z. Encyclopedia of Biometrics [M]. NJ， USA： Springer， 2009.

[6] KANG B， PARK K. Multimodal Biometric method based on Vein and Geometry of a single finger [J]. Computer Vision， IET， 2010， 4（3）：209–217.

[7]KANG B， PARK K. Multimodal Biometric method that combines veins， prints， and shape of a finger [J]. Optical Engineering Letters， 2011， 50（1）：090501–1–3.

[8]ROSS A A， NANDAKUMAR K， JAIN A K. Handbook of Multibiometrics [M]. London： Springer， 2006.

[9]NANNI L， LUMINI A， BRAHNAM S. Likelihood ratio based features for a trained biometric score fusion [J]. Expert Systems with Applications， 2011， 38（1）：58–63.

[10]HANMANDLU， MADASU， GROVER， et al. Score level fusion of multimodal biometrics using triangular norms [J]. Pattern Recognition Letters， 2011， 32（14）：1843–1850.

[11]PENG J， LI Q， EL-LATIF A.A.A. ， et al. Finger vein recognition with gabor wavelets and local binary patterns [J]. IEICE Transactions on Information and Systems， 2013， E96-D（8）： 1886–1889.

[12]JAIN A K， PRABHAKAR S， HONG L. A multichannel approach to fingerprint classification [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1999， 21（4）：348–359.

[13]BONISSONE， PIERO P. Summarizing and propagating uncertain information with triangular norms [J]. Int. J. Approx. Reasoning， 1987， 1（1）：71–101.

[14]WEBER， SIEGFRIED. A general concept of fuzzy connectives， negations and implications based on t-norms and t-conorms [J]. Fuzzy Sets System， 1983， 11（1-3）：103–113.

[15]http：//www4.comp.polyu.edu.hk/～csajaykr/fvdatabase.htm.

[16]MALTONI D， MAIO D， JAIN A K， et al. Handbook of Fingerprint Recognition [M]. NJ， USA： Springer， 2009.

[17]http：//www.comp.polyu.edu.hk/～biometrics/FKP.htm.