基于指纹和手指静脉特征融合的模板保护方法*

董芸嘉， 张雪锋， 姜 文

(1.西安邮电大学 网络空间安全学院， 陕西 西安 710121；2.国家计算机网络应急技术处理协调中心，北京 100029)

0 引 言

随着信息网络的快速发展，日常生活中越来越多的场景需要对用户进行身份鉴别，相比于传统的基于账号和密码的身份认证方式，生物特征不会被遗忘且不易被伪造[1,2]。然而,单一生物特征识别系统的信息量少、安全性较低。为了解决这些问题，研究人员提出了一种结合人体多种生物特征进行识别的多模态生物特征识别技术[3]。

指纹是应用最广泛的生物特征之一，但某些特殊群体存在指纹缺失或损伤的情况，有效特征信息可能无法获得。手指静脉藏匿于身体内部，需要红外传感器捕捉，人类手部表面皮肤状态不会干扰认证工作。因此,基于指纹和手指静脉的多模态生物特征识别系统具有更丰富的有效识别信息[4]。

对于多模态生物特征识别系统，其包含一个人的多种特征信息，保护生物特征模板的安全性尤为重要。因此，需要设计一种模板保护方案来保护指纹和手指静脉数据。可撤销生物认证(cancelable biometrics)是一种重要的模板保护方法[5]，它对生物特征数据进行某种不可逆变换生成可撤销模板，一旦模板泄露，只需更改用户秘钥即可生成一个与原始模板完全不同的新模板。

近年来，研究者已经对可撤销的单模态生物特征识别系统做了大量研究[6～15]。但对于可撤销的多模态生物特征识别研究还比较有限。Canuto A M等人[16]提出了一种基于分数层的融合方式，但这一层的特征信息量较少，分数类别差异大，使得系统的识别性能较低。Paul P P和Gavrilova M[17]将人脸图像的一部分和耳朵图像的一部分相结合生成新的混合图像，然后进行可撤销变换，这样避免了特征数据类型不兼容的问题，但容易产生较大的误差。Chin Y等人[18]提出了一种三阶段混合模板保护方法，将指纹和掌纹在特征层融合产生一个新的特征模板，利用等概率离散化的方法将特征向量转换成二进制比特串，为模板提供了更好的隐私保护。Rathgeb C等人[19]提出了一种基于布隆滤波器产生不可逆多生物特征模板的框架，无法通过逆运算获得原始特征信息。

针对单模态生物特征的身份识别方法存在的局限以及识别性能较差和安全性较低等问题，本文提出了一种基于指纹与手指静脉的特征融合可撤销模板保护方法，该算法分别提取指纹和手指静脉的纹理特征，并通过Bio-hashing[20]的方法转换成二进制比特串，对得到的二进制比特串进行串联融合，最后通过不可逆变换生成可撤销模板。实验结果表明，该算法提高了系统的识别性和安全性。

1 基于指纹和手指静脉特征融合的模板保护方法

1.1 基本原理

首先，对指纹和手指静脉图像进行预处理;然后，提取指纹和手指静脉的特征，并通过Bio-hashing的方法，将提取出来的特征数据类型转换成二进制比特串;再对得到的二进制比特串进行串联融合；随后，采用随机索引置乱对二进制比特串进行处理,经离散傅里叶变换(discrete Fourier transform,DFT)；最后，通过部分Hadamard变换生成可撤销模板。验证时，对图像进行相同的变换，生成验证模板，计算2个模板之间的相似度分数分数得到匹配结果。基本流程如图1所示。

图1 基于指纹和手指静脉特征融合的模板保护方法基本流程

1.2 特征提取与数据类型转换

1.2.1 指纹特征提取与数据类型转换

采用Jain A K等人[21]提出的基于Gabor滤波的指纹纹理特征提取方法，提取的纹理特征向量VP，包含N1个实值。

(1)

式中τ设定为0，因此，指纹特征可以用二进制向量bp=[b1,b2,…,bN2]T表示。

1.2.2 手指静脉特征提取与数据类型转换

指静脉特征向量主要采用分块卷积的方法提取。将像素为150×150的手指静脉图像分为25块不重叠的大小为30×30的小块；选取40个Gabor滤波器，分别与每一块手指静脉图像进行卷积，取卷积后的幅值信息作为手指图像的纹理特征向量Vv。

为了与指纹特征数据类型保持一致，对手指静脉数据采取指纹数据类型转换方法。因此，手指静脉图像可以用二进制向量bv表示。

1.3 串联融合和随机索引置乱

将得到的指纹特征向量bp和手指静脉特征向量bv进行串联融合得到特征向量B=[bp,bv]，长度单位为m。

为了进一步扩展秘钥空间，准备m个随机数，然后对随机数进行随机排序，得到一个乱序的随机索引，最后按照该索引将二进制比特串位置打乱得到新的特征向量Y。

1.4 二进制向量的DFT

融合后得到的二进制向量Y只包含0和1，尤其当Y中的元素稀疏分布时，直接在Y上进行操作可能会减少搜索空间，降低安全性。因此，本文对固定长度的二进制比特串采取N点DFT，其中，N≥m，具体过程如式(2)

(2)

1.5 生成可撤销模板

为了提高模板的不可逆性和安全性，本文采用一种部分Hadamard变换来保护tD，具体步骤如下：

1)随机产生一个长度为r的用户秘钥K，K=[k1,k2,…,kr]。其中，r

2)利用秘钥K构建Hadamard矩阵的子阵H。首先产生一个大小为N×N的Hadamard矩阵Hn，从Hn中的N行中选取r行产生子阵H，其中,子阵H中第i行就是矩阵Hn中的第ki行，Hn矩阵的大小为r×N;

3)对DFT后的复向量进行部分Hadamard变换生成可撤销模板，具体过程如式(3)

tH=HtD

(3)

部分Hadamard矩阵H维度是r×N，rank(H)=r

1.6 模板匹配

假设注册模板为YT，查询模板为YQ，采用式(4)计算相似度分数

(4)

式中 ‖‖2为2—范数，相似度分数S(YT,YQ)范围在0～1之间。

2 实验仿真与性能分析

2.1 实验数据

为了评价本文方法的性能，采用指纹数据库FVC2002-DB1和FVC2002-DB2中和手指静脉数据库Homologous Multi-modal Traits Database(FV-HMTD)中对本文方法相关性能进行测试和分析。在指纹数据库中，部分指纹没有中心点，因此，实验在2个数据库中分别选取包含中心点的80枚手指，每个手指取2幅图像。在指静脉数据中选取80个人的左手食指采样数据，每个手指取2幅图像。实验中将选取的FVC2002-DB1和FVC2002-DB2指纹样本分别与FV-HMTD手指静脉样本组合，如图2所示。

图2 实验所选用的指纹和手指静脉图像示例

2.2 认证性能分析

本文采用的性能指标为正确接受率(gennine accept rate，GAR)、误拒率(false refuse rate，FRR)、误识率(false accept rate，FAR)和等错误率(equal error rate，EER)。FRR是指将相同手指认定为不同手指的概率，FRR等于1减去GAR；FAR是指将不同的手指认定为同一手指的概率；ERR是指当FAR等于FRR时的值，ERR值越小，说明系统的认证性能越好。

在真匹配实验中，将每枚手指的指纹第一幅图和手指静脉的第一幅图作为注册模板，相应的指纹和手指静脉的第二幅图作为查询模板，共进行80次真匹配实验。在假匹配实验中将每枚手指的指纹和指静脉的第一幅图作为注册模板，剩余手指的指纹和手指静脉的第二幅图作为查询模板，共进行3 160次假匹配实验。本文方法在用户秘钥安全和用户秘钥泄露的情况下进行评估。

2.2.1 真假匹配分布分析

真假匹配分数分布情况如图3和图4所示。

图3 秘钥安全时真假匹配分布

图4 秘钥泄露时真假匹配分布

由图3可知，当用户秘钥安全时，真匹配与假匹配分布之间有一定的间隔，说明本文方法具有较好的认证性能；由图4可知，当用户秘钥泄露时，真匹配与假匹配分布有部分重叠，表明系统可能会出现一定的错误识别，影响方法的认证性能。

图5给出了本文方法在秘钥泄露时，分别在2个数据库中进行实验的EER曲线图，在与同一手指静脉样本相融合时，DB1与其融合的EER要略低于DB2与其融合的值，这是由于DB2的指纹图像质量略差。但由于二者差异较小，说明本文方法受指纹图像质量影响较小，具有一定的认证稳定性。

图5 秘钥泄露时EER曲线

2.2.2 比较实验分析

为了分析本文方法的识别性能，表1给出了不同方法在秘钥泄露时，分别在FVC2002-DB1与FVC2002-DB2以及FV-HMTD下的EER。本文方法得到EER分别为0.28 %和1.27 %，较其他单独使用指纹模板或手指静脉保护方法具有明显优势。

表1 不同方法在秘钥泄露时的EER %

受试者工作特征曲线(receiver operator characteristic curve,ROC)横坐标为误识率，纵坐标为真实接受率，ROC越接近1，表明该方法的识别性能越好。图6分别绘制了文献[23]、手指静脉方法采取本文提出的部分Hadamard变换生成的模板保护方法与本文方法在秘钥泄露的情况下的ROC图。实验结果表明，本文多模态生物特征模板保护方法的识别性能优于单一使用指纹或者手指静脉特征模板保护方法。

图6 ROC对比

2.3 可撤销性分析

模板的可撤销性是撤销生物特征识别系统的重要特性，为了验证模板的可撤销性，分别在两个组合数据库做了实验。具体过程为：用相同的指纹和手指静脉图像进行融合后的结果与随机生成的80个不同秘钥相结合，生成80个转换模板，并与注册模板进行匹配得到伪假匹配分布，实验结果如图7所示。

图7 伪假匹配分布

由图7可知，伪假匹配分布与秘钥安全时的假匹配分布十分相似。因此，当用户模板泄露或者被盗后，用户可以通过更换秘钥生成新的转换模板，满足生物特征模板的可撤销性。

2.4 安全性分析

对可撤销生物特征模板保护系统来说，衡量安全性的标准是攻击者是否能从生成的特征融合模板中恢复原始的指纹和手指静脉信息。

首先对提取的指纹和手指静脉的纹理特征投影量化生成二进制比特串，有效掩盖了原始指纹和手指静脉的特征信息，即使攻击者知道了指纹或手指静脉的比特串信息，也难以由此恢复原始特征信息，并且只知道单一的生物特征信息也不能通过系统的认证。

融合后的特征向量通过随机索引置乱，将线性系统和非线性系统相结合，提高了系统的安全性，再通过不可逆的DFT运算和部分Hadamard变换，很难重构原始特征信息，进一步增强系统的安全性。

即使攻击者获得用户的秘钥信息，那么想要成功通过系统的认证，由实验仿真结果可知，在FVC2002-DB1与FV-HMTD组合数据库和FVC2002-DB2与FV-HMTD组合数据库上成功的概率不高于0.28 %和 1.27 %，表明该方法具有良好的安全性。

3 结 论

针对现有的单模态生物特征模板保护认证系统存在认证性和安全性较差的问题，本文提出一种基于指纹和手指静脉特征融合的可撤销模板保护方法。实验结果表明：所提出的多模态模板保护方法较单模态模板保护方具有更好的安全性和识别性，满足模板的不可逆性、可撤销性。