基于近邻三值模式和协作表示的三维掌纹识别

刘玉珍 蒋政权 赵娜

摘 要：针对二维掌纹图像存在易伪造、抗噪能力差的问题，提出一种基于近邻三值模式（NTP）和协作表示的三维掌纹识别方法。首先，利用形状指数把三维掌纹的表面几何信息映射成二维数据，以弥补常用均值或高斯曲率映射无法精确描述三维掌纹特征的缺陷;其次，对形状指数图作分块处理，利用近邻三值模式提取分块形状指数图的纹理特征;最后，利用协作表示的方法进行特征分类。在三维掌纹库上和经典算法进行的对比实验中，该方法的识别率为99.52%，识别时长为0.6738s，优于其他算法;在识别率方面，与经典的局部二值模式（LBP）、局部三值模式（LLTP）、CompCode、均值曲率图（MCI）法相比分别提高了7.77%、6.02%、5.12%和3.97%;在识别时间方面，与Homotopy、对偶增广拉格朗日法（DALM）、SpaRSA方法相比分别降低了6.7s、15.9s和61s。实验结果表明，所提算法具有良好的特征提取和分类能力，能够有效地提高识别精度并减少识别时间。

关键词：三维掌纹;形状指数;局部三值模式;纹理特征;协作表示

中图分类号： TP391.4

文献标志码：A

Abstract： Concerning the problem that two Dimensional （2D） palmprint images are eaasily to be forged and affected by noise， a three Dimensional （3D） palmprint recognition method based on Neighbor Ternary Pattern （NTP） and collaborative representation was proposed. Firstly， a shape index was used to map the surface geometric information of 3D palmprint into 2D data， avoiding the inaccurate description of 3D palmprint features by common mean value or Gaussian curvature mapping. Secondly， the shape index image was divided into several blocks， and NTP algorithm was used to extract texture features of divided shape index images. Finally， collaborative representation was used to classify the features. Experiments on 3D palmprint base show that compared with the classical algorithms， the proposed method has the best recognition effect with recognition rate of 99.52% and recognition time of 0.6738s. The proposed method improves the recognition rate by 7.77%， 6.02%， 5.12% and 3.97% respectively compared to Local Binary Pattern （LBP）， Local Ternary Pattern （LTP）， CompCode and Mean Curvature Image （MCI） method; the proposed method reduces the recognition time by 6.7s， 15.9s and 61s compared to Homotopy， Dual Augmented Lagrangian Algorithm （DALM） and SpaRSA method. The experimental results show that the proposed algorithm has good feature extraction and classification ability， which can effectively improve the recognition accuracy and reduce the recognition time.

Key words： three dimensional palmprint; shape index; local ternary pattern; texture feature; collaborative representation

0 引言

目前，传统掌纹识别大多基于二维（two Dimensional， 2D）掌纹图像进行识别研究。在研究过程中，2D掌纹的不足之处也渐渐突显出来，如：手掌不是纯平面，不能捕捉手掌的深度信息，系统的光照变化会影响2D掌纹的图像质量，2D掌纹图像获取较为容易，易被窃取和复制。3D掌纹作为相比2D掌纹特征更为准确、有效、稳定的生物特征，进入人们的视线。

2008，文献[1]中首次提出了三维掌纹识别。同年，文献[2]中详细介绍了3D掌纹识别系统，文中提取手掌表面的高斯曲率、均值曲率和表面信息作为特征，采用特征匹配分数级融合的算法进行识别，有效提高了识别精度。文献[3]中通过提取掌纹的均值曲率、Gabor特征进行匹配识别，实验表明该方法具有精度高、识别率低、存储空间小等优点。文献[4]中为了克服样本量小和一对多识别速度低的局限性，采用表面形状直方图作为有效的掌纹特征，利用主成分分析（Principal Component Analysis， PCA）法進一步压缩了三维信息，减少了数据维数，实现了准确、高效的识别。

掌纹识别系统中关键的问题是如何提取特征向量，为了更完整地描述掌纹特征，采用近邻三值模式方法提取掌纹的纹理特征。文献[5-6]表明基于协作表示的分类方法在模式识别领域取得了良好的效果，本文采用基于协作表示的分类方法。所以，本文提出基于近邻三值模式与协作表示的三维掌纹识别方法，利用形状指数将3D掌纹映射成二维数据，并将形状指数图像均匀分块，提取分块形状指数图像的近邻三值模式纹理特征，最后通过协作表示方法分类，达到掌纹识别的目的。

1 3D掌纹纹理特征提取

1.1 3D掌纹的形状指数表示

3D掌纹数据存储的是掌纹每一点到参考平面的深度信息。文献[7]中表明曲率能够很好地描述3D掌纹的特征，曲率特征能够克服手掌的旋转、平移带来的不利影响，是一种比较稳定的特征。曲率特征分为高斯曲率和均值曲率，但是单用一种特征描述掌纹信息存在一定的局限性，导致识别结果不够准确。本文将高斯曲率特征和均值曲率特征相结合共同表示掌纹特征，利用形状指数（Shape Index， SI）特征来更加完整地表示3D掌纹的几何细节信息。

1.2 局部三值模式

局部三值模式（Local Ternary Pattern， LTP）算法是传统局部二值模式（Local Binary Pattern， LBP）算法的改进形式，也是一种應用在数字图像领域中的纹理分析算子[9]。与LBP算法相比，LTP算法中定义了一个阈值，由此增加了算法的抗噪性。LTP算法采用三值编码的模式，在原来LBP算法中“0”码和“1”码的基础上增加了“-1”码，并且自定义一个阈值t。其中心思想是在像素矩阵中，将邻域像素gi与中心像素gk作比较，差值大于等于t，则标记为1;差值小于-t，则标记为-1;差值在[-t，t]内，则标记为0。式（7）为LTP的编码方式。

1.3 近邻三值模式

LTP算法是利用中心像素点与周围相邻像素点间的差异，通过对比邻域像素与中心像素灰度值的方式确定数量关系[10]。该算法忽略了相邻的像素点之间的关系，没有考虑到相邻像素的对比度信息，最终得到的特征会丢失局部的差异信息。为了改善这种情况，对LTP算法作出改进，提出一种基于相邻像素间差异性的纹理描述方法，称为近邻三值模式（Neighbor Ternary Pattern， NTP），NTP针对的是相邻像素灰度值的差别信息。

NTP算法既有LTP算法对光照不敏感、抗噪能力较强的优点，又增加了相邻像素间的对比度。NTP的编码思想是将相邻两个像素的差值与阈值t作对比，差值在（-t，t）范围内标记为0，差值大于等于t标记为1，差值小于-t标记为-1。将二进制编码中除1以外的值标记为0后得到的编码，定义为上模式。将原编码除-1以外的值标记为0后，用1代替原来的-1，此编码定义为下模式。上模式和下模式作为两个独立的局部二值模式，分别获得上、下模式的直方图统计，最后将图像的上、下模式直方图向量串联起来作为特征用于分类识别。

1.4 纹理特征提取

在对二维掌纹图像的处理过程中，文献[11-12]通过实验证明基于分块统计的特征提取是一种有效的方案。当分块区域大小与图像的纹理特征相互匹配时，将会得到较好的识别效果，能够提高系统的识别精度，因此，将分块思想应用到三维掌纹的特征提取中来。首先将三维掌纹映射成形状指数图像，然后把形状指数图像均匀地分割成若干块，把新分割的区域看作独立的样本。分块以后，提取的是以每一小块为单位的局部特征，而不是整个图像的全局特征，这样能够有效地改善基于全局特征的提取方法对局部变化的敏感程度。

三维掌纹纹理特征提取的具体过程可描述为如下几个步骤：

1）首先将三维掌纹映射成二维形状指数图。

2）将形状指数图像对应的M维矩阵G作分块处理，将矩阵均分为大小相等的若干个矩阵。

4）将提取的直方图特征，用于匹配识别。

2 基于NTP和协作表示的掌纹识别算

“协作表示”是在稀疏表示（Sparse Representation for Classification， SRC）的基础上发展而来的[13]，文献[14]中对SRC分类方法的基本原理作了详细的分析，指出在SRC分类方法中，样本类别之间的协作表示特性比l1范数的稀疏特性更加重要。文中提出了用l2范数来替代SRC算法中的l1范数，这种分类方法叫作基于协作表示和规则最小二乘法的分类识别（Collaborative Representation Classification with Regularized Least Square， CRC_RLS）方法。通过实验表明，CRC_RLS不仅具有良好的分类效果，而且识别速度快于SRC，因此本文采用CRC_RLS的分类方法。

在本章中，首先对模式识别领域中的经典分类方法SRC算法原理作了具体的分析，分析该算法的优缺点，并进一步提出了基于NTP特征与协作表示的三维掌纹识别，即NTP_CRC（NTP with Collaborative Representation Classification）。

2.1 SRC算法

SRC的主要思想是通过训练样本字典中原子的线性组合来表示测试样本的特征。对于每个类别，字典用于原始图像的重建，并将具有最小残差的类别判定为测试图像类别。在训练样本库足够大的情况下，将与测试样本属于同一类别的系数看作非零，与测试样本类别不同的系数看作零，称这种表示为稀疏表示[15]。

对于K类掌纹的训练样本集A记作A=[A1，A2，…，AK]，第i类训练样本用Ai=[vi，1，vi，2，…，vi，ni]∈Rm×ni表示，vi，j（j=1，2，…，ni）为第i类掌纹的第j个样本的特征向量，特征向量维度为n。假设一个测试样本的特征向量为y，则y可以用训练样本集的特征线性表示出来，即y≈Aγ，γ=[γ1;γ2;…;γK]，其中γi为第i类的编码系数矢量，表示为γi=[γi，1，γi，2，…，γi，ni]T。若测试样本的特征向量y属于第i类掌纹，则y≈Aiγi成立。因此，可以通过系数矢量γ和训练样本集A来完成样本重构过程，通过计算重构后的残差来确定各类样本的最终类别信息。

2.2 CRC_RLS算法

SRC在模式识别领域被广泛使用，在相关工作中体现了该方法的重要性。研究人员在对稀疏表示的研究中对l1范数所起的作用表现出质疑的态度，没有相关的经验与理论知识表明l1范数的稀疏约束条件能够完善识别性能，l1范数求解过程过于复杂，使得计算复杂度增加。同时，从SRC算法的主要流程中可以看到两个重点部分：一是测试样本特征向量y的编码系数矢量必须呈稀疏分布;二是测试样本特征向量y的稀疏编码并不是每类训练样本单独作用的结果，而是所有训练样本协作共同作用的结果。目前很多文献都在强调l1范数稀疏特性的重要性，而忽略了协作表示的重要性。协作表示就是使用来自所有类的训练样本来表示测试样本[16]。基于协作表示的分类原理与稀疏表示分类算法类似，都是依据重建残差最小作为分类标准。

CRC_RLS的基本过程如下：

对K类掌纹的训练样本集A记作A=[A1，A2，…，AK]，第i类训练样本用Ai=[vi，1，vi，2，…，vi，ni]∈Rm×ni表示，vi，j（j=1，2，…，ni）为第i类掌纹的第j个样本的特征向量，特征向量维度为n。假设一个测试样本的特征向量为y∈Rm，则y可以用训练样本集的特征向量线性表示出来，y≈Aχ，χ=[χ1;χ2;…;χK]，其中χi为第i类的编码系数矢量，表示为χi=[χi，1，χi，2，…，χi，ni]T。若测试样本的特征向量y属于第i类掌纹，y≈Aiχi成立。用所有训练样本来协同表示测试样本，为了简化运算，y可以将SRC算法中的基于l1范数的约束条件简化为求解规则化最小二乘问题。这实际上解决了以下优化问题：

其中I∈Rn×n是单位矩阵，令P=（ATA+λI）-1AT，可以看出，P独立于y，并且可以通过样本集预先计算，P可作为投影矩阵。在对测试样本y进行识别过程中，只需将y投影到P上，直接计算系数向量，进而得到Py，从而降低了计算复杂度，表明与SRC相比，CRC更具有速度优势。

2.3 本文算法NTP_CRC

本文利用1.4节所提出的三维掌纹特征提取方案，首先提取三维掌纹的形状指数图像，将形状指数均匀分成若干小块后，分别提取每块的NTP直方图，将所有直方图级联起来，作为最终特征，最后利用CRC_RLS算法实现掌纹类别的分类，即基于NTP与协作表示的三维掌纹识别算法NTP_CRC。

基于NTP特征和协作表示的三维掌纹识别算法的详细步骤如下：

1）将训练和测试3D掌纹感兴趣区域（Region Of Interest， ROI）映射成形状指数图像。

2）将各样本的形状指数图进行均匀分块，提取各样本的NTP直方图。

3）将提取的NTP直方图级联起来，成为一个特征矩阵。

4）将每个样本的NTP特征作归一化处理，计算得到训练字典A与y。

5）解决式（16）规则化最小二乘问题。

计算可得=（ATA+λI）-1ATy，投影矩阵P=（ATA+λI）-1AT。

6）计算规则化残差。

3 实验结果与分析

3.1 实验环境与评价指标

3.2 实验图库

香港理工大学的生物识别研究中心开发了一个实时的3D掌纹采集设备，通过该设备能够同时采集2D和3D掌纹图像，构建一个大型的2D和3D掌纹数据库。本文在两个掌纹库进行实验，库中包含了从200人的左、右手掌采集的8000个样本。掌纹分两次采集，平均间隔为30d。每次采集左、右手掌各10个掌纹。第一次采集的掌纹数据作为训练样本集，第二次采集的掌纹数据为测试样本。三维掌纹库中的每个样本都包含一个三维感兴趣区域（ROI），每个3D ROI数据存储在二进制文件记录，该二进制文件包含128×128浮点值，表示掌纹每一点到参考平面的深度信息。每个2D ROI图像的格式为BMP，大小为128pixels×128pixels，与3D ROI一一对应。

3.3 结果分析

3.3.1 确定最佳分块方式

本文在进行纹理特征提取时，将形状指数图作了分块处理。图像分为若干个大小相同的子块，当子块大小与图像的纹理特征相互匹配时，将得到较好的识别效果。通过计算不同分块情况下的识别率，比较识别率大小，确定最佳的分块方式。

表1分别给出了不同分块情况下的CRR。从表1中可以看出，在不作分块处理的情况下，CRR值为89.98%;当采用4×4分块方式时，CRR值最高，为99.52%;当采用5×5、6×6、7×7分块方式时，CRR值分别为97.35%、95.25%和91.80%;随着块数的增加，CRR值呈现出下降的趋势。经过分析可知，分块区域过大，不能精确提取掌纹的局部纹理特征;分块区域过小，则导致局部的纹理特征被分割，不能有效地表征掌纹的纹理结构，得到的纹理特征区分度不大，从而影响识别精度。因此，适当的分块方式能够有效地提高系统的识别性能。

3.3.2 2D掌纹对比实验

3D掌纹与2D掌纹进行对比实验，采用基于NTP和协作表示的二维掌纹识别方法。对2D掌纹作分块处理，提取各块的NTP纹理直方图，将各块级联的直方图作为特征向量，最后利用CRC_RLS方法进行类别分类。3D掌纹识别的CRR值为99.52%，2D掌紋识别的CRR值为98.98%，表明3D掌纹的特征信息比2D掌纹更为丰富，因此识别效果较好。

3.3.3 验证本文算法的有效性

在基于NTP特征和协作表示的3D掌纹识别中，首先将3D掌纹的ROI映射成形状指数图像，然后将形状指数图均匀分块，利用NTP提取各块的形状指数直方图特征，将所有块的直方图连接在一起作为特征向量，最后利用CRC_RLS方法进行类别分类。在本节中，为了验证本文所提算法的性能，与其他几种经典算法进行了比较。本次实验选择较为经典的算法作对比实验，如LBP法、LTP法、CompCode[17]、均值曲率图（Mean Curvature Image， MCI）法[18]及高斯曲率图（Gaussian Curvature Image， GCI）法[19]。

表2为不同方法的识别效果。根据表2中的实验结果能够看出，利用本文特征提取方法得到的CRR值为99.52%，与经典LBP、LTP、CompCode、MCI法相比分别提高了7.77、6.02、5.12、3.97个百分点，表明本文提出的方法具有较强的表征3D掌纹局部纹理特征的能力，识别效果优于其他方法。

3.3.4 验证CRC_RLS分类方法的性能

本文提出利用CRC_RLS方法进行3D掌纹识别，具有较快的计算速度，为了更加准确地体现该方法的优越性能，在本次实验中采用统一的特征提取方法，即NTP形状指数直方图特征，然后利用不同的分类方法进行匹配识别。选择目前较为流行的解决基于l1范数最小化问题的方法，如Homotopy[20]、SpaRSA[20]、对偶增广拉格朗日法（Dual Augmented Lagrangian Algorithm， DALM）[20]，分别记作CR_L1_Homotopy、CR_L1_SpaRSA、CR_L1_DALM。实验过程中，分别记录每种分类方法的CRR及识别时间。

表3为各分类方法的识别效果和识别时间。根据表3中的数据可知，本文所利用的CRC_RLS方法的识别时间为0.6738s，与Homotopy、DALM、SpaRSA方法相比分别降低了6.7s、15.9s、61s，表明求解基于规则化最小二乘的问题比求解基于l1范数的最优解问题要简单很多，CRC_RLS方法具有较快的计算速度。

4 结语

基于二维掌纹图像具有获取容易、易被仿冒，并且手掌不是纯表面、不能体现手掌的深度信息等缺点。本文以三维掌纹为研究对象，提出基于近邻三值模式与协作表示的三维掌纹识别方法。该方法首先采用形状指数来描述三维掌纹的表面几何信息，并对形状指数图作分块处理，然后利用NTP算法提取形状指数图像的纹理特征，最后利用协作表示的方法进行特征分类。在香港理工大学PolyU 3D掌纹库上进行实验，实验结果表明本文方法正确识别率为99.52%，识别时间为0.6738s，具有一定的应用前景。

参考文献 （References）

[1] AGGITHAYA V K， ZHANG D， LUO N. A multimodal biometric authentication system based on 2D and 3D palmprint features [C]// Proceedings of the SPIE 6944 — the International Society for Optical Engineering， Biometric Technology for Human Identification V. Bellingham： SPIE， 2008： 69440C.

[2] ZHANG D， LU G M， LI W， et al. Three dimensional palmprint recognition using structured light imaging [C]// Proceedings of the 2008 IEEE Second International Conference on Biometrics： Theory， Applications and Systems. Piscataway， NJ： IEEE， 2008： 1-6.

[3] BAI X， HUANG S， GAO N， et al. Person identification by using 3D palmprint data[C]// Proceedings of the SPIE 10025， Advanced Sensor Systems and Applications VII. Bellingham： SPIE， 2016： 100250Q.

[4] BAI X， GAO N， ZHANG Z， et al. 3D palmprint identification combining blocked ST and PCA [J]. Pattern Recognition Letters， 2017， 100： 89-95.

[5] 林國军，解梅.一种鲁棒协作表示的人脸识别算法[J].计算机应用研究，2014，31（8）：2520-2522，2531.（LIN G J， XIE M. Face recognition algorithm of robust collaborative representation [J]. Application Research of Computers， 2014， 31（8）： 2520-2522， 2531.）

[6] GUO X M， ZHOU W D， ZHANG Y L. Collaborative representation with HM-LBP features for palmprint recognition [J]. Machine Vision and Applications， 2017， 28（3/4）： 283-291.

[7] ZHANG D， LU G M， LI W， et al. Palmprint recognition using 3-D information [J]. IEEE Transactions on Systems， Man and Cybernetics， Part C： Applications and Reviews， 2009， 39（5）： 505-519.

[8] 杨冰，王小华，杨鑫.基于局部纹理特征的三维掌纹识别研究[J].光电工程，2014，41（12）：53-59.（YANG B， WANG X H ， YANG X. 3D Palmprint recognition based on local texture feature sets [J]. Opto-Electronic Engineering， 2014， 41（12）： 53-59.）

[9] 姚骋天，夏哲雷.一种改进的局部三值模式的人脸识别方法[J].中国计量学院学报，2016，27（1）：68-72.（YAO C T， XIA Z L. Face recognition based on improved local ternary patterns [J]. Journal of China University of Metrology， 2016，27（1）： 68-72.）

[10] 刘海军.局部方向三值模式纹理描述子[J].计算机工程与设计，2015，36（5）：1260-1264，1303.（LIU H J. Texture descriptor of local directional ternary patterns [J]. Computer Engineering and Design， 2015， 36（5）： 1260-1264， 1303.）

[11] 林森，苑玮琦，吴微，等.基于离散余弦变换和主线分块能量的模糊掌纹识别[J].光电子·激光，2012，23（11）：2200-2206.（LIN S， YUAN W Q， WU W， et al. Blurred palmprint recognition based on DCT and block enrgy of principal lines [J].Journal of Optoelectronics·Laser， 2012， 23（11）： 2200-2206.）

[12] 李善广.基于分块的掌纹识别算法研究[D].哈尔滨：哈尔滨工业大学，2013：18-23.（LI S G. Research on modular palmprint recognition algorithms [D]. Harbin： Harbin Institute of Technology， 2013： 18-23.）

[13] 芦鑫.基于稀疏表示的遮挡人脸识别算法的研究与实现[D].北京：华北电力大学，2016：7-16.（LU X. Research and implementation of occluded face recognition based on sparse representation [D]. Beijing： North China Electric Power University， 2016： 7-16.）

[14] ZHANG L， YANG M， FENG X C. Sparse representation or collaborative representation： which helps face recognition？ [C]// Proceedings of the 2011 IEEE International Conference on Computer Vision. Washington， DC： IEEE Computer Society， 2011： 471-478.

[15] 王文龙，金炜， 谢芸，等.采用均匀局部二元模式及稀疏表示的掌纹识别[J].光电工程，2014，41（12）：60-65.（WANG W L， JIN W， XIE Y， et al. Palmprint recognition using uniform local binary patterns and sparse representation [J].Opto-Electronic Engineering， 2014， 41（12）： 60-65.）

[16] 张宏星，邹刚，赵键，等.基于Gabor特征与协同表示的人脸识别算法[J].计算机工程与设计，2014，35（2）：666-670，676.（ZHANG H X， ZOU G， ZHAO J， et al. Face recognition algorithm based on Gabor feature and collaborative representation [J]. Computer Engineering and Design， 2014，35（2）： 666-670， 676.）

[17] ZHANG L， LI L D， YANG A Q， et al. Towards contactless palmprint recognition： a novel device， a new benchmark， and a collaborative representation based identification approach [J]. Pattern Recognition， 2017， 69： 199-212.

[18] 曹忠贊.基于2D和3D掌纹图像方向特征融合的掌纹识别研究[D].秦皇岛：燕山大学，2013：13-17.（CAO Z Z. Study on palmprint recognition based on 2D and 3D palmprint image orientation features fusion [D]. Qinhuangdao： Yashan University， 2013： 13-17.）

[19] 李春燕，卢光明，黎伟.基于曲面曲率和RLDA 3D掌纹识别方法[J].中国图象图形学报，2011，16（5）： 807-812.（LI C Y， LU G M， LI W. 3D palmprint recognition based on surface curvature and RLDA [J]. Journal of Image and Graphics， 2011， 16（5）： 807-812.）

[20] ZHANG L， SHEN Y， LI H Y， et al. 3D palmprint identification using block-wise features and collaborative representation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（8）： 1730-1736.