词汇树融合SIFT的热成像和视觉图像人脸识别

张国平，周改云，马 丽

(平顶山学院软件学院，河南平顶山467000)

词汇树融合SIFT的热成像和视觉图像人脸识别

张国平，周改云，马 丽

(平顶山学院软件学院，河南平顶山467000)

针对热成像和视觉图像人脸识别问题，提出了一种基于词汇树融合尺度不变特征变换方法。首先，对视觉和热成像图像分别单独进行提取，利用Viola-Jones层叠检测器从自然图像中检测出人脸;然后，利用SIFT描述符从尺度空间提取稳定特征;最后，使用词汇树进行分类，利用评分融合和决策融合算法提高系统的精确性和安全性。在拍摄的41个人的脸部图像上的实验表明了该方法的有效性，识别率可接近100%，相比其他几种较为新颖的人脸识别方法，该方法取得了更高的识别精度，并且在一定程度上降低了计算耗时。

词汇树;尺度不变特征变换;热成像;视觉图像;人脸识别

人脸识别系统已在军事、政治、医疗等安全领域得到了越来越广泛的应用［1］，人脸识别需要取得测试人脸与存储在数据库内的图像匹配的结果，即使在不考虑光照变化或外界干扰等自然变化因素的条件下，该任务完成起来也较为困难［2］。

针对视觉和热成像图像，本文提出了一种双模式人脸识别技术，在实际应用中可以方便地使用一种特定的有快速跟踪功能的设备，且可以做到两种模式信息的融合。此外，对信息的主要来源也进行了研究，特别是基于文献［3］运用SIFT算法并从每张图像中得到局部特殊描述符的方法。语汇树的构成使得这些描述符可以按层次结构组织并可以方便地进行对象查找。

对于每一个测试图像，只对新的描述符进行计算并在整个层次结构树中进行查找，从而得到一个投票矩阵，使得数据库中最接近的图像可以很容易地被识别出来。该方法混合了SIFT描述符的奇异值来匹配视觉与热成像的不同人脸图像，词汇树的引入提高了算法的效率。

本文的主要创新点在于:1)将词汇树与SIFT融合解决了人脸识别问题，并利用两个传感器分别给出视觉和热成像的图像;2)运用SIFT描述符作为提取方法，使用k-mean的方程［4］构成的语汇树作为分类系统构成识别方法，局部可识别的信息可在融合范围与重要区域之间进行查找。

1 相关研究

针对人脸识别问题，学者们提出了许多方法，例如，文献［5］提出了一种人脸识别系统，运用非线性映射来推断关联特征在识别低分辨率图像时提高了最近邻(NN)分级器的精度。文献［6］提出利用基于二维离散小波变换(2D-DWT)的多精度特征提取算法进行人脸识别，有效地处理了人脸图像的局部空间变化，取得了很好的识别结果。人脸图像的拍摄通常会有不同的姿势和模式，比如热成像图像，这使得对于它们的识别呈现不同的难度。文献［7］得到了在现实环境中的基于热红外成像和视觉成像的人脸识别结果，结果表明，基于热成像的人脸识别效果对于室外不同环境下的情况是稳定的，且不同模式的融合提升了系统的识别效果。

文献［8］提出了一种自动热成像系统，可以在图像中仅有一个人且没有其他热源的条件下区分正面和侧面的头像，该方法中距离图像中心点的距离(DFC)表示对较低人脸轮廓对称度的适应性。

文献［9］使用相关性过滤器并通过热红外(IR)人脸图像完成人脸识别，因为这种图像对于可见光的变化是鲁棒的。最小平均相关性能量(MACE)和最优权衡合成判别式函数(OTSDF)方法在低分辨率(像素20× 20)图像中的应用证明了其对于有一定距离的人脸识别问题的有效性［10］。

文献［11］利用SIFT提高了带有不同姿势的人脸表情识别率，并且通过运用2张人脸的仿射变换不变性舍去SIFT不匹配的识别结果。

性别识别是另一种利用SIFT方法的研究热点，文献［12］通过密集尺度不变特征转换(d-SIFT)和形状表示人脸，除了对关键点附近的描述符进行收集外，对一般图像网格点的局部描述符也进行收集，从而达到密集描述人脸图像的目的。

但是，SIFT通常会从一张图像上采集很多特征，使得特征匹配时的计算量很大，从而限制了该方法在人脸识别上的应用。为了解决该问题，文献［13］提出使用差异化方法，通过检查不相关特征，平均而言计算复杂度降低了80%，且识别准确率提高了1%，然而在处理热成像和视觉图像识别问题时，识别率仍需进一步提高。

2 方法提出

2.1 系统框图

该方法由5个部分组成:预处理模块、SIFT描述符解析器、语汇树构成、匹配模块和融合模块，系统框图如图1所示。

图1 本文方法的系统框图

人脸的区域划分是手工操作的，匹配模块在语汇树中查找测试描述符与数据库中描述符最匹配的结果。因此，接下来的介绍将首先集中在SIFT参数和树分类上，再对匹配模块做简要介绍。

2.2 预处理

自然(视觉范围)和热成像的图像分别单独提取，系统利用Viola-Jones层叠检测器［14］从自然图像中检测出人脸，因为它简单、快速、有效。

2.3 特征提取

本文方法对SIFT描述符的几个关键参数进行修改，利用一个层叠过滤器来探测关键点，在所有可能的尺度空间内搜索稳定的特征。图像的尺度空间L(x，y，σ)由可变化尺度的高斯式子G(x，y，σ)和输入图像I(x，y)的卷积构成

式中:*是对x和y的卷积符号。

接着，高斯微分方程(DoG)的比例空间与图像做卷积，D(x，y，σ)的计算由2个带系数k的附近标量微分得到得到经尺度归一化后高斯方程拉普拉斯算子(LGN)的最大值和最小值，可产生稳定的图像特征。D和σ2∇2G的关系是

在精确布置关键点并去除DoG方程的强边界响应后，要设置方向。描述符的复杂性主要受两个参数影响:方向数和方向直方图的向量数。本文方法使用有8个方向的4×4向量直方图，从而产生128个特征向量。文献［11］的结论也支持在对象识别中使用这些参数，因为更大的描述符会对图像扭曲敏感。

2.4 语汇树分类

本文方法首先从图像数据库取出SIFT描述符，然后通过一个语汇树［15］来组织它们。层次化的验证方案使得可以对语汇树上的特定的一点进行选择性的查找，从而降低搜索时间和计算负荷。

k-mean算法［16］用于在初始描述符点云中通过最小距离估计找到图像中心，从而使用该图心表示一簇点云。k-mean算法需要迭代使用，因为图心会因相关点的位置而变化。如果计算出的图心位置不再变化，算法则收敛，语汇树的每一层表示最近的更高层级节点的分支。

根据大量实验，将初始点集定义为10个，共分为5个树的层次，这些参数的设定在该系统结合实际的数据库运用时取得了很好的效果。

有2层和3层的初始点云的语汇树模型如图2所示。

图2 分叉系数为3的2层语汇树

2.5 融合

该模块使用不同方法之间的相关误差(头和脸、视觉与热成像)提供总体的识别准确率。系统使用基于评分和决策的2种融合策略，评分融合在本文中指的是将视觉和热成像均一化处理后的评分做加或乘的处理，得到的结果与最终的决策结果对应。如果采用加权算法，评判的准则就要基于预知的信息，本文通过运用这些融合算法提高了系统的精确性和安全性。

3 实验

所有实验均是在一台2.66 GHz CPU、2 Gbyte内存的PC上实现，编程工具为MATLAB 7.0。

3.1 数据库

为了评估本文方法，笔者建立了一个数据库，该数据库包含738张704×756像素、每像素24 bit的图像，图像由 SAT-S280 SATIR相机拍摄，包括2个传感器——热传感器和视觉相机，图3为图像示例。

图3 视觉和热成像图像实例

该数据库包含41个对象，每个对象有18张图像，图像在6个月内的3个不同时间拍摄。拍摄的图像分为2个部分:视觉图像和热成像图像。这样，最终数据库总共包含1 476张图像，视觉图像和热成像图像分别有738张。根据每个人的特征，传感器赋予了假热色。所有图像都存为PNG格式，对它们进行进一步的分块处理，以选择关键区域，特别是对脸和头需要进行分块编组。

总的来说，图像根据它们提供的信息类型分为不同类别，共有2 952张图像，包括:

1)头:对象整个头的热图像(738张)。

2)头:对象整个头的视觉图像(738张)。

3)脸:脸部细节的热图像(738张)。

4)脸:脸部细节的视觉图像(738张)。

如图4、图5所示为头和脸的PNG格式的热成像和视觉图像示例。

图4 数据库中的热成像和视觉头部图像示例

图5 某人的热成像和视觉脸部图像示例

图像都是在室内拍摄得到的，分别带有开心、悲伤或生气等不同表情、不同脸部朝向、不同发型等。头部图像用于识别的关键细节是耳朵形状、发型和下巴，而脸部图像给出的最基本的信息有鼻子、嘴巴和眼部区域。

3.2 实验过程

实验目的是了解在热成像和视觉范围内人头部形状而不是脸部信息在人脸识别方面的作用，以及融合方法对识别的作用。本文的方法在视觉和热成像范围内对头部图像和脸部图像的识别结果进行了比较。

因此，共做了4组实验，包括视觉和热成像的、头部和脸部的变化。还做了8个使用不同融合方法的实验(评分融合的加算法、评分融合的乘算法、决策融合或算法以及决策融合加权算法)。

为了保证结果的独立性，2组图像都平均分为2个子类——测试类和训练类，并基于50%淘汰率的交叉实验方法，对于每种模式，共有369张训练图像和369张测试图像用于实验。

对于每个对象，也做了一个随机的图像数据库的分类，使得每个对象有9张图像用于测试，另外9张用于训练(采用50%淘汰率的识别方法)。如上所述，每种模式下随意选出369张训练图像和369张测试图像用于实验，这样的分组按对象进行41次迭代。

对人脸/头的对象识别过程如下:首先，进行前文所述的数据库分组。其次，每9个测试对象的图像将与369张训练图像作比较，得到相应的结果。这9张图像处理后，数据库组合起来再次进行下一个对象的处理，指导所有数据库中41个对象处理完毕。

实验中涉及的实验参数是在生物识别中常用的错误拒绝率(FRR)、错误接受率(FAR)和等错误率(EER)。同时也记录了平均梳理时间，这些参数使用依赖于该变量的向量存储，即直方图阈值。

识别处理完成后，由数据库中每一张图像贡献组成的直方图就得到了，与测试图像匹配度最高的图像在柱状图上的值最大。下一步，直方图中的数据根据最大值做归一化处理，值的范围为-1～1。然后，再设定一个阈值，使得只有大于该阈值的图像才会进入决策，其他图像则不再处理，直方图的阈值从-1到1变化，使得每次都能对不同的图像进行判断。

3.3 实验结果

根据前文所述的实验方案，共做了12组实验，表1所示为识别方法中hold-out方法计算的精确度。

表1 热成像、视觉及融合范围的实验结果精度 %

表2所示为热成像和视觉范围对头部和脸部的图像识别的平均计算时间。

表2 热成像和视觉范围对头部和脸部的图像识别的平均计算时间 s

从表2可以看出，头部图像的更新时间(模型建立时间)明显大于脸部图像的时间，因为它们相对而言包含了更多的信息，从而带来更多的计算负荷。

图6所示为FRR和FAR在直方图阈值上的关系，横轴表示阈值的变化范围，纵轴表示FRR和FAR的最优值，且分别给出了视觉头部图像的基于评分和决策融合的ROC曲线。

从图6可以看出，FRR在-1～0范围内的响应曲线变化较为明显，而FAR的响应曲线是平的，因为它需要非常高的值才能达到典型的形状，当然，这种情况有利于找到一个更好的EER点。实际上，阈值下降意味着系统的要求降低，将更多的图像加入决策，增加了FRR和FAR，因为新加入的图像样本并不属于测试对象。

图6 FRR和FAR的直方图阈值

对于单独的模式，实验中最好的结果是热成像头部图像识别率97.60%和热成像脸部图像识别率88.20%，视觉头部图像识别率99.05%和视觉脸部图像识别率97.65%。因此，在两种模式中，头部图像的识别准确率都要高于脸部图像。此外，视觉图像提供的可识别信息多于热成像图像。

在融合算法的实验中，头部图像的识别结果仍然好于脸部图像。通过两种融合方法，识别精度均有所提高，决策融合方法的识别精度可接近100%，评分融合通过乘法算法达到了99.45%。

在单独使用算法时，EER的值大于融合方法，FRR融合后对于负的阈值是平坦的且EER相对较小，因此可以取得很高识别精度。

3.4 比较及分析

为了更好地评估本文方法，将其与其他几种较新的人脸识别方法进行比较，包括二维离散小波变换(2DDWT)［6］、基于相关性过滤器的热红外(CFIR)方法［9］、密集尺度不变特征变换(密集SIFT)［12］、差异化尺度不变特征变换(差异化SIFT)方法［13］，分别对头部、脑部的识别率和计算时间进行比较，针对各个比较方法进行了实验，各方法的参数设置分别参照各自所在文献，本文方法选取决策融合加权算法，如表3所示为各方法的比较结果。

从表3可以看出，相比其他几种较为新颖的人脸识别方法，本文方法取得的识别率最高，与密集SIFT、差异化SIFT的比较表明，词汇树与SIFT的融合方法有助于提高识别准确率，意味着信息的来源(头部，脸部，图像范围)与误差并没有直接关系，且这些图像识别误差可以通过评分或决策的算法进行纠正，而且，对于这些模式的参数化方法是一样的，加强了信息理论的独立性。

表3 各方法的识别率和计算时间比较

从计算时间方面可以看出，本文方法的模型建立耗时略高于2D-DWT，主要是由于本文方法融合阶段耗时过多，然而，在大部分情况下少于其他几种比较方法的耗时，并且本文方法识别一个样本所用时间最少，在保持与其他新颖方法相同或更少计算时间的情况下，能够取得较高的识别率，表明了本文方法的优越性。

4 结束语

本文利用一种特定的设备，提供了对于单一图像的视觉和热成像图像的信息，对这两种模式的应用做了深入的研究，并且对头部和脸部图像进行了识别，所有系统都使用SIFT描述符和词汇树结合。实验结果表明，在视觉和热成像范围的头部图像比脸部图像具有更多的可识别特征，视觉图像比热成像的可识别性更好，两个范围的融合方法比单个生物识别方法效果更好。相比其他几种人脸识别方法，本文方法不仅取得了较高的识别率，同时保持了较低的计算耗时。

未来将扩大该数据库的规模，包括室外图像，并结合其他的新颖技术，在其他数据库上也进行大量实验，进一步提高本文方法的识别精度。

［1］KLARE B F，JAIN A K.Heterogeneous face recognition using kernel prototype similarities［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，2013，35(6):1410-1422.

［2］周旭东，陈晓红，陈松灿.半配对半监督场景下的低分辨率人脸识别［J］.计算机研究与发展，2013，49(11):2328-2333.

［3］PARUA S，DASA，MAZUMDAR D，et al.Determination of feature hierarchy from Gabor and SIFT features for face recognition［C］//Proc.2011 Second International Conference on Emerging Applications of Information Technology(EAIT).［S.l.］:IEEE Press，2011:257-260.

［4］CHAN C H，TAHIR M A，KITTLER J，et al.Multiscale local phase quantization for robust component-based face recognition using kernel fusion of multiple descriptors［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，2013，35(5):1164-1177.

［5］ ARLOT S，CELISSE A.A survey of cross-validation procedures for model selection［J］.Statistics Surveys，2010，28(4):40-79.

［6］李孔震，王炳和，娄昊，等.基于小波变换和二维非负矩阵分解的人脸识别算法［J］.计算机应用研究，2013，30(4):1275-1277.

［7］BOURLAI T，CUKIC B.Multi-spectral face recognition:identification of people in difficult environments［C］//Proc.2012 IEEE International Conference on Intelligence and Security Informatics(ISI).［S.l.］: IEEE Press，2012:196-201.

［8］吕思亮.基于可见光图像和红外热像融合的自发表情识别［D］.合肥:中国科学技术大学，2011.

［9］CRESPOD，TRAVIESOCM，ALONSO JB.Thermal face verification based on scale-invariant feature transform and vocabulary tree-application to biometric verification systems［EB/OL］.［2014-03-28］.http:// www.bibsonomy.org/bibtex/930e1dd9018637afd9c9a0fbafa3d19c.

［10］HUANG H，HE H.Super-resolutionmethod for face recognition using nonlinearmappings on coherent features［J］.IEEE Trans.Neural Networks，2011，22(1):121-130.

［11］XIAN X B，WU H J，ZHANG M X，et al.A novelmulti-pose face recognition via robust SIFT feature［C］//Proc.2013 International Conference on Wavelet Analysis and Pattern Recognition(ICWAPR).［S.l.］:IEEE Press，2013:32-37.

［12］ZENG X，HUANGH.Super-resolutionmethod formultiview face recognition from a single image per person using nonlinear mappings on coherent features［J］.IEEE Signal Processing Letters，2012，19(4): 195-198.

［13］IMTIAZH，FATTAH S A.A wavelet-domain local feature selection scheme for face recognition［C］//Proc.2011 International Conference on Communications and Signal Processing(ICCSP).［S.l.］:IEEE Press，2011:448-451.

［14］张志伟.基于人脸识别的媒资视频检索技术的研究与实践［D］.北京:北京邮电大学，2013.

［15］朱道广，郭志刚，赵永威.基于空间上下文加权词汇树的图像检索方法［J］.模式识别与人工智能，2013，26(11):1050-1056.

［16］MOHAN R N V J，RAO K R S.Efficient K-Means fuzzy cluster reliability on angle oriented face recognition［J］.International Journal of Informatics and Communication Technology(IJ-ICT)，2012，2(1): 38-45.

Fusion of Vocabulary Tree and SIFT for Face Recognition in Thermal Image and Visual Image

ZHANG Guoping，ZHOU Gaiyun，MA Li
(School of Software，Pingdingshan University，Henan Pingdingshan 467000，China)

For the face recognition problem from thermal image and visual image，a fusionmethod based on vocabulary tree and scale invariant feature transform is proposed.Firstly，thermal image and visual image is exteacted respectively，Viola-Jones cascading detector is used to detect face from natural images.Then，SIFT descriptors are used to extract stability features from invariant space.Finally，classification is finished by vocabulary tree，score fusion and decision fusion algorithm is used to improve the accuracy and security of system.The effectiveness of proposedmethod has been verified by experiments on face images of 41 person gathered self，recognition accuracy of proposed method can achieve 100%，experimental results show that proposed mehtod has higher recognition accuracy and lower computing time than several other advanced algorithms.

vocabulary tree;scale invariant feature transform;thermal image;visual image;face recognition

TP391

A

��健男

2014-04-15

【本文献信息】张国平，周改云，马丽.词汇树融合SIFT的热成像和视觉图像人脸识别［J］.电视技术，2014，38(23).

国家自然科学基金项目(U1204611);河南省科技厅科技发展计划项目(134300510037);平顶山学院青年科研基金项目(PXY-QNJJ2013010)

张国平(1980—)，硕士，讲师，主要研究领域为数字图像处理、模式识别等;

周改云(1980—)，女，硕士，讲师，主要研究领域为多媒体、数字图像处理;

马 丽(1968—)，女，硕士，教授，主要研究领域为模式识别、智能控制等。