基于全局和局部特征集成的低分辨率人脸识别方法

摘要：低分辨率图像中人脸特征模糊不清，导致人脸识别结果准确率较低，因此，文章提出基于全局和局部特征集成的低分辨率人脸识别方法。该方法采用主成分分析法提取低分辨率人脸图像的全局特征，通过LBP算法提取低分辨率人脸图像的局部特征，构建一个包含特征集成模块与分类识别模块的卷积神经网络，输入提取的全局和局部特征，经过学习输出低分辨率人脸识别结果。实验结果表明，该方法使低分辨率人脸识别结果的正确率高达94%，是有效且优越的。

关键词：全局特征；局部特征；特征集成；低分辨率；人脸识别

中图分类号：TP391.4""文献标志码：A

0"引言

人脸识别技术凭借其独特的非接触性、高效率和强安全性，在我国公共安全、金融支付、智能安防等领域展现出广阔的应用前景。然而，在实际应用中，由于采集设备、环境条件、人脸姿态等多种因素的影响，采集的人脸图像往往存在分辨率较低的问题，为人脸识别带来了一定的阻碍。贺怀清等^［1］简化深度残差网络结构，得到一个轻量级残差网络，进行人脸识别，可以在保证识别精度的基础上，提高识别效率，但是这种方法对人脸图像光线环境要求严格，在实际应用中遇到低分辨率图像会影响人脸识别的准确性。王宸等^［2］采用一种改进的洞察面孔算法进行人脸识别，可以显著提升人脸识别的准确率，但是该技术的成本较高且存在一定漏洞与攻击风险，实际应用中如果使用不当容易出现误识别。尽管现有的人脸识别方法在高分辨率条件下取得了显著的效果，但在低分辨率条件下仍存在特征提取困难、识别准确率较低等局限。因此，本文提出一种基于全局和局部特征集成的识别方法。

1"提取低分辨率人脸图像的全局特征

人脸图像中的特征主要包括全局和局部这2种。低分辨率人脸图像的特征信息模糊不清，因此，本文为保障人脸识别效果，分别提取了低分辨率人脸图像的全局和局部特征^［3］。其中，全局特征主要指低分辨率人脸图像中包含全部信息的特征向量，可以反映图像中人脸的整体属性。根据低分辨率人脸图像的全局特征实际提取需求，本文引入主成分分析法（Principal Component Analysis，PCA）进行全局特征提取。PCA是一种无监督学习算法，旨在通过正交变换将原始数据转换为一系列线性不相关的主成分，且将这些主成分按方差从大到小排列，能够反映数据中的主要变化方向。在低分辨率人脸图像中，PCA能够有效提取图像的全局特征，降低数据维度，同时保留关键信息。利用PCA提取低分辨率人脸图像的全局特征的主要步骤如下^［4］：

将原始低分辨率人脸图像转换为二维矩阵形式I_m×n，其中矩阵的行和列m×n分别代表低分辨率人脸图像的高度和宽度，而矩阵内元素则对应图像的像素点灰度值。为描述低分辨率人脸图像中各个像素之间的相关性，计算其协方差矩阵Z，表达式如下：

Z=1m-1（I-I）^T（I-I）（1）

式中，I表示低分辨率人脸图像二维矩阵的均值；T表示转置。

对式（1）所分解的低分辨率人脸图像的协方差矩阵的特征值按依次递减的顺序进行排列，取前N个特征值所对应的特征向量进行组合，即可构成低分辨率人脸图像的全局特征矩阵X=［X1，X2，…，XN］。将低分辨率人脸图像二维矩阵I投影到全局特征矩阵X上，得到全局特征向量，表达式如下：

x1=X^T（I-I）（2）

式中，x1表示低分辨率人脸图像的全局特征向量。

2"提取低分辨率人脸图像的局部特征

在根据文中上述内容完成了低分辨率人脸图像的全局特征的提取后，还须要提取局部特征。局部特征主要指低分辨率人脸图像中某一个有限局部区域内的特征向量，可以反映图像中人脸的局部细节信息。本文采用局部二元模式（Local Binary Pattern，LBP）算法提取低分辨率人脸图像局部特征的具体流程如下：

定义一个LBP算子，即以低分辨率人脸图像的某一个像素点为中心，设定一个邻域范围，假设本文以像素点（i，j）为中心，其邻域范围为M个像素点，则本文定义的LBP算子表达式如下：

S（i，j）=∑M-1M=02^MF（h1-h2）（3）

式中，S（i，j）表示低分辨率人脸图像的LBP算子；F（h1-h2）表示符号函数，其中h1、h2分别为低分辨率人脸图像上中心和邻域内像素点的灰度值。

对于低分辨率图像上中心像素点（i，j）的邻域内的各个像素点，将h2和h1进行对比。如果h2≤h1，即h1-h2≥0，将符号函数标记为1；否则，将符号函数标记为0。这样通过对比邻域内各个像素点和中心像素点之间的灰度值，就可以得到一个仅由0和1组成的二进制序列。按照上述步骤遍历低分辨率人脸图像中的每个像素点，分别获取各像素点LBP值，即可得到一个与原图像大小相同的LBP特征图。

3"集成特征的卷积神经网络人脸识别

完成低分辨率人脸图像的全局特征和局部特征的提取之后，即可根据这些特征进行人脸识别。为充分发挥全局和局部特征的优势，本文引入卷积神经网络（Convolutional Neural Network，CNN）构建人脸识别模型。本文构建的CNN模型主要包括特征集成和分类识别2个模块。其中，特征集成模块主要负责将全局特征和局部特征进行融合计算，以形成更具鉴别力的集成特征。

已知本文提取的低分辨率人脸图像全局特征为x1，假设低分辨率人脸图像局部特征为x2，本文采用加权融合的方式进行全局和局部特征集成处理，具体集成公式如下：

x3=ω1×x1+ω2×x2（4）

式中，x3表示低分辨率人脸图像的集成特征；ω1、ω2分别表示全局和局部特征的加权系数，满足下式所示条件：

ω1+ω2=1（5）

在根据上述内容完成低分辨率人脸图像的全局和局部特征集成后，将该集成特征传输至CNN的分类识别模型，进行特征分类。在分类识别模块中，本文主要采用Softmax函数作为激活函数，以此实现集成特征的分类识别，表达式如下：

Pi=exp（yi）∑Jj=1exp（yj）（6）

式中，Pi表示低分辨率人脸图像集成特征所属类别的预测概率；yi、yj分别表示Softmax函数输入的集成特征向量所对应的第i个类别和第j个类别的元素值；J表示低分辨率人脸图像集成特征所属类别的总数。将提取的低分辨率图像全局和局部特征输入CNN模型后，经过模型的学习即可输出人脸识别结果。

4"仿真实验

仿真对比实验在AI Studio平台的高级版GPU环境中进行，使用Tesla V100 GPU，配备16 GB显存。在本次仿真实验中，收集大笑、悲伤、愤怒、吃惊、微笑、严肃这6种不同表情的低分辨率人脸图像各50张，共计300张人脸图像作为实验数据。所有人脸图像均经过尺寸归一化等预处理，以确保输入数据的一致性和准确性。本次人脸识别实验中的一些具有代表性的示例图像如图1所示。

分别采用本文设计方法、贺怀清等^［1］方法、王宸等^［2］方法，对300张不同表情的低分辨率人脸图像进行人脸识别，根据识别结果评价设计方法的实际应用性能。在本次人脸识别仿真对比实验中，由于实验数据较多，本章仅展示部分具有代表性的人脸图像识别结果，如图2所示。

由图2可知，在30张示例低分辨率人脸图像识别中，本文方法的识别准确率明显高于贺怀清等^［1］方法和王宸等^［2］方法。在贺怀清等^［1］方法和王宸等^［2］方法中，“大笑”和“微笑”2种表情、“吃惊”和“愤怒”2种表情，因为其眼睛、嘴巴等局部特征的变化不是很明显，所以人脸识别结果容易出现误差。本文方法由于分别提取了全局和局部特征，能够更全面地捕捉人脸表情信息，最终人脸识别结果的准确性更高。

计算3种方法在低分辨率人脸识别中的实际识别率，分别统计并整理本文方法、贺怀清等^［1］方法、王宸等^［2］方法下所有不同表情的低分辨率人脸图像的正确识别图像数量，如表1所示。

从表1可知，在不同表情的低分辨率人脸图像识别中，本文方法下识别结果的正确率高达94%，对比贺怀清等^［1］方法和王宸等^［2］方法分别提升了12.3%、9%。因此，本文方法是可行且可靠的，在实际应用中具有显著优势。

5"结语

本文提出了一种基于全局和局部特征集成的低分辨率人脸识别方法，通过卷积神经网络对主成分分析法与局部二值模式算法提取的特征进行集成处理并进行人脸识别，能够达到在低分辨率条件下准确识别人脸的目标。然而，本研究仍存在一定的局限性，如对于极端低分辨率和复杂环境下的识别效果有待提升。

参考文献

［1］贺怀清，闫建青，惠康华.基于深度残差网络的轻量级人脸识别方法［J］.计算机应用，2022（7）：2030-2036.

［2］王宸，刘剑飞，郝禄国，等.一种基于InsightFace算法的课堂人脸识别方法研究［J］.南开大学学报（自然科学版），2022（2）：59-68.

［3］许向阳，袁杉杉，王军，等.基于全局和局部特征的图像拼接方法［J］.北京理工大学学报，2022（5）：502-510.

［4］朱宽堂，张建勋，谭暑秋.基于全局特征和多种局部特征的行人重识别［J］.微电子学与计算机，2022（2）：43-50.

（编辑"王雪芬）

Low-resolution face recognition methods based on global and local feature integration

SUN "Liqiang， LIU "Xiaoxia， LIU "Wenxue

（Qingdao Vocational and Technical College of Hotel Management， Qingdao 266100， China）

Abstract： "Due to the blurred face features in low resolution images， the accuracy of face recognition results is low， and the low resolution face recognition method based on global and local feature integration is proposed. Principal component analysis method to extract the global features of low resolution face image， through the LBP algorithm of local features， build a convolution neural network containing feature integration module and classification recognition module， input extraction of global and local features， after learning output low resolution face recognition results. The experimental results show that the accuracy of the low-resolution face recognition results under the design method is up to 94%， and the proposed method is effective and superior.

Key words： global features; local features; feature integration; low resolution; face recognition