一种面向复杂场景的人脸识别与目标跟踪算法设计

摘" 要： 为解决在复杂场景下传统算法对人脸的识别和跟踪精度低的问题，文中提出一种面向复杂场景的人脸识别与目标跟踪算法FaceNet。该算法由人脸识别与人脸跟踪两部分组成。在人脸识别方面，基于YOLOv8提出一种改进的人脸识别算法FaceD⁃YOLOv8，提高了识别准确率。再以DeepSort为基础，提出一种改进人脸跟踪算法FaceT⁃DeepSort，实现对人脸目标连续准确的跟踪。在公开数据集上进行的对比实验结果表明，与主流的传统方法相比，所提FaceD⁃YOLOv8算法人脸识别的mAP值提高3.5%，FaceT⁃DeepSort算法的人脸目标跟踪精度（TP）值提高9.1%。证明所提方法具有良好的综合性能，能够满足工程应用的需要。

关键词： 人脸识别； 人脸跟踪； 复杂场景； YOLOv8； DeepSort； GIoU

中图分类号： TN911.73⁃34" " " " " " " " " " " " " 文献标识码： A" " " " " " " " " " " 文章编号： 1004⁃373X（2024）24⁃0167⁃05

Design of face recognition and object tracking algorithm for complex scenes

LI Kunlun， XIONG Ting

（College of Science and Technology， Nanchang University， Jiujiang 332020， China）

Abstract： In order to solve the problem of low recognition and tracking accuracy of traditional algorithms for faces in complex scenes， a face recognition and target tracking algorithm FaceNet for complex scenes is proposed， which is composed of the face recognition and face tracking. In terms of facial recognition， an improved face recognition algorithm FaceD⁃YOLOv8 is proposed based on YOLOv8 to improve the recognition accuracy. Based on DeepSort， an improved face tracking algorithm FaceT⁃DeepSort is proposed， which can realize continuous and accurate tracking of face targets. The comparative experimental results conducted on public datasets show that， in comparison with mainstream traditional methods， the proposed FaceD⁃YOLOv8 algorithm can increase the face recognition accuracy mAP by 3.5%， and the FaceT⁃DeepSort algorithm can improve the face target tracking precision （TP） by 9.1%， proving that the proposed method has good comprehensive performance and can meet the needs of engineering applications.

Keywords： face detection; face tracking; complex scene; YOLOv8; DeepSort; GIoU

0" 引" 言

人脸作为人类最重要的外部特征，在社交活动中发挥着重要作用。随着人机交互技术成为人工智能领域的研究热点，人脸检测与跟踪已成为计算机视觉领域备受关注的研究方向，且在人机交互、虚拟现实等领域有着广阔的应用前景。然而，人脸的复杂性给快速检测与跟踪的实际应用带来了一定困难。

目前，人脸检测的方法有多种类型，例如：模板匹配法、几何法、支持向量机法、主动轮廓模型法和可变性模板法等。当前比较主流的人脸检测方法多是基于Adboost的方法，但该方法的检测速度无法满足高分辨率视频序列的实时性要求。文献[1]利用颜色和轮廓检测方法搜索候选人脸，然后通过主成分分析（Principal Component Analysis， PCA）算法确认模式匹配识别，其跟踪准确率较高，但在被遮挡情况下的跟踪效果较差。文献[2]采用Mean⁃Shift技术跟踪移动目标，该技术具有快速、高效的特点，但跟踪窗口是固定的，因此当目标随摄像机方向移动时，容易出现目标丢失的情况。

为解决上述问题，文中基于YOLOv8算法[3⁃4]和Deepsort算法，提出了一种专为复杂场景设计的人脸识别与目标跟踪算法FaceNet。该算法充分利用YOLOv8在目标检测中的优异性能，快速、准确地识别出图像中的人脸区域；同时，还结合Deepsort算法的深度学习特性实现了对目标的高效跟踪。首先，在人脸检测阶段，YOLOv8通过其先进的卷积神经网络（Convolutional Neural Network， CNN）架构，在各种光照和背景条件下保持良好的识别率，这一过程也确保了系统在动态环境中能够及时地捕捉到人脸信息；随后，使用Deepsort算法进行目标跟踪，该算法基于深度特征和外观信息，能够有效区分不同的人脸目标并追踪其运动轨迹。通过引入卡尔曼滤波器和匈牙利算法，Deepsort算法在处理目标之间的遮挡和重识别时展现出了较强的鲁棒性。

1" 相关工作

1.1" YOLOv8

YOLOv8算法作为一种突出的单阶段目标检测方法，基于之前YOLO目标检测算法的成功，通过引入新的改进特性大幅提升了准确性和速度。YOLOv8网络主要由4个部分构成，即输入、主干网络、颈部网络和输出测量。YOLOv8的主干网络由Conv、C2f与SPPF模块组成，其中C2f模块可以通过引入更多分支跨层连接，使模型获得更丰富的梯度流信息。SPPF模块是一种池化模块，旨在实现空间不变性，保持输入数据的位置一致性，以增强神经网络的识别能力。YOLOv8的颈部网络负责特征融合，将浅层图形特征与深层语义特征进行融合，使其更加全面，并同时包含FPN和PAN模块。其中，FPN是自顶向下的构造，PAN是自底向上的构造。YOLOv8采用解耦头对目标帧进行回归分类和分类判断，从而提取位置特征及类别特征，并采用无锚方式直接预测得到预测帧的参数，增强模型的泛化能力。损失函数包括分类和定位两种，分类损失函数采用BCE损失函数，定位损失函数采用分布焦点损失函数和CIoU损失函数。

1.2" DeepSort

Sort算法[5]是一种简单且有效的经典算法，其利用卡尔曼滤波器实现跟踪器对运动跟踪的预测功能，并利用匈牙利算法发现检测结果和跟踪器预测结果的最优分配函数，但该方法忽略了内容特征的匹配，难以解决遮挡和目标识别问题。文献[6]提出了DeepSort算法，该算法在Sort算法的基础上增加了级联匹配策略，考虑了目标间距和特征相似性，对新生成的跟踪轨迹采用验证机制，在消除错误预测结果的同时还解决了遮挡和目标识别问题。

2" 基于YOLOv8和DeepSort的人脸识别与目标跟踪算法

本文所提出的算法结合了YOLOv8的高效目标检测能力和DeepSort的强大目标跟踪功能，进而实现了复杂场景下的人脸识别与跟踪任务。文中采用改进YOLOv8实时检测视频流中的人脸，改进DeepSort则负责对这类人脸进行持续跟踪。本文算法的实现流程如图1所示。

2.1" 改进的YOLOv8人脸识别算法（FaceD⁃YOLOv8）

YOLOv8支持在嵌入式设备上进行人脸识别，但在复杂场景下还需进一步优化结构，以产生更准确、更高效的结果。

借鉴GhostNet[7]和分组卷积的原理，在YOLOv8中引入了FM_C⁃C2f模块。该模块可同时从轻量级视角和多尺度融合视角提取特征，从而在管理参数数量的同时提高计算效率，而且其非常适合集成到物体检测模型中。图2展示了FM_C⁃C2f模块的结构。通过利用FM_C⁃Bottleneck模块，FM_C⁃C2f模块为浅层网络层分配了更多的计算资源和参数，从而增强了浅层特征中多尺度信息的学习和表示，以此产生了一个具有多尺度特征增强功能的跨层连接模块。

DyHead（Dynamic Head）是文献[8]提出的一种用于目标检测任务的技术，通过结合头部选择器模块，提供了灵活和自适应的机制，可以根据输入图像的内容和特征，动态选择与调整网络中的头部结构。DyHead集成了多个头部的自我注意，用于规模感知、空间感知和任务感知，从而进一步提升性能和适应性，更重要的是，DyHead还能够满足多任务学习和模型压缩的要求。在对模块进行优化后，本研究设计了FaceD⁃YOLOv8结构，用于在复杂场景下实现对人脸的实时识别，具体网络结构如图3所示。

2.2" 改进的DeepSort人脸跟踪算法（FaceT⁃DeepSort）

DeepSort算法是一种基于检测的目标跟踪方法，其将单目标检测网络的输出作为多目标跟踪的输入。本文对DeepSort算法进行了改进，以有效应对跟踪过程中复杂场景带来的挑战，从而提高模型的整体跟踪性能。

在目标跟踪算法中，引入重识别技术的主要目的是从目标中提取特征，并测量这些特征之间的距离，以确定不同帧中的目标是否属于同一实体。虽然DeepSort算法在Sort算法的基础上增加了深度特征提取网络，但仍存在一些局限性，例如特征提取网络的层数较少，因此其特征提取能力有限。此外，该算法没有充分利用不同通道之间的特征信息。

基于上述考虑，文中采用能够学习全尺寸特征的轻量级再识别网络OSNet[9]。OSNet由多个残差块组成，每个块包含具有不同感受野大小的卷积特征流，以捕获不同尺度的空间特征。首先，使用全尺寸残差块提取不同感受区域的图像特征；然后，将不同尺度的特征单独输入到通用聚合门中，该聚合门对不同尺度的特征赋予不同的权重，并将其进行合并以生成全尺寸的特征图；最后，对得到的全尺寸特征图进行测量，得出最终的再识别结果。同时，由于跟踪过程中固有的挑战，包括光照变化、视点变化和遮挡，原始的DeepSort算法在级联匹配中受到了限制，这些因素会导致帧之间相同的外观发生实质性的变化，使连续帧外观特征之间的相似性得分下降到预定的阈值以下，从而造成级联匹配失败。为了解决这些问题，本文在DeepSort算法中引入GIoU[10]，以取代原有的IoU匹配。GIoU不仅考虑了两个矩形框之间的重叠，还考虑了不重叠的部分，从而可以更好地测量框之间的空间关系。因此，在目标之间发生遮挡或视频帧被丢弃的情况下，设置适当的GIoU阈值解决由于矩形不相交而导致的IoU关联匹配失败问题。图4为FaceT⁃DeepSort人脸目标跟踪流程。

3" 实验与结果分析

对所提出的算法在不同设置下进行全面评估，并选取部分SOTA算法进行比较。实验环境信息如表1所示。

3.1" 对比方法

对于人脸识别方面，本研究选择了5种当前的主流方法进行对比实验，包括：Faster R⁃CNN[11]、CenterNet[12]、YOLOv3[13]、YOLOv5[14]和YOLOv8。在人脸目标跟踪方面，本研究选择了SiamFC[15]、SORT、ByteTrack[16]、FairMOT[17]和DeepSort进行实验对比。

3.2" 评价指标

本文主要从精度与复杂度两方面来评估模型性能，采用平均精度均值（mean Average Precision， mAP）、参数量（Params）、计算量（Giga Floating⁃point Operations Per Second， GFLOPs）和计算速度（Frame Per Second， FPS）作为评价指标。对于FaceT⁃DeepSort目标跟踪算法，选择的评价指标包括目标跟踪准确度（TA）和目标跟踪精度（TP）。

3.3" 数据集

对于人脸识别模型FaceD⁃YOLOv8的性能验证，选择了公开的人脸识别Flicker⁃Faces⁃HQ数据集作为实验数据样本。该数据集是一个高质量的人脸图像数据集，主要目的为训练生成对抗网络（Generative Adversarial Network， GAN）模型。数据集在年龄、种族和图像背景方面均存在较大差异，其中还覆盖了眼镜、太阳镜以及帽子等附件。

为了验证人脸目标跟踪算法FaceT⁃DeepSort的性能，本文选择公开数据集ECCV16 Face Tracking，该数据集共8段视频，总时长为1 652 s，总画面帧数共42 008张，共包含50余个人脸目标。

3.4" 人脸识别实验

对于人脸识别模型FaceD⁃YOLOv8的训练，输入图像大小为640×480，迭代次数为500次，批大小为16次。算法优化采用随机梯度下降法，初始学习率为0.001，动量为0.94，权重衰减为0.000 5。在Flicker⁃Faces⁃HQ上进行的人脸识别结果如表2所示。

从表2实验结果可以看出，FaceD⁃YOLOv8的各项指标表现出了明显优势，由此说明在复杂环境下，如人体运动和人脸模糊，所提出的检测模型具备良好的检测能力和较高的鲁棒性。

3.5" 人脸跟踪实验

为了测试所提出的FaceT⁃DeepSort算法在实际场景下的应用表现，在ECCV16 Face Tracking数据集中进行了人脸跟踪对比实验，结果如表3所示。

从表3可以看出，所提方法的人脸目标跟踪准确度（TA）为57.6%，目标跟踪精度（TP）为75.9%，与DeepSort相比分别增加了19.2%和9.1%。由此说明所提方法在跟踪的准确性上具有明显优势，更适合在实际复杂场景中应用。

4" 结" 语

为解决在复杂场景下现有方法对人脸识别和跟踪精度低的问题，本文提出了改进的人脸识别算法FaceD⁃YOLOv8和人脸目标跟踪算法FaceT⁃DeepSort。实验结果表明，所提算法的综合性能优于当前的主流算法，具有良好的工程应用价值。下一步将开展多人脸目标识别与跟踪的算法研究，实现系统级的多场景全面应用。

参考文献

[1] FORESTI G L， MICHELONI C， SNIDARO L， et al. Face detection for visual surveillance [C]// 12th International Conference on Image Analysis and Processing. Mantova， Italy： IEEE， 2003： 115⁃120.

[2] COMANICIU D， RAMESH V， MEER P. Real⁃time tracking of non⁃rigid objects using mean shift [C]// Proceedings IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head Island， SC， USA： IEEE， 2000： 142⁃152.

[3] 李问渠，陈继清，郝科崴，等.一种基于YOLOv8的轻量化盲区检测网络[J].现代电子技术，2024，47（16）：163⁃170.

[4] 王晓军，陈高宇，李晓航.应用动态激活函数的轻量化YOLOv8行人检测算法[J].计算机工程与应用，2024，60（15）：221⁃233.

[5] 杜磊.基于SORT算法的图像轨迹跟踪混合控制方法[J].现代电子技术，2024，47（13）：32⁃35.

[6] WOJKE N， BEWLEY A， PAULUS D. Simple online and realtime tracking with a deep association metric [C]// International Conference on Image Processing. Beijing， China： IEEE， 2017： 3645⁃3654.

[7] 宋中山，周珊，艾勇，等.基于GhostNet的改进模型轻量化方法[J].中南民族大学学报（自然科学版），2024，43（5）：629⁃636.

[8] DAI X， CHEN Y， XIAO B， et al. Dynamic head： unifying object detection heads with attentions [C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2021： 7369⁃7378.

[9] 韩锟，彭晶莹.基于改进YOLOX与多级数据关联的行人多目标跟踪算法研究[J].铁道科学与工程学报，2024，21（1）：94⁃105.

[10] 侯志强，刘晓义，余旺盛，等.使用GIoU改进非极大值抑制的目标检测算法[J].电子学报，2021，49（4）：696⁃705.

[11] 蒋健，刘年，孙超.基于Faster R⁃CNN图像处理的变电站异常设备红外检测方法[J].沈阳工业大学学报，2024，46（2）：157⁃164.

[12] 王英博，刘荣霞.改进轻量化的CenterNet的小目标检测[J].计算机工程与应用，2023，59（17）：205⁃211.

[13] 王凯，娄树理，王岩.基于改进YOLOv3的小目标检测算法[J].应用光学，2024，45（4）：732⁃740.

[14] 何幸，黄永明，朱勇.基于改进YOLOv5的路面坑洼检测方法[J].电子科技，2024，37（7）：53⁃59.

[15] 张红颖，贺鹏艺，王汇三.基于改进SiamFC的实时目标跟踪算法[J].激光与光电子学进展，2021，58（6）：308⁃316.

[16] 聂源，赖惠成，高古学.改进YOLOv7+Bytetrack的小目标检测与追踪[J].计算机工程与应用，2024，60（12）：189⁃202.

[17] 彭嘉淇，王涛，陈柯安，等.结合时空一致性的FairMOT跟踪算法优化[J].中国图象图形学报，2022，27（9）：2749⁃2760.

作者简介：李昆仑（1982—），女，回族，河南项城人，硕士研究生，副教授，研究方向为人工智能、模式识别、算法设计。