基于动态加权可变形部件模型的行人检测

高　华，邬春学，鲁　俊

(上海理工大学 光电信息与计算机工程学院，上海 200093)



基于动态加权可变形部件模型的行人检测

高华，邬春学，鲁俊

(上海理工大学 光电信息与计算机工程学院，上海 200093)

近年来具有代表性的工作之一是Felzenszwalb等人提出的可变形部件模型。文中从可变形部件模型中存在的一些问题展开讨论，并提出了一种基于动态加权可变形部件模型的行人检测算法。在各个部件的检测中使用动态调整权值的方法获得更加准确的判断，从而识别处于复杂环境中的行人。实验结果表明，该方法能够有效识别复杂环境中传统DPM方法难以识别的行人。

行人检测；可变形部件模型；动态加权

行人检测技术是模式识别与计算机视觉中的一个重要课题，其在安防系统、人体行为理解、行人运动分析等领域均有重要应用。随着计算机视觉的发展，行人检测技术已经有了较大的进步，从特征提取到分类和定位方面均有多个研究分支。其中，DPM(Deformable Part Model)[1]是布朗大学的Felzenszwalb等人在2010年提出的基于部件的物体检测算法，目前已成为检测效果较为出色的几种算法之一。DPM考虑物体是由多个部分组成的，因此由部件和整体的组合能够更好的描述一个物体，设计了根滤波器和部件滤波器来分别从整体和局部检测物体的特征，最后将根和部件进行整合表征整个物体。

1　相关工作

自2005年以来，行人检测方面的研究发展迅速[2]。Dalal等人[3]在2005年提出一种HOG(Histograms of Oriented Gradients, 梯度方向直方图)+SVM(Support Vector Machine, 支持向量机)的行人检测算法，该算法计算了行人整体的HOG特征，组成高维数据使用SVM进行训练分类，以达到较高的检测精度，但该方法是基于整体的特征，对于身体形状变化较大的行人检测精度并不理想；另外也有基于SIFT特征[4]和Haar小波特征[5]的行人检测方法，也取得了良好的效果；X Ren等人[6]针对HOG中纹理和边缘等特性的利用不充分的问题，提出了一种基于稀疏编码直方图的行人检测，在特征提取上进行了改进，使得目标检测识别效果有了一定改善；近年来基于神经网络和深度学习的行人检测发展迅速，NVIDIA公司使用GPU进行深度学习[7]，已达到较高的检测精度的实时处理要求。

在行人被遮挡时的检测方面，Tang S等人[8]于2014年发表了一篇检测行人间重叠的检测算法，该算法基于可变形部件特性，训练了重叠行人的检测模型，能较好地检测到两人重叠时被遮挡的行人；Hsiao E等人[9]也在此基础上设计了检测方法，能检测重叠的行人和物体。

DPM中使用的各个部件权值稳定，这就导致行人被人或物体遮挡和行人处于复杂背景下时，由于整体滤波响应值不高，所以行人容易被忽略。本文在此问题上设计了一种动态加权算法，可在只检测出行人一部分部位的情况下进行加权组合，得到理想的最终分数，获知其较准确的位置。

2　算法介绍

2.1可变形部件模型

可变形部件模型定义了一个模糊的根滤波器和若干个更高分辨率下的部件滤波器，假设F是大小为w′h的滤波器。首先对图像缩放并计算HOG特征，构建图像特征金字塔H，p=(x,y,l)表示特征金字塔中l层图像特征的(x,y)位置的特征元素，f(H,p,w,h)表示在特征金字塔H中以p处特征元素为左上角、大小为w′h的检测窗口所有特征向量串联起来的高维特征。则滤波器在此检测窗口的得分可表示为F×f(H,p,w,h)，文中可使用F×f(H,p)来表示此得分，因F中已隐含w和h两个值。

物体的检测综合得分为根滤波器和若干部件滤波器得分之和，再减去各个部件经过形变的惩罚分数，表示为

(1)

其中，di是一个四维向量，指定了变形代价;fd(dx,dy)=(dx,dy,dx2,dy2)是变形特征;b为偏移量。

2.2部件动态加权可变形部件模型

在可变形部件模型中，部件的权值在使用分类器训练时就已确定，并隐含在滤波器中。由于行人最后的总体得分是根和部件的简单叠加，这就导致行人检测过程中的最终得分依赖于全部的部件滤波器，在行人的身体部分被遮挡或只有半身露出时获得的分数并不高，因此易被漏检。

图1　DPM漏检情况

实验发现，DPM在正面人体检测中获得较好的检测结果时，一般是在身体部位全部或者绝大部分检测出来的情况下。这就使得被遮挡时行人部分部件得分削减严重，最后的得分较低。为解决这一问题，本文将动态调整部件的权重，使得被有效检测出的部件能更多的贡献综合得分。

基于部件动态加权的可变形部件模型定义了可变的权重W=(w1,…,wn)，在部件获得较高的检测分数的情况下调整部件的权重使得行人的最终检测分数提高。根和部件的得分可表示为n+1元组S=(s0,s1,…,sn)，其中s0为根的得分，s1,…,sn分别为n个部件经过形变惩罚后得分。W的动态调整过程表示为

(2)

通过分类器检测训练样本中的正样本和负样本得到部件的阈值T，设定部件得分超过阈值的数目>2来判定是否调整阈值，是为了避免单个部件对行人检测起到决定性作用。如一个与行人头部类似的物体得分较高，有可能会使其权重为1，将大幅提高误检率。各个部件调整后的权重为其得分在所有部件得分中的比重，是基于重要部件得分较高，因此更能够起到决定作用的事实。

采用部件动态加权的可变形部件模型更好的突出了行人的部件特征，当行人的部件检测结果较为理想的情况下，增加其权值使行人检测总体结果更加可信。

3　实验结果与分析

实验采用的环境为Intel(R)Core(TM)i3-4150双核处理器，4GB内存，Windows7 64Byte旗舰版。算法使用GRAZ_01数据集[10]中的部分正常行人和行人被遮挡的图像进行行人检测。

实验证明，在行人之间相互遮挡和行人被物体所遮挡的情况下，均能较好的识别被遮挡行人。

在行人遮挡严重,如图2(a)中右二行人的情况下，由于部件检测得分多数不理想，所以无法采用调整权值的方式进行检测，最终导致行人漏检。

通过调整阈值的方法在GRAZ_01数据集[10]上进行准确率与召回率测试，分别采用DPM和本文方法进行行人检测，测试所得准确率与召回率曲线如图3所示。实验表明，使用本方法在保证召回率的情况下有较高的准确率。

图2　检测结果对比

图3　准确率与召回率曲线

4　结束语

本文对DPM算法的检测过程做了简要分析，提出可变形部件模型在行人被部分遮挡情况下存在的问题：行人被遮挡时整体得分会有一定损失，加之被遮挡部件检测分数较低，导致行人整体得分被削减，造成行人漏检的情况。针对此问题提出一种部件权值动态调整方法，将得分高于阈值的部件权值提高，以提高被部分遮挡行人的检测整体得分。由于人体的部件特征是较整体特征更加细致的表达，所以，高可信度的部件本身也就在一定程度上代表了高可信度的行人整体，使用增加权值的方法更加符合人体视觉的工作原理。实验证明本文方法能有效检测出被遮挡情况下的行人。

由于行人整体得分一般较部件得分更高，所以在一些行人被物体遮挡严重的情况下，虽使用本方法能提高得分，但并不能弥补整体检测分数的不足，在这种条件下如何有效的检测出行人，还有待进一步研究。

[1]FelzenszwalbPF,GirshickRB,McAllesterD,etal.Objectdetectionwithdiscriminativelytrainedpart-basedmodels[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2010,32(9):1627-1645.

[2]DollarP,WojekC,SchieleB,etal.Pedestriandetection:Anevaluationofthestateoftheart[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2012,34(4):743-761.

[3]DalalN,TriggsB.Histogramsoforientedgradientsforhumandetection[C].IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2005.

[4]LoweDG.Distinctiveimagefeaturesfromscale-invariantkeypoints[J].InternationalJournalofComputerVision,2004,60(2):91-110.

[5]ViolaP,JonesMJ,SnowD.Detectingpedestriansusingpatternsofmotionandappearance[J].InternationalJournalofComputerVision,2005,63(2):153-161.

[6]RenX,RamananD.Histogramsofsparsecodesforobjectdetection[C].Penna:2013IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2013.

[7]NVIDIA.GPUs-theengineofdeeplearning[EB/OL]. (2009-12-23)[2015-11-11].https://developer.nvidia.com/deep-learning.

[8]TangS,AndrilukaM,SchieleB.Detectionandtrackingofoccludedpeople[J].InternationalJournalofComputerVision,2014,110(1):58-69.

[9]HsiaoE,HebertM.Occlusionreasoningforobjectdetectionunderarbitraryviewpoint[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2014, 36(9):1803-1815.

[10]FusseneggerM,OpeltA,PinzA,etal.Objectrecognitionusingsegmentationforfeaturedetection[C].London:Proceedingsofthe17thInternationalConferenceonPatternRecognition, 2004.

Pedestrian Detection Based on Deformable Part Model with Dynamic Weights Adjustment

GAO Hua, WU Chunxue, LU Jun

(School of Optical-Electronic and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China)

Pedestrian detection is an active research in computer vision. One of the representative works in pedestrian detection in recent years is the deformable part model (DPM). In this paper we discuss the disadvantages in DPM, and propose a new method based on the dynamic weight adjustment in DPM. The weight of the parts in DPM is adjusted dynamically to obtain more reliable results for identifying pedestrians in complex environments. Experiments show that this method can identify pedestrian more effective than the traditional DPM in complex environments.

pedestrian detection; deformable part model; dynamic weights adjustment

2015- 12- 15

国家自然科学基金资助项目(61202376)；上海市教育基金会晨光计划项目(10CG49)；上海市教委科研创新项目(13YZ075)

高华(1989-)，女，硕士研究生。研究方向：数字图像处理。邬春学(1964-)，男，博士，教授。研究方向：物联网与计算机控制技术。

10.16180/j.cnki.issn1007-7820.2016.09.001

TP391.41

A

1007-7820(2016)09-001-03