一种适应运动前景的快速行人检测算法

鲁 超，滕国伟，邹雪妹，安 平

(上海大学 通信与信息工程学院，上海 200444)

一种适应运动前景的快速行人检测算法

鲁 超，滕国伟，邹雪妹，安 平

(上海大学 通信与信息工程学院，上海 200444)

针对智能监控视频中行人的运动特性和基本HOG加SVM人体检测算法的特点，将运动目标检测算法融入基本的HOG加SVM人体检测算法。首先，利用运动目标检测算法确定运动区域矩形窗，并扩大调整矩形窗尺寸获得ROI窗口；然后，根据运动区域尺寸与训练样本尺寸的差距调整ROI窗口的首级窗口缩放因子，并对ROI窗口进行人体检测。实验结果表明，本文算法优于基本的HOG加SVM人体检测算法，具有良好的实时性和适应性。

运动目标检测；ROI窗口；窗口缩放因子；行人检测

目前，人体检测技术是智能视频监控领域的研究热点，引起了国内外学者的高度关注，在理论和实践方面均取得了长足进展[1]。2005年N.Dalal和B.Triggs[2]提出了基于梯度方向直方图(Histograms of Oriented Gradient，HOG)特征和支持向量机(Support Vector Machine，SVM)的人体检测算法，由HOG特征的定义中可见，计算一幅图的HOG特征向量的运算量非常大，离实时应用差距很大。因此很多学者在HOG加SVM人体检测算法基础上进行改进以提高检测速度。其中，文献[3]提出使用积分图快速计算Haar特征，从而加速人脸检测算法，受其启发，F.Porikli[4]提出利用积分图快速计算HOG特征，一定程度上缩短检测耗时，但仍未能达到实时应用的效果，尤其针对高清图片的检测更是远远达不到应用要求。文献[5]利用Adaboost级联分类器取代SVM进行训练和分类，在速度上也有一定的提高，最终实现将320×240尺寸图片检测用时从1 s减少为0.2 s，但仍未达到工业应用的要求。2012年，A.Mogelmose等[6]提出一种用于车载摄像头的两个阶段人体检测算法，首先利用Haar加Adaboost确定需要检测的ROI窗口，再利用HOG加SVM人体检测算法对ROI区域部分进行投票验证，可有效地检测出部分遮挡的行人，并提高人体检测的实时性。文献[7]在文献[6]的基础上，加入目标跟踪算法，进一步提高检测正确率和实时性。

上述方法在保证较高检测率的同时，力求缩短行人检测所用时间，其中，在检测之前确定需要进行人体检测的ROI区域可以极大地减少算法所用时间。本文对此进一步研究，一方面利用帧差法[8]进行前景分割确定需要检测的ROI区域，排除不需要检测的背景区域；另一方面，通过比较运动区域尺寸与用于训练的样本尺寸(64×128)差异来优化HOG特征提取过程中被检测图像的第一级缩放因子。实验结果表明，在保证较高检测率的同时，可以极大限度地减少行人检测过程中的冗余计算量，缩短行人检测耗时。

1 快速行人检测算法

本文提出一种基于运动区域尺寸自适应缩放的快速行人检测算法，主要步骤包括：

1)利用相邻帧差法进行前景提取得到当前帧的运动区域，然后通过运动区域轮廓确定外接运动区域的矩形窗；

2)调整运动区域矩形窗尺寸，将部分背景包含进新得到的矩形窗，即为需要进行人体检测的ROI窗口；

3)根据运动区域尺寸与训练样本尺寸(64×128)的差距自适应调整HOG特征提取过程中ROI窗口的第一级窗口缩放因子，除第一级缩放因子被调整之外，剩下的窗口缩放因子保持原来的1.05倍不变；

4)利用调整缩放因子后的HOG加SVM算法对ROI窗口进行人体检测。

1.1 利用帧间差分法确定运动区域矩形窗

利用帧间差分法确定运动区域矩形窗流程图如图1所示。

图1 确定运动区域矩形窗流程图

1)前景分割

由于前景分割的目的是为了大体确定运动物体所在区域，并不要求得到完整的运动物体，因此，在前景分割算法上采用较简单的相邻帧差法，具体过程如图1虚线框所示。

假设Fm(x,y)和Fm-1(x,y)是图像序列的第m和m-1帧灰度图像，Dm(x,y)是Fm(x,y)与Fm-1(x,y)的差分图像，Bm(x,y)是Dm(x,y)进行阈值化后的二值化图像，阈值为T。当差分图像Dm(x,y)中像素点的灰度值大于阈值T时，就认为该像素点属于运动区域；反之，则认为该像素点属于背景，见式(1)和式(2)

(1)

(2)

2)确定运动区域矩形窗

从二值图像Bm(x,y)中检索出运动区域的外轮廓，根据统计出的轮廓尺寸，筛选出符合要求的轮廓，再遍历轮廓上所有的点，确定外接运动区域矩形窗的左上角顶点坐标、宽和高，最终确定输入图像的运动区域矩形窗的具体位置，并在原图中将运动区域矩形窗分割出来，效果如图2所示。

图2 确定运动区域矩形窗各阶段效果

1.2 确定ROI窗

HOG特征本质上描述的是人体的轮廓特征，据此，在制作用于训练分类器的正样本时，并不是紧贴着人体截取图片的，正样本中人体周围需要包含一些背景。外接运动区域的矩形窗会比分类器所能检测到的人体窗口稍小，因此需要适当扩大运动区域矩形窗，使其能完全覆盖分类器所能检测到的人体区域。

矩形窗扩大倍数实质上由训练样本和分类器性能决定，通过大量实验，仅引入运动目标检测的HOG加SVM算法检测效果与运动区域放大倍数关系，如图3所示。图3a中，当放大倍数为1.3时，正检率最高为93.4%，且平均每帧误检数为最小值0.08；图3b中，随着放大倍数的增加，检测耗时逐渐增加，因此，综合性能与时间确定最佳放大倍数为1.3。

图3 算法检测效果与放大倍数关系

针对本文所用分类器和训练样本，最终的ROI窗口是以运动区域矩形窗为中心放大1.3倍得到的，同时必须保证经过扩大尺寸得到的ROI窗口不超出视频边界范围，针对大小为640×480的视频，ROI窗口由式(3)～式(6)组成

(3)

(4)

(5)

(6)

式中：原点(0，0)位于视频的左上角位置；(Xmv，Ymv)为运动区域矩形窗的左上角顶点坐标；Wmv和Hmv分别对应运动区域矩形窗的宽和高；(XROI，YROI)为ROI窗口左上角顶点坐标；WROI和HROI分别对应ROI窗口的宽和高。

图4展示了由运动区域矩形窗得到ROI窗的两种情况和各自效果。其中里层窗口为运动区域窗口，外层窗口为需要进行人体检测的ROI窗口。第一种情况，运动区域在远离视频边界位置，以运动区域为中心扩大1.3倍后不超出视频边界，如图4a所示；第二种情况，运动区域靠近视频边界，运动区域扩大1.3倍后会超出视频边界，则在超出边界那一侧令视频边界为ROI窗口边界，如图4b所示。

图4 运动区域窗口与ROI窗口的比较

1.3 调整窗口缩放因子并对ROI窗口进行人体检测

1) 优化窗口缩放因子

基本HOG加SVM算法的步骤为：首先输入一幅图像，使用固定大小的窗口(64×128)按步长8对该图像进行密集扫描，计算扫描到窗口的3 780维HOG特征向量，并使用已训练好的SVM分类器根据窗口的HOG特征向量判断该窗口是否为人体；当扫描完当前图像后，判断当前图像是否到达金字塔顶端，若未到达，则将当前图像按1.05倍缩放因子进行缩放，然后对缩放后的图像进行同样的扫描和人体检测，依次循环，直到图像缩放到金字塔顶端位置，完成当前图像人体检测。由此可见，图像的缩放尺度决定所要检测的窗口数目，以及算法复杂度和检测时间。

由于检测窗口尺寸固定为64×128，正常情况下，只有当图像中的人体尺寸缩放到64×128左右才会被判断为人体，在此之前的图像缩放和检测对于人体检测是冗余计算量，而最初的几次缩放由于尺寸更大、占用的计算时间更长，通过控制窗口缩放因子，可以避免这部分冗余计算量，极大地节约时间。

如图5所示，外层框为待检测的ROI窗口，里层框为最终行人检测结果，经测量，ROI窗口尺寸为153×315，人体窗口尺寸为120×233，由基本HOG加SVM算法，ROI窗口按照1.05倍等级依次缩放并检测，当缩放得到的待检图像中的人体窗口尺寸为64×128时，才能通过特征提取与分类将其判断为人体区域，由结果反推可知，ROI窗口按1.05倍等级缩放14次才能使得其内部的人体窗口尺寸缩放为64×128，在此之前缩放形成的14张图像对于人体检测是冗余计算量，这14张图像大小依次为88×182，114×222，109×211，104×201，…，88×182。本文思路是：通过控制第一级ROI窗口缩放因子，使得被检ROI窗口尺寸直接缩放到88×182左右，跳过这部分冗余计算量，然后仍按1.05倍进行缩放。由于运动区域窗口尺寸略小于人体窗口尺寸，因此，通过计算运动区域窗口尺寸与64×128的比值可以得到第一级窗口缩放因子scale0，见式(7)

scale0=min(Wmv/64,Hmv/128)

(7)

图5 ROI窗口及最终行人检测窗口

2)对ROI窗口进行人体检测

利用上述1)中改进后的HOG加SVM检测算法只对ROI窗口进行人体检测，最终检测效果如图6所示，矩形框为最终框出的人体。

图6 行人检测的结果

2 实验及分析

为了检验本文算法的效果，分别对以下3种算法进行性能比较和评估：算法1，基本的HOG加SVM人体检测算法；算法2，仅引进帧间差分法的人体检测算法；算法3，基于运动区域尺寸自适应缩放的快速行人检测算法。

分别对3段视频进行测试，视频为作者对实际场景进行拍摄得到，其中，视频1尺寸为640×480，内部始终有4个行人(偶尔会有遮挡)；视频2尺寸为640×480，内部始终只有1个行人；视频3尺寸为1 920×1 080，内部始终只有1个行人。检测过程中基本的HOG加SVM算法使用的参数有：检测窗口尺寸为64×128、窗口缩放倍数为1.05、块尺寸16×16、单元格尺寸8×8、扫描步长8个像素、梯度方向数9维，HOG特征向量维数为3 780。

3个算法使用完全相同的分类器，本文分类器是利用目前行人检测领域公认的标准样本集——INRIAPerson人体样本集的图片经过裁剪训练得到的。统计过程中，当行人身体的至少80%以上被检为人体才判断为检测正确，被检为人体的背景或者被部分检出的人体判为误检。实验结果如表1所示。

表1 实验结果比较

从表中数据可以看到，利用算法3和算法1对视频2进行行人检测，在正确率仅降低1.8%的情况下，时间降为原来的1/12；对视频3进行行人检测，在正确率仅降低1.2%的情况下，时间降为原来的1/69。均证明本文算法在行人相互遮挡较少情况下，相比基本HOG加SVM算法在保证原有检测率的同时，可极大减少检测时间。

此外，通过比较算法1、算法2、算法3检测同一段视频2的正确率，由算法1到算法3正确率降低1.5%，由算法2到算法3正确率降低0.3%，其主要原因是：1)利用相邻帧差法确定运动区域时，当人体运动量较小时，只有一部分被判断为运动区域，导致之后不能被正确检测出；2)在根据运动区域尺寸与样本尺寸差距调整ROI图像缩放因子时，ROI缩放得过大，以致人体特征不明显，不能被正确检测出。

最后比较算法1、算法2、算法3检测同一段视频1的正确率，由算法1到算法3正确率降低6.6%，降低幅度较大，其主要原因是：视频1中包括多人，经常会有遮挡和重叠，遮挡和重叠的多个行人会被判断为同一个ROI窗口，在调整ROI窗口缩放因子时根据与64×128的差距，导致ROI窗口缩放得太多，以致无法检出。由此可见本文算法针对人流较少、重叠较少的视频具有更好的效果，尤其针对高清视频在保证检测准确度的同时，可极大缩短检测时间。针对这个问题，本文后续将对包含多人的情况进行算法改进，对同一个ROI窗口中有多个行人的情况，将进一步判断出该窗口行人数，根据人数分等级调整图像缩放因子，以提升准确度。

3 总结

本文提出了一种基于运动区域尺寸进行自适应缩放的快速行人检测算法，主要在以下方面：1)引入运动目标检测，利用帧差法确定ROI窗口，缩小人体检测区域；2)经过大量实验统计得到缩放倍数最佳值，将原始运动区域放大得到ROI

窗口；3)优化人体检测时ROI窗口缩放因子，避免冗余计算量。实验结果表明该算法相对基本HOG加SVM算法在保持较高正确率的同时，极大程度避免冗余计算量，大大缩短检测时间，尤其针对高清视频性能更优，可有效解决目前行人检测实时性差的问题。

[1]DOLLAR P，WOJEK C，SCHIELE B，et al. Pedestrian detection: an evaluation of the state of the art[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34(4)：743-761.

[2]DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2005. [S.l.]：IEEE Press，2005：886-893.

[3]VIOLA P，JONES M. Rapid object detection using a boosted cascade of simple features[C]//Proc. 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]：IEEE Press，2001：511-518.

[4]PORIKLI F. Integral histogram: a fast way to extract histograms in cartesian spaces[C]//Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2005. [S.l.]：IEEE Press，2005：829-836.

[5]ZHU Q，YEH M C，CHENG K T，et al. Fast human detection using a cascade of histograms of oriented gradients[C]//Proc. 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]：IEEE Press：1491-1498.

[6]MOGELMOSE A，PRIOLETTI A，TRIVEDI M M，et al. Two-stage part-based pedestrian detection[C]//Proc. 2012 15th International IEEE Conference on Intelligent Transportation Systems. [S.l.]：IEEE Press，2012：73-77.

[7]PRIOLETTI A，MOGELMOSE A，GRISLERI P，et al. Part-based pedestrian detection and feature-based tracking for driver assistance: real-time，robust algorithms，and evaluation[J].IEEE Transactions on Intelligent Transportation Systems，2013，14(3)：1346.

[8]袁国武. 智能视频监控中的运动目标检测和跟踪算法研究[D].昆明：云南大学，2012.

鲁 超(1989— )，硕士生，研究方向为智能视频处理；

滕国伟(1975— )，博士，高级工程师，硕士生导师，研究方向为先进视频压缩技术、先进视频监控技术；

邹雪妹，女，副教授，硕士生导师，研究方向为视频图像信号处理；

安 平，女，教授，博士生导师，研究方向为三维视频处理技术。

责任编辑：任健男

Rapid Pedestrian Detection Algorithm Based on Foreground

LU Chao, TENG Guowei, ZOU Xuemei, AN Ping

(SchoolofCommunicationandInformationEngineering,ShanghaiUniversity,Shanghai200444,China)

Taking advantage of features of pedestrian in intelligent surveillance video and the characteristics of the fundamental HOG plus SVM human detection algorithm, the moving target detection algorithm is added into the fundamental HOG+SVM human detection algorithm. Firstly, moving target detection algorithm is used to determine the rectangular foreground area windows. Then, the prospects of background are added into the rectangular foreground area windows to gain ROI windows by expanding the size of rectangular windows. Secondly, according to the gap between the size of moving region and that of training samples, the first level of the scaling factor of ROI windows is resized and ROI windows are detected. The experimental results show that this algorithm is superior to the fundamental HOG plus SVM human detection algorithm, with good real-time performance and adaptability.

moving target detection; ROI windows; scaling factor; pedestrian detection

国家自然科学基金项目(61172096；61271212)；新型显示教育部重点实验室开放课题资助项目(P201104)；上海市科委重点资助项目(12511502502)

TN911.73

A

10.16280/j.videoe.2015.01.029

2014-07-07

【本文献信息】鲁超，滕国伟，邹雪妹，等.一种适应运动前景的快速行人检测算法[J].电视技术,2015，39(1).