基于自适应滑动窗的模糊场景行人快速检测

常庆龙，夏洪山

(南京航空航天大学民航学院，江苏 南京 210016)

责任编辑:任健男

近年来，随着计算机和图像处理技术的不断发展，针对公共场所安全的智能化视频监控技术正成为新的研究热点。监控场景中的行人目标检测，是进行智能化监控的基础步骤，也是未来进一步实施场景人群密度监控乃至安全状况预警工作的重要前提。

目前学术上对于监控场景中的行人检测方法一般采取先利用行人定位策略获取行人目标的候选区域，再从候选区域中提取相应的行人特征判别并最终确认场景中的行人目标的设计思路。其中，行人目标的定位一般是以滑动窗的方式实现［1-2］。这类传统的滑动窗策略虽然有利于提高大场景下行人定位的准确性，但由于其计算复杂度较高，并不利于行人检测算法的实时性要求。

另一方面，作为行人检测中的关键步骤，候选区域的行人特征提取一直也是该领域研究的热点。2005年，Navneet Dalal和Bill Triggs提出了通过提取图像中行人轮廓的梯度方向直方图特征(HOG)进行行人检测的方法［3-4］。该方法能够避免行人服饰、表情的影响，有效地提取出行人的轮廓特征，成为近年来行人检测中研究的热点。然而该算法复杂度较高，计算速度慢，后续学者在此算法基础上提出了一系列的优化策略，改进了算法性能［5-8］。尽管如此，该系列算法目前依旧无法满足可能含有数十人的较大场景实时化监控要求。并且，当前国内大多数的视频监控系统中，由于摄像头质量不高而导致监控场景较模糊的情况较为普遍，并且大多数摄像头的角度是俯视角状态。该系算法对于行人目标的姿势、摄像头距离远近有一定的要求，对于环境复杂的安全监控场景而言算法适应性一般。

为了能够实时处理这类模糊俯视角场景，本文提出了一种基于自适应滑动窗快速检测模糊场景行人目标的算法。该算法通过引入一个具有自适应特性的滑动窗对场景的前景二值图像进行特定策略扫描判断，可以快速检测出场景中的行人目标。该算法对场景图像质量要求低，不需要繁琐的训练过程，只需要一定的参数配置步骤即可实现对感兴趣区域的行人快速检测。该算法已在对机场候机楼监控视频的行人检测实验中取得了较好的效果。

1 检测算法

1.1 算法处理流程

对于模糊场景，图像中行人的肤色、发色、表情等细节都不可辨识。因此，传统的以纹理、肤色、发色特征为识别条件的方法都无法实现行人的检测。本文在获得监控场景的前景二值图像(由原图与背景图作背景减得到［9］)的前提下，通过一个自适应缩放尺寸的滑动窗对待检测场景的前景二值图像按自适应匹配的策略扫描，对滑动窗中的前景二值图像按照一系列的判别条件进行筛选，最终得到可能的行人检测结果。具体算法流程如图1所示。

图1 算法处理流程图

1.2 扫描策略

首先，考虑到实际监控场景的具体情况，将一些距离适中的、较为清晰的、位置关键的区域设为感兴趣区(Region of Interest，ROI)。ROI的设立有助于进一步明确场景特征和改进处理算法，从而提高场景处理效率。

如1.1节所述，本文算法通过一个自适应尺寸和步长的滑动窗，按照从左到右、从上到下的顺序完成对整个前景二值图ROI的行人扫描判断与标定，并最终统计人数输出结果。

具体的扫描策略阐述如下:

1)设定待测场景的ROI。

2)根据已知的ROI，初始化滑动窗的初始终结尺寸、横纵向初始移动步长。

3)从ROI的左上角开始，在ROI范围内按照从左到右、从上到下的规则，以一定的横纵向步长移动滑动窗至前景二值图的指定位置，如图2所示。

4)对当前滑动窗尺寸范围内的局部前景二值图按照一定的筛选条件判断是否为行人。判断结束后，计算滑动窗下一步移动步长、尺寸，并按照步长移动其至指定位置。

5)重复步骤4)直到ROI右下角最后一个滑动窗结束。

6)在原图中标定已判断出的行人，并统计当前场景人数。

图2 算法扫描策略

1.3 自适应滑动窗

如1.2节所述，本文算法滑动窗策略区别于传统方法在于其自适应性，主要体现在以下两个方面:1)滑动窗能够根据当前在场景中的扫描位置，自适应调整自身尺寸和移动步长使之近似于当前位置下的一般站立行人尺寸。通过滑动窗尺寸自适应调整可以减少由于景深不同造成的判断误差;2)当滑动窗移动至可能含有行人目标的区域边缘时，能够自适应地进行局部微调使窗口尽可能覆盖完整的行人目标，然后再将窗口内容进行进一步的行人规则判断。通过局部自适应匹配既可以更好地区分出多个毗连行人目标，又提高了行人的定位精度。

1.3.1 滑动窗尺寸与步长

考虑到视频监控区域一般是具有一定范围的中大型场景，因此处于图像不同区域的行人尺寸会具有较大差异，即所谓的景深误差。为了消除这一误差，滑动窗需要能够随着扫描进程自适应调整窗口的尺寸(宽和高)与待检测区域行人直立行走时的前景尺寸近似。相应的，滑动窗的初始尺寸和终结尺寸，分别近似于ROI第一行位置和最后一行位置的单个行人的平均前景尺寸。

同样的，滑动窗横纵向扫描的移动步长也随着滑动窗所处的位置而逐渐发生变化。滑动窗的自适应尺寸与横纵向移动步长计算公式如下

式中:sWidth，sHeight，ws，hs 分别代表滑动窗的宽度、高度、横向步长和纵向步长，其余各参数含义参考图3。

图3 滑动窗尺寸与步长

考虑到不同场景的差异性，图3中所示的滑动窗初始步长和初始终结尺寸需要根据一定数量样本场景图的实验结果反馈来最终确定。

1.3.2 局部自适应匹配

人群聚集的情况是场景监控中关注的重点。如何从重叠遮挡现象严重的人群区域中有效地识别出多个行人目标是本算法必须解决的重要问题。

这里设计出一种滑动窗局部自适应匹配的解决方案:

1)当滑动窗移动至前景面积符合阈值面积条件的位置时，定义该位置右方一定范围为其搜索邻域，如图4的b部分所示。

2)向右逐步移动判断滑动窗，当滑动窗内的前景面积不再增大或到达该邻域右边界时停止右移，如图4的c部分所示。

3)将滑动窗垂直上移至邻域顶部，如图4的d部分所示。逐步下移滑动窗并判断。当滑动窗内的前景面积不再增大或到达邻域下边界时停止下移，如图4的e部分所示。

4)计算当前位置滑动窗内的形心坐标，并判断在一定范围内该形心是否唯一。若不唯一，则退出当前过程，开始下一轮滑动窗分析判断。

5)运用上节中的筛选条件(3，5，6)判断当前滑动窗内的前景是否为行人。若是，则保存形心坐标至形心坐标图中。

该方法将滑动窗在相关邻域内滑动搜索，直至窗口处于邻域内前景面积最大的位置。由于滑动窗尺寸与所扫描场景位置的行人视觉尺寸近似，因此可以理解为当前位置的滑动窗与行人最为匹配。如图5所示，该方法既可以判别区分出一些毗邻的行人目标，又可以通过一定范围内标记形心的唯一性要求，有效避免同一目标被相邻滑动窗重复标识，提高了定位精度。此外，该方法减少了下一步行人判别阶段的计算量，提高了算法在处理大场景图时的实时性。

图4 滑动窗局部自适应匹配示意图

图5 大场景下局部自适应匹配算法的处理结果

1.4 行人判别条件

如何判断滑动窗内的局部前景二值图是否为行人目标，是决定整个行人检测算法能否成功的关键步骤。本文算法从前景二值图运动区域的轮廓形状是否类似人形轮廓的角度考虑，制定一些筛选条件来判别当前滑动窗内的运动目标是否为行人目标。

具体的筛选条件如下:

1)当前滑动窗内的前景运动区域面积不得少于阈值面积(一般为该滑动窗面积的1/3)。由于滑动窗的大小近似于所处扫描位置的行人大小，因此前景运动区域面积应符合阈值面积才可能存在行人目标，这个筛选条件可以筛除很多无效目标，提高了检索效率。

2)左右毗邻误检消除。扫描过程中滑动窗可能处于2个并排行人之间的位置，将滑动窗分为如图6a所示的3个区域，其中L，M，R分别代表各区域的前景面积(以下相同)，通过M＞L和M＞R的条件可以筛除此类情况。

3)左右边缘误检消除。扫描过程中滑动窗可能处于偏向行人左侧或右侧的位置，将滑动窗分为如图6b所示的3个区域，通过|L-R|＜e1的条件可以筛除此类情况，其中e1为阈值面积1。

4)上下毗邻误检消除。扫描过程中滑动窗可能处于2个前后行人之间的位置，将滑动窗分为如图6c所示的3个区域，其中T，M，B分别代表各区域的前景面积(以下相同)，通过M＞T和M＞B的条件可以筛除此类情况。

5)上下边缘误检消除。扫描过程中滑动窗可能处于偏向行人上侧或下侧的位置，将滑动窗分为如图6d所示的3个区域，通过|T-B|＜e2的条件可以筛除此类情况，其中e2为阈值面积2。

6)行李箱误检消除。对于某些特殊场景需要筛除掉一些类似行李箱之类的目标。将滑动窗分别从横向和纵向各分3个区域，如图6e所示。通过L+R+T+B＞e3的条件可以筛除此类情况，其中e3为阈值面积3。

图6 几种滑动窗需要筛除的情况

鉴于上述筛选条件，通常情况下，e1设为滑动窗前景总面积的1/4，e2设为滑动窗前景总面积的2/5，e3设为滑动窗前景总面积的1/4。

本文从行人轮廓形状大小的角度出发，提出了一系列的行人判别条件，并据此对滑动窗的前景图像进行筛选，判别出最终的行人目标。为了达到更好的检测效果，未来可根据不同场景的具体目标特征，进一步定制化相应的场景特征过滤条件。

2 实验结果及分析

本文将首先通过局部场景实验来验证本文算法中的条件筛选法在行人判别中的有效性，然后再通过大场景实验验证本文算法的实际性能。本文实验采用的机器配置为Pentium42.8 CPU，512 Mbyte RAM，仿真软件为MATLAB 7.1。

2.1 行人判别有效性

为了减少计算量，本文采用来自于机场候机楼监控视频的局部区域截图序列作为实验图像。这里分别选取了行人判别领域中传统的模板匹配算法和HOG算法作为本文算法中行人判别条件筛选法的对比对象。为了突出这3种算法之间的差异性，它们的行人定位策略均采用传统滑动窗的扫描策略。以下分别为3种算法的具体实验配置。

2.2.1 模板匹配算法

尽管当前实验场景范围较小，但考虑到滑动窗尺寸固定和模板匹配算法的敏感性，这里针对行人尺寸的差异性分别设计了3种与之尺寸匹配的人形模板，如图7所示。具体的匹配策略则是计算滑动窗中的前景像素与对应人形模板区域的数值相同数目(MatchArea)，若达到一定比例(ThreRati o)则认为当前区域为一个行人，公式如下

图7 模板匹配中的人形模板

2.2.2 HOG算法

由于实验场景较为模糊且尺寸较小，行人往往只有局部身体处于图像之中，并且经常有人群聚集行人之间相互遮挡比较严重的情况出现，采用身体轮廓作为HOG特征已不现实，故而这里采用了文献［5］中的基于行人头肩轮廓的HOG特征，如图8所示。场景图的尺寸为448×208，扫描窗口尺寸为32×32，cell尺寸为8×8，block为2×2个cell，方向区间(bin)设为9，分类器选择线性支持向量机(SVM)。为了简化实现过程，这里直接采用libsvm［10］样本代码，其中核函数采用RBF类型，损失参数C设为1.2，核函数gamma参数设为2.8。基于以上配置，这里对当前局部场景区域选取了400个行人头肩样本(200个正样本、200个负样本)进行训练，得到分类器。

图8 HOG训练样本范例

2.2.3 本文算法

考虑到实验场景尺寸较小，这里本文算法没有对滑动窗的执行自适应尺寸调整，而直接采用了固定的20×80尺寸。横纵向移动步长也分别固定设置为2像素和4像素。上述尺寸由含有10个样本的实验图像序列训练而得。

通过含有100张图像序列的测试样本集的对比实验，可以发现这3种算法在当前实验场景下的结果差异较为明显，如图9所示。从图9中可以看出，在基于相同的滑动窗扫描策略下，无论是模板匹配算法还是HOG算法，其在模糊场景下的行人判别效果均不及本文算法。

图9 行人判别有效性实验结果

人形模板匹配算法由于对行人姿态太过敏感，因此漏检率较高。并且由于该方法中的模板匹配步骤算法复杂度高，其每帧计算时间比本文方法多了近50%，实时性不强。

HOG算法由于测试场景的模糊性以及摄像机高度较低、视野范围较小的原因，误检率较高。同时，由于HOG特征的维数较高，其计算复杂度也较高，其每帧图片计算时间是本文所提算法的几倍，实时性较差。此外，该方法还需要预先对场景进行大量的局部采样训练，可操作性不强。

相较于上述两种算法，本文算法中采用的行人判别条件筛选方式对行人姿势、聚集程度有较强的稳健性，行人判别效果较好。且该方法参数初始化相对简单，具有较好的可操作性，计算较为简单，实时性好。因此，本文算法中采用的条件筛选法比传统行人判别方法更适合于满足这类模糊场景实时监控的要求。

2.2 大场景实际性能

为了能够更为全面地测试本文所提算法在大场景下的实际应用性能。这里采用一组完整连续的候机楼实际监控场景图片序列(图片尺寸为576×720)作为测试对象。为了增加对比性，这里将行人统计领域中常用的像素统计算法一并进行了实验。

对于本文算法而言，这里将滑动窗的初始尺寸和终结尺寸分别设为8×32，46×160，初始横纵向步长均设为4。训练过程中，只选用了少数几张样本图片用于初始化滑动窗尺寸和步长。具体操作流程同本文第1节所述。

对于像素统计算法而言，由于实验场景范围较大，而场景中远近不同的行人前景面积差异较大。为了提高像素统计算法中拟合函数的准确性，这里将场景按距离远近分为3个区域，如图10所示。对每个区域分别进行人数和像素数最小二乘拟合训练(100张图片样本)，得到各区域的拟合函数。实际测试过程中，分别运用这3个拟合函数对场景各区域人数进行估计，取各区域人数之和为当前场景预测人数。图10a原为彩色图，蓝框为ROI，绿线为区域分割线。

图10 像素法区域划分和各区域拟合结果

实验选择了一组含有100张样本的完整连续的场景图片序列进行测试。其中像素统计算法的人数统计平均正确率为60%，而本文所提算法平均正确率达到78%，如图11所示。从实验结果可以看出，本文所提算法正确率明显高于传统的像素统计法。虽然实时性不及传统像素统计算法，但本文算法无须经过复杂的训练过程，并且平均0.7帧/秒(f/s)的处理速度，足以应付实时监控的要求。尽管本文算法正确率一般，但考虑到场景的模糊性、行李干扰等特殊情况，相较于传统行人检测算法，本文算法效果要好很多，如图12所示。图12原为彩色图，蓝框为ROI，绿框为行人目标，红点为目标形心。

3 小结

本文提出了一种用于模糊场景下的行人检测算法。该算法通过对监控场景的前景二值图进行基于滑动窗的一系列筛选条件判断和遮挡情况分析，完成对场景的行人检测，不仅可以统计出行人数目，还可以标记出行人在场景中的分布位置，有利于下一步场景异常状况分析。该方法对于场景的清晰度要求不高，只需要少量样本用于初始化滑动窗尺寸和步长，不需要进行大样本训练，算法实时性较高，便于应用于实时监控系统中。

当然，本文算法仍存在一些不足之处。比如，算法效果受前景二值图的效果影响较大。对于场景中存在倒影情况时，会在去除倒影的同时删除部分行人浅色衣服区域，降低行人识别效果。因此需要进一步改进算法以提高获取的前景二值图像质量。另外，算法对于高密度人群的误检率较高，未来应根据不同场景需求制定更为有效的滑动窗筛选条件和重叠分析策略。

尽管本文算法在候机楼监控视频的实验中的正确率一般，但本文算法的意义在于针对行人检测问题中监控场景画面模糊、样本不足的实际情况，提出了一种高效可行的系统框架和技术思路。未来此算法还可以通过完善滑动窗扫描策略和改进行人判别方法进一步提升性能。下一阶段，在完善上述不足之后，可在当前行人检测的基础上，实现场景中行人异常聚集状况的判断与预警的算法功能。

［1］ROWLEY H A，BALUJA S，KANADE T.Human face detection in visual scenes［C］//Proc.1995 Conference on Advances in Neural Information Processing.MA，USA:MIT Press，1995:875-881.

［2］MOHAN A，PAPAGEORGIOU C，POGGIO T.Example-based object detection in images by components［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(4):349-361.

［3］DALAL N，TRIGGS B.Histograms of oriented gradients for human detection［C］//Proc.2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Soc，Los Alamitos，CA，USA:IEEE Press，2005:886-893.

［4］DALAL N，TRIGGS B，SCHMID C.Human detection using oriented histograms of flow and appearance［C］//Proc.9th European Conference on Computer Vision.Berlin，Germany:Springer，2006:428-441.

［5］LI M，ZHANG Z X，HUANG K Q，et al.Estimating the number of people in crowded scenes by MID based foreground segmentation and Headshoulder Detection［C］//Proc.ICPR 200819th International Conference on Pattern Recognition.Piscataway，NJ，USA:IEEE Press，2008:1-4.

［6］YE Z Q，SU S Z，LI S Z.Research on branch and bound for pedestrian detection［C］//Proc.2011 Proceedings of IEEE International Conference on Computer Science and Automation Engineering.Piscataway，NJ，USA:IEEE Press，2011:366-370.

［7］WU J C，CHEN W，HUANG K，etal.Partialleastsquares based sub-window search for pedestrian detection［C］//Proc.201118th IEEE International Conference on Image Processing.Piscataway，NJ，USA:IEEE Press，2011:3565-3568.

［8］倪恺，肖志涛，张芳.基于梯度方向直方图的行人检测方法研究［J］.电视技术，2011，35(5):96-99.

［9］刘福美.场景监控下的人群密度估计研究［D］.南京:南京航空航天大学，2011.

［10］LIN C J.Libsvm code［EB/OL］.［2011-12-01］.http://www.csie.ntu.edu.tw/～cjlin/.