基于CENTRIST方法与显著图分割的行人检测方法

李 磊，张 博

(1.上海市公安局青浦分局, 上海 201700；2.上海交通大学 a.电子工程系 图像通信与网络工程研究所；b.上海市数字媒体处理与传输重点实验室, 上海 200240)



基于CENTRIST方法与显著图分割的行人检测方法

李 磊1,2a，张 博2a，2b

(1.上海市公安局青浦分局, 上海 201700；2.上海交通大学 a.电子工程系 图像通信与网络工程研究所；b.上海市数字媒体处理与传输重点实验室, 上海 200240)

在智能监控系统中，行人是最为关键的目标对象。监控系统可根据当前捕获的行人检测结果，触发跟踪系统持续观察兴趣目标，从而给出兴趣目标的行为与状态信息。考虑到行人检测结果直接影响跟踪系统的输出，基于CENTRIST(Census Transform Histogram)方法的行人检测结果，采用显著图分割技术，将包含行人的前景区域与检测框内的背景区域分离开来，使得跟踪系统能够根据行人的主体运动部分做出准确判断，有效地缓解了背景区域以及行人局部运动(如手、脚运动)对跟踪结果的干扰。实验结果表明，该行人检测方法在提高后续跟踪模块准确率的同时，又能适用于实时性要求较高的智能视频监控系统。

智能监控；行人检测；显著图分割

行人检测是计算机视觉领域中的一个重要问题，并且被广泛应用于场景监控、智能交通、先进车辆技术、视频摘要提取等众多领域。如何在各种复杂场景下，快速准确地实现行人检测仍然是极具挑战性的课题。同时，行人检测往往作为后续跟踪系统的输入，其检测结果的精确性将直接影响跟踪结果的稳定性和准确性。

近十年来，各种行人检测的算法相继被提出，并在计算机视觉领域产生了许多商业应用，如比利时Traficon生产的等待区行人检测产品Safe-walk， 瑞典沃尔沃集团生产的车载行人检测系统。但是，行人检测仍然面临诸多挑战问题：当行人被背景遮挡、行人之间发生相互遮挡，存在背景的混乱与干扰时，都会导致行人检测的准确率明显下降。另一方面，为获得对行人的持续观察并实现后续行为分析，跟踪模块通常级联在行人检测模块之后，为系统提供兴趣目标的时空轨迹和其他状态信息。通常，智能交通系统对行人检测和跟踪的实时性和鲁棒性有很高的要求，目前能代表最先进水平的行人检测与跟踪系统中，往往行人检测算法的计算复杂度较高，以给出初始帧兴趣目标的精确定位。接下来，跟踪系统将根据行人检测结果实时给出后续帧的时空轨迹定位，因此跟踪系统的计算复杂度通常较低，性能主要依赖于初始帧目标检测模块的定位结果。在这些系统中，行人检测模块与跟踪模块之间存在一个有效的反馈机制。一方面，跟踪的结果可以限定检测模块的检测范围。一般在行人检测问题中，假设行人的运动速度相对缓慢，行人在下一帧中可能出现的位置被限定在当前跟踪位置的邻域范围内，相比于在整个帧内检测，节省了大量计算时间，有效地提高了时效性。另一方面，检测结果可以辅助调整跟踪结果，并且在目标物体从视频视野外重新回到视野之中的这种情况下，检测模块是重新开启跟踪检测机制的关键。当跟踪结果由于光流不稳定等因素而导致偏移目标物体实际位置时，检测模块能够及时根据检测到的结果对跟踪结果进行修正，防止跟踪误差累积；而在长期跟踪的问题中，目标物体一旦移动到视频视野之外，跟踪模块无法工作，此时检测模块在整个帧内检测，一旦目标物体回到视野范围，检测模块可以重新确定其位置，并以此为初始位置再开启跟踪模块，使得长期跟踪得以继续。

现在的检测算法中，检测结果均用矩形框表示，但包括行人在内目标物体通常具有不规则的外形，因此，检测到的矩形框内除了包括行人的兴趣区域以外，还或多或少地存在背景区域的图像内容。就目前的跟踪算法而言，无论是稀疏特征点跟踪还是基于密集运动场的跟踪，都会受到背景区域运动信息的干扰。在行人检测问题中，人体躯干的主体运动是跟踪算法重点分析的对象，人体手脚的局部运动也会对跟踪计算结果造成干扰。因此，如何有效地定位人体的躯干部分是一个关键问题。

本文基于CENTRIST (Census Transform Histogram)行人检测算法提出一种更为精确的行人检测算法，选择CENTRIST行人检测算法主要考虑了其实时性和鲁棒性，加入显著图分割方法可有效分离背景区域，使得跟踪结果基于人体的全局运动信息输出，实验结果表明该方法显著提升了后续跟踪模块的精确性和鲁棒性。

1 基于CENTRIST方法的行人检测

在行人检测领域，检测器的特征描述子是决定检测准确率的关键。目前，HOG (Histogramsof Oriented Gradients)，SIFT (Scale-Invariant Feature Transform)，CENTRIST等都是十分常见的特征描述子。

HOG在行人检测中的应用十分广泛，它通过对梯度方向做统计，生成HOG特征向量来训练SVM (Suport Vector Machine)，从而检测图像或视频中的人。HOG行人检测的准确率较高，可达到86%。但是，其处理过程较为繁琐，并且在SVM分类器中使用高斯核，这使得HOG行人检测的计算时间较长[1]。

SIFT对旋转、尺度缩放、仿射变换、视角变化、光照变化等干扰因素具有一定的鲁棒性，因此在图像匹配、物体识别、图像拼接等物体尺度、视角变化很大的领域中应用十分广泛。而在行人检测中，行人往往以直立的姿态出现，并且在同一视频内，行人的尺度大小变化相对来说比较小。另一方面，对行人的跟踪通常不会持续太长的时间，在这段时间内，光照等外界因素可以视为恒定，由此可见，SIFT在行人检测中并不能发挥出其优势。

CENTRIST描述物体边缘轮廓的信息，它先对图像进行Sobel边缘提取，消去局部纹理特征；然后计算图像中相邻像素的比较信息，即比较1个像素与其周围8个相邻像素的灰度值大小来确定CT (Census Transform)值，如图1所示。可以发现，CT值计算的是一种相对灰度分布特性，因此对光照变化和噪声干扰都有一定的鲁棒性。接下来，CENTRIST检测方法将计算当前候选区域内所有像素点的CT值，得到CT直方图，即CENTRIST描述符，它可以和线性分类器结合得十分紧密，因此，能够很大程度地节约计算时间。总的来说，CENTRIST是一种平均检测率较高(83.5%)，且速度较快的描述子[2-3]。

图1 CENTRIST整体工作框架及CT值的计算方式

利用CENTRIST行人检测结果进行行人跟踪时，通常先要选取兴趣特征点来计算行人的运动场信息。因此，兴趣特征点的提取正确与否直接决定了跟踪效果的好坏。如果物体的检测框不够精确，则会混入较为可观的背景区域信息。那么，计算行人的运动信息时，混入的背景特征点会作为局外点干扰，导致行人运动信息的计算结果存在较大误差。

计算下一帧的行人定位框时，本文首先用Lucas Kanade光流法计算每个特征跟踪点在下一帧的位置，再利用这些跟踪点，计算每个特征跟踪点的位移，以及每个点在相邻两帧中的尺度变化，即

(1)

式中，SNextk是第k个点对在下一帧中的欧氏距离；SPrevk是第k个点对在当前帧中的欧氏距离。最后，取Si和Scalek的中值作为两帧之间行人框的位移和尺度变化值，计算出下一帧中行人框的位置和大小。

如果有相当数量的特征点落在背景区域，由于物体与背景的运动场存在明显差异，计算出的位移和尺度变化将混入背景的相应信息，导致计算结果不能真实反映行人的位置和尺度信息，进而导致跟踪系统的鲁棒性显著下降。

如图2所示，图2a显示初始帧的行人检测结果不够精确，此时行人框定位不够紧凑，导致有较大的背景区域被计入行人的跟踪过程中，从而导致跟踪结果的行人框明显大于行人区域的尺度大小，如图2b所示。对应地，图2c的行人检测结果定位较为精确，行人框定位结果中混入的背景区域小，此时跟踪的结果有更好的性能。如图2d所示，跟踪结果的行人框大小与实际的行人区域尺度大小基本一致。

图2 行人检测结果对跟踪结果的影响

2 基于显著图分割方法分离CENTRIST行人检测结果中的背景区域

为了去除跟踪过程中背景特征点对跟踪结果的不良影响，笔者采用GMR (Graph-Based Manifold Ranking)方法来提取行人框中的显著区域[4]，也就是行人的躯干部分，并且将提取出的显著区域作为掩模(mask)来滤除背景中的特征点。

从图3中可以看出，直接根据初始检测结果也就是图3a的行人框中提取特征点，会有一小部分特征点落入背景区域，从而造成跟踪精确度下降，最终得到如图2(b)的尺度明显变过大的跟踪结果。采用图3c中检测获得的显著区域作为掩模滤除背景特征点之后，所有特征点都落在了行人身上，因此可以有效地排除背景特征点对行人跟踪结果的影响。

3 实验比较与分析

表1左侧的结果是利用CENTRIST行人检测方法[4]的部分检测结果，可以看到，行人区域的定位框虽然框到了目标物体，但与此同时，大量的背景也被框入，这将会显著降低检测结果的精确度进而影响后续跟踪结果的准确度。表1右侧的结果在左侧图片的基础上，利用GMR算法，分割出行人检测框中的显著区域后，根据显著区域得到的可靠特征点修正初

始的检测结果。对比两种检测方法，本文提出的行人检测方法可保证检测结果中包含的背景区域被大幅度缩减，从而提高后续跟踪模块的鲁棒性。

表1 两种检测方法的实验结果对比

笔者对Caltech数据库中的2段视频序列(其中30帧人工标注了行人位置信息)进行了行人跟踪检测的对比：基于CENTRIST检测结果，行人所占百分比平均为45.3%；而本文结合GMR提取显著区域从而滤除背景区域干扰后，行人检测结果中行人所占百分比平均为60.4%。

表2的左侧视频跟踪结果是利用CENTRIST行人检测方法[5]得到的部分跟踪结果，右侧是本文结合GMR实现行人区域分割后，利用紧凑的初始行人框得到的部分跟踪结果。

表2 跟踪性能对比实验

可以看到，左侧的跟踪结果中，由于行人框中的背景较多，且背景静止不动，造成了对行人框位置移动的干扰，导致行人框的移动速度没能跟上行人，而是更多地停留在了背景上；右侧的结果表明，紧凑的初始行人框有效地减少了背景区域的干扰，行人框的移动和尺度均都十分准确。计算两种方法得到的跟踪框与真实跟踪框的重叠度，其中基于CENTRIST检测的跟踪结果，平均重叠度仅为51.1%；而本文结合GMR提取显著区域从而滤除背景区域干扰后，行人跟踪结果中行人框的重叠度达到88.9%。

4 结论

本文在CENTRIST行人检测的基础上，结合基于显著图分割方法分离出CENTRIST行人检测结果中的背景区域，在继承CENTRIST行人检测速度的同时，排除了背景区域对后续跟踪的干扰，有效地提高了跟踪准确率。在对行人位置准确度要求较高的应用，如车载行人跟踪系统中，本文提出的方法具有很高的实用价值。

[1]DALAL N，TRIGGS B.Histograms of oriented gradients forhuman detection[C]//Proc.IEEE Conf.Computer Vision and Pattern Recognition.[S.l.]：IEEE Press，2005：886-893.

[2]WU Jianxin，LIU Nini，GEYER C，et al.C4： a real-time object detection framework[J].IEEE Trans.Image Processing，2013，22(10)：4096-4107.

[3]李广春，罗扬.基于CENTRIST特征的实时行人检测算法的实现[J].电脑知识与技术，2013，9(2)：370-372.

[4]YANG Chuan，ZHANG Lihe，LU Huchuan，et al.Saliency detection via graph-based manifold ranking[C]//Proc.IEEE Conf.Computer Vision and PatternRecognition.[S.l.]：IEEE Press，2013：3166-3173.

[5]WU Jianxin，GEYER C，REHG J M.Real-time human detection using contour cues[C]//Proc.IEEE International Conference on Robotics and Automation.[S.l.]：IEEE Press，2011：860-867.

Pedestrian Detection Based on CENTRIST Method and Saliency Segmentation

LI Lei1，2a, ZHANG Bo2a,2b

(1.ShanghaiCityPublicSecurityBureauQingpuBranch,Shanghai201700,China;2a.InstituteofImageCommunicationandNetworkEngineering,DepartmentofElectronicEngineering；2b.ShanghaiKeyLaboratoryofDigitalMediaProcessingandTransmissions,ShanghaiJiaotongUniversity,Shanghai200240,China)

Pedestrians are the most important objects in intelligent surveillance tasks.When a pedestrian is detected, tracking module of the surveillance system will be triggered.Therefore,activity analysis and status description of the pedestrian can be provided when he/she is detected and tracked.Considering that the tracking performance is directly affected by the initial detection result, in this paper,a pedestrian detection method based on CENTRIST algorithm and saliency segmentation is proposed,which alleviates the interference in tracking incurred by background regions and local motion of human’s hands and feet.The background region and the main moving part of a pedestrian in the CENTRIST detection bounding box can be efficiently separated by the saliency segmentation method.Therefore, the tracking performance can be improved effectively since only the global motion of a pedestrianis computed.The experimental results show that the proposed method achieves promising tracking performance and shows applicability for a real-time intelligent surveillance system.

intelligent surveillance; pedestrian detection; saliency segmentation

TN919.8

A

10.16280/j.videoe.2015.07.022

2014-08-14

【本文献信息】李磊，张博.基于CENTRIST方法与显著图分割的行人检测方法[J].电视技术,2015，39(7).

李 磊(1982—)，硕士，主研图像处理；

张 博(1991—)，硕士，主研图像处理、智能视频分析。

责任编辑：闫雯雯