一种基于视频的道路行人检测方法

付 洋，宋焕生，2，陈 艳，朱小平

(1.长安大学 信息工程学院，陕西 西安710064;2.陕西省道路交通智能检测与装备工程技术研究中心，陕西 西安710064)

混合交通是中国交通的主要特点，其中行人交通占有很大一部分比例，特别是在城市交通环境中，而且这种现象也将维持相当长一段时间。因此，保障行人安全和减少其对机动车辆正常行驶的干扰是交通建设的重要目标。近年来，随着图像处理技术的快速发展，基于视频的行人检测技术被广泛用于智能交通管理，成为研究的热点。

麻省理工学院(MIT)人工智能实验室的Miacheal Oren等人提出的基于小波变换的模板匹配检测算法［1］，首先对大量样本图片做Haar小波变换得到这些图片的特征参数，其次对这些特征参数求取平均值并以此建立模板库，最后对输入图像做小波变换后，将得到的参数与模板库匹配，可以准确地识别行人。但该算法计算量太大，虽然，HaliElzein等人对此方法做了一定的改进［2］，通过选取一部分有代表性的样本建立模板，使得计算复杂度有一定的提高，仍然不能满足实时性要求。於建生等人提出了一种基于视频的新型行人识别方法［3］。该方法通过背景差法得到视频图像中的前景物体，结合行人的形状、非刚体性等特征对前景目标采用Kalman滤波器进行匹配跟踪，实现行人识别。姚亚夫等通过背景差分得到有行人运动目标二值图像，引入水平融合值、垂直融合值将满足融合要求的非连通区域外接矩形融合得到一个新矩形，以该矩形的中心作为行人位置特征，以此对行人检测和跟踪［4］。后两者提出的方法能准确地检测行人，但都是针对于近场景中出现的行人目标，当有遮挡和光照等影响时会导致目标跟踪丢失，严重影响检测效率，无法满足实际交通场景中行人检测的要求。这两种算法效率较前面方法有一定的提高，但对图像的处理都以像素为基本单位，如果图像分辨力较大时仍然不能满足系统的实时性要求。

本文提出了一种基于背景差法提取运动目标的方法，依据行人的轮廓、行人的像素高度与实际距离的线性变化关系和行人位置特征，对行人目标做连续多帧匹配跟踪求得其平均速度，最后结合行人速度特征，从而实现行人目标检测。该方法具有识别准确度高、实时性强，并能有效地解决遮挡和光照干扰等特性。同时，将图像分为大小相同的块，以块为单位处理图像数据，有效地降低了算法复杂度，具有良好的实时性。

1 目标提取

本文采用背景差法提取运动目标，根据李璄等人提出的道路背景提取更新算法［5］提取背景模板并加以实时更新。对于连续输入的图像序列，通过背景差法做二值化处理即可得出运动目标，同时使用形态学滤波消除噪声的干扰。实时灰度图像如图1所示。

图1 实时灰度图像

在实际的交通场景中因光照影响使得背景差得到的二值化目标常带有影子，严重影响运动目标的检测。为了提高算法效率，本文将二值化图像分割成相等大小的块，以块为单位对二值化图像进行处理，像素二值化图像如图2所示。假设输入图像大小为H×W(H表示图像高度，W表示图像宽度)，将图像分割为R×C(R为块高度，C为块宽度)。如果每个块中白色像素的个数大于该块像素总和的一半，就将该块赋为白色，否则赋为黑色，该过程称为块二值化过程，如图3所示。后文提到坐标均指块坐标，每个块坐标用其左下角像素点的坐标表示。

如图3所示，二值化图像上行人的高度明显比影子要高，本文利用这一特点来实现阴影消除。首先，对二值化图像做连通域标记，获得每个目标的高度和宽度信息。如图3中所示的目标外接矩形。假设一个二值化目标的外接矩形内每个块的状态用B(i，j)表示，那么有

图4 消影处理后的图像

2 行人检测算法

在预处理的基础上，依据提取目标的轮廓特征，结合目标实际距离与像素高度的线性变化关系，初步判定行人目标，结合目标的运动位置特征对同一目标做连续多帧匹配跟踪，最后，通过计算目标的平均速度，实现行人目标检测。

2.1 行人轮廓检测算法

交通场景中一般出现较多的是车和行人，而车和人的轮廓形状有很大差异，行人一般保持着竖立行走，即便是有负重、携带物品等影响，在图像上满足高度大于宽度。

通过连通域标记可以获得运动目标在图像中的高度和宽度，假设分别为Hy和Wx，则高宽比为Rt=Hy/Wx。如果Rt≤2，则该目标为非人;如果Rt＞2，则对该目标做后续检测。对图3中每个目标按照轮廓检测算法处理后，结果如图4，得到满足该条件的行人目标。

2.2 像素高度与实际距离的线性变化关系检测算法

根据摄像机成像原理和文献［6］可以得到摄像机、图像平面、人和实际路面有如图5的成像关系。

图5 相机、图像平面、人和实际路面几何成像关系图

图5 中，P为图像平面的最底行，RS和UT分别为人在图像上不同位置处的像素高度，AB和EF为行人的实际高度。D，A，C，E，G分别为图像平面的点P，S，R，T，U映射到实际路面的点。OV为相机距离路面的实际高度。BH和FI分别垂直于VA和VE。

在实际的交通场景中，摄像机距离地面的距离一般在5 m左右，摄像机拍摄的视角一般都在几十米至几百米之间，可以忽略OV，近似有OA=VA，OE=VE，∠AVB=∠EVF，BH=AB=FI=FE，VP=VS=VR=VT=VU。那么有△AVB和△EVF均为等腰三角形，且△SVT和△TVU分别与△AVB和△EVF相似。则有如下关系式

通过文献［7］和文献［8］中提到图像平面每个像素到实际路面距离的映射关系可以建立图像上像素点到实际距离的映射表，映射表所对应的实际距离为以D点为参考点，但在实际的交通场景中，OD是未知的。首先，在图像上标定同一行人在不同位置处像素坐标R，S，U，T，如图6所示。

图6 行人像素高度标定

对同一行人则有

由连通域标记可得每个目标在图像上S点和T点的对应的像素高度RS和UT，通过查找映射表，可得S点和T点对应的实际距离DA和DE，通过方程(3)和方程(4)可以解得OD值。

由公式(3)与式(4)相比可得

且当0.7＜βk＜1.4时，就认为该目标为行人目标，继续做位置匹配跟踪;否则为非行人目标，不再处理。

2.3 行人匹配跟踪与速度检测算法

据统计，成人的速度一般在1.4 m/s左右，且通常保持基本相同的低速前进或者静止状态。本文以相邻帧之间的运动目标的质心位移小于某一阈值L作为匹配准则，实现连续多帧跟踪，最后计算得到行人速度。

对于第k帧图像中某一运动目标，其质心计算如下

式中:NB为当前运动目标标记区域白块的个数。

在满足2.1节和2.2节条件的运动目标第一次出现的图像中，记录当前帧图像位置信息(xk，yk)。则第k帧和第k+1帧的位移变化量为

对于同一目标在相邻两帧满足式(8)时，认为该目标实现匹配跟踪。当匹配跟踪达到N次时，计算N帧内的平均速度。首先，查映射表找到图像上点(xk，yk)和(xk+N，yk+N)所对应的实际的距离Lk和Lk+N，则该目标的平均速度为

式中:N-1为相邻两帧匹配次数;t为相邻帧时间间隔。

取一个阈值VT，当V＜VT时，就认为该目标为行人;否则，判定为非行人。

当行人在摄像机的远视角区域时，会出现背景更新不均匀的现象;有时，也会出现运动车辆对行人短时间、部分区域遮挡的现象。以上两种现象都会造成二值化目标提取失败，无法匹配跟踪。当第k帧的目标在第k+i帧重新出现时，如果帧差i满足i＜T，且式(10)成立时，就认为第k帧的目标在第k+i帧能够匹配，实现跟踪匹配。当总的匹配次数为N时，采用式(11)计算该目标的平均速度V'，当V'＜VT时，就认为该目标为行人;否则，目标判定为非行人。公式为

式中:N-1为相邻两帧匹配次数;t为相邻帧时间间隔;i为匹配丢失帧数。

3 实验结果

利用本文提出的算法对帧频为25 f/s(帧/秒)，分辨力为720×288的视频序列做行人检测实验。在TMS320DM6437 DSP嵌入式系统、内存128 Mbyte、主频600 MHz的环境下测试，该算法具有良好的实时性。

图7是针对高速公路场景进行的行人检测。该场景的车流量密度小，干扰信息少，从图7c可以看出，该算法能够通过对行人目标的多次匹配跟踪准确地检测行人目标。其中阴影部分为过去每帧行人目标标记，白色为当前帧中行人目标标记。

图7 高速公路场景行人检测

图8 为城市交通场景远景区域行人的检测。由于车流量密度大和绿化带等干扰因素，远景区域背景更新不均匀造成的运动目标提取失败。图8c中第3 046帧为目标丢失前一帧匹配跟踪图，第3 051帧为行人目标丢失，当前帧中无法实现匹配跟踪，第3 054帧为行人目标再次出现，从其匹配跟踪框轨迹可以看出，行人目标在丢失9帧后再次实现匹配跟踪，准确地检测出行人目标。

图8 城市交通场景远景行人检测

图9 是城市交通场景中运动车辆对行人的部分遮挡问题。图9c中第5 395帧为行人目标丢失前一帧匹配跟踪轨迹图，第5 400帧为行人目标被遮挡，在当前帧中丢失匹配跟踪目标，第5 410帧为行人再次出现，从其匹配跟踪轨迹可以看出，行人目标在丢失15帧后能再次实现匹配跟踪，将行人目标准确地检测出来。

图9 城市交通场景车辆遮挡行人检测

4 结束语

本文提出的行人图像像素高度和实际距离的线性关系，结合行人位置特征，通过多帧匹配跟踪，能有效地解决遮挡、远景背景更新不均匀等造成行人目标丢失的情况。同时，本文中提出投影法能有效地消除光照产生的阴影，以块为单位处理图像有效地降低了算法复杂度，提高系统的实时性。

［1］OREN M，PAPAGEORGIOU C，SINHA P，et al.Pedestrian detection using wavelet templates［C］//Proc.IEEE Computer Vision and Pattern Recognition，1997.Washington，DC，USA:IEEE Press，1997:193-199.

［2］ELZEIN H，LAKSHMANAN S，WATTA P.A motion and shape-based pedestrian detection algorithm［C］//Proc.IEEE Computer Vision and Pattern Recognition，2003.［S.l］:IEEE Press，2003:500-504.

［3］於健生，汪宏，顾晶.一种基于视频的新型行人识别方法［J］.信息化研究，2010，36(3):19-21.

［4］姚亚夫，刘佰昂.基于位置特征的运动行人检测与跟踪方法［J］.广西大学学报，2009，34(6):769-773.

［5］李璟，刘怀愚，洪留荣.改进的道路北京提取和更新算法［J］.计算机应用，2010，30(6):1266-1267.

［6］罗珍茜，薛雷，孙峰杰，等.基于HALCON的摄像机标定［J］.电视技术，2010，34(4):100-102.

［7］于艳玲.视频检测技术中车速检测研究［D］.西安:长安大学，2009.

［8］王子亨，穆森，邱桂苹.摄像机非线性标定方法［J］.计算机工程与设计，2010，31(15):3526-3529.