一种基于激光与视频信息时空数据融合的行人检测方法

张荣辉，李福樑，周喜，蒋同海，游峰*，徐建闽，杨三强

(1.中国科学院新疆理化技术研究所，乌鲁木齐830011；2.华南理工大学土木与交通学院，广州510640；3.新疆交通科学研究院，乌鲁木齐830000)

一种基于激光与视频信息时空数据融合的行人检测方法

张荣辉1，李福樑2，周喜1，蒋同海1，游峰*2，徐建闽2，杨三强3

(1.中国科学院新疆理化技术研究所，乌鲁木齐830011；2.华南理工大学土木与交通学院，广州510640；3.新疆交通科学研究院，乌鲁木齐830000)

针对城市交通行人安全问题，本文提出了一种基于激光与视频数据融合的行人检测方法.通过激光与视频数据空间和时间上的融合，将激光数据映射到图像坐标；在激光聚类过程中，采用K-means聚类算法对激光云点进行聚类分析，然后运用行人宽度模型提取候选行人区域；在基于图像的行人检测过程中，选取头肩、躯干以及腿部人体特征部位，采用Haar-like特征集和Boosting算法进行训练，得到部位检测器；最后，基于贝叶斯决策的组合策略对候选行人区域进行有效判定.实验结果表明，本文所述算法有较好的检测精度和实时性能.

智能交通；行人检测；激光点云；机器视觉；K-means算法；Boosting算法；贝叶斯决策；智能交通系统

1 引言

行人是城市交通的主要参与者，通过对行人的检测、跟踪及其运动轨迹分析，可为城市道路交通安全监管平台提供有效的主动预警.其中，行人检测的准确性与实时性，将直接影响后续工作和系统使用性能.然而行人姿态各异、模式多样、中远距离特征信息不明显，加之错综复杂的道路交通环境，使得行人检测成为一项极具挑战的课题.总结行人检测面临的挑战困难主要有：第一，复杂的道路环境中，存在着大量轮廓像人的对象，例如行道树、标牌等，导致较高的检测虚警；第二，行人衣着颜色样式各异，导致基于颜色特征或人体边缘的检测算法效果不佳[1,2]；第三，人是铰链对象，形体姿态各异，无法使用单个模型来表示所有可能的形状，也无法用所有形状特征建立模型；第四，当前基于视频检测的行人检测方法检测耗时较多，系统实时性较差，较难直接运用于安全辅助驾驶系统.

在已有行人检测方法中，基于视频信息或激光信息的检测方法主要有：Viola[3]等人提出了一种基于图像灰度和运动信息的行人检测方法，该方法在摄像机静止且光照缓慢变化的情况下比较有效，但是不适用于摄像机运动的场合；Wu Bo[4]等人使用行人边缘特征集作为训练样本,利用Adaboost分类器对不同行人部位进行训练,并通过贝叶斯模型得到检测结果，当行人近且边缘特征清晰时检测效果较佳，其余情况下检测误警率较高；田广[5]等人提出一种coarse-to-fine的行人检测方法，先初选行人区域，进而进行验证，该方法实时性较难保证；钱惠佳[6]等人提出一种基于激光雷达与视频的行人检测方法，根据激光雷达的深度信息匹配行人上半身模板，在通过基于Hausdorff距离的模板匹配方法进行验证,其主要缺点是受模板特征限制.

在上述研究基础上，为了提高行人检测的检测精度和检测速率，提出一种适应于安全辅助驾驶系统的行人检测方法：在第一阶段，通过激光信息产生候选行人区域；第二阶段，采用基于人体部位的视频检测进行行人区域判定.在候选行人区域层面，应用K-means聚类算法对前方障碍物进行分类，通过行人宽度模型对行人目标进行甄别，得到候选行人区域；在视频检测判定层面，根据人体形体特征，采用头肩(head-shoulder)、躯干(torso)、腿(leg)部位特征，通过boosting方法训练得到部位检测器.最后，通过在不同场景环境下的试验，验证了本方法的检测精度与检测速率.

2 基于激光与视频数据的信息融合

2.1 空间上的数据融合

空间上数据信息融合以车辆坐标系为基准坐标系，实现四者坐标系的统一.其中激光测距仪坐标系与车辆坐标系均为二维坐标系，进行相应坐标转换即可；摄像机坐标系与图像坐标系转换，可通过摄像机内部参数标定转换；摄像机坐标系与图像坐标系转换定义为：通过在视频流中提取的障碍物特征信息，利用摄像机成像的几何原理估算出障碍物与摄像机的相对距离，本文采用单帧静态图像模型[7]，将三维距离转换为二维信息.

通过上述坐标标定统一可以将激光坐标映射到图像坐标系中，实现激光数据帧与图像信息在空间上的融合.

2.2 时间上的数据融合

由于激光测距仪与CCD摄像头采集频率不同,在给定触发信号情况下,一帧激光数据和图像数据对应的时刻不尽相同.为此，本文采用基于航位推算下的坐标变换方法实现两者时间上数据融合.

如图1所示，XWOWYW为世界坐标系，XVOVYV为车辆坐标系，p点代表行人，(xw,yw)、(xv,yv)分别是行人在世界坐标系、车辆坐标系下的位置坐标，(x,y)为车辆坐标，由于激光和摄像机采集数据帧频率不同,车辆坐标在这2个时刻之间发生了偏移.为此，我们以摄像机时刻为基准，通过基于航位推算的坐标变换方法建立联系[8]，如下式：

式中(x1b,y1b)、(x1a,y1a)分别为摄像机与激光时刻下的位置坐标，摄像机与激光时刻之间的车辆位置坐标差，即(xb-xa,yb-ya)通过上述坐标变换即可求得，从而求得与摄像机时刻相对应的激光时刻的行人位置坐标，实现时间上数据信息融合.

图1 基于航位推算的坐标变换Fig.1 Coordinate transformation based on DR

3 行人检测算法描述

3.1 基于激光的候选行人区域选择

激光获取了大量的数据,其中包括潜在的行人候选区域及非行人区域,为此如何对这些区域进行划分成为了关键.但是，由于激光数据海量且复杂，必须先对激光数据进行预处理.文中采用K-means聚类算法对激光信息进行预处理，进而采用行人宽度模型对行人目标进行甄别.

通过K-means聚类分析，各聚类中包含行人和其他障碍物.在此提出一种基于宽度信息的行人判别模型，即以聚类中心为核心，查找不同类型目标的边界特征，由此获取目标的宽度，并与实验所设定的阈值相比较，最终甄别行人目标行人宽度的计算公式为

通过多次实验数据分析，文中目标行人的宽度为0.28～0.62m，即当目标的宽度在限定的范围时，我们将对应的聚类标记为行人目标，否则为非目标区域.在此基础上，运用透视变换矩阵，根据行人高度及其聚类宽度信息，得到不同距离下行人在图像中的高度与宽度，如图2所示.

图2 候选行人区域提取结果Fig.2 The resultofcandidate pedestrian area

3.2 基于人体部位的行人区域判定

3.2.1 部位特征检测算法概述

选取头肩、躯干、腿构造人体部位检测器，各部位检测器采用haar-like特征集，用Boosting算法训练.各部位检测器仅扫描与候选行人相对应的图像区域，大大节约了检测时间，提高了算法实时性，同时能很好地检测行走，跑动，和旋转的行人，部位检测器分割如图3所示.

图3 人体部位特征定义Fig.3 Characteristic partofpedestrian

对得到的候选行人区域，根据上述人体部位位置为每个候选行人产生假设部位，然后根据各部位检测器的实际检出框与候选者的假设部位的相似程度判断其是否为行人，算法步骤如下所示：

Step 1为图像中候选行人区域设置一个大小为候选行人区域检出框，1.2倍的矩形框为行人判定区域.

Step 2各个部位检测器在相应部位检测区域检测相应的部位.

Step 3根据每个检出框的响应值、大小及其位置从中选择最好的检出框.

Step 4基于贝叶斯决策的组合算法，根据在每个候选者上部位检测器的检出结果，判断候选者是人还是非人.

人体特征部位的检测算法流程图如图4所示.

图4 人体特征部位的检测算法流程图Fig.4 Flow Chartofpedestrian partcharacteristic detection

3.2.2 基于贝叶斯决策的行人区域判定

贝叶斯决策能够在不完全情报下，对部分未知的状态用主观概率估计，用贝叶斯公式对发生概率进行修正，其能够对检测结果或需要采集新的信息进行科学的判断，对检测结果进行数量化的判断.为此为了更佳的整合各个部位检测器的检测效果，文中采用贝叶斯决策组合部位检测器检测结果.

将候选行人X划分为头肩检测区Xhs、躯干检测区Xto、和腿部检测区Xle，yi=1表示人体的部位i被检测出，i∈{hs,to,le} ，yla=1表示为候选行人区域，否则为非候选行人区域.候选行人X的头肩、躯干和腿部均能够被检测出的概率可用公式表示.

设Fi(Xi)为部位i检测器的响应值，则每个部位检测器的后验概率可表示为

式中Ti为部位i检测器的分类器阈值，试验中设定为95%,TRi为部位i检测器各分类器的正样本的权重和，可表示为

在一个候选行人里头肩检测区Xhs、躯干检测区Xto、和腿部检测区Xle都能被检测出的概率为

更近一步的，设ci∈{0,1}，i∈{hs,to,le}，对于一个候选行人区域事实上为行人的概率可表示为

实验中经激光处理得到的候选行人区域中存在着行人与非行人目标，精度约在86.3%.因此，需要采用贝叶斯决策对候选行人区域进行进一步判别，行人目标的置信度l(X)为表示为

则基于贝叶斯决策的组合检测器输出可表示为

4 实验分析

训练人体部位检测器的正样本由3 230张人体图片组成，其中925个来自M IT的行人图像库、1 861张来自INRIA实验室，其余为实验获取图片.按照图3给出的部位比例对根据正样本集图像进行裁剪，并统一处理成16像素×32像素；负样本来自INRIA训练样本库和试验现场获取，约4 000张图片，统一处理成640像素×480像素.实验车上装载SICK公司的LMS511激光测距仪和罗技网络摄像头，计算机配置为Intel i5CPU+4G DDR内存.

图5 检测结果图例说明Fig.5 Graphic explain ofdetection result

为了全方位评估本文算法的实时性及其精确性，本文在校园及其周围不同场景下，对超过5 000帧图像进行了检测，部分检测结果如图6所示.

场景（a）中，针对简单场景下的单人或者相隔较远的双人目标均能够精确生成候选行人区域（如图5中标示框1所示），在候选行人区域的基础上通过部位检测器能有效对行人部位进行判定（如图5中标示框2所示），通过贝叶斯决策最终确定行人目标（如图5中标示框3所示）.

场景（b）中，针对有车辆、自行车及行道树等干扰的情况下，对有序并排行走的行人能够精确检测标示，但是当行人紧密并排行走时，系统易将其标示为同一个行人，存在漏检现象.

场景（c）中，针对多行人目标紧密行走的情况下，激光测距仪能够有效地对行人目标聚类，生成候选行人区域，并很好地对候选行人区域检测判定.但是当行人部位被完全遮挡时，系统无法确认，存在漏检现象.

场景（d）中，针对夜间光线不佳的情况下，通过激光与视频信息融合，能够有效减少光线等因素的影响，精确实现行人目标检测识别.总体来说，针对单行人目标简单场景、有车辆自行车及行道树等干扰场景、行人目标紧密并排行走场景、夜间场景及在其他不同场景情况下，提出的算法均能够实现有效行人目标检测.

同时，为了检测所述算法的检测性能，我们设计重现了Viola、BoWu及田广等的行人检测系统，在相同的实验条件下，进行性能分析比较，并记录了基于单一视频或者单一激光的检测性能，如表1所示.对比Viola算法，在车辆运动的实际检测环境下，文中所述算法不仅提高了检出率，而且大幅度提高检测速率，检测时间减少约0.6秒/帧；对比Bo Wu算法，改用Boosting算法训练行人样本，有效提高了检测精度，检出率增加约13%，同时提高了中远距离的行人检测效果；对比田广算法，采用激光测距仪确定行人通过激光选择候选行人区域，避免对帧图像进行全景搜索，有效提高了行人检测时间，检测速率高达0.116s/帧，但是受限于激光的行人候选区域预判精度，降低了检出率约2%；对比单一视频和单一激光算法，充分利用了图像检测细粒度高，以及激光检测实时性高、深度信息获取能力强等特点，在检测速率和检出率上均有大幅提升，大大提高了检测系统的综合性能.

表1 本文检测算法与v io la、Bo W u及田广算法检测性能分析Table 1 Detection performance analysis with Viola Bo Wu and Tian Guang method

图5 实际场景行人检测结果Fig.5 The resultofpedestrian detection in actualscene

5 研究结论

本文提出了一种基于激光与视频信息时空数据融合的行人检测方法，通过激光测距仪与摄像头之间空间与时间上的数据融合，将激光数据投影至图像坐标中，进而采用基于人体部位的组合检测方法对候选行人区域进行有效验证，行人检测速率达0.116秒/帧，检出率达91.6%.总结本文特点主要有：

（1）采用激光信息提取候选行人区域，避免对图像进行全景搜索，有效提高了算法的检测速度，检测速率的提高有利于在汽车安全辅助驾驶系统中的实践应用.

（2）采用人体部位描述行人特征，不受形体姿态、衣着颜色样式等影响.

（3）利用各部位的历史信息和检出部位的几何信息，通过贝叶斯决策能排除大量的可疑且很难排除的候选行人，提高了检测精度.

[1]Zeng B,Wang G J,Lin X G.Color self-similarity feature based real-time pedestrian detection[J].Journal of Tsinghua University.2012,52(4):571-574.

[2]王爱丽，董宝田，王泽胜.融合背景差分的二次重构和内外标记分水岭的行人检测方法[J].交通运输系统工程与信息,2014,14(4)：66-72.[WANG A L,DONG B T,WANG Z S.Pedestrian detection of integrating BSbased on quadratic reconstruction and IE marker watershed[J].Journal of Transportation Systems Engineering and Information Technology,2014,14(4): 66-72.]

[3]Viola P,Jones M J,Snow D.Detecting pedestrians using patterns of motion and appearance[J].International JournalofComputer Vision,2005,63(2):153-161.

[4]Wu Bo,Nevatia.Detection and tracking of multiple, partially occluded humans by Bayesian combination of edgelet based detectors[J].International Journal of Computer Vision,2007,75(2):247-266.

[5]田广,戚飞虎.单目移动拍摄下基于人体部位的行人检测[J].系统仿真学报,2006,18(10):2906-2910.[TIAN G,QIFH.Component-based pedestrian detection with monocular moving camera[J].Journal of System Simulation,2006,18(10):2906-2910.]

[6]钱慧佳,杨明.一种基于激光雷达和视觉的行人检测方法[J].上海交通大学学报,2010,44(07):945-950. [QIAN H J,YANG M.A pedestrian method based on laser scanner and camera[J].Journal of Shanghai Jiaotong University,2010,44(07):945-950.]

[7]郭磊,徐友春,李克强，等.基于单目视觉的实时测距方法研究[J].中国图象图形学报,2006，11(02):122-129. [GUO L,XU Y C,LI K Q,et al.Study on real-time distance detection based onmonocular vision technique [J].Journal of Image and Graphics.2006,11(02):122-129.]

[8]李颢.基于视觉的智能车辆自主导航方法研究[D].上海交通大学,2009.[LI H.Vision based intelligent vehicle autonomous navigation[D].Shanghai Jiaotong University,2009.]

A Pedestrian Detection M ethod under Tim e-space Data Fusion Based on Laser and Video In form ation

ZHANG Rong-hui1，LIFu-liang2，ZHOU Xi1，JIANG Tong-hai1，YOU Feng2，XU Jian-m in2，YANG San-qiang3

(1.Xinjiang Technical Instituteof Physics&Chemistry,ChineseAcademy of Sciences,Urumqi830011,China;2.Schoolof Civil Engineering and Transportation,South China University of Technology,Guangzhou 510640,China;3.Xinjiang Academy of Communication Science,Urumqi830000,China)

A pedestrian detection method based on laser and video information fusion is proposed concerning the pedestrian safety problem in urban traffic.Laser data are projected to image coordinate system through spatialand temporal combination of laserand video data.In the processof laser clustering,K-means clustering algorithm is adopted to conduct clustering analysis on laser point clouds,while pedestrian w idth model is employed to extract candidate pedestrian region.In the process of pedestrian detection, characteristic partof pedestrian such as head-shoulders,body and legs are selected,and Haar-like feature is adopted and trained through Boosting algorithm.The obtained part detector is used to detect pedestrian, deciding the validity of candidate pedestrian region through composition strategy based on Bayesian decision.The result of the experiment shows that the proposed algorithm has preferable real-time and detection performance.

intelligent transportation;pedestrian detection;laser point cloud;compute vision; K-means algorithm;Boosting algorithm;Bayesian decision;ITS

1009-6744（2015）03-0049-07

TN216

A

2014-10-29

2015-03-28录用日期：2015-04-07

国家自然科学基金（51208500，51408237，51108192）；中国博士后科学基金（2012M521824，2013T60904）；新疆维吾尔自治区自然科学基金（2013211B36，2013211B43）.

张荣辉（1981-），男，江西广丰人，博士、副研究员.

youfeng77@126.com