基于视频的行人运动轨迹再现与过街行为表达

江 晟 王殿海，2 陈永恒 孙 迪

(1吉林大学交通学院，长春 130022)

(2浙江大学建筑工程学院，杭州 310058)

基于视频的行人运动轨迹再现与过街行为表达

江 晟1王殿海1，2陈永恒1孙 迪1

(1吉林大学交通学院，长春 130022)

(2浙江大学建筑工程学院，杭州 310058)

针对行人运动轨迹再现及表达的问题，结合视频检测技术，提出一种结合时空上下文信息的行人运动特征提取和轨迹跟踪算法，并在视频标定计算中引入中心偏移量，改进了共线模型中不考虑镜头畸变的缺点，提高了标定精度.利用该算法对实际视频进行处理，获取多组行人运动参数和轨迹曲线，再将该算法提取的数据与共线标定方法的计算数据及人工调查得到的真实数据进行对比，验证所提算法的准确性.最后定量分析了几种行人过街行为，对过街行为相应的轨迹特征状态进行了表达，为行人交通组织和控制提供支持.

智能交通;视频检测;行人行为;轨迹再现;特征表达

行人交通作为短距离出行的主要交通方式，其运动行为的研究与表达对保障交通畅通和行人安全具有重要意义.目前，国内外对行人行为的研究与表达取得了一定的进展，但信息采集仍以人工调查或人工观测为主［1］，如 Bernhoft等［2］对城市内70岁及以上的老年行人通过问卷方式调查研究行人行为和表现的差异;Zhou等［3］提出了一个受年龄、性别和一致性趋势影响的中国行人行为分析调查方案，对中国行人行为进行研究;裴玉龙等［4］对多地的行人进行了人工调查和观测，利用调查和观测的结果对行人过街行为进行了较好表达.上述研究都基于人工调查的结果，虽然能够反映一定的行人行为特性，但难以表征行人运动的实时特征，具有局限性.而针对视频的行人行为和状态识别研究，国内外都做过有益的尝试，如Daamen等［5-6］提出了基于Kalman滤波的行人运动预测跟踪方法，获取行人信息，并对微观行为进行了一定的表达.国内王阿琴等［7］利用子图像方法结合Meanshift算子实现了行人的跟踪;胡宏宇等［8］采用视频检测技术对行人行为进行了初步表达，但其表达的特征仍局限在像素特征的定性分析上;邵春福等［9-10］在对人进行跟踪的基础上，利用共线方程对轨迹进行了标定还原，但标定算法由于不考虑镜头畸变等问题，跟踪效果存在一定误差;此外，刘轩也对基于图像处理的行人疏散等运动微观行为特征进行了实验研究［11］，取得了一定的成果.

本文利用时空上下文获取行人边缘信息并作为跟踪特征，再结合Kalman滤波对行人进行检测和跟踪，之后在获取行人轨迹的基础上，对现有的共线标定模型进行改进.再利用考虑图像中心偏移的行人轨迹标定算法对真实视频进行检测并与共线标定进行对比，最后对行人过街行为进行定量分析和表达.

1 基于时空上下文信息的Kalman滤波跟踪算法

为了准确检测和跟踪行人轨迹，需要对行人特征进行有效的提取.本文利用时空上下文信息PT，S，对行人轮廓进行提取.首先通过历史信息对图像区域进行定义，区分背景和前景文本，再对当前图像进行边缘检测，并利用空间相关性进行分割，得到多个时空分布的文本Pm，n，再判断与历史文本的相关性ω.若Pm，n仅与一个空间文本区域强相关，则可以判定它的性质为该空间文本的性质;若Pm，n与多个空间文本区域相关，则判断与各个文本之间的关联度，再利用最小欧式距离和前景边缘图像点数目判断关联性;若Pm，n不属于任何文本，则检测该文本是否是新出现的物体或是误差，并利用时间信息判断其属性，即

在获取前景轮廓特征的基础上，利用Kalman滤波器算法对该特征进行跟踪，建立的状态和观测方程为

式中，ak为系统状态的n×1维状态向量;bk为观测到的系统状态的m×1 维向量;φk，k－1为从tk－1时刻到tk时刻的n×n维状态转移矩阵;Ik为tk时刻m×n维观测矩阵;Dk－1为tk－1时刻随机干扰的n×1维随机向量;Fk为tk时刻m×1维观测噪声向量.此时设动态噪声Dk－1和观测噪声Fk为两两互不相关的零均值的正态白噪声序列.当系统确定时，φk，k－1和 Ik已知，则 Dk－1和 Fk满足一定假设也已知.设Gk为k的协方差阵，G'k为ak和k的误差协方差阵，Qk为动态噪声Dk的协方差矩阵，Hk为观测噪声Fk的协方差矩阵.

之后根据状态和观测方程进一步建立Kalman滤波器算法.在t0时刻，用ak均值向量初始化0，并求G0;在tk时刻，其系统状态预测方程为

式中为增益系数矩阵，有ZkIk)G'k.再利用上下文时空信息，获知图像运动方向和速度，通过滤出不可能出现的位置，根据已经出现的历史位置预测出运动目标在下一幅图像中可能出现的位置.最后根据前期已经提取出的前景轮廓进行相似比对，通过二维搜索得到与预测位置点所属轮廓相关性最大的前景轮廓，从而实现行人跟踪，并提取特征轨迹.

2 考虑图像中心偏移的行人轨迹标定算法

完成轨迹提取和跟踪后，需要将图像上的轨迹特征转化为真实运动轨迹特征.在常规的共线条件方程式中由于不考虑镜头失真的情况，真实世界坐标(X，Y，Z)和图像坐标(x，y)位于一条直线上，其基本原理公式为

式中，l1～l11为相机所在位置、焦距、摄影角度等相关参数.对于行人运动轨迹的标定仅需要其特征点在路面上的坐标，即只要把路面在三维空间的平面表达式给出，求出这条对应直线与路面的交点，就可对轨迹进行表达.因此，式(4)中Z即确定的道路所在的平面，在此其为常数，则式(4)可转化为

可将不考虑畸变的共线方程转化为

式中，α0～α2，β0～ β2，r1～ γ2都可以通过之前的参数求取.但在实际中，图像中心点o(xc，yc)与世界坐标中心点在图像上的投影o'(xrc，yrc)由于镜头畸变并不重合，如图1所示.

图1 成像系统图

若直接采用共线方程进行标定则误差较大，本文在共线方程基础上引入偏移量，对该方程进行了修正，畸变后的图像坐标为

式中，x，y为共线方程求得的图像坐标;f(x)，ε(y)为偏移修正方程.考虑到中心偏移量是由多个像素的偏移元qx，qy叠加而形成的，因此有

再将式(7)和式(8)代入式(6)，有

考虑到图像中心与真实中心在图像上投影的偏移量为 Δx，Δy，可得

将式(11)代入式(9)得

这样就将不考虑偏移的共线方程转化为考虑中心偏移问题的标定方程，且标定方法同共线方程类似，只需要在像平面上找到已知世界坐标对应的4个角点和1个中心点就能求解出相应的参数.

3 轨迹标定还原及特征表达对比实验

为验证本文标定算法的准确性，对长春市某人行道区域进行了前期测量，再用本文算法及共线方程对区域进行标定并与真实特征点进行对比，如图2所示.将利用2种方法获取的特征点与真实世界的特征点位置进行对比，从图2可以直观看出，本文算法所得到的区域分割线与各条人行横道线均较接近，而共线标定算法则存在不规则的偏移，其误差如表1所示.

图2 标定效果对比图

表1 标定误差对比 m

由图2和表1可看出，本文提出的标定还原算法对于特征点位置的提取相对于真实位置误差较小，精度高于共线方程，可以较好地对运动轨迹进行标定和还原.之后，本文对实际拍摄的交通视频进行了处理，利用前景行人的特征信息对125组行人轨迹进行了提取和跟踪，部分轨迹的跟踪效果如图3所示.

图3 轨迹跟踪图

在轨迹跟踪的基础上，利用本文提出的考虑图像中心偏移的行人轨迹标定算法对行人运动轨迹进行了标定，标定区域及效果如图4所示.

图4 轨迹标定图

通过标定算法，可将行人运动轨迹在真实世界坐标下进行表达，并从其中选取8组行人过街轨迹进行分析，对应的轨迹曲线见图5.再利用本文算法提取行人过街平均速度，并将获取的速度分布曲线与人工调查的分布曲线进行对比，结果如图6所示.

由图6可看出本文算法计算得到的速度与调查的速度相似，误差很小，能够表征行人过街的速度特性，可为行人过街速度的研究提供帮助.再将本文提取的行人运动轨迹进行归纳和分类，并进行对比和分析表达，如图7所示.

图5 真实轨迹还原图

图6 标定速度与调查速度对比图

图7 轨迹特征分类表达图

通过分析对比上述从视频中提取的正常过街和过街中等待曲线，可看出正常过街轨迹点不重叠，在本文中，通过街道的轨迹点数在25～35之间，平均速度为1.38 m/s;而等待的轨迹其轨迹点会有重叠部分，轨迹点数多在45以上，且平均速度小于1 m/s.

4 结语

本文提出的轨迹提取跟踪及标定算法，为行人运动行为状态表达与特性分析方法提供了有效的支持.在此基础上，又对行人速度及行人运动轨迹曲线进行了研究，验证了本文算法对速度提取的准确性.并对真实场景中的行人过街状态进行了归纳和分类，对正常通过行为及通过中等待行为分别进行了研究.但行人行为存在多样性，因此对于行人运动行为的表达需要进一步深入分析.

［1］孙智勇，葛书芳，荣建，等.行人交通的数据采集方法研究［J］.北京工业大学学报，2006，32(6):530-533.

Sun Zhiyong，Ge Shufang，Rong Jian，et al.Study on pedestrian traffic data collection［J］.Journal of Beijing University of Technology，2006，32(6):530-533.(in Chinese)

［2］ Bernhoft I M，Carstensen G.Preferences and behavior of pedestrians and cyclists by age and gender［J］.Transportation Research Part F，2008，11(2):83-95.

［3］ Zhou R G，Horrey W J，Yu R F.The effect of conformity on pedestrians'road-crossing intentions in China:an application of the theory of planned behaviour［J］.Accident Analysis and Prevention，2009，41(3):491-497.

［4］裴玉龙，冯树民.城市行人过街速度研究［J］.公路交通科技，2006，23(9):104-107.

Pei Yulong，Feng Shumin.Research on design speed of urban pedestrian crossing［J］.Journal of Highway and Transportation Research and Development，2006，23(9):104-107.(in Chinese)

［5］ Hoogendoorn S P，Daamen W，Bovy P H L.Extracting microscopic pedestrian characteristics from video data［C/CD］//TransportationResearchBoardAnnual Meeting.Washington DC:National Academy Press，2003.

［6］Daamen W，Hoogendoorn S P，Bovy P H L.First-order pedestrian traffic flow theory［C/CD］//Transportation Research Board Annual Meeting.Washington DC:National Academy Press，2005.

［7］王阿琴，杨万扣，孙长银.基于子图像的尺度自适应mean shift目标跟踪［J］.东南大学学报:自然科学版，2010，40(增刊1):131-135.

Wang Aqin， Yang Wankou， Sun Changyin. Scale adaptable mean shift object tracking based on image fragments［J］.Journal of Southeast University:Natural Science Edition，2010，40(Sup 1):131-135.(in Chinese)

［8］胡宏宇，王殿海，孙迪.基于视频跟踪方法的行人过街状态表达与分析［J］.交通信息与安全，2009，27(3):43-47.

Hu Hongyu，Wang Dianhai，Sun Di.Representation and analysis of pedestrian crossing states based on video tracking［J］.Journal of Transport Information and Safety，2009，27(3):43-47.(in Chinese)

［9］邵春福，李娟，赵熠，等.行人交通的视频检测方法综述［J］.交通运输系统工程与信息，2008，8(4):23-29.

Shao Chunfu，Li Juan，Zhao Yi，et al.Review of pedestrian traffic data collection method based on video image processing［J］.Journal of Transportation Systems Engineering and Information Technology，2008，8(4):23-29.(in Chinese)

［10］沈涛.基于视频检测的行人交通参数提取技术研究［D］.北京:北京交通大学交通运输学院，2011.

［11］刘轩.基于图像处理的行人运动微观行为特征实验研究［D］.合肥:中国科学技术大学安全技术及工程学院，2009.

Pedestrian movement trajectory reappearance and crossing feature expression based on video processing

Jiang Sheng1Wang Dianhai1，2Chen Yongheng1Sun Di1

(1College of Transportation，Jilin University，Changchun 130022，China)
(2College of Civil Engineering and Architecture，Zhejiang University，Hangzhou 310058，China)

According to the trajectory reappearance and feature expression of pedestrian movement，based on video processing，a pedestrian feature extraction and tracking algorithm combining with temporal and spatial context information is proposed.Then the center offset is introduced into the calibration to overcome the shortcomings of the collinear model which does not consider the lens distortion，thus the calibration precision is improved.This algorithm is used to obtain some groups of pedestrian movement parameters and trajectory curve on real video processing.Then the data extracted by this algorithm is compared with both the data calculated through the collinear calibration method and the real data from artificial investigation，in order to verify the accuracy of this algorithm.Finally，several pedestrian crossing behaviors are quantitatively analyzed and the corresponding feature statuses are expressed，which can support the organization and control of pedestrian traffic.

intelligent transportation;video detection;pedestrian behavior;trajectory reappearance;feature expression

TP391;U121

A

1001－0505(2012)06-1233-05

10.3969/j.issn.1001 －0505.2012.06.038

2012-03-16.

江晟(1985—)，男，博士生;陈永恒(联系人)，男，博士，副教授，cyhjlu@yahoo.cn.

国家自然科学基金资助项目(51108208)、中国博士后科学基金面上资助项目(20110491307)、吉林大学科学前沿与交叉学科创新资助项目(201103146).

江晟，王殿海，陈永恒，等.基于视频的行人运动轨迹再现与过街行为表达［J］.东南大学学报:自然科学版，2012，42(6):1233-1237.［doi:10.3969/j.issn.1001 －0505.2012.06.038］