基于计算机视觉的人流量双向统计

王 瑞，种兰祥

（西北大学 信息科学与技术学院，陕西 西安 710127）

智能视频监控是信息产业未来最有发展前景的技术之一，其中通道口处人流量统计是该系统中具有实用价值的一项技术。在经济社会，对商场、超市、交易场所进行人流量统计，能够帮助商家分析市场和制定营销策略。在公共安全方面，可以辅助检测可疑人物的出入，这对于重要公共场所的安全防范有着重要意义。

目前有很多学者在进行这方面的研究。Min Zhao[1]等人依据发色信息检测人头目标，该方法在人的着装颜色与发色接近时会导致较高的误检率。Stan Birchfield[2]结合灰度梯度和彩色直方图来估计人头目标，但不适合复杂背景下的人头检测。于海滨[3]等人采用改进的Hough变换检测人头类圆形目标，并结合模糊置信度的感知聚类方法去除虚假头部轮廓，但该方法的计算复杂、实时性较差。而且已有研究大都是对通道入口或出口进行单方向计数，要求必须对入口和出口作出明确规定，即入口不能用作出口，反之亦然。本文提出的行人通道口双向人流量计数方法能较好地克服这些缺陷。

1 目标检测

行人的着装颜色可能不同，然而头顶部的发色相对稳定。无论胖瘦、年龄和性别，所有人的头顶部都是一个类圆形，且其大小差别不大。依据这两个关键特征，可对采集到的人头顶部图像的发色和形状创建模型，提取人头目标区域。

实验中，将摄像头垂直安装在通道上方[4]并选取最佳视角和焦距，如图 1所示。

1.1 发色模型的建立

研究头发的颜色，需要选择恰当的彩色空间，使得发色在该空间中具有很好的聚类性。方法之一是归一化RGB空间对发色聚类，建立二维高斯概率密度模型[5]，但实验发现该方法并不理想，原因是头发颜色的色差分量与亮度分量呈非线性的关系。YCbCr空间与人眼对色彩的感知一致，亮度色度分离[6]。本文将YCbCr空间作为发色检测空间，使发色的聚类性不依赖于亮度，检测效果良好。

在通常光照条件下，采集不同性别、年龄的亚洲人群发色，每张图片大小为80×80像素，构成发色图像库，图2为库中部分图片。从中选取100张最能代表亚洲人典型发色的图片，将每个像素点投射到YCbCr彩色空间中，图3(a)所示为所得发色像素点在YCbCr三维空间的分布情况。

为了确定发色像素点在Y、Cb、Cr分量上的分布范围，按式(1)～(3)做如下计算

其中，Γi=[HYi,HCbi,HCri]T(i=1,2,…,N)是发色像素点 Γi在YCbCr 空间的取值。 y(Γi)、cb(Γi)、cr(Γi)分别是发色像素投射到Y、Cb、Cr坐标轴上的标记函数，N为发色像素点总数。f(y)是亮度Y的函数，表示发色图像中具有某亮度级的像素的个数，反映了发色图像中每种亮度出现的频率，如图 3(b)所示，横坐标 Y是亮度分量，纵坐标 Number表示该亮度级出现的频度。同理，f(Cb)和 f(Cr)分别是色度Cb、Cr的函数，表示发色图像中具有某种色度的像素的个数，反映了发色图像中每种色度出现的频率，如图3(c)、图3(d)所示。发色在YCbCr空间具有非常好的聚类性，色差信息独立于亮度信息，即使在大量(如黄色等)亮度值较高的淡色发色区域，也对 HCb、HCr的分布范围影响很小，于是有理由认为 HY、HCb、HCr取值在发色聚类范围的像素区域为发色区域。根据实验可得到HY、HCb、HCr的取值范围分别是[0,70]，[120,141]，[120,141]。

根据 HY、HCb和 HCr的取值范围，式(4)即为发色提取原则，式(4)为1的点pi所在区域即为发色区域。对图像再进行形态学处理，消除其中的孤立点及毛刺，填补空洞。图4所示为依据发色模型提取出头部区域效果图。

1.2 头部形状模型

当行人着装与发色接近时，仅依据发色模型难以准确提取出头部区域，需结合头部形状信息。将人头顶看作类圆形，定义面积-长宽比模型。

2 目标计数

2.1 虚拟线圈的建立

为了保证本方法的有效性，对停留在入口或出口处某个范围的行人不进行计数。为此，本文在监视区域内设置虚拟线圈，如图5中两条白色标记线之间的区域，系统只对进出该区域的行人进行计数。

2.2 单向计数策略

检测到虚拟线圈内的人头目标后，便对目标进行外接矩形标记，统计矩形框数目便得到当前虚拟线圈中的行人数目。将虚拟线圈内当前目标数设为辅助计数器，越过虚拟线圈的行人目标数设为主计数器。当辅助计数器的值发生变化时，主计数器作出相应变化，具体计数原理为：当辅助计数器的值由n变为m时，主计数器增加(m-n)，统计一定时间内主计数器的值，即统计出了该段时间的单向人流量。

2.3 人头目标链的建立

为了进行双向人流量统计，本文提出人头目标链的概念，即将满足某些运动特性的目标以链表的形式连接成一个目标序列。目标链通常包含灰度、形状、位置等运动参数。运用这些运动信息能在当前帧中检测到的多个目标中准确找到与前一帧某目标相匹配的同一个目标，为相似目标之间的区分提供依据。目标链既能提供目标的历史运动信息，也能预测下一帧该目标的位置。目标链的建立与更新通过链表操作实现。本文综合考虑连续三帧中同一运动目标质心的速度和方向信息。利用运动速度的均匀性和运动方向的直线性做为度量来定义代价函数 Si,k。

式中，i为目标链编号，k为目标编号 (k∈n,n为当前帧目标数目)，t为当前帧编号,α为方向影响因子,β为速度影响因子。Di是方向光滑性函数，反映了目标运动方向的变化情况，Di越大目标运动方向越接近直线。Vi是速度光滑性函数，通过向量的几何平均值与平均幅度之比来度量,反映了目标运动速度变化情况，Vi越大目标越接近匀速行走。对目标链i，连续3帧的目标构成目标序列Si=(pi,t-2,pi,t-1,pi,t)。定义序列中两点的差分向量为Fi,t=pi,tpi,t-1,表示目标从前一帧到当前帧的行走位移向量。

对每帧图像，计算各目标链i和当前帧所有目标的代价函数Si,k，将同目标链i中前两帧目标的代价函数最大的目标加入目标链i。这样就可将当前帧目标和前两帧目标相关联，每条目标链按时间顺序记录了同一目标所有历史位置信息，即该目标的运动轨迹。当前目标在其下一帧中搜索到匹配目标时更新目标链，直至目标在ROI中消失，根据2.2节中单向计数策略判断监控区域内人头数目，对比目标链中存储的目标历史位置信息和虚拟线圈位置判定目标的行进方向,进而为相应方向计数器计数,删除该链表。当有新的目标进入ROI时，为其重新分配一条目标链，依次循环来记录目标的运动轨迹,从而统计出监控区域的双向人流量。

3 实验结果

在学院楼门口采集视频，帧大小为320×240，帧速为15 F/s，程序用Matlab 2010编写。考虑到摄像机与人之间的距离和行人身高的差异都会影响人头顶面积大小，设置面积阈值Amin=100，Anax=1 000，在此之外都视为噪声滤除。设 r1=0.6，r2=3，α=0.5，β=0.5。本文规定图中行人下行为A方向，上行为B方向；A方向计数器用于行人从上至下行走时计数，B方向计数器用于行人上行时计数。图5(a)～图5(c)为单向统计人流量实验结果图，图中Num of ROI表示当前虚拟线圈内的行人数目，Num of Pedestrian表示经过该区域的行人数目，图 5(d)～图 5(f)为双向统计人流量实验结果图，Num of ROI为当前虚拟线圈内行人数目，Num of direction A为A方向经过该区域的行人数目，Num of direction B为B方向经过该区域的行人数目。

将测量值与实际人流量之间的相对误差作为误检率进而计算正确率。经过多次实验，行人单向行走和双向行走的统计结果如表1、表2所示。可以看出，利用本文算法单向统计人流量的平均正确率为98.73%，双向统计的平均正确率为97.3%,高于传统的基于红外线和压力传感器的统计方法，高于参考文献[3]中给出的89.6%的平均正确率，也高于参考文献[7]中实验所得91.0%的正确率。可见该方法在满足实时性要求的同时具有较高的正确率。应用本文算法检测人头耗时0.028 5 s，用霍夫变换进行人头检测需要0.977 4 s，可见应用本文方法检测人头比霍夫变换快30多倍，满足实时性要求。

表1 行人单向行走人流量统计结果

表2 行人双向行走人流量统计结果

本文应用计算机视觉的理论和方法，设计实现了人流量双向统计算法和系统，实验结果证明了该系统的实时性和有效性，较之前的方法和系统有明显提高。该方法并不局限于人流量统计，它对交通领域中的车流量统计也具有指导性意义。但该方法不适合于统计行人戴帽时的人流量，对于行人戴帽和特别拥挤等更为复杂情况下的人流量统计还需进一步研究。

[1]Zhao Min,Sun Dihua,He Hengpan.Hair-color modeling and head detection[C].Proceedings of the 7th World Congress on Intelligent Control and Automation， Chongqing，2008:7773-7776.

[2]BIRCHFIELD S,Elliptical head tracking using intensity gradients and color histograms[C].IEEE Conference on Computer Vision and Pattern Recognition，California,1998:232-237.

[3]于海滨，刘济林.应用于公交客流统计的机器视觉方法[J].中国图象图形学报，2008,13(4):716-722.

[4]ROSSI M,BOZZOLI A.Tracking and counting moving people[C].Proceedings of IEEE International Conference on Image Processing.Austin,Texas,USA:IEEE Computer Society,1994:212-216

[5]CHONG L，TATSEBG C，TECKKHIM N.Face tracking in video with hybrid of Lucas-Kanade and condensation[C].Proceedings of 2003 International Conference on Multimedia and Expo,Maryland,2003.

[6]王长军，朱善安.基于颜色和变形模板的实时人体检测[J].中国图象图形学报，2006,11(6):861-866.

[7]靳晶，万卫兵，方涛.使用单目摄像头的实时行人计数算法[J].计算机工程，2009,35(23):204-206.