基于波峰搜索算法的视频客流计数系统研究

王梦菊，吴小龙，石若玉

基于波峰搜索算法的视频客流计数系统研究

王梦菊，吴小龙，石若玉

（昆明交通咨询有限公司，云南 昆明 650028）

视频分析在客流统计上的应用是当前研究的热点及难点，常见的视频计数实现过程主要是依靠对象分割、目标跟踪、目标识别等尚未成熟的算法，尤其要实现目标的准确跟踪仍非常困难。为避免目标跟踪算法对计数精度的影响，文章在对象分割算法的基础上统计目标像素，再采用提出基于加权步长的波峰识别搜索算法对像素统计曲线进行识别，从而实现对乘客目标计数；最后以长途大巴车视频客流计数问题为背景，结合提出的计数算法设计一套完整的视频客流计数系统。实验结果表明，文中设计的客流计数系统能够对长途大巴车乘客有秩序上（下）车的视频序列准确计数，计数精度达到90%以上，并具有超载报警和智能结算等功能。

客流计数；目标检测；波峰识别；视频分析

1　概述

客流信息是重要交通流数据之一，是开展运输组织和管理工作的主要依据。随着智能交通的发展，对客流信息获取的渠道、技术、质量、速度等都提出更高的要求。常见的客流计数实现技术包括：压敏传感、红外检测、光电脉冲检测、视频分析等［1］。在视频监控技术被广泛应用到交通领域的背景下，基于视频分析的客流计数技术逐渐成为主要研究方向之一。调查发现，在实际中该技术具有迫切的应用需求，例如：机场、火车站、地铁站等重要交通枢纽及火车、长途大巴车、公交车等交通工具。

目前国内外已有大量关于视频分析在客流计数上的应用研究，根据研究的视觉维度可将其大致分为两大类：基于立体摄像机和基于单摄像机。基于立体摄像机的视频客流计数系统结构复杂，目标空间参数计算耗时长［2］，多数研究更倾向于采用基于单摄像机的二维视频图像序列。根据计数原理可以将客流计数方法分两大类：基于线性回归的人流计数和基于区域估计的人流计数。

（1）基于线性回归的客流计数

线性回归计数的原理是在图像中设置检测线，将跟踪的目标位置或特征信息与检测线进行线性拟合，从而估计出客流数目。在此类算法中，目标的质心、外轮廓边缘线、某一局部特征（头部、头肩、颜色）等常被作为目标跟踪的对象。文献［3］在公交环境下记录乘客目标在图像序列中的运动轨迹，通过目标轨迹线与进出口检测线的相交方式来判断乘客的上下车行为。文献［4］利用椭圆检测将 “团块”中的多目标分割，解决拥挤状态下多目标计数问题。文献［5］提出一种基于双椭圆模型的视频人数统计方法适合多种镜头方式、人群密集、部分遮挡等环境下的人流计数。文献［6］使用“ Ω ”型头肩轮廓特征在前景图像上对人体目标进行匹配，进而进行识别计数。文献［7］在目标区域内利用估计的头部平均面积提取人体头部作为计数的对象。文献［8］使用Hough变换识别圆形物体的原理检测人头，对人头进行定位。文献［9］基于XYZ和HSV颜色空间构建了一个行人发色和肤色检测模型，通过对发色和肤色的双重检测从而确定人头位置。线性回归计数算法属于直接的计数方法，在算法中要求对单个目标准确识别及跟踪，因而对目标分割及跟踪的精确性要求较高。

（2）基于区域估计的客流计数

区域估计计数是通过在一定时间周期内对图像检测区域中的目标特征向量进行估计实现计数，是间接的计数方法。在算法中经常使用模型学习的方法对目标的面积、轮廓、人脸、头部、头肩模型、着装颜色等目标特征向量进行识别计数。文献［10］通过搜集低水平集和高水平集目标跟踪的数据，使用Adaboost算法对目标跟踪数据进行分类识别得到跟踪的目标数。文献［11］利用Adaboost对检测区域总的人脸进行识别计数。文献［12］使用SVM对所构的人体头肩模型进行学习，实现对行人数目计数。文献［13］将图像分割和纹理提取为数据序列，使用RBF神经网络算法对数据序列进行学习，从而实现对人体的识别与计数。文献［14］使用动态纹理模型将多个目标分割为不同运动方向“团块”，再采用贝叶斯归回归模型对从“团块”中提取低级特征（Low-Level Features）进行学习，实现对不同方向行人的估计。因而基于区域估计的计数算法依赖于模型学习算法，而很多模型计算复杂且需要经过大量样本训练，难以做到实时计数。

从上述分析可知，基于视频分析的客流计数方法多种多样，每一种方法都是针对具体应用而提出，计数精度很大程度上依赖于对象分割和目标跟踪的准确性，而现阶段这两者理论算法均尚未成熟，尤其要实现运动目标准确跟踪仍然非常困难。本文以视频客流计数在长途大巴车的应用为背景，直接在对象分割的基础上设计视频客流计数系统，以减少跟踪算法效率对计数准确性的影响，并使系统具有超载报警和智能结算等功能。视频客流计数系统结构如图1所示。

图1　视频客流计数系统结构图

2　乘客目标分割

目标分割是实现目标跟踪和目标计数的重要前提条件，其提取效果直接影响计数的准确性。背景减法是利用当前图像与背景图像的差分结果来检测出运动区域，由于算法能够提取较为完整的前景目标且背景建模和背景更新算法研究有巨大的进步空间，因而该项目标检测技术得到广泛应用及研究，相关算法及改进算法层出不穷。本文使用视频序列中不包含乘客目标的第一帧作为初始背景，再不断利用符合背景要求的图像对背景进行更新。假设背景图像为B（x，y），当前图像f（x，y），两图像像素之差diff，阈值为T，则：

经过式（1）、式（2）运算得到背景减法结果图像中往往存在噪声，传统检测算法常使用图像滤波、数学形态学、图像二值化等技术对图像后处理，这类做法有利于下一阶段的目标识别、跟踪等，但却使提取的目标失去了原始的信息。为了利用目标的原始像素并减少繁琐的后处理技术环节，本文提出一种基于目标的原始乘客像素统计的视频乘客计数算法。

3　基于像素统计的乘客计数方法

3.1算法思想

视频图像经过目标检测算法处理后，图像中多数非零像素都聚集在目标区域，而背景区域除了少量噪声外大部分为黑色（即像素值为0），如图2所示。根据目标检测结果图中非零像素的这个分布特征，本文在图像中间设置检测区域（ROI），对区域内的非零像素数目进行统计，并通过对检测区域内的像素统计规律识别达到乘客计数的目的。检测区域大小要求能包含一个体型较大的乘客，同时又能够恰好将前后的乘客分开，通过大量的实验观测得到检测区域的合适尺寸为100×200像素（在图像中100×200像素的矩形框尺寸对应客车两个台阶的面积，通常乘客上车过程中这个尺寸范围能够检测得到目标像素最多），如图2中白色矩形框所示。

图2　乘客目标像素统计过程

从图2可以看出，在第126帧时乘客到达检测区域右侧，检测区域内非零像素数目较少；图2（b）中在第140帧时，乘客目标头部进入检测区域，区域内非零像素数目逐渐增加；图2（c）中在第154帧时，乘客身体进入检测区域，此时检测区域内非零像素数目达到一个较大值。图2（d）中在第173帧时，乘客目标离开检测区域，检测区域内非零像素恢复到较低值。可知在第126帧～154帧，检测区域内像素是非线性上升的过程，而从154帧～173帧，检测区域内非零像素数目处于非线性下降的过程。通过对126帧～173帧视频序列中检测区域内非零像素数目的变化统计得到如图3所示的曲线。从图3可以看出，当一个乘客通过检测区域时，区域内非零像素数目呈现非线性上升至最大峰值，再由最大值逐渐下降至较低值的变化规律。在统计曲线上，除了最大的波峰外还分布许多小波峰，称之为“毛刺”，这是由于背景光线改变、乘客运动发生形变、目标检测算法效果等因素引起的。根据乘客的运动可知通常情况下乘客在视频序列中存在时间较长，所占的帧数较多对应波峰宽度较大的波峰，而由其他因素引起的波峰宽度较小，大多属于“毛刺”。因此可以认为在像素统计曲线上每个局部极大波峰与一个乘客目标对应。

对录制的乘客上车视频序列进行检测区域非零像素数目统计，其中前7位上车乘客对应的曲线如图4所示。从图4曲线可以看出，曲线上形成7个较为明显的波峰，对应如图5所示的前7位乘客组成的乘客上车视频序列。当乘客以较快的速度通过检测区域时，其在视频序列中存在的时间较短，波峰宽度相对较小，以较慢的速度通过时，则得到宽度较大的局部波峰。当前后乘客相邻的间隔较大时，波峰波谷较为明显，而当间隔较小时，波峰波谷特征减弱。峰值的大小则反映乘客的形体、目标检测算法能够提取的目标有效面积像素等。可见当乘客连续通过检测区域时非零像素统计结果为一条波峰波谷明显的曲线，通过对曲线上波峰波谷进行识别统计，就可实现对乘客的计数。

图3　单个乘客像素统计结果

图4　多个乘客像素统计结果

图5　乘客上车视频序列

3.2 加权步长波峰搜索识别算法

由于曲线上 “毛刺”的存在使得波峰识别变得困难。根据对乘客像素统计曲线的分析，本文提出一种基于加权步长的波峰搜索识别算法，其基本算法原理是选择一个固定宽度的搜索窗口在频谱曲线上进行滑动，在这过程中求窗口两端点的像素差值，将得到的差值与不同等级的阈值进行比较，确定曲线上升或下降的步长权值，归一化差值（差值≥0，归一化为1；＜0，则归一化为-1），具体算法流程如图6所示：

图6　加权步长波峰搜索识别算法

加权步长波峰搜索识别算法能够将正弦曲线转换为方波，通过对方波的识别实现对其波峰、波谷的统计。采用算法对图5单人间隔上车视频序列多目标通过像素统计曲线进行处理，得到如图7所示的方波图，将其与图4的带“毛刺”的正弦曲线相比较，明显方波更便于识别统计。通过多次实验验证，证明本文提出的基于加权步长的波峰搜索识别算法对于带“毛刺”但存在有明显波峰波谷的信号波具有良好的识别效果。

4　试验及结果分析

本论文在WindowsXP环境下采用C++语言及OpenCV图像处理库函数实现系统，系统整体算法流程如图8所示，系统界面如图9所示。用户可手动输入汽车的牌照号、额定载客人数、运营线路等相关车辆信息，然后选择测试视频样本，自动乘客计数系统就能够自动计算出乘客人数，将计数结果传输给超载警报系统做判定，同时把数据传送到结算报告系统，通过超载警报子系统和结算报告系统的处理，系统最后输出最终结果。

图7　算法方波图

图8　计数算法流程

图9　视频客流计数系统界面

使用录制的多乘客视频资料对系统进行测试，证实系统能够实现预期的乘客计数、超载报警、结算报告功能。对大巴车上乘客有秩序上下车视频序列，系统能够准确记录不同时段上下车的人数，并在超载的情况下发出报警信息，最后自动生成运营报告。然而目前视频计数系统乘客计数的精度只达到90%，要将该系统应用到实际中还有一定困难。除了要提高视频计数系统的准确性外，还需完善中央处理系统、超载警报系统、结算报告系统等，使输出的最终结果更直观可靠。在提高软件功能同时考虑软、硬件之间的结合问题，如数字信号处理器（Digital Signal Processing，DSP）的选择，视频计数系统与车载GPS平台的相互融合，无线通信模块配置等。

5　结语

本文设计了视频客流计数系统，能够实现乘客计数、超载报警、经济指标计算等功能。提出基于加权步长波峰搜索识别的乘客目标计数算法，该算法具有计算简单，速度快，而且不依赖于算法理论尚未成熟的目标跟踪技术等特点，能够对长途大巴车乘客有秩序上、下车视频序列实现准确计数。但是对于其他复杂情况的计数，例如两人并排上车，由于统计得到的像素曲线无明显的规律可寻，对此类像素统计曲线的识别还有待进一步的研究。

［1］石琳琦，赵辛宇，吴望尘.公交客车乘客计数技术的研发进展［J］.电子世界，2012（24）：108-111.

［2］K. Terada，D. Yoshida，S. Oe，ect. A Counting Method of the Number of Passing People Using a Stereo Camera［C］∥The 25th Annual Conference of the IEEE，Industrial Electronics Society，1999. IECON' 99 Proceedings. 1999：1318-1323.

［3］王伟东.视频分析法在公交车客流统计中的研究与应用［D］.天津：河北工业大学，2010.

［4］ Chung-LinHuang，Shih-Chung Hsu，I-Chung Tsao，etc. People Counting using Ellipse Detection and Forward/Backward Tracing［C］∥2011 First Asian Conference on Pattern Recognition，2011：505-509.

［5］ 张继法，梅雪，许松松，等.一种基于双椭圆模型的视频人数统计方法［J］.计算机科学，2012，39（S1）：500-502.

［6］Yifang M. Xiang nian H. Human Recognition Based On Head-Shoulder Moment Feature［C］∥IEEE International Conference on Service Operations and Logistics，and Informatics，2008：622-625.

［7］Qing Ye. A robust method for counting people in complex indoor spaces［C］∥2010 IEEE International Conference on Education Technology and Computer，2012：450-454.

［8］张敏敏.复杂环境下的人头定位技术研究及是想［D］.南京：南京理工大学，2008.

［9］Zui Zhang，Hatice Gunes，Massimo Piccardi. An accurate algorithm for head detedtion based on XYZ and HSV hair and skin color models［C］∥2008 IEEE International Conference on Image Processing，2008：1644-1647.

［10］Dat Nguyen，Loc Huynh， Thang Ba Dinh，Tien Dinh. Video Monitoring System：Counting People by Tracking［C］∥2012 IEEE RIVF International Conference on，2012：1-4.

［11］Lijiang Zhang，Yingli Liang. A fast method of face detection in video images［C］∥Proceedings 2nd IEEE International Conference on Advanced Computer Control，2010：490-494.

［12］Xu Hua-zhong， Pei Lv，Lei Meng. A people counting system based on head-shoulder detection and tracking in surveillance video［C］∥2011 International Conference on Computer Design and Application，2010：1394-1398.

［13］D.Huang， Tommy W.S.Chow，W.H Chau.Neural network based system for counting people［C］∥2002 28th Annual Conference of the IEEE Industrial Electronics Society，2002：2197-2201.

［14］Antoni B.Chan，Nuno Vasconcelos. Counting People With Low-Level Features and Bayesian Regression［J］∥IEEE transactions on image processing，2012，21（4）：2160-2177.

Research on Video Passenger Counting System Based on Wave Search Algorithm

Wang Mengju， Wu Xiaolong， Shi Ruoyu
（Kunming Transport Consultancy Limited， Kunming 650028， China）

Video analysis on the passenger flow statistics is current research hotspot and difficulty，and the common video counting implementation process is mainly rely on the object segmentation， target tracking and target recognition which are not yet mature algorithms. Especially， it is very difficult to track the target accurately. In order to avoid the influence of target tracking algorithm on the counting accuracy， in this paper， the video of counting algorithm statistics target pixels that are based on the object segmentation algorithm.For achieving the passengers counting ， the peak identification search algorithm which is based on weighted step wave is proposed， in order to identify the statistical curve of pixels. Finally， a set of complete video passenger flow counting system which is under the background of the long distance bus video passenger flow counting problem and combining with the count of algorithm are designed. Experimental results show that the design of passenger flow counting system could count accurately on the video sequence of the long distance bus in which passengers orderly on （off） the car， and the counting precision is above 90%， also functions as overload alarm ， intelligent settlement and so on are added.

passenger counting； target detection； peak identification； video analysis

U491.1+16

A

1672-9889（2015）06-0076-05

王梦菊（1987-），女，云南文山人，助理工程师，主要从事城市交通方面的工作。

（2015-03-07）