梅黎锦
(上海电机学院 高职学院,上海 200240)
智能交通监控主要用于减少交通堵塞与交通事故的频繁发生,已经受到广泛关注.特别是空基系统的移动性强、视野广的优点,成为智能交通研究领域的一个热点话题.
在硬件方面,文献[1]提出了一个名为ATSS(Airborne Traffic Surveillance System)的监控系统,利用无人驾驶飞机、高清摄像头、无线网络以及数字传输技术监控交通流量.在软件方面,设计一种高检测率、低误报率并且能满足实时性需求的车辆检测算法势在必行.然而,能够满足需求的检测算法并不容易设计,主要难点来自于摄像机的抖动.不少研究者在此方面已经有很多努力,例如,比较著名的研究来自于文献[2]提出的一套图像配准技术,该技术可以明显地减少摄像机抖动带来的影响.但是图像配准需要消耗大量的计算资源,使得在获得准确率的同时牺牲了大量的时间,不能满足实时性需求.
此外,空基系统下所拍摄的城市交通图像还存在以下几个特点,使传统的车辆检测算法并不适用:①城市交通往往车辆拥挤,相邻两辆车很容易被识别为同一辆车辆,从而带来漏报.例如,文献[3]提出了一套无人机下简单易行的车辆检测技术,但是这套技术只能适应于车辆很少的交通环境.②由于光线变化以及路边复杂的场景,基于背景提取的检测算法通常过于复杂,而基于光流的算法很难满足实时性需求.例如,文献[4]提出的光流算法用于分割背景和前景之间不同的光流密度场,从而起到车辆检测的目的,然而这种算法需要消耗大量的计算时间,并且会在光噪声强烈的地方产生大量的误报.③城市交通下热噪声严重,使得基于热图像处理的算法无法适用.例如,MICHAELSEN E等人提取了一个三层热图像分类算法,并且在高速公路背景下取得了良好的车辆检测效果,但是却无法运行在城市交通背景之下.
因此,针对城市交通背景下的空基平台,提出一种由粗到精的快速车辆检测算法.该算法主要分为两个过程:图像预处理与分类.首先采用图像预处理技术迅速提取道路区域,从而消除道路区域带来的影响,获得车辆候选区域.然后利用分类技术的高准确性,在图像候选区域中定位车辆的准确位置.实验表明,与传统的车辆检测算法相比,快速车辆检测算法在检测率、误报率和检测速度方面具有良好的表现性能.
检测技术的基本框架图如图1所示,包括2个基本模块:用于提取车辆候选区域的图像预处理模块以及用于对候选区域进行进一步细分的分类模块.其中检测流程可以用如下伪代码描述:
图1 系统流程图Fig.1 System workflow image
图像预处理主要用于提取车辆候选区域,从而避免车辆拥挤和背景复杂所带来的干扰,可以概述为以下步骤:
(1)对摄像头所拍摄的相邻两帧图像进行仿射变换.①从第二帧图像中选择一个尺寸为宽w、高h、中心点为(w′,h′)的矩形区域.②从第一帧图像中找到一个尺寸同样为宽w、高h的矩形区域,该矩形与第一帧中所得图像具有最小的像素值差.③将第二帧图像进行仿射变换,使得其与第一帧图像中所得矩形相在世界坐标系中重合.
(2)利用道路检测算法提取非道路区域.由于城市交通下的空基图像具有以下两个特点:①道路覆盖了图像的大部分区域.②道路上的像素点的像素值差非常小,因此,直方图统计法可以轻松获取车辆可能存在的候选区域.图2中右边展示了统计直方图三原色的分布状况.其中,峰值点及其周边区域代表了道路颜色的分布,而车辆只可能分布在非道路区域之中.
图2 图像预处理模块示意图Fig.2 Image process model
(4)利用图像差分算法提取车辆候选区域.
在此模型中,由于摄像头所拍摄的相邻两帧间隔为20~40 ms,而无人机在短时间间隔内可以认为是做直线运动.另外,图像预处理模块是一个粗略提取候选区域的过程,并不需要很高的精度.因此,(1)中为了避免旋转仿射变换所带来的大量计算消耗,只考虑图像的水平和垂直两个方向的运动.
车辆分类模块主要用于对候选区域进行进一步的细分.在通过图像预处理模块之后,采用洪泛法配合差分算法获得运动区域.结果如图3所示,图像中仍然存在一定程度的误报.因此,经研究采用一个训练获得的分类器来消除误报.基本流程为:
(1)调整候选区域的大小与训练样本一致.
图3 运动车辆候选区域提取Fig.3 Extraction of candidate vehicle region
(3)如果被判断为车辆,则输入检测结果.
图4 层叠分类器结构Fig.4 Structure of cascade classifier
最终检测结果如图5所示,误报率大幅度下降.
对于分类器的训练过程,大量高质量的正负训练样本是分类器最终检测效果的关键.因此,从高清图像中手工获取大量经过精心挑选的样本,并通过尺寸变换调整为32像素×16像素,采用亮度统计颜色模型中的灰度通道作为样本基色.另外一个影响分类器效果的因素是分类器所采用的特征,文献[5]提出Haar特征在行人检测方面取得了良好的效果,因此研究采用了类似的处理方法.
研究所训练的每层单分类器的误报率不高于0.95,而训练所采用的正样本取自于正样本库,负样本则取自负样本库与程序自动在无车辆图片中随机截取的海量负样本,样本示例如图6和图7所示.
图5 最终结果图Fig.5 Detection result
图6 负样本Fig.6 Negative sample
图7 正样本Fig.7 Positive sample
快速车辆检测算法不仅可以从空基图像上快速定位车辆区域,并且能够有效地区分距离相近的两辆车.下面利用对比实验来验证该算法在检测率、误报率以及检测速度方面的综合性能.
实验是基于真实空基平台所拍摄的数字视频进行的实时车辆检测,采用Sony DCR-HC21E高清DV拍摄交通场景,Genuine Inter(R)2.60GHz处理器、4GB DDR内存的计算机识别车辆.
飞行器的飞行高度约为60~90m,摄像头的解析度为1 024像素×560像素,视频中包括不同光照强度、车辆密度以及环境复杂度的检测场景.而实验中分类算法的扫描窗口大小为32像素×16像素.
空基平台下车辆检测技术的检测性能主要可以用三方面来衡量:检测率D,误报率T以及检测速度(帧·s-1).而检测率和误报率可以用以下公式计算获得:
式中:E为被检测到的运动车辆数目;M为没有车辆的区域被误报为车辆的数目;F为没有被检测到的运动车辆数目.
为了有效地展示算法的表现性能,所有对比实验都在相同的硬件平台下运行.实验1是传统的图像差分算法,该算法在安装在电线杆、路边建筑物等固定物体上的摄像头所拍摄的场景中取得了良好的检测性能.它利用图像差分算法,计算相邻两帧图像之间的像素差异获取车辆区域.实验2是在图像差分的基础上引入了车辆尺寸过滤器,根据车辆在真实世界中的尺寸范围过滤掉不可能是车辆的区域[6].实验3是基于道路检测的车辆提取算法[7].实验4是快速车辆检测技术.4个实验的检测结果如表1所示.
表1 对比实验结果Tab.1 Comparison result
实验结果表明,与传统的图像差分算法、车辆过滤技术以及基于道路的车辆检测算法相比,快速车辆检测算法具有更高的检测率(80%~100%)、更低的误报率(0~3%).高检测率是因为快速车辆检测算法的道路检测可以有效地区分距离相近的两车;低误报率则是因为车辆候选区域提取算法过滤掉了大部分不可能存在车辆的区域,以及经过严格训练的分类器可以精分候选区域中的车辆.另外,尽管快速车辆检测算法的检测技术在速度方面不如实验1和实验2中的效果,但是已经足够满足实时性的应用需求.
采用图像预处理技术快速提取车辆候选区域,并用分类算法精确定位候选区域中的车辆.实验结果表明,由粗到精的空基平台下的快速车辆检测算法在检测率、误报率和检测速度方面具有良好的综合性能.
未来的工作主要可以包括两方面:第一,研究高性能的算法进一步提高检测性能.第二,提高算法对不同环境的适应性.
[1]SUMAN S,HANIPH L,JOHN S,et al.Airborne traffic surveillance systems-video surveillance of highway traffic[C]∥Proceedings of the ACM Second International Workshop on Video Surveillance and Sensor Networks.New York:Association for Computing Machinery,2004:131-135
[2]SHASTRY A C,SCHOWENGERDT R A.Airborne video registration and traffic-flow parameter estimation[J].IEEE Transactions on Intelligent Transportation Systems,2005,6(4):391-405.
[3]COIFMAN B,McCORD M M,MISHALANI R G,et al.Roadway traffic monitoring from an unmanned aerial vehicle[J].IEE Proceedings:Intelligent Transport Systems,2006,153(1):11-20.
[4]HULYA Y,MARTIAL H,ROBERT C,et al.A flow-based approach to vehicle detection and background mosaicking in airborne video[C]∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York:Institute of Electrical and Electronics Engineers Computer Society,2005:1202-1208.
[5]VIOLA P,JONES M J.Robust real-time face detection[J].International Journal of Computer Vision,2004,57(2):137-154.
[6]ANGEL A,HICKMAN M,CHANDNANI D,et al.Application of aerial video for traffic flow monitoring and management[C]∥Proceedings of the International Conference on Applications of Advanced Technologies in Transportation Engineering.New York:American Society of Civil Engineers,University of Arizona,2002:346-353.
[7]LIN Renjun,CAO Xianbin,XU Yanwu,et al.Airborne moving vehicle detection for urban traffic surveillance[C]∥IEEE Conference on Intelligent Transportation Systems,Proceedings,ITSC.Piscataway:Institute of Electrical and Electronics Engineers Inc,2008:163-167.