重庆大学通信工程学院 严正行 管晓玲 唐方舟 印 勇
一种基于非均匀视频图像帧采集的车速实时测量方法
重庆大学通信工程学院 严正行 管晓玲 唐方舟 印 勇
【摘要】当今随着智能交通系统的不断发展,车速检测必不可少。基于视频图像的车速检测以其安装简便、成本较低的优点有着广泛的应用前景,但目前基于视频图像的车速检测准确度、精度较低,实时性不够好。本文提出了一种基于非均匀视频图像帧采集的车速实时测量方法,该方法通过非均匀视频图像帧采集,检测测速起始、结束区的感兴趣区域内图像差值大小,利用系统计时获取车辆在固定实际距离下的运动时间,计算得到车辆运动速度。该方法与传统方法相比,测速准确度、精度以及实时性都得到较大提高,增强了系统鲁棒性。
【关键词】信息处理技术;车速测量;车辆检测;非均匀图像帧采集
随着社会的急速发展,在交通领域中,如何精确的测量机动车辆行驶速度一直是国家科技工作者们的研究热点。视频测速通过获取摄像头采集到的视频信息,通过软件分析的方法提取视频背景和目标车辆并通过预先的实际标定,测量车辆的速度。
视频测速具有安装简单,无需专用测速设备等诸多优点,但也存在许多需要解决的问题:首先是视频测速的精度是随着光照情况的变化而变化的;其次是视频测速算法中阴影问题,易造成误检错检,准确度不高;最后,车辆在道路场景中的相互遮挡的问题。目前的难点还集中在车辆的分割上,在算法设计方面应考虑设置多种辅助检测区域,进行多种分析计算。另外,现在的大多数视频测速方法中的算法较为复杂,不能很好的满足实时性要求,在硬件上须采用更高速的处理芯片来满足高级算法的需求[1] [2] [3]。
笔者提出一种视频测速方法以解决现有视频测速方法实时性差、精度低、抗干扰能力差以及其他测速方法测试设备成本高、系统复杂等问题。其系统检测简要流程如图1所示。
图1 测速简要流程图Fig.1 Brief Diagram of Speed Measurement
图2 系统初始化流程图Fig.2 Diagram of System Initialization
速度是单位时间内物体运动的位移[4]。
测量速度可采用的方法有:一是固定时间内物体运动的位移,二是运动固定位移所需的时间。基于视频图像对车辆的测速,选取方法二更合适,即在视频图像中选取固定距离的测速区,测量同一辆车辆经过测速区的准确时间,由公式(1)即可算出目标车辆经过测速区内的平均速度。其中的为视频图像测速区距离经过实地标定后的实际距离,可直接由帧频导出,也可由系统时钟得到。视频测速的重点是对车辆的准确识别与分割,对经过测速区的时间准确测量。
视频图像测速易受的干扰因素较多,如光照情况的变化、光照形成的阴影、车灯的影响、车辆遮挡、极端天气的影响等[2],这些都对视频测速的准确度有着很大的影响。这些干扰因素主要影响着车辆的准确检测与分割。
目前常用的车辆检测方法有帧间差分法、背景差分法、轮廓检测法、光流法、特征检测等[2]。大多数视频测速方法计算较为复杂,不能很好的满足实时性要求,并且车辆检测的准确性也有待提升[2]。
笔者综合参考了车辆检测准确性与实时性要求,在此提出一种基于非均匀视频图像帧采集的车速实时测量方法。
该方法的主要实施步骤如下:
①系统初始化:首先从摄像头获取一帧图像映射为系统标准尺寸,本方法建议尺寸为1024×768;然后根据待测车道的形状在合适的测速位置划定车道的掩膜;其次,根据该掩膜自动生成其最小外接矩作为该掩膜的感兴趣区域,另外,在该掩膜内划定测速起始区域掩膜和结束区域掩膜,并以同样的方式生成对应感兴趣区域;最后,提取起始、结束感兴趣区域的背景,并进行灰度处理。在保证测速准确性的前提下,使用感兴趣区域进行测速处理。
②实际标定:系统根据测速起始、结束掩膜获得其中心点,根据这两个中心点测量出该两点在车道中对应的实际距离并输入系统。
③车辆速度计算:依次从摄像头中获取图像帧,对每一帧图像都进行如下处理:更新所有感兴趣区域的数据;根据起始区掩膜的感兴趣区域检测每帧图像起始窗的图像差值来判断是否有车到达;当起始窗检测到有车到达时,系统根据系统时钟进行计时;不断从摄像头中获取图像帧,根据结束掩膜的感兴趣区域检测每帧图像结束窗的图像差值来判断是否有车到达;系统在处理每一帧时,若有车到达,系统计时结束,返回测速时间,根据实际距离和测速时间计算出车速并完成车流量统计及超速检测等功能。若无车到达,系统立即获取下一帧进行检测。
图2为系统初始化流程图,首先从摄像头获取系统待测速车道的图像,在图像中划定待测车道掩膜,系统会根据车道掩膜即刻生成车道掩膜的感兴趣区域。然后,在掩膜感兴趣区域内合适的地方划定测速起始区掩膜、测速结束区掩膜,系统也会即刻生成对应的两个感兴趣区域。再将视频图像测速区的距离经过实地标定,得出其实际距离并输入系统。除此之外,还要更新测速起始区小窗和结束区小窗,以获取较佳的小窗图像并灰度化作为系统初始测速的背景。
图3为系统车速检测流程图,首先对系统进行初始化,将标志位HSTART和HEND置零;依次从摄像头中获取图像帧,对每一帧图像都进行如下处理:更新所有感兴趣区域的数据。根据起始区掩膜的感兴趣区域检测每帧图像起始窗的图像差值来判断是否有车到达;当HSTART >1时,起始窗检测到有车到达,系统根据系统时钟进行计时;不断从摄像头中获取图像帧,根据结束掩膜的感兴趣区域检测每帧图像结束窗的图像差值来判断是否有车到达,当HEND>1时,结束窗检测到有车到达;系统在处理每一帧时,若有车到达结束窗,系统计时结束,返回测速时间,根据实际距离和测速时间计算出车速并完成车流量统计及超速检测等功能。若无车到达,系统立即获取下一帧进行检测。
判断是否有车辆到达起始窗或结束窗时都单独设置了一个标志位,检测到图像差值较大时标志位加1,否则,标志位置零,当标志位大于1时会判为有车辆到达。所以只有当连续监测到两次差值较大时才会认定为有车辆到达起始窗或结束窗,降低了部分干扰的影响,增强了系统的鲁棒性。
在整个车辆速度测量过程中,使用图像差值检测在测速起始区、测速结束区感兴趣区域中对车辆进行检测。该方法能较高效的检测车辆,其主要有如步骤下:
(1)当前感兴趣区域进行灰度处理;
(2)当前感兴趣区域与背景在掩膜的辅助下进行差分运算并处理获得差值均衡化图像:首先,当前感兴趣区域图像与背景图像相减得到差值图像;然后,找出差值图像中像素点最小值Min,并让差值图像的每个像素点加上该数值得到被修改的图像;最后,找出被修改图像中像素点最大值Max,并让被修改的图像的每个像素点乘以,得到最终的差值均衡图像。
(3)对图像进行自适应阈值的二值化处理:对差值均衡图像采用大律法[7]计算阈值,根据阈值进行二值化处理得到二值化图像[7]。
(4)对二值化图像进行中值滤波处理,并进行闭运算形态学处理[7];
(5)统计灰度值为255的像素点数占该感兴趣区域总像素点的比例;
(6)判断比例是否小于设定的背景更新阈值,若是,则更新当前感兴趣区域的背景,反之,则结束,进行下一步的判断。
车辆检测流程可参考差值检测流程图图4。
图3 车速测量总流程图Fig.3 Total Diagram of Speed Measuremen
图4 车辆检测流程Fig.4 Diagram of Vehicles Detection
(1)保证准确的前提下,数据量处理较小,抗干扰性较强:
①在系统初始化时划定三个掩膜[6],并基于每个掩膜生成了对应的感兴趣区域,在保证测速准确性的前提下,使用感兴趣区域进行测速处理大大地减少了系统处理的数据量,提高了系统实时性。
②在对车辆的检测使用的是感兴趣区域的差值检测方法,通过该方法计算出了灰度值为255的像素点的数量占总像素点数量的比例,将该比例和设定的比例阈值相比,大于阈值表示出现了车辆,小于阈值表示没有车辆。该检测方法简单并高效,避免使用复杂的光流法、角点检测与匹配、斑点检测与匹配等方法,减小数据处理量,提高实时性。
(2)车辆经过测速区时使用的是系统时钟:从起始窗检测到车至结束窗口检测到车的系统时间差是车辆运动的时间,使用这个系统时间差代替车辆实际运动的时间,相比由固定帧率计算的时间,提高了几个数量级,很大程度上减小了时间误差,使得计算得出的时间尽可能接近于车辆实际运动的时间。
(3)系统采用了非均匀视频图像帧采集方法:在系统进行测速时,若没有车辆到达结束窗时,立即放弃处理当前帧并从摄像头获取下一帧图像进行处理,中间无需等待定时器时间。获得的图像为非均匀视频图像帧,帧率相对较高,对车辆实际运动过程采样次数较多,使得系统获得更多的车辆的位置信息,在空间距离上减小了系统误差,与此同时也让系统计时更为准确。
(4)在车速计算中,数据处理的对象是基于测速起始、结束掩膜的感兴趣区域,而判断车辆是否到达起始窗的根据是感兴趣区域中的掩膜,并非常用的双线圈法[8]。
(5)在对车辆检测使用的感兴趣区域的图像差值检测中,使用了差值图像均衡化方法。
图5-a 测速起始窗车辆检测情况Fig.5-a The Result of Vehicle Detection In Starting Window
图5-b 测速结束窗车辆检测情况Fig.5-b The Result of Vehicle Detection In Ending Window
对于该测量方法,笔者在两台相同计算机上(SAMSUNG 450R5VEG2CN)使用相同的USB摄像头(RER-USBFHD01M)采用本文的检测方法[5]分别对固定帧率的视频和基于非均匀视频图像帧采集的视频进行车辆速度测量。
(1)截取视频中有车辆经过的多辆目标车的图像,检测效果如图5。图中a图表示车辆到达测速起始窗的检测情况,b图表示车辆到达测速结束窗的检测情况。从图看出,车辆经过测速起始窗和测速结束窗时,系统能准确检测到车辆。
(2)对固定帧率的视频和基于非均匀视频图像帧采集的视频进行车辆速度测量,测速区实际标定的距离为26.1m,被测速车辆以制定速度匀速经过测速区。测量结果分别记录于表1和表2中。
表1 基于固定帧率(帧率为30)的视频测速结果Tab.1 The Results of Speed Measurement Based On Fixed Frame Rates(30 frames/sec)
表2 基于非均匀视频图像帧采集的视频测速结果Tab.2 The Results of Speed Measurement Based On grabbing non-uniform video image frame.
精度计算公式[5]:
其中vm为实验测量获得的车辆速度,vr为车辆的实际速度。
从表1可以看出,使用文中的车辆检测方法,在帧率为30的固定帧率的视频测速中,测速平均精度96.1%;从表2可以看出,在相同的测试环境下,使用相同的车辆检测方法,在基于非均匀视频图像帧采集的视频中,测速平均精度为98.49%。在使用基于非均匀视频图像帧采集的方法中,测速精度明显要高于基于固定帧率视频的方法。两种方法用在测量低速车辆时,相比高速车辆,精度都较高。除此之外,表2每一辆车辆的速度测量精度普遍高于表1中的精度,即基于非均匀视频图像帧采集的方法速度测量精度要比基于固定帧率视频的方法精度要高。
另外,我们继续使用该实验装置在道路上进行了10到20分钟左右的实时车速测量[6],车辆检测平均正确率为89.9%,平均漏检率为2.0%,平均错检率为8.1%。
由于实验条件有限,我们不能知道车辆的实际精确速度,并且还有一些设备等限制,会一定程度上影响实验结果的准确性。但在以上数据看来,实验结果还是很满意的。因此,本文的基于非均匀视频图像帧采集的车速实时测量方法相比普通的车速测量方法,精度、准确度以及实时性均有提高,是一种实际可行的车速测量方法。
参考文献
[1]泉州市视通光电网络有限公司.一种基于视频的车辆测速方法[P].中国201210063280.1,2012.07.18.
[2]董春利,董育宁.基于视频的车辆检测与跟踪算法综述[J].南京邮电大学学报,2009,29(2):88-94.
[3]韩露莎.ITS中交通状态检测的算法研究[D].浙江:浙江工业大学,2013.
作者简介:
严正行(1994-),男,大学本科,研究方向:视频分析处理。
通讯作者:
印勇(1963-),男,教授,重庆大学通信工程学院副院长,研究方向:图像信息处理与识别、视频分析处理、现代信号与信息处理。
基金项目:国家级大学生创新创业训练计划资助项目(项目编号:201510611084)。