史战果 张筱 吴迪 程帅 张秀彬
(1.上海交通大学 电子信息与电气工程学院,上海 200240;2.南京军区兵种训练基地,江苏 南京 212400)
随着人民经济水平的提高,汽车已经是我们生活中不可或缺的产品。随之而来的是交通事故的增加和人民财产的损失。据不完全统计,交通事故中由于没有把握好前后车辆的安全车距而导致的汽车相撞事故占有很大的比例,因此能够识别前后车辆的距离问题是防止交通事故发生的保证。当前已有超声波[1]、毫米波雷达[2]、激光等技术[3]被应用于车载系统以解决车辆对前方物体的测距问题。但就现有技术而言,超声波测量距离较短;毫米波雷达在电磁波干扰情况下对测距影响较大;点激光测点少,成像式激光技术又过于复杂,经济成本太高;因此造成这些技术的推广受到一定的限制。针对这一问题,本文将提出一种基于图像处理的车距测量算法对车距进行测算。
收集与整理车辆背景图像作为模板,并事先在在车载系统的信号处理器中建立车辆背景模板数据库。如图1所示,一次列举了多种类型车辆背景图像的采集而建立起来的模板集。
图1 若干类型车辆背景图像模板示意图
将车载双目视感系统实时采集的车辆前方景物图像进行合成获得主视场图像,按照最有利于分析和运算的大小规格截取观测窗口,该窗口的选取使得运算能够集中于车辆行驶车道前方30~200 m距离内的车辆识别,如图2。
图2 某路段车辆前方景物图
本文采用空间域模板匹配算法[4]来匹配车辆相似度,从而快速识别前方车辆。具体过程如下:
(1)利用数据库中的模板作为滤波算子滑过主视场观测窗口图像,寻求符合匹配基准的图像区域。这个过程又是被称为Back Project,获得的结果图像可以表达为
式(1)中 R(s,t,x,y)为获得结果图像,t(m,n)为模板图像,s(x,y)为现场图像,现场图像尺寸为W×H,模板尺寸为w×h。
可以看到,R(s,t,x,y)跟模板 t(m,n)、现场图像 s(x,y)和当前位置(x,y)有关。
(2)具体通过计算模板图像和现场图像之间的误差值得出匹配位置。误差公式如下
绝对误差 SAD(s,t,x,y)
模板和现场图像在(x,y)处的 w×h区域内容越接近,误差就越小。求得 R(s,t,x,y)的结果图像后,找到整个图像上最小的点位置,作为模板匹配的位置。运用此算法对图2进行模板匹配后得到的图像参见图3白色虚线框所示区域。
图3 模板匹配
当车载视感系统在主视场观测窗口内采用w×h模板寻找到匹配区域时,通过模板匹配区域计算前方车辆的行投影中心。
如图4中实例的行投影中心的计算方法是,对匹配区域作一根水平线相交于左、右边缘两个交点 (il,jl)和(ir,jr);作两个交点连线的垂直平分线;则该垂直平分线与横坐标轴的交点即为前方车辆的行投影中心P,且
图4 行投影中心计算图例
式(5)中的i、j分别代表观测窗口图像的横轴和纵轴坐标。
如图5所示,对前方车辆行车道进行确认,通过匹配区域的下边缘做一水平线,求其与两侧行标线的交点a和b。将中心点P的i轴坐标P(i)与交点a和b的i轴坐标进行比较,以确定前方车辆所处行车道。
进行车道确认后,发现前方车辆与自己车辆在同一车道后,将前方车辆中心点P进行标注。
识别出前方与自己车辆所处车道一致后,采用双目视差原理[5]来计算车距。
图5 车辆行车道确认图例
如图6所示,利用双目视差测距原理检测当前车辆距我车的距离。
图6中,Ol、Or分别为左、右两个摄像机(图像传感器)的光学中心位置(简称光心);Pl、Pr分别为标注点 P在左、右两个摄像机的图像平面(虚成像平面)上的投影点;AP、OP分别为标注点P至OlOr连线的垂线与虚成像平面及OlOr连线的交点;Al、Ar分别为过Ol、Or向虚成像平面作两根垂线与其交点。
图6 双目视差测距原理图
(1)利用外极线约束原理[6]快速确定被匹配目标中心点P在左右视图图像上的位置。所述外极线约束,即外极线几何约束,就是指左视(或右视)图像上的任一点,在右视(或左视)图像上的对应点只可能位于一条特定的直线上,称为右外极线(或左外极线)。
(2)根据寻找到的公共特征点的图像坐标转换为虚成像平面坐标,转换公式为
式(7)中,i、j为计算机图像坐标,f为摄像机光学有效焦距,dx、dy分别为图像平面上 x、y方向上单位像素间的距离,sx为图像纵横比。cx、cy为光心o在计算机成像平面上的像素坐标,即光心坐标(cx,cy)。
(3)通过转换公式计算获知点Al、Pl、Ar和Pr的虚成像平面坐标,即
考虑 yAl=yPl=yAr=yPr,因此能够求出双目视差l-r,即
(4)应用视差测距公式直接计算该公共特征点与自身车辆的距离。
必须指出,计算过程,两个摄像机光心间距b的计算单位为m,(公式1)中其余两个量,即视差l-r和成像焦距˜f的单位均为像素数。
为了检验本文提出的车距测量算法,搭建了有硬件系统和软件测试系统组成的实验平台。硬件系统有两个性能数据完全一致的CCD摄像头、图像采集模块组成;软件测试系统是在LabVIEW环境下,结合 NI公司的Vision工具进行编写。本系统具有面板简洁、操作简单、数据存储读取方便等特点,可以实时显示图像及处理结果。软件界面如图7所示。
图7 实验平台的软件界面
图像采集模块对车辆前方的景物进行实时采集,通过软件测试平台对采集到的图像进行算法应用。表1列出了对30 m、40 m、50 m、60 m、70 m、100 m、150 m 距离上的车辆进行实验的数据。
表1 车距测量结果
实验进一步证实:本文所提供的方法具有较高的运算速率和较低的测量误差:(1)运算周期小于30 ms;(2)识别准确率高达99%;(3测量结果误差都在0.25%以内。充分说明该测距算法在车辆安全距离测量方面有着精度高、速度快的优点。且整个过程实现自动化,因此完全能满足实时性的要求。对前方车辆进行自动识别和测距,完全能满足汽车辅助驾驶技术中车辆距离测量的实际需要,是一种行之有效的车距测量方法。在实验中搭建的安全车距测距平台也为下一步研究安全车距控制系统奠定了基础。
[1]Carullo A,Parvis M.An ultrasonic sensor for distance measurement in automotive applications[J].IEEE Sensors Journal,2001,1(2):143.
[2]Joongsuk Park,Cam Nguyen.A new millimeter-wave step-frequency radar sensor for distance measurement[J].IEEE Microwave and Wireless Components Letters,2002,12(6):221-222.
[3]钟震宇,钟泽宇.汽车激光测距防撞语音报警系统的设计与研究[J].太原理工大学学报,2008(S2):204-208.
[4]张秀彬、应俊豪.智能视感学[M].北京:中国水利水电出版社,2010(3):131-133.
[5]Xu Jie ,Chen Yi-min,Shi Zhi-long.Distance measurement using binocular-camera with adaptive focusing[J]. Journal of Shanghai University,2009,15(2):169-174.
[6]Pritt,Mark D.Image registration with use of the epipolar constraint for parallel projections[J].Journal of the Optical Society of America A,1993,10(10):2187.