基于双目视觉的车辆行驶跑偏在线自动检测系统

周兴林　李　程　刘汉丽　蒋难得　张　云　胡怡玮

武汉科技大学，武汉，430081

基于双目视觉的车辆行驶跑偏在线自动检测系统

周兴林李程刘汉丽蒋难得张云胡怡玮

武汉科技大学，武汉，430081

为了解决车辆行驶跑偏测量问题，研制了一种车辆行驶跑偏在线自动检测系统。该系统通过建立的双目机器视觉模型实现了车辆行驶跑偏量的自动测量，研制的大视场激光光源解决了测量中的环境干扰问题，采用优化数据处理算法解决了测量精度不高的难题，构建的无线网络测试系统实现了车辆行驶跑偏在线自动检测。该系统测量精度高、运行稳定可靠，可广泛应用于汽车生产企业及各种车辆检测线上车辆行驶跑偏量的在线自动测量。

车辆行驶跑偏；双目视觉；激光光源；在线测量

0　引言

汽车行驶跑偏是汽车运行中常见的故障，跑偏的危害很大，轻则造成啃胎或轮胎报废，重则导致爆胎、车辆失控或引发严重的交通事故。

目前国内外车辆跑偏的检测方法[1-4]相对较多，主要分为传统测量法和现代测量法，传统测量法主要是人工主观判断和洒水定位，其判断效率低下、易出错且检测精度低；现代测量法主要有GPS、激光测距及摄影测量等方法，这些方法或精度较低，不能满足测量要求，或成本相对较高，不能推广应用，或环境因素影响测量精度，不能全天候检测。因此，有必要研究新的测量方法并开发不受外界环境影响、检测精度高的在线自动检测系统，应用于汽车生产线及各种车辆检测线，提高企业的工作效率和经济效益。

1　测量模型

1.1检测系统建模

整个车辆行驶跑偏测试系统设置两个检测点，如图1所示，驾驶员在行进至检测点一到检测点二这段距离的过程中保持方向盘不转动，检测系统整体测量坐标系为OXYZ，在检测点一和检测点二处分别通过激光双目视觉传感器获取t1时刻的测点坐标P1(X1,Y1,Z1)和t2时刻的测点坐标P2(X2,Y2,Z2)，通过对t1时刻获取的图像边缘进行检测[5-6]，得到t1时刻被测车辆与道路中心线之间的入射角θ1，连接P1P2并延长，P1P2与水平线夹角为θ2，则跑偏参数如下。

图1　车辆行驶跑偏测量系统模型

(1)

(2)被测车辆百米跑偏量ΔL(单位：cm)为

(2)

(3)被测车辆的跑偏角(本文定义跑偏角为被测车辆的入射角与出射角之差)Δθ为

Δθ=θ2-θ1=arctan[(Y2-Y1)/(X2-X1)]-θ1

(3)

(4)被测车辆的跑偏方向为:假定Δθ>0时跑偏方向向左，Δθ<0时跑偏方向向右。

若能求出两检测点P1和P2的三维坐标，代入对应公式即可得到(1)～(4)中的跑偏参数。为此笔者利用双目视觉测量技术来获取两测点的三维坐标。

1.2双目视觉模型

根据双目视觉原理[7-8]可抽象出图2所示的空间几何模型：左右摄像机平行摆放，Ol和Or为两CCD(charge coupled device)摄像机的光心，以Ol和Or为原点，Z轴与摄像机光轴重合，建立图2所示坐标系，Cl、Cr分别为左右摄像机的成像平面，ol、or为成像平面中心，P为空间中被测车辆靶标中心点，al、ar为P点在左右两个摄像机成像平面中所成的像点，检测系统整体测量坐标系为OXYZ，局部测量坐标系分别为左右摄像机的局部测量坐标系OlXlYlZl和OrXrYrZr。

图2　双目机器视觉测量模型

根据摄像机的透视成像模型有

(4)

(5)

对式(4)和式(5)进一步推导，可得到求解物方坐标P(X,Y,Z)的矩阵方程：

(6)

采用最小二乘法求解式(6)，便可得到被测车辆上的靶标中心P(X,Y,Z)的三维坐标，将其代入上述跑偏检测系统模型中，即可求出跑偏量、跑偏方向及平均速度等参数。

2　大视场激光光源

车辆行驶跑偏测量是在室外跑道实现的，且要求24h全天候测量，笔者研制了一种基于多激光融合的近景摄影大视场激光光源照明系统，采用红外激光[14]作为光源，频率稳定且单色性好，通过对激光束的光纤整形及光斑均匀化处理等过程得到120°的大视场。

半导体激光器输出的光斑是椭圆形的，若不进行处理而直接用于照明，则CCD摄像机采集的图像效果会很差。光纤整形是将半导体激光器光束进行整圆，整形后再融合成为大视场激光光源，视场内激光光斑均匀布置，即使CCD的光敏面为矩型也能很好地与之相互匹配，获取的图像精度很高。

图3是激光束光纤整形过程图，激光束与光纤轴成α夹角进入圆柱形光纤后，在光纤输出端形成一锥角为2β的空心圆光锥。

图3　激光束光纤整形过程图

光纤传输进行的是全反射，半导体激光器(LD)发射的光束可近似看作点光源形成的椭圆形立体光锥，将光锥顶点置于光纤轴并通过光纤传输后，可将椭圆形光斑整形成圆形。

激光束经光纤整形后输出的光斑并不均匀，由不同束激光融合实验得知，采用多激光融合的方式可得到均匀性好的大视场激光光源。通过调节二元耦合元件(DOE)[15]与LD出射光端面的距离来改变LD的发散角，重复实验验证可得到120°的大视场。图4所示为大视场激光光源，经现场测试，该光源取得了预期的效果。因检测区域较大，单台大视场激光光源不能满足检测区域内光照强度均匀的要求，故采用4台激光光源耦合成大视场激光光源，可实现6m×6m的大视场。

图4　大视场激光光源

3　检测系统的构成

基于激光双目视觉的车辆行驶跑偏在线自动检测系统[16]主要硬件组成如图5所示，该系统包括照明设施、图像采集处理及无线通信三部分。大视场激光光源为系统提供照明；图像采集处理部分采用的是激光双目视觉传感器及工业计算机；手持终端通过无线交换机(AP)与计算机进行数据信号传输，计算机控制整个系统的正常运行。

图5　检测系统硬件组成示意图

图6为检测系统工作流程图，被测车辆发出请求测试信号后以40～80km/h匀速通过测试区域，系统自动拍摄被测试车辆驶入、驶出测试区域瞬间图像，计算机对两幅图像进行归一化双目处理，再进行图像处理。首先进行图像预处理，包括图像平滑、图像锐化和图像二值化，其次对预处理的图像阀值分割，最后进行模板匹配得到两靶标的中心点坐标，进而计算出跑偏等参数，并将处理结果(包括跑偏量、跑偏方向、航向偏角及平均车速等)存储、显示在计算机和手持终端上，单次测试结束，若继续测试下辆车，则重复上述步骤。

图6　检测系统工作流程图

在整个检测系统中，核心的部分除了软件编程控制外，最重要的是激光双目视觉传感器，其实物如图7所示，两台CCD摄像机平行摆放，4台激光光源耦合成大视场激光光源对称安装在其周围，保证被测车辆全部暴露在光源照射的范围内。每台CCD摄像机镜头前装有与大视场激光光源匹配的仅透808nm的红外光滤光片，目的是消除外界环境光对检测系统的影响，从而提高检测精度。同时将研制的激光视觉传感器安装在温控箱内，避免外界环境温度影响图像采集，也保护CCD图像传感器和大视场激光光源，延长了系统的使用寿命。

1,2,3,4—4台激光光源耦合成大视场激光光源5,6—CCD图像传感器图7　激光双目视觉传感器

4　实验与结果

4.1标定测试

在实验现场搭建车辆跑偏检测系统，利用南方NTS320系列全站仪采用直接线性变换解法标定后，对两个检测点的检测装置采用标定靶标进行重复测量，得到了其三维世界坐标，以测试该激光双目视觉传感器的重复性，其中一个检测装置的10次重复测量数据见表1。

表1　单个检测装置的重复性测量　cm

由表1可以看出，三维坐标的重复性测量误差3σ不超过0.011cm，具有相对较好的重复性。

4.2检测结果

本检测系统的两检测点之间距离设置为70m。待系统标定后，进行检测实验，图8所示为检测点一左右CCD采集的图像对，图9所示为检测点二左右CCD采集的图像对，两组图像对为同一次实验所采集，经过图像预处理(如平滑、滤波、锐化、二值化等)消除噪声干扰信息，再经过阈值分割、模板匹配等一系列图像处理，得到图10所示的检测点一左右CCD图像轮廓图，提取得到的入射角平均值为0°，得到的两检测点靶标中心坐标与全站仪测得的精确坐标的比较结果见表2。

(a)左CCD采集的图像(b)右CCD采集的图像图8　检测点一图像

(a)左CCD采集的图像(b)右CCD采集的图像图9　检测点二图像

(a)左CCD图像轮廓图(b)右CCD图像轮廓图图10　检测点一轮廓图

检测点一(mm)检测点二(mm)跑偏量(cm)系统检测(112.6,-50.1,78.3)(7121.3,10.8,77.5)60.8全站仪测量(112.5,-50.7,78.1)(7121.2,11.2,77.9)61.9误差1.1

由表2得到两测点靶标的坐标，代入检测系统模型，可得到相应的跑偏参数。同时，在线自动检测系统的一次检测时误差为1.1cm。取两被测车辆静止于两检测点，使其两车距离道路中心线不同距离，形成一定偏移量，经系统10次重复检测，检测结果见表3。

表3　10次实验检测结果　cm

上述10次实验结果是在不同时间段测得的。根据表3中的测量误差值得到图11所示检测系统误差曲线，可发现车辆跑偏在线自动检测系统的跑偏量测量误差值均在2cm以内，误差标准差为0.376 83cm，可知检测系统运行稳定可靠，达到本文的要求(测量误差在2cm以内)，完全可满足车辆跑偏在线测量的需要。

图11　检测系统误差曲线

5　结束语

本文研制了一种基于双目视觉的车辆行驶跑偏在线自动检测系统，并成功应用于实际车辆跑偏检测实验中。笔者研制的大视场激光光源消除了外界环境的干扰，即使在阴暗或自然光不足的条件下，亦能实现全天候在线自动检测。借助数学建模方法和机器视觉技术实现了车辆行驶跑偏的精确测量，其原理简单，测试方法可靠，工作效率高，可有效测量各种车辆的跑偏，对整车生产企业具有实际应用价值，该测量方法在其他领域(包括道路检测等)也具有广阔的应用前景。

[1]唐晓峰.车辆跑偏问题研究[J].上海汽车,2009(8):26-27.

TangXiaofeng.VehicleDeviationResearchQuestions[J].ShanghaiAuto, 2009(8):26-27.

[2]何耀华,厉晓飞. 基于近景摄影测量技术的汽车跑偏测试系统构建[J].中国工程机械学报,2011,9(4):476-481.

HeYaohua,LiXiaofei.Vehicle-wanderingTestingSystemBasedonCloseRangePhotogrammetricTechnology[J].ChineseJournalofConstructionMachinery, 2011,9(4):476-481.

[3]肖献强,王其东,潘盛辉.基于视觉及TLC概念的车辆跑偏检测方法研究[J].汽车工程,2010,32(1):77-80.

XiaoXianqiang,WangQidong,PanShenghui.AStudyonLaneDepartureDetectionMethodBasedonVisionandTLCConcept[J].AutomotiveEngineering, 2010, 32(1):77-80.

[4]PaetzoldF.RoadRecognitioninUrbanEnvironment[J].ImageandVisionComputing, 2000(18):377-387.

[5]段瑞玲,李庆祥,李玉和.图像边缘检测方法研究综述[J].光学技术,2005,31(3):415-419.

DuanRuiling,LiQingxiang,LiYuhe.SummaryofImageEdgeDetection[J].OpticalTechnique, 2005, 31(3):415-419.

[6]RatnamMM.EdgeDetectioninaHomogeneousBackgroundUsingthePhase-shiftFringeProjection[J].Opt.Eng., 2000, 39(10):2618-2623.

[7]王建华, 韩红艳, 王春平, 等.CCD双目立体视觉测量系统的理论研究[J].电光与控制,2007,14(4):94-96.

WangJianhua,HanHongyan,WangChunping,etal.TheoreticResearchonDouble-CCDStereoscopicMeasurementSystem[J].ElectronicsOptics&Control, 2007, 14(4):94-96.

[8]张之江,张智强,陈迎娟.靶标成像双目视觉坐标测量建模[J].计量学报,2005,26(3):212-216.

ZhangZhijiang,ZhangZhiqiang,ChenYingjuan.ModelingonProbeImagingVisionCoordinateMeasurementwithBinocularCameras[J].MetrologicaSinica, 2005, 26(3):212-216.

[9]Abdel-AzizYI,KararaHM.DirectLinearTransformationintoObjectSpaceCoordinatesinClose-rangePhotogrammetry[C]//Proc.Symp．Close-RangePhotogrammctry.Urbana,1971：1-18.

[10]TsaiRY.AnEfficientandAccurateCameraCalibrationTechniquefor3DMachineVision[C]//IEEEConferenceonComputerVisionandPatternRecognition.MiamiBeach,1986:364-374.

[11]张春秀.基于双目视觉的三维重建[D].天津：天津大学，2010.

[12]何耀华,厉晓飞.汽车跑偏测试系统中的相机标定技术研究[J].汽车技术,2011(8):46-50.

HeYaohua,LiXiaofei.TechnicalResearchontheCameraCalibrationofVehicleDrivingWanderingTestSystem[J].AutomobileTechnology, 2011(8):46-50.

[13]周兴林,彭凯. 基于面阵靶标的摄像机定向技术研究[J].宇航计测技术,2009,29(6):23-25.

ZhouXinglin,PengKai.TheResearchofCameraOrientationBasedonPlanarTargets[J].JournalofAstronauticMetrologyandMeasurement,2009, 29(6):23-25.

[14]任广军,姚建,王鹏,等.保偏光纤激光器的实验研究[J].中国激光,2007,34(9):1208-1211.

RenGuangjun,YaoJianquan,WangPeng,etal.ExperimentalStudyonPolarization-maintainingFiberLaser[J].ChineseJournalofLasers, 2007, 34(9):1208-1211.

[15]AkbarzadehE,ShakibSE.ComparisonofEffectiveParametersforCopperPowderProductionviaElectrorefiningandElectrowinningCellsandImprovementUsingDOEMethods[J].InternationalJournalofMinerals,MetallurgyandMaterials, 2011, 18(6):731-740.[16]周兴林,严运兵,应保胜,等. 基于激光双目视觉的车辆行驶跑偏在线自动检测系统:中国,CN103076189A[P]. 2013-05-01.

(编辑陈勇)

On-line Automatic Vehicle Driving Wandering Test System Based on Binocular Vision

Zhou XinglinLi ChengLiu HanliJiang NandeZhang YunHu Yiwei

Wuhan University of Science and Technology,Wuhan,430081

In order to solve the measurement problem of vehicle driving wandering, an on-line automatic vehicle driving wandering test system was developed. By setting up a binocular vision measurement model, the system realized automatic measurement of the vehicle driving wandering quantity. The self-developed wide field of the laser light source solved ambient interference problems when measuring. Data processing algorithm which was optimized solved the problem of lower measurement accuracy. The wireless network test system realized on-line automatic measurement of the vehicle driving wandering. This system has high detection accuracy; it runs stably and reliably. It can be widely used in automatic on-line measurement of vehicle driving wandering quantity in automobile manufacturer and all kinds of vehicle inspection.

vehicle driving wandering; binocular vision; laser light source; on-line measurement

2013-08-23

国家自然科学基金资助项目(50978207);武汉市科技攻关计划资助项目(20110821235)

U467.499DOI：10.3969/j.issn.1004-132X.2015.01.023

周兴林，男，1965年生。武汉科技大学汽车与交通工程学院教授、博士研究生导师。主要研究方向为计算机视觉、光电检测、图像处理、交通信息与控制。李程，男，1986年生。武汉科技大学汽车与交通工程学院硕士研究生。刘汉丽，女，1971年生。武汉科技大学汽车与交通工程学院副教授。蒋难得，男，1986年生。武汉科技大学汽车与交通工程学院硕士研究生。张云，男，1988年生。武汉科技大学汽车与交通工程学院硕士研究生。胡怡玮，女，1988年生。武汉科技大学汽车与交通工程学院硕士研究生。