面向交通异常行为的雷视融合检测技术研究

文图｜郭丽苹 孟维伟 由婷婷 熊帅

随着我国经济的迅速发展，人们对机动车的需求持续升高，随之增多的通行需求，导致道路交通拥堵越发严重，利用先进的检测技术，快速准确获取交通异常行为信息，对缓解交通拥堵，提高通行效率具有重要意义。雷达或视频是当前获取交通信息的常用检测方法，但两者的使用都有一定的局限性，视频检测技术易受环境影响，雷达检测技术可视性不强。针对上述问题，本文通过时间配准和空间标定，提出雷达与视频数据融合的筛选方法，分析交通异常行为的检测原理，对闯红灯、逆行、超速等交通违法行为分别建立判断模型并对检验方法进行验证，供参考。

一、研究现状

20世纪60年代，国内外的机构学者就已开展对各种交通异常行为检测的探索研究，并通过各种方法提升交通行为检测能力，如英国雷丁大学的VEIWS项目组构建了汽车轨迹跟踪系统，美国的Kofelr教授运用轮廓标定的方式对运动目标进行标识，广东技术师范大学赵有婷等人将车辆轨迹量化成角度、速度等运动状态指标，并通过状态量判断车辆驾驶行为，西南林业大学机械与交通学院杨洁等人通过机器学习绘制车辆行驶轨迹，从而判断车辆驾驶行为。上述均为基于视频的目标车辆行驶轨迹提取方法，易受天气变化、光照情况、动态背景等环境的影响，检测准确率会降低。同时，也有基于雷达技术对异常交通事件检测的应用研究，如广西交通科学研究院杨程的多目标跟踪阵列雷达交通事件检测系统的应用研究。雷达检测技术虽受周围环境影响较小，但可视性不强，对检测到的交通事件无法进行人工复合判断。因此，基于雷达和视频融合的检测技术成为当下研究与探讨的热点话题。

二、雷达与视频融合技术

雷达与视频是两种不同原理的传感器，数据的采集频率以及坐标数据所属坐标系存在一定的差异，因此将两者采集数据进行融合使用时，应考虑时间配准与空间坐标的标定。

（一）雷达与视频时间配准

采样时间配准是指将雷达某一时刻采集到的目标信息与同一时刻视频采集到的图像数据帧对应起来。雷达与视频数据融合原理通常以工作频率的最大公约数作为传感器的基准，向下兼容同步两类传感器数据，要保证两类传感器的起始时间对齐，将融合数据工作频率设置为最大公约数，保证雷达与视频数据在时间上融合的准确性。未发生重叠的数据点，进行坐标转化等处理后叠加，发生重叠的数据点进行目标的坐标转化并融合校对，将叠加数据与融合数据进行整合，输出整合后的全部数据信息，最终产生数据叠加与校对的效果，如图1所示。

图1 雷达与视频数据融合原理图

（二）雷达与视频空间标定

雷达与视频相机有着各自的坐标系，雷达属于球坐标系，探测的是运动目标与雷达之间的方位角、径向速度和径向距离；视频图像属于二维笛卡尔坐标系，探测的是目标在图像中的大小与位置。雷达与视频数据的空间标定，实质就是两者坐标系之间的转换，建立雷达目标与图像目标的映射关系。雷达与视频空间标定一般以世界坐标系为媒介，首先将雷达坐标系转换为世界坐标系，然后通过旋转和平移将世界坐标系转换成像空间坐标系，最后基于小孔成像的逆向思想将像空间坐标系内的三维目标转换为像平面坐标系，最后将像平面坐标系转换为像素坐标系，最终实现雷达坐标系与相机视频坐标系的融合，转换过程如图2所示。

图2 坐标系转换关系图

（三）数据矫正方法

雷达具有不受雾、云、雨、雪等恶劣天气的影响，能够全天候、全天时进行目标检测的技术优势，视频具有可视性强，像素元素丰富的特点。在实际工程环境中光照变化、目标运动轨迹复杂、有障碍物遮挡、目标与背景颜色接近和环境恶劣等问题。针对两者优势和实际应用场景，形成如下数据融合矫正原则：当遇雨雪雾等恶劣天气时或能见度低于设定阈值时，雷达数据优先；当环境亮度较好，视频图像标定矩形框标准，视频数据优先；若雷达与视频均检测到一致目标，坐标位置按两者均值确定；如仅雷达检测到目标，则判定数据有效；如仅视频检测到目标，则对目标进行跟踪，做进一步检测后再判断。

（四）目标车辆位置信息

雷达与视频融合后的数据为像素坐标，是通过矩形框标定目标车辆的，设n帧图像中目标车辆的矩形框左上角坐标为（xn1,yn1），右下角坐标为（xn2,yn2），则目标车辆的中心位置坐标可用公式（1）表示。

同理，在第n+k帧图像中，目标车辆的中心点位置坐标为Pn+k（xn+k,yn+k）。结合目标车辆的时间信息和位置信息，可以推算出车辆的行驶方向、速度以及行驶轨迹等信息。

三、常见交通违法行为的雷视判定方法

（一）车辆闯红灯

闯红灯是车辆违反交叉口交通信号灯的指示，在红灯开启期间越过车辆停止线并持续前进的行为。通过电子监控抓拍判定，需要的照片分别为：红灯时车辆离开停止线的、车辆在路口中间的及车辆通过对向停止线的三张照片。由此，可得出如下判定模型：目标车辆越过停止线的时刻为t’，目标车辆在路口中间的时刻为t’’，目标车辆驶离对向停止线的时刻为t，目标车辆驶离车道号j，各时刻的信号灯开启情况从信号灯控制机获取，目标车辆是否闯红灯用公式（2）判定，若I=1则代表目标车辆闯红灯，反之则目标车辆没有闯红灯。

（二）车辆逆行

车辆逆行是指未按照车道规定行驶方向行驶。连续获取目标车辆的位置信息，分析目标车辆纵坐标增量，当增量为负值，则判定为目标车辆可能逆行。

图3 车辆行驶轨迹图

判别车辆是否逆行，首先需要检测车辆的行驶方向。通过跟踪得到的轨迹点（xn,yn）来判断车辆的行驶方向，由于本研究中视频的拍摄角度都是沿着Y轴方向的，假设规定从远离摄像头到靠近摄像头的方向为规定行驶方向的话，则可以认为，满足公式（3）时，判断为正向行驶，满足公式（4）时，判断为逆向行驶。

即可以认为当yt+k-yt<0时车辆逆行。但在复杂场景下，由于环境干扰或者检测跟踪结果的错误，直接的判断很容易引起错误。所以在本方法中规定：

其中minf为提前设定的阈值，表示检测帧数的最小值，以此控制车辆行驶的大方向是逆行的。而式（5）是为了说明在跟踪的这段时间内，所获取的轨迹点可能由于环境的干扰噪声等，造成轨迹动荡而导致最终发生误判，所以在跟踪的某帧图像中先对所获取的目标车辆轨迹点的前后两帧做差并计数，每当两帧之间的结果满足yt+k+1-yt+k<0时就加1，其总数计为NUM，NUM/m为逆行帧占比率，当逆行占比率大于0.8时，即判定为逆行。

为验证基于雷视融合技术的检测结果准确性，对实际的道路场景进行识别检测，本方法中所设计的逆行识别算法的正确识别率，漏检率和误检率分别为92.4%，7.6%，7.6%。实验结果表明，本项目中设计的算法能够有效地识别出车辆逆行行为。

（三）车辆违规变道

车辆正常驾驶状态下，运行轨迹和车道标线基本是平行的，左右摆动幅度较小。若车辆发生变道时，目标车辆左右摆动的幅度较大，车辆与道路边界间的距离会发生由大变小，再由小变大的现象，与设定阈值比较，判断行驶车辆是否违规变道与判断车辆逆行原理类似，目标车辆tn时刻的中心位置坐标为（xn,yn），目标车辆tn+1时刻的中心位置坐标为（xn+1,yn+1），设检测到的车道线横坐标为X，车辆与道路边界间的距离阈值为D，当满足公式（7）或公式（8）时，则预判为目标车辆可能违规变道。

（四）车辆超速行驶

机动车的行驶速度超出路段规定的行驶速度即为超速。通过连续获取目标车辆位置信息，分析目标车辆驾驶速度，并与车道规定速度进行比较，判断目标车辆是否为超速行驶。同样，目标车辆tn时刻的中心位置坐标为（xn,yn），目标车辆tn+1时刻的中心位置坐标为（xn+1,yn+1），通过位置信息计算当前车速，并与车道规定速度V进行比较,当车速大于阈值V时，则预判为车辆可能超速，当满足上述要求的坐标点个数达到设定值，如25时，则判定为车辆超速。判定条件用公式（9）表示。

在实际执法中，通过上面的方法对跟踪车辆的速度进行检测可能会存在一定的偏差，所以对规定车速V进行一定的处理，即将阈值设为λV（λ＞1），判定公式调整为公式（10）。

（五）违法停放车辆

车辆正常行驶状态下，速度变化不会很大。当车辆即将停止时，车辆运行速度会在一定时间段内降至接近于0，同时加速度也会小于0。根据上述描述现象判断车辆是否发生停车，然后根据停车时间和目标车辆位置，判定是否为违章停车。根据车辆超速判断方法的描述，通过目标车辆位置信息，可获取目标车辆的瞬时速度，目标车辆初始时刻的tn速度为υh、终止时刻tn+i的速度为υe、加速度为ai，初始速度和终止速度相对应的阈值设定为Vh、Ve，终止时刻与初始时刻时间差阈值设定为T1。如果以上几个变量之间的关系满足公式（11）所示条件，则可判断其发生停车；遍历检测目标车辆速度小于Ve的时间，tn+j时刻时，即t=tn+j-tn+i大于设定的阈值T，且车辆位置（xn,yn）在禁止停车区域[X,Y]内，则判定为违章停车。判定条件用公式（12）表示，基于雷视融合的车辆违规停车检测效果如图4所示。

图4 雷视融合车辆违停检测

四、结语

本文研究了雷达与视频融合技术，在时间配准的同时加入数据叠加思想，提高数据充分性；雷达与视频数据的融合筛选方法，提高了数据准确性；对闯红灯、车辆逆行、变道、超速行驶以及违规停车判断结果较为精确，满足日常车辆行为检测需求。在接下来的研究中，可在此理论分析的基础上，将雷达与视频数据叠加思想和数据融合筛选的方法应用到实际产品与工程中，以提高交通异常行为检测效率，提升机动车道路交通安全管控水平。