基于复合传感实现路情实时识别和危险判断的方法及系统*

邹水龙，李永

基于复合传感实现路情实时识别和危险判断的方法及系统*

邹水龙1，李永2

（1.南昌工学院，江西 南昌 330108；2.北京工业大学，北京 100124）

研究基于复合传感实现路情实时识别和危险判断的方法及系统，其中包括汽车中央控制器、车辆周围障碍物检测系统、驾驶员状态检测系统、车道偏离预警系统和车辆运动控制与通信系统，旨在对车辆突发状况进行监控预警，减少交通事故的发生，实现智能交通。该系统可实现路情的实时自动识别，行车过程中障碍物检测，驾驶员驾驶状态检测以及车道偏离预警，可以广泛应用于汽车智能驾驶和智能交通领域。

复合传感 路情实时识别 障碍物检测 车道偏离预警 智能驾驶 智能交通

1 引言

伴随着我国高速公路的迅猛发展和人民生活水平的提高，机动车保有量呈现出井喷式增长，与此同时，道路交通事故案件数也居高不下，对社会秩序造成了一定影响，也对人们的生命财产构成了威胁，如何有效降低道路交通事故数量值得思考。通过了解交警部门对多年来交通事故的调查分析知道，大多数交通事故发生的主要原因是驾驶人疲劳驾驶或违章驾驶等。因此，如何有效地监控、约束和规范驾驶人的驾驶行为，已成为保障道路交通安全的重要解决措施[1]。

对路情进行实时识别和危险判断以及发送实时的预警信息，对于预防交通事故的发生、降低事故严重性具有重要的意义。目前，道路交通安全情况的好坏主要取决于驾驶员的驾驶经验等主观人为因素，可控性较低。驾驶辅助系统是一项重要的汽车主动安全技术：运用目标检测和跟踪模块对车辆前方危险目标进行判断识别，并评估其风险等级，实现路情实时识别和车辆前方危险目标识别，可较大程度降低交通事故发生率，显著提高车辆行驶的安全性。驾驶辅助系统是智能交通和智能车辆的重点研究方向[2]。

2 驾驶辅助系统技术方案

2.1 汽车智能盒子系统组成

本研究的目的是解决驾驶过程中路情智能识别和危险的准确判断问题，由此提出了基于复合传感实现路情实时识别和危险判断的汽车智能盒子系统，系统组成包括汽车中央控制器、车辆周围障碍物检测系统、驾驶员状态检测系统、车道偏离预警系统和车辆运动控制与通信系统。

（1）汽车中央控制器

汽车中央控制器通过CAN（Controller Area Network，控制器局域网络）总线分别和车辆周围障碍物检测系统、驾驶员状态检测系统、车道偏离预警系统、车辆运动控制与通信系统相连接，实现对这4个系统的信息融合和决策。汽车智能盒子原理图如图1所示：

图1 汽车智能盒子原理图

（2）车辆周围障碍物检测系统

车辆周围障碍物检测系统包括控制器DSP1、近距离超声波传感器、雷达传感器、温度传感器和报警器。控制器DSP1（Digital Signal Processing，数字信号处理）分别和近距离超声波传感器、雷达传感器、温度传感器和报警器相连接。近距离超声波传感器使用超声波进行测距测速，超声波的速度c与温度t之间的关系如公式(1)：

其中，c0=331.4 m/s，温度传感器测量的温度值用于对近距离超声波传感器和雷达传感器的测量精度进行温度补偿。

在车辆周围障碍物检测系统中，安全车距s的计算公式如公式(2)：

其中，φ表示路面的附着系数，Vb表示本车车速，Vr表示相对车速，g表示边缘图像中的灰度值。车辆周围障碍物检测系统结构图如图2所示：

图2 车辆周围障碍物检测系统结构图

（3）驾驶员状态检测系统

驾驶员状态检测系统包括CMOS（Complementary Metal Oxide Semiconductor，互补金属氧化物半导体）摄像头、AD（Analog Digital，模拟数字）转换器、电子断路开关、控制器DSP2、酒精传感器和声音报警器。CMOS摄像头通过AD转换器与控制器DSP2相连接，控制器DSP2分别和电子断路开关、酒精传感器以及声音报警器相连接。CMOS摄像头采集车辆驾驶员行车过程中的视频图像信息，视频图像信息经AD转换器转换后输入给控制器DSP2，控制器DSP2通过处理分析数字视频信息，判断驾驶员是否正在疲劳驾驶；酒精传感器检测驾驶员的酒精浓度是否超标，若超标则判断驾驶员处于酒驾。当驾驶员处于疲劳驾驶状态或酒驾状态时，控制器DSP2通过声音报警器给出报警提示信息。当驾驶员开始启动车辆时，如果酒精传感器检测到驾驶员呼气中酒精含量超标，将通过电子断路开关断开发动机电源[3]。驾驶员状态检测系统结构图如图3所示：

图3 驾驶员状态检测系统结构图

（4）车道偏离预警系统

车道偏离预警系统包括控制器DSP3、CCD（Charge-coupled Device，电荷耦合元件）摄像头、视频解码芯片、车轮转速传感器、存储器、显示器、加速度传感器、报警系统。CCD摄像头采集道路原始模拟视频信息，通过视频解码芯片把原始模拟视频信息转换为数字视频信息后传递输入给控制器DSP3，控制器DSP3接受数字视频成功后，通过车道识别算法对车道线进行检测，从而计算出车辆在车道中的具体位置和偏离车道的角度，根据偏离报警模型来判断车辆是否偏离了原有车道，根据阈值大小判断车辆是否处于安全行车状态，如果判断车辆处在不安全行车状态，则给出报警信息[4]。车道偏离预警系统结构图如图4所示：

图4 车道偏离预警系统结构图

（5）车辆运动控制与通信系统

车辆运动控制与通信系统包括控制器DSP4、电子制动器、车轮、执行器、方向盘、无线通信系统、电子点火器、发动机。控制器DSP4通过电子制动器与车轮相连接，通过执行器与方向盘相连接，通过电子点火器和发动机相连接，控制器DSP4还与无线通信系统相连接。车辆运动控制与通信系统根据车道偏离预警系统、驾驶员状态检测系统和车辆周围障碍物检测系统三个检测预警系统的状态信息，通过执行器控制车辆的行驶方向，通过电子制动器控制汽车的车速，并可以通过无线通信系统将汽车行驶的状态信息发送给其它车辆[5]。车辆运动控制与通信系统结构图如图5所示：

图5 车辆运动控制与通信系统结构图

2.2 汽车智能盒子系统实施方式

车辆周围障碍物检测系统可检测车辆左右两侧的障碍物以及靠近车身的行人、车辆，判断障碍物与车辆的距离是否小于安全车距，当障碍物与车辆的距离小于安全车距时将给出报警信息[6]。

驾驶员状态检测系统通过分析驾驶员的面部表情判断驾驶员是否处于疲劳驾驶状态[7]；通过检测酒精浓度来判断驾驶员是否处于酒驾状态，若确认驾驶员处于两种状态中的至少一种状态，则给出驾驶员相对应状态的报警提示声音。

车道偏离预警系统通过车道识别算法对车道线进行检测，从而计算出车辆在车道中的具体位置和偏离车道的角度，根据偏离报警模型来判断车辆是否偏离了原有车道，根据阈值大小判断车辆是否处于安全行车状态，如果车辆处于不安全行车状态，则给出报警信息。该系统的详细分析和实现将在第3节中介绍。

车辆运动控制与通信系统将车道偏离预警系统、驾驶员状态检测系统和车辆周围障碍物检测系统的反馈状态信息作为输入信息，从而对车辆进行智能控制，并将汽车行驶的状态信息发送给其它车辆[8]。

汽车智能盒子子系统之间工作关系：车辆周围障碍物检测系统、驾驶员状态检测系统、车道偏离预警系统三个子系统都属于监控系统，实时监控汽车是否处于危险状态，若判断处于危险状态则发出预警信息；车辆运动控制与通信系统根据三个子系统反馈的信息对汽车进行及时的车速方向的纠正，降低危险发生的概率；汽车中央控制器通过CAN总线与四个子系统进行信息融合并做出决策。

3 车道偏离预警系统的实现

3.1 车道偏离预警系统实现流程

车道偏离预警系统相对其他系统流程比较复杂，故对该系统做详细分析，图6是车道偏离预警系统中算法实现流程：

图6 车道偏离预警系统中算法实现流程

3.2 车道偏离预警系统实现流程详解

（1）对车载摄像机采集的道路图像进行逆透视变换，图像缓存坐标系到车体坐标系之间的逆透视变换公式如下[9]：车载摄像机安装在车体中的位置对应车体坐标系下的坐标为(d, l, h)[9]，γ是摄像机光轴在zv=0平面的投影与yv轴之间的夹角，θ是摄像机光轴偏离zv=0平面的角度，r是图像缓存坐标系之间的图像投影变换，2α是车载摄像机的视角范围，Rx是摄像机的水平分辨率，Ry是摄像机的垂直分辨率[10]。

（2）对逆透视变换后的道路图像进行预处理，预处理过程包括道路图像的车道线的边缘提取，具体方法：使用Robert算子提取图像中的单边缘信息，计算方法如公式(6)：

R(i, j)代替原图像像素点(i, j)的灰度值g(i, j)，得到车道标志线的边缘图像。

（3）采用阈值分割算法对二值化的图像进行处理，增强车道标志线的边缘信息，具体计算方法如下：

2）根据初始阈值M0将车道标志线的边缘图像分为2个区域，求取2个区域的平均灰度如下：

4）重复步骤2）和3）过程，直到Mk+1=Mk时算法停止，得到最佳阈值为Mk+1。

（4）在二值化图像中进行标志线起始点检测、跟踪与拟合，之后获取道路模型，最后完成车道标志线提取，具体实现方法如下：

1）车道标志线起始点检测、跟踪。在逆透视投影变换后的道路图像中，根据摄像机在车体中的安装位置，车辆的位置应该位于图像底部的中间位置附近[9]。首先，采用Hough变换计算得到车道标志线的斜率k。具体过程：选取图像底部W×0.1H的区域作为Hough变换的搜索区域，W是图像的宽度，H是图像的高度。假设Δρ为1像素，Δθ为1°，为每一个小单元(Δρ, Δθ)设置累加器A(ρi, θj)，其中−1，j=0,1,2,…,179，然后搜索出B(θj)最大数组元素对应的θ0，则可以求出车道标志线的斜率k=tan(θ0-90)。

其次，判断出车辆所在车道的左右标志线对应白点分布情况统计图中的那2条尖峰，求出2条尖峰在投影轴xv上的位置坐标为(Xi, Xj)。

最后，根据尖峰对应的投影轴坐标计算出车道标志线起始点的坐标为(xi, 0)和(xj, 0)[9]，其中：

检测得到车道标志线的起始点坐标后，可以从车道标志线的起始点开始，沿着起始方向逐段跟踪检测车道标志线，并且可以用多条首尾相连的直线线段近似表示车道标志线[9]。

2）车道标志线拟合。假设车道标志线模型为Y=Xϕ+ε，ϕ为要求的车道标志线模型参数，X、Y是跟踪检测得到的车道标志线信息点，ε是随机噪声，采用最小二乘法求出车道标志线模型参数为ϕ=(XTX)-1XTY。

（5）采用基于AR模型的时间序列预测方法估计车辆的行驶轨迹。

（6）根据检测的道路模型与估计的车辆行驶轨迹求取车道偏离点的位置坐标，并计算相应的车道偏离时间M[9]。

假设预测得到的相对于车道中线的侧向偏移量序列为{Δi}，i=1,2,…,20，左右车道标志线的参数方程为yl(x)=bl0+bl1x+bl2x2和yr(x)=br0+br1x+br2x2，算出20个预测点的坐标(xi, yi)为yi=50i-49，xi=xmi+Δi，xli、xri表示某两点的横坐标值，b是方程的参数，其中xmi可以通过联立以下方程求得：

算出20个预测点的位置坐标后，将其依次连接起来得到预测的车辆行驶轨迹曲线，与左右车道标志线的参数方程联立可以求出当前时刻到车道偏离时刻车辆将行驶的距离D，假设车辆的速度为v，求得M=D/v[9]。

（7）根据设置的阈值判断车辆是否存在偏离车道的危险，在系统中设定一个阈值Mt[9]，若M＜Mt，则认为车辆存在偏离车道的危险，车道偏离预警系统将对驾驶员发出预警信息，提醒驾驶员已处于车道偏离危险状态；反之则认为暂时不存在车道偏离的危险。

4 结束语

本文针对如何有效地监控车辆驾驶人的操作，并对车辆驾驶人行驶过程中的非正常驾驶行为、车辆偏离情况、路情突发状况进行预警的问题，提出了一种基于复合传感的驾驶辅助系统，该系统能够有效地实现路情的实时识别、行车过程中的障碍物检测、驾驶员驾驶状态检测以及车道偏离预警，从而减少车辆驾驶人行驶过程中非正常驾驶行为的发生。该驾驶辅助系统可对突发状况进行准确判断并及时预警，可广泛应用于车联网中，或将在汽车智能驾驶和智能交通等领域发挥巨大的作用。该领域未来的研究方向可以针对系统中的图像识别算法进行改进与优化，从而进一步提高实时识别的准确率。

[1] 史其信. “物联网”打造下一代智能交通系统[J]. 交通标准化, 2010(24): 1.

[2] 杨方宜. 基于机器视觉的车辆前方危险目标识别及风险评估研究[D]. 昆明: 昆明理工大学, 2014.

[3] 肖玲,李仁发,罗娟. 车载自组网的仿真研究综述[J]. 系统仿真学报, 2009,21(17): 5330-5355.

[4] 王明慧. 基于视觉的智能汽车道路检测与预警算法的研究[D]. 北京: 北京交通大学, 2012.

[5] 徐朝阳. 基于智能交通运输系统的交通安全控制体系的相关研究[J]. 交通世界, 2011(24): 120-121.

[6] 陈佳佳. 城市环境下无人驾驶车辆决策系统研究[D].合肥: 中国科学技术大学, 2014.

[7] 赵团. 基于计算机视觉的驾驶员疲劳检测技术的研究与实现[D]. 沈阳: 东北大学, 2010.

[8] Ondrej Linda, Milos Manic. Online spatio-temporal risk assessment for intelligent transportation systems[J]. IEEE Transactions on Intelligent Transportation Systems, 2011,12(1): 194-200.

[9] 裘伟. 高速公路车道偏离告警系统的研究[D]. 长沙:国防科学技术大学, 2006.

[10] 刘强,崔莉,陈海明. 物联网关键技术与应用[J]. 计算机科学, 2010,37(6): 1-4.

[11] 刘玮,王新梅,魏龙生. 整体视觉结构模型及其在道路环境感知中的应用[J]. 计算机工程, 2016,42(10): 26-31.

[12] 董培,石繁槐. 基于小型无人机航拍图像的道路检测方法[J]. 计算机工程, 2015,41(12): 36-39. ★

Method and System of Road Condition Real-Time Recognition and Danger Judgment Based on Composite Sensor

ZOU Shuilong1, LI Yong2
(1. Nanchang Institute of Science & Technology, Nanchang 330108, China; 2. Beijing University of Technology, Beijing 100124, China)

The method and system of road condition real-time recognition and danger judgment based on composite sensor were investigated, which include automobile central controller, vehicle obstacle detection system, driver status detection system, lane departure warning system and vehicle motion control and communication system. The aim of the method and system is to monitor and warn the vehicle emergency, reduce the traffic accident and realize the intelligent transport. The system can automatically recognize the real-time road condition, detect obstacles on the road, monitor the driver’s driving state and warn the lane departure. It can be widely applied to the intelligent driving and intelligent transport system.

composite sensor road condition real-time recognition obstacle detection lane departure warning intelligent driving intelligent transport

邹水龙：副教授，硕士毕业于南昌大学计算机技术专业，现任职于南昌工学院电气与信息工程学院，主要研究方向为物联网技术、网络安全。

李永：副教授，博士毕业于北京理工大学计算机网络专业，博士后由中国联合网络通信有限公司技术部和中国科学院计算所联合培养，现任职于北京工业大学软件学院，主要研究方向包括无线通信、光通讯、嵌入式系统、大数据应用等。先后发表过30多篇期刊论文，拥有40多项发明专利，发表了20多件国际标准提案，获得过工信部2005年及2008年国际标准提案奖。

10.3969/j.issn.1006-1010.2017.15.009

TN914

A

1006-1010(2017)15-0044-06

邹水龙,李永. 基于复合传感实现路情实时识别和危险判断的方法及系统[J]. 移动通信, 2017,41(15): 44-49.

江西省教育厅科学技术研究项目“基于物联网技术的汽车智能盒子开发及应用”（GJJ151236）；南昌工学院教学改革研究课题“高校转型发展背景下创新创业人才培养模式研究与实践——以物联网工程专业为例”（NGJG-2015-34）

2017-06-05

责任编辑：文竹 liuwenzhu@mbcom.cn