基于路侧单元视觉辅助的远程驾驶主动安全预警

柳 涵，黄妙华

（武汉理工大学 a.现代汽车零部件技术湖北省重点实验室；

b.汽车零部件技术湖北省协同创新中心；

c.湖北省新能源与智能网联车工程技术研究中心，武汉 430070）

自动驾驶技术发展至今，仍要面对不同方面的技术和困难，主要包括技术、认知、成本和法规等方面［1］。其中，技术方面，恶劣条件和复杂场景下的技术实施仍不够完善［2］。近年来，Uber、谷歌、特斯拉等企业发生的多起自动驾驶汽车致死事故在一定程度上亦引发了信任危机［3］。基于当前技术，自动驾驶的全面普及推广，仍将需要很长时间［4］。在自动驾驶环节中，必要时的人工接管可以使杂情形下的自动驾驶问题得到快速解决，但为每辆车单独配备安全员是一种不切实际的行为［5］。在此前提下，远程驾驶技术的开发与运用具有意义。

目前，国内已有华为、中国移动等公司与东风、长安等车企合作进行了5G网络远程驾驶样车演示，而国外则已经有Phantom Auto［6］、Ottopio等提供远程驾驶服务的初创公司。但在目前阶段的远程驾驶环节中，所使用的硬件设备大多为较原始的固定驾驶座以及多块组合屏幕，这加剧了远程驾驶的临场感缺失问题。对于远程驾驶，临场感缺失会造成操作员对环境、危险敏感程度下降，时延问题会造成系统响应滞后，均会对行车安全造成巨大威胁。依靠5G技术，端到端时延可控制在20 ms以内，依靠VR技术和多自由度驾驶模拟器［7］则可分别提升视觉临场感和力觉临场感。但相对于驾驶员直接操作，不可完全避免的临场感缺失以及时延问题仍会对交通安全带来额外威胁。因此，针对远程驾驶技术开发相应的主动安全辅助系统显得具有必要性。

基于视觉辅助的主动安全辅助系统，最典型的有SEE-THROUGH SYSTEM（SYS）［8］，该系统最早被提出用来对超车行为提供直观视觉辅助，但并未提供更多的辅助信息，得益于该思路，密歇根州立大学的Al-Qassab等开发了基于视觉共享的死角区域行人横穿主动安全预警系统［9］，该系统能很好地解决所提场景下视角遮挡带来的安全性问题，但由于依赖前车进行信息共享，视觉范围以及距离有限，对于对警示提前量有更高要求的远程驾驶并不适用，且适应场景较为单一。基于此，提出基于路侧单元进行视觉辅助的方案。对于交叉路口场景，交叉口车辆驾驶辅助系统（intersection vehicle driving assistance system，IVDAS）已经得到了大量研究，其中，朱淑亮等［10］基于机器视觉与信息共享，对交叉路口交通安全预警做了相关研究，能对路口范围内行人及车辆运动轨迹做出预测并根据判断结果给出预警信息。但覆盖范围仅限于路口范围，对于更远距离驶向路口的车辆无法观测，且警示手段不够直观，也没有提供辅助功能。

提出了一种针对远程驾驶场景的基于路侧单元RSU（Road Side Unit）视觉辅助的具有双层机制的主动安全预警辅助系统（RSU-based visuals sharing for active safety，R-VSAS），R-VSAS具备双层辅助机制，可以提升远程驾驶操作员视野范围，增加操作员反应时间，并在必要时提供辅助制动功能，提高远程驾驶系统安全裕度，使远程驾驶系统可以更安全、高效地运行。

1 R-VSAS系统描述

1.1 典型场景描述

图1为R-VSAS系统工作的典型场景（图中所示主要参与者包括远程控制车辆、靠近车辆以及路侧单元，路侧单元固定于路灯杆上）。在如图所示存在遮挡的场景中，若仅依靠车辆自身配备的传感器，当图中所示靠近车辆被远程控制车辆成功检测时，两车均已相当接近路口，留给本地操作员的反应时间严重不足，再考虑到远程驾驶固有的通讯时延以及反应滞后，在此场景中因反应不及而发生碰撞的概率将会增加，但是，若考虑在路侧单元增加图像采集设备，并通过车联网络将靠近车辆的轮廓信息实时传递到本地操作显示界面，实现“透视”效果，靠近车辆将可以在被控车辆距离路口更远距离范围时被感知，使操作员获得更充足的反应时间，从而降低事故发生的概率。

图1 存在遮挡交叉路口场景

本文环境中的远程驾驶应理解为远程人机共驾，在正常情况下，车辆具有完全自主能力，在遇到紧急情况或复杂场景需要远程接管时，发出接管请求，由远程操作员进行上线接管操作。

1.2 系统架构

为了降低开发成本并利于下一步改造升级，系统采用模块化设计。总体系统架构如图2所示，R-VSAS主要由RSU、车侧单元（on board unit，OBU）以及远程控制端3部分构成。

图2 R-VSAS总体系统架构框图

路侧单元主要包括视频采集模块、图像处理模块、目标检测模块、核心计算单元、无线收发模块以及光纤模块。路侧单元主要实现：车辆运动状态检测及测距、DTC、TTC预判断、车侧数据接收以及打包发送、远程驾驶控制端数据接收中转等功能。

对于车侧单元，在远程驾驶控制端接管车辆后，主要发挥作用的模块包括视频采集模块、无线收发模块、线控执行系统。车侧单元主要实现远程驾驶控制端未接管情况下的自动驾驶，远程驾驶模式下车侧单元主要负责远程驾驶控制端的指令执行、车载摄像头图像数据的采集以及发送。

远程驾驶控制端主要包括显示设备、光纤模块、驾驶模拟器。远程驾驶控制端主要实现车侧信息的监控、远程驾驶接管请求受理与接管控制、报警信息接收以及显示。

路侧单元与车载单元通过专用短程通信技术（dedicated short range communications，DSRC）方式通信，数据在路侧单元进行汇总打包后，通过光纤发送给远程驾驶控制端进行显示，并由远程操作员进行进一步处理。

2 系统控制策略

2.1 基本策略

R-VSAS的双层机制，主要指其具有预警阶段视觉辅助以及紧急阶段辅助制动功能。当RVSAS系统运行时，系统会根据当前监管车道中最靠近路口车辆信息进行实时视觉辅助显示，当触发系统碰撞预警阈值时，系统会采取辅助制动操作，通过对操作员提供视觉辅助信息进行警示、以及主动辅助制动的双层机制，最大程度地确保远程驾驶的行车安全。

为最小化系统负担以提高系统实时性能，在每个单独方向的道路上，R-VSAS以所有靠近路口车辆中，当前最接近路口的车辆为服务或监测对象（后续车辆采取跟驰操作即可），以十字路口为例，当车辆靠近路口时，路侧单元与其建立通信并提供服务，由于当前车道对向道路有直观视觉信息无需辅助，本系统考虑可能存在遮挡的横向道路（包括左侧道路与右侧道路）。当远程控制车辆、靠近路口车辆满足一定位置关系时，系统开始工作，并持续直到被控车辆接近路口达到一定范围（已获得足够路口视野）。

2.2 预警阶段

2.2.1 车辆检测

常用的运动目标检测方法主要有图像序列差分法、光流法以及背景差法。其中，背景差法通过像素点进行差值计算来进行运动目标检测，运算简单、容易实现且实时性较好，适用于摄像机静止状态下的运动目标检测，适合于系统工作场景。李海霞等［11］通过实验证明了，在外部扰动比较小的情况下，均值滤波法和中值滤波法较为适应，但在外部环境变化较大的情况下，混合高斯法效果更佳。考虑到实际交通环境十分复杂，背景变化相对快速而多样，采取混合高斯法进行背景提取工作。

混合高斯模型由Stauffer等提出［12］，其基本思想是，使用K（一般为3～5个）个单高斯模型表征图像中各个像素点的特征，理论上，若混合的单高斯模型个数足够多，且权重设定得足够合理，那么这个模型可以拟合任意分布的样本。

混合高斯模型主要包含模型建立以及参数更新2个步骤，主要工作包括根据式（1）（2）进行背景提取，并根据式（3）～（6）进行模型参数更新。

式中：ωi，t为第i个高斯分布在t时刻的权重，且有为第i个高斯分布在t时刻的概率密度函数，μi，t为其均值，∑t，i为其协方差矩阵，n为X（x，y，t）维数。若为RGB图像，则n为3。实际使用中，基于灰度图像进行背景建模，可以使维度为1，降低计算量，增强实时性，本文中取n为1。

若存在与该点像素值匹配的高斯分布，则认为匹配成功。对于匹配成功的某单高斯分布，按照下式进行参数更新：

式中：β＝αωi，t，α（0≤α≤1）表示学习率，其大小决定背景更新速率，β表示参数学习率。对于不匹配的高斯分布，则仅按下式衰减其权值：

2.2.2 车辆检测效果测试

依据实际交通流录像对运动车辆检测算法进行效果测试。测试视频来自于国内某高速公路路侧摄像头拍摄，为复旦大学课题组开展的中国道路上的交通流实测研究产生的公开数据［13］。

对完整视频序列进行分析，序列长度210帧，帧率为30帧／s。图3为最终确定合适的模型参数，选取了该视频序列的第80、100、120以及第160帧检测不同模型参数实际效果。让K保持不变，改变T值。由图3可知，当T＝0.6时，会出现较多的“鬼影”，而当T＝0.8时，提取到的运动目标特征点明显减少，相比之下，T＝0.7时检测效果最好，故最终取T＝0.7。确定该参数后，对K进行了3、4、5取值下的检测效果对比，发现检测效果接近，出于简化模型加快运算速率的考虑，故最终取K＝3，T＝0.7。

图3 R-VSAS不同模型参数检测效果图

2.2.3 目标定位与显示定位

通过目标检测得到运动目标图像像素信息后，需要对其坐标变换，以得到远程控制端最终的预警信息显示。在一个典型场景的最小系统中，应至少包含有被控车车载摄像机A、被控车对应道路路侧摄像机B、以及横向道路路侧摄像机C（为简要说明原理，仅考虑一侧横向道路）。

空间中某点位置与其在某摄像机中图像像素点之间存在如下对应关系

式中：Zc为目标在相机坐标系中Z轴方向坐标值；（u，v）为像素坐标；fu、fv为摄像机在u、v方向的尺度因子；s为摄像机倾斜因子；（u0，v0）为摄像机主点偏移坐标；R为旋转矩阵；T为平移矩阵；OT＝[ 0 0 0]；（XW，YW，ZW）为目标点在世界坐标系中的坐标值。M1和M2分别为摄像机的内、外部参数，通过标定确定。

世界坐标系中任一点在摄像机坐标系中仅存在唯一的像素坐标值与之对应，反之，由于Zc无法确认，无法直接通过像素坐标经坐标逆变换得到唯一世界坐标系位置。为了方便直接通过单目摄像头经过坐标变换得到较为精准的距离信息，须作出以下假设：

1）应用场景中道路为标准化道路，路面平整度满足相关设计要求，不存在剧烈高度变化；

2）车辆贴地行驶（与实际情况相符），此假设忽略了高度信息，将路面平面作为考虑重点，认为摄像机像素点均为路面平面信息的对应，间接确认了Zc，在摄像机无遮挡的前提下，可保证像素点与路面平面坐标点唯一对应。

基于以上假设，取被检测车辆最前端中点对应像素值，近似认为该点为车辆前端中点在地面投影的像素值，通过相似三角形原理，求得被检测车辆距路侧单元的水平距离，进而获得车辆世界坐标系坐标值。并通过式（8）得到D1在车载摄像机中对应的像素坐标。同时，依据帧间关系，可以求得运动车辆车速以及加速度信息。像素坐标会根据每帧图像实时刷新，并通过车联网以及有线网络实时传送到远程控制端进行显示。

2.3 紧急阶段

当由于操作员失误或网络失效等导致车辆将要发生碰撞时，R-VSAS进入第2工作阶段。图4为碰撞场景俯视示意图。图中，A为被控车辆，B为靠近车辆，路侧单元安装于RSU上。碰撞预测基于碰撞时间（time to collision，TTC）算法估计。

图4 碰撞场景示意图

如图4所示，分别沿A、B车车宽轮廓向前作延长线，相交于路口处形成矩形区域，即为预测碰撞区域。碰撞区域长、宽分别对应A、B车车宽。当A、B车同时有全部或部分车身处于预测碰撞区域时，即认为发生了车辆碰撞。实际工作时，考虑到两车车宽难以直接获得，且为了计算方便，将预测碰撞区域扩大为以车道宽度为边长的正方形区域，获得扩大碰撞区域（图中阴影部分），预测碰撞区域扩大后，将会增加预警提前量，也有利于保障行车安全。基于到达时间的辅助制动算法运算过程如图5所示。

图5 辅助制动算法运算过程框图

假定：

1）车道均为标准宽度W＝3.5 m；

2）在车辆从当前速度到避免碰撞车速的速度调整过程中，车辆的运动为匀加速或匀减速运动，加减速度值的大小为驾驶人感觉舒适的加速度或减速度的上限值；

3）在碰撞预警解除时，车辆重新匀加速至辅助制动工作前速度值并保持匀速行驶；

4）在车辆驶向路口过程中，速度值一直为正。

由以上假设，按照运动学方程，可得出方程式：

式中：W为车道宽度；SA、SB分别为当前时刻A、B车距离碰撞中心点距离；VA、VB分别为当前时刻A、B车车速；aA、aB分别为当前A、B车加速度；tA1、tB1分别为按照当前运动状态A、B车车头进入预测碰撞区域所需时间；tA2、tB2分别为按照当前运动状态A、B车车尾驶出预测碰撞区域所需时间；LA、LB分别为A、B车车长（通过前文运动车辆检测以及坐标转换得到估计值）。

车辆距离、速度、加速度信息已由前文运动车辆检测步骤求出，按上述方程解算出tA1、tB1、tA2、tB2，当满足下式条件时，A、B车将不会同时位于预测碰撞区域，即认为不会发生碰撞：

或

式（12）的现实意义为，当A车进入预测碰撞区域时，B车已完全驶出预测碰撞区域，故不存在碰撞可能，同理，式（13）表明，当A车已完全驶出预测碰撞区域后，B车方才进入预测碰撞区域，亦不存在碰撞可能。

若上述不等式之一不能得到满足，则认为必定发生碰撞，系统发出碰撞预警。若车辆距离路口较远，则由于车辆运动存在不确定性，无需及时采取安全措施，此时系统工作在第1阶段，而当tA1≤2时，若碰撞预警仍未解除，说明远程驾驶未能成功采取安全操作，需要采取措施，系统进入第2工作阶段。系统以安全为第一原则，选择保守措施，即对本车采取辅助制动减速操作，直到上述不等式得到满足，即不再存在碰撞危险后，再进行加速使车辆恢复到初始运动状态。

默认情况下，当A车到达路口范围时（已获得足够视野），本系统对于A的服务已经完成，预警系统进入待机状态，等待下一轮服务请求。

3 系统仿真

为验证所提系统功能，基于Prescan搭建交通场景，并与Simulink联合仿真，引入驾驶员在环作为远程操作员。仿真系统架构如图6所示。依据本文所提方法，得到实验结果如图7、8所示。图7中显示了R-VSAS工作在第1阶段效果示意图。a、b、c分别表示被控车辆距路口50、20、15 m时辅助预警系统的工作结果显示（图中路口横向接近车辆用标记框标出），由于被控车距离路口较远，标记框较小，图片篇幅有限，为效果更直观，图片经过了局部放大处理。如图所示，预警系统可以在被控车靠近下一路口较远距离范围内即开始提供视觉扩展服务，系统起到了应有的效果。图8显示了R-VSAS进入第2工作阶段后，当辅助制动起作用后被控车行驶轨迹与其保持原始运行状态行驶轨迹。对车辆进、出预测碰撞区域时刻的坐标点进行标记。由图可知，按照原始轨迹，被控车位于预测碰撞区域的时间区间为［13.62，14.30］，靠近车辆位于预测碰撞区域的时间区间为［13.83，14.32］，两者高度重合，必定发生碰撞。而在经过R-VSAS辅助制动后，被控车进入预测碰撞区域的时间延后到了第15.35 s时刻，此时靠近车辆已完全驶出预测碰撞区域，两者不会发生碰撞，系统起到了应有的效果。

图6 仿真系统架构框图

图7 预警阶段工作效果图

图8 行驶轨迹曲线

4 结论

仿真实验结果证明，具备双层机制的R-VSAS能为远程驾驶提供直观视觉辅助，扩展远程驾驶操作员视野，提升基于现有技术的预警提前量，给操作员带来更充足的反应时间，且给操作员以更直观的道路环境全局观，并在远程驾驶未能成功采取安全操作时，提供辅助制动，进一步保障行车安全，能作为远程驾驶辅助系统。

本文中所提出系统，针对远程驾驶安全性提升提供了一种基于视觉分享预警辅助的思路，可进行系统延伸，除远程驾驶场景外，基于路侧设备，也可为当前普通车辆提供安全辅助，具备现实意义，且系统实现简单，具有实际价值。