智能网联车辆混行交通流中灯语意图识别模型研究

梁 军，钱晨阳，陈 龙，王文飒，赵彤阳

(1.江苏大学汽车与交通工程学院，江苏镇江212013；2.中国重型汽车集团有限公司汽车研究总院，济南225000)

0 引 言

随着车联网及自动驾驶技术的发展，CAV 与HV 共存的城市交通流运行模式势必在智能交通系统发展阶段长期存在.CAV 与HV 共存，加剧研究交通流的复杂性，使车路协同的实施难度陡峭上升[1].混行交通流场景下，鸣笛[2]、灯语[3]，以及V2V通信[4-5]均能有效地表达道路运行车辆的驾驶意图，提高车路协同效果.鸣笛为驾驶员提供声音辅助判断条件，但是声音在嘈杂交通环境下会失效；V2V为CAV高效自动驾驶决策提供基础，但是V2V 传感器容易受周围信号干扰；灯语不受噪声影响，可见度高，驾驶意图表现明显，且易于识别.因此，在交互时，灯语比其他方式有优势，灯语信号承载车辆驾驶员的驾驶决策，对灯语信号进行准确而快速地识别，能够提高CAV智能化水平，提高道路通行能力，减少交通事故发生.

针对灯语向外界表达的驾驶意图：LIU 等[6]利用发光二极管(Light Emitting Diode, LED)快速开关的特性与光电探测器(Photo Detector, PD)探究基于光通信技术的V2V 吞吐量和错误率，表明灯光信息可用于车—车通讯；FROHLICH等[7]利用转向灯的频率对驾驶意图进行识别，使用频率特征训练Adaboost 分类器识别转向灯的灯语意图，但是在识别过程中忽视了转向灯的颜色特征，且没有对前照灯灯语进行研究；NARMANLIOGLU等[8]研究夜晚车尾灯间断亮起表示的驾驶意图，提出在多车跟驰环境下的尾灯信号中继模型，该方法识别率高，但容易发生误检.

综上，为实现对前照灯灯语意图(VHI)的识别，以混行交通流场景下典型灯语意图识别为背景，构建CAV 对HV 的VHI 识别模型及关键算法.采用KLT 算法和车辆匹配算法对发出灯语信息HV的前照灯(VH)进行感知、定位、跟踪；设计基于VH投射模型和道路反射模型的光通道增益算法，计算光辐射通量变化；利用光辐射通量和车载传感器数据作为双层隐马尔可夫模型(DHMM)的输入，实现VHI 识别.最后，对模型及算法进行实验验证与测试.

1 混行交通环境下车辆VHI分析

1.1 VHI时空特征

从时间角度看，车辆行驶状态，即纵向加速度、纵向急动度、航向角、横向加速度、VH 闪烁次数，是影响驾驶意图的时序因素[9]，反映了驾驶员的期望驾驶意图及车辆的下一阶段行驶轨迹；从空间角度看，周围交通状况是影响驾驶员发出灯语的空间因素.

1.2 混行交通流环境下人工驾驶车辆灯语特点

(1)实时性，需要CAV在短时间内对VHI进行识别，并做出相应自动驾驶决策.

(2)限定性，限定典型灯语示意场景的HV 灯语信息才能被CAV接受并理解.

(3)可见性，光照变化易于被光电传感器捕捉.

2 VHI识别模型设计

VHI 识别模型由灯光感知、光数据处理、VHI识别3个模块组成，如图1所示.

2.1 灯光感知模块

使用RGB和HSV颜色空间对VH图像进行颜色分割，形成二值化图像[10].在HSV中设置阈值分割条件：饱和度为(0.9,1.0)，明度为(0.0,0.1)，其中，饱和度和明度均已归一化，定义变换得到的图像为Image HSV. HV 常用LED 作为VH，颜色为白色，在检测中同时关注红、绿、蓝分量，定义变换得到的图像为Image RGB，转换规则[12]为

式中：F(x,y)为变换后的像素值大小；fR(x,y)为红色像素值；fG(x,y)为绿色像素值；fB(x,y)为蓝色像素值；(x,y)为像素坐标；R(x,y)为红分量；G(x,y)为绿分量；B(x,y)为蓝分量.

图1 VHI 识别模型Fig.1 VHI recognition model

对Image HSV 进行高斯变换，对Image RGB进行非线性变换，实现VH 区域针对性增强.采用KLT算法标记ROI(Region of Interest)并跟踪；采用车辆匹配算法确定ROI是否属于同一辆HV，该算法基于VH 保持在同一水平线上和灯对关于中轴线对称的特性，如图2所示，实现ROI配对，约束条件为

式中：a1、b1分别为区域1 的宽度和长度；a2、b2分别为区域2的宽度和长度；d1、d2为误差距离.

图2 前照灯配对检测Fig.2 VH matching detection

2.2 光数据处理模块

光数据处理模块采用基于VH 投射模型和路面反射模型[11]的光通道增益算法，计算CAV 接受到的光通辐射通量.

2.2.1 VH投射模型

文献[12]给出等照度图，如图3 所示，在进行远近光切换时，VH光线会在路面上形成反射.

图3 远近光灯在路面上形成的等照度图Fig.3 Illuminance diagrams of road surface from a pair of low or high beam headlamp

根据上述等照图特性和光学理论[13]，建立VH投射模型，如图4所示.

式中：E为照度(lx)；dΦ为光通量(l m)；S为光照射面积(m2)；θ为立体角(sr)；I(α,β)为光强(cd)；α为水平角(°)；β为垂直角(°)；d为距离(m)；h为离地高度(m)；ω为入射角(°).

2.2.2 路面反射模型

路面反射光强度R(φ)模型，如图5所示，数学公式为

式中：ρ为反射率；φ为反射角(°).

图4 VH 投射模型Fig.4 VH illuminance calculation model

图5 路面反射Fig.5 Reflection of road

2.2.3 光通道增益算法

根据式(8)和式(9)，推导光通道增益算法，如图6所示.由于左右VH 具有相同的输出光分布[14]，仅对左侧大灯(Left Side Headlight,LSH)进行分析，h1为前照灯离地高度(m)，h2为光电探测器(Photo Detector，PD)离地高度(m).

图6 光通道增益算法Fig.6 Optical channel gain algorithm

点C处垂直照度ELSH-C计算公式为

式中：ILSH(αC,βC)为LSH 在方向(αC,βC)上的光强(cd)；ωC为入射角(°)；dLSH-C为从LSH到达点C的距离(m)；LED的辐射发光效率Γ为250.3 lm/W[15]，则在C处的垂直光辐射通量dPLSH-C为

来自位置A的PD 接收到反射光辐射通量dPA-LSH-RL为

式中：SPD为PD 的面积(m2)；dC-PD为C与PD 之间的距离(m)；φC从点C到PD的反射光线(Reflected Light,RL)与法线的夹角(°)；ωRL为RL与水平线的夹角(°).

来自于RL的光辐射通量PA-LSH-RL为

式中：Ω为PD的视场角(°)；S为总照射面积(m2).

来自于LSH 的直射光线(Direct line,DL)的光辐射通量PA-LSH-DL为

式中：ILSH(αA,βA)为沿方向(αA,βA)的光强(cd)；SPD为感光面积(m2)；ωDL为DL与水平线的夹角(°).

PD接收到来自左侧灯的光辐射通量PA-LSH为

同理可得来自右侧灯的光辐射通量PA-RSH，则来自HV左侧、右侧灯的总光辐射通量PA为

将PA变化曲线图输入VHI 识别模块，识别VH 闪烁次数.若PA出现一次峰值，则VH 闪烁一次；若PA出现两次峰值，则VH闪烁两次.

2.3 VHI识别模块

利用隐马尔可夫模型(Hidden Markov Model，HMM)处理动态时间序列的能力[16]和基于HMM算法的驾驶行为预测模型[17]，构建DHMM模型，如图7所示，识别在混行交通环境下VHI.

图7 DHMM 模型Fig.7 DHMM model

Step 1基于车辆加速、减速相关的纵向加速度和纵向急动度，建立描述加速、减速的HMM 模型，观察序列用多维向量的形式表达为

式中：x1(t)为纵向加速度；x2(t)为纵向急动度.

利用Baum-Welch 算法[18]迭代优化加速、减速操作的HMM参数，应用Forward-Backward算法计算采集到的驾驶行为数据对HMM的似然度，选取似然度最大的模型作为识别结果.同理，基于航向角和横向加速度构建变道HMM 模型；基于HV 车速构建车速分级HMM；基于光辐射通量变化构建VH闪烁次数HMM模型.由此，得到特定时间段内操作层HMM的4维识别结果.

Step 2将4 维识别结果，按特定场景下的灯语意图进行划分，作为意图层HMM 的观察序列，表达式为

式中：u(t)、v(x)、m(t)、n(t)分别为加速、减速，转向，车速，VH 闪烁次数的操作层HMM 识别结果.在操作层HMM 中，前向向量αt(i)和后向向量βt(i)的迭代公式为和在参数λ给定的条件下，前向向量αt(i)为在t时刻隐状态为Si时，观察序列O1,O2,…,On发生的概率；后向向量βt(i)为观察序列Ot+1,Ot+2,…,OT发生的概率.aij从状态Si到Sj的转移概率；bi[Q2(l)]为在隐状态Si时观测值Q2(l)发生的概率.

Step 3建立多维离散HMM模型为

式中：Π为意图层的初始概率矢量；ξ为意图层模型的状态转移概率矩阵；ζ1,ζ2,ζ3,ζ4分别为加速、减速，变道，车速和光辐射通量4组观察序列的观察值概率矩阵.

利用Baum-Welch 算法进行迭代优化，得到“提醒催行”“变道超车”“加速超车”的多维离散HMM 参数.实时获取数据，识别HV 运动状态，组成观察序列输入HMM意图层，分别计算意图层产生序列的概率则灯语意图为似然度最大的HV行驶状态序列.

3 实验验证

3.1 实验说明

实验利用PreScan-Simulink 驾驶员在环联合仿真实验平台.设计3种灯语示意典型场景，如图8所示.

3.2 实验1 HV-VH感知及跟踪

3.2.1 实验设定

在PreScan中设置1辆装有PD和摄像头(帧率60 frame/s，分辨率720 pixel×480 pixel)的CAV，2 辆HV，加入光源模拟自然光引起的加性高斯白噪声.在各场景下CAV 设定为自动驾驶，HV-2 按设定轨迹行驶，3 名驾驶员操控HV-1 做出挑灯动作.图9为选取特征明显的VH二值化图像和感兴趣区域(ROI).

图8 灯语示意典型场景Fig.8 VHI typical scenarios

图9 灯语示意典型场景下二值化图像和ROIFig.9 Binary image and ROI under VHI typical scenarios

选取3 s内VH检出率η为感知准确度评价指标，由准确检出VH-ROI 张数DT与所有二值化图像张数DC(180张)的比值得到，即

以VH 匹配算法中估计角度误差γ，单位为(°)，作为评价跟踪定位精度指标，γ越小跟踪定位精度越高，计算公式为

3.2.2 实验结果及分析

车灯感知实验结果如表1 所示，不同场景下VH检出率基本相同，场景(a)中VH检出率最高，为97.2%.跟踪定位实验结果如图10 所示，不同场景下的估计角度误差γ变化趋势基本相同，因为KLT和车辆匹配算法的结合能有效利用每帧图像之间的连续信息去除误检.定位跟踪精度随d1接近0而增大.综上，灯光感知模块基本不受场景限制，越靠近CAV时的VH检出率和定位跟踪精度越高.

表1 VH 检测实验结果Table 1 Results of headlights detection experiment

图10 3 种灯语示意典型场景下灯语车的角度误差Fig.10 Angle error under 3 VHI typical scenarios

实验增加噪声环节，提高仿真数据在实际交通状况下的准确性，考虑车辆匹配算法的计算效率，将误差角度γ放在二维中计算.因为灯语特点的连续性及实际车辆宽度无法忽略，所以，KLT算法和车辆匹配算法能快速锁定VH，实验结果理论上满足实际要求.

3.3 实验2 VHI识别

3.3.1 实验设定

选取10位不同年龄段的驾驶员(男性、女性驾驶员各5 名)，分别驾驶HV-1 在3 个场景中做相应的挑灯动作，获取实验数据集.HV-1 的VH 和PD相关参数设置如表2所示.

表2 参数设置Table 2 Parameter set

3.3.2 实验结果及分析

利用收集的3类灯语意图数据训练DHMM模型参数，为提醒催行、超车变道、提醒加速超车设定似然度值.将1 s内的纵向加速度、纵向急动度、航向角、横向加速度、光辐射通量数据分别输入对应的操作层HMM 模型，得到4 维识别结果，再输入意图层HMM识别灯语意图并显示.

在3类典型灯语场景下，选取1号驾驶员实验后输出的PD接受到的光辐射通量变化图，如图11所示，其中，未经处理的PA以灰色表示，滤波处理后的PA以黑色表示.DHMM 中VHI 识别结果如图12所示，平均识别率如表3所示.3种典型灯语示意场景中“提示催行”“变道超车”“加速超车”的平均识别率为96.6%，满足VHI的识别可行性要求.

图11 光辐射通量PA 变化Fig.11 Change of optical radiant flux PA

图12 10 位驾驶员在3 类场景中灯语意图识别结果Fig.12 Headlights intention recognition results of 10 drivers in 3 typical scenarios

表3 VHI 识别率Table 3 VHI recognition rates

4 结 论

(1)创新提出了混行交通环境下CAV对HV的VHI 识别模型，实验结果表明在1 s 内VH 感知准确率达96.8%，定位跟踪精度小于1°，VHI 平均识别率达到96.6%.该方法初步验证了在3 种主要灯语场景中，灯语意图识别的可行性与适用性.

(2)灯语意图识别模型结合了图像识别与光辐射通量算法的两重优势，通过建立DHMM模型及算法识别MV 前照灯闪烁次数和驾驶意图得出灯语意图.基于DHMM 的意图识别模型计算速度快，占用车载系统资源少，充分考虑了识别准确性和实时性，基本满足实际使用要求.

(3)未来可研究在更复杂的混行交通环境下的HV 驾驶员的挑灯动作对VHI 识别模型进行完善优化，将其应用到CAV的辅助驾驶系统当中.