基于NV夜视系统融合的AEBS系统夜间控制技术

2020-12-23 03:16文翊孙国正李泽彬吴相昆

汽车实用技术 2020年23期

文翊，孙国正，李泽彬，吴相昆

（1.东风汽车集团股份有限公司技术中心，湖北武汉 430000；2.东风汽车股份有限公司，湖北武汉 430000）

1 序言

众所周知，ADAS（智能驾驶辅助系统）是当今汽车科技的重要的发展方向，而作为 ADAS系统标志性功能的AEBS（自主紧急制动）系统已成为重要的汽车安全功能，装备率与日俱增且技术日趋成熟；NV（夜视）系统作为ADAS家族的最新加入的高级功能，在夜间可以有效感知周围环境，特别是无灯光的道路上，极大提升驾驶员视野提升驾驶安全性。

但由于AEBS环境感知传感器，是基于可见光原理，对于白天色彩详实对比丰富的正常环境有良好的表现，而对于夜间，特别是人眼也无法探知的行人的表现退坡明显，严重影响到夜间的功能安全；由于NV夜视红外传感器，是基于红外成像原理，对于夜间红外物体有很好的探知能力，但其成像能力极差，若直接使用提供给驾驶员展示诟病无穷，且无法描绘行人轮廓限制了其功能。

本文实现了AEBS系统和NV夜视系统的系统融合，通过AEBS系统图像和NV夜视系统图像强度及对比度的双重滤波提取，有效使用行人边沿，角端特征点探测等方法，对双重滤波后的两幅图像再次融合，使得AEBS系统的夜间识别识别探测能力提升，并辅助完成行人的标注及展现，本文中将AEBS系统和NV夜视系统的系统融合的AEBS控制技术简称为AEBS-Night（下文同）。

2 基于图像融合及可信度比较的AEBS-Night方案设计

2.1 现有AEBS系统的工作原理

AEBS系统是ADAS领域目前比较成熟的系统：对于基于环境感知传感器+毫米波雷达方案来说其工作“感知-数据融合—运算—执行”各自反馈条件形成闭环过程，当环境感知传感器识别到目标为车或人后，采用毫米波雷达实时地测出与目标障碍物的距离，结合车辆状态参数信息，利用算法实时计算安全时距 TTC，根据毫米波雷达测出的实际 TTC比较，当实际距离小于安全时距时，系统会主动向ESC发送对应减速度请求，车辆执行对应的减速度，自主紧急制动从而避免碰撞。故AEBS系统有效动作的先决条件为系统识别到目标为车或人。

图1 本公司现有AEBS系统原理图

2.2 夜视图像及环境图像融合技术介绍

NV夜视摄像头针对行人或事物温差及红外辐射量级不同进行图像提取成像，是夜间可视化探测的唯一选择，复杂道路环境对其影响小且不受树枝扬尘等半遮蔽型障碍物干扰[1]。美中不足的是，夜视图像行人细节及轮廓羽化失真、低对比度、因此其AEBS系统无法识别出夜视图像中的行人目标（如图2）。

AEBS环境感知传感器与NV夜视摄像头功能原理差异较大，和人眼识别类似，影响其性能的重要因素在于目标反射光的接收，所以AEBS环境感知传感器在波长齐全颜色丰富的可见光下的信息反馈良好，通过成熟的技术和算法识别出行人和车辆；美中不足的是，夜间或有遮挡等人眼无法识别的目标时无能为力。

图2 单纯夜视系统成像效果

图3 单独AEBS及单纯夜视功能实测图

（单独AEBS无法识别夜间行人能力及单纯夜视功能无行人框选功能）

图4 图像融合流程图

针对AEBS环境感知传感器的局限性，本文提出了结合NV传感器和AEBS传感器图像的提取和再融合方法，其基本原理：首先，先对两种传感器图像进行亮度、色度与饱和度3个维度的预处理；然后，对两种传感器图像对比度进行RGB格式的颜色对比度分量提取；再通过降低可视图像的色度和饱和度，利用夜视摄像头亮度高度可信的优势，利用夜视图像的亮度参数换AEBS环境感知摄像头的亮度参数；最后，参数的拼接融合后新的亮度参数单元和AEBS环境感知摄像头的色度和饱和度进行逆变换。通过这样变化换后可以得到夜间用于AEBS系统的处理后的图像。通过AEBS环境感知传感器进行亮度、色度与饱和度变换，将色度与饱和度及 RGB提取的颜色分量赋予夜视系统，使用基于对比度的重构逆变换[2]，最终完成可视夜视图像的融合。简单流程图如图3。本文方法保留了AEBS环境感知传感器中的大量信息为下一步夜视系统中行人轮廓的展示提醒提供了必要的先决条件。

2.3 AEBS功能AEBS-Night夜视增强系统方案设计

本文研究的AEBS系统AEBS-Night夜视增强系统，其工作的核心是在于控制其中加入两个运算模式：（1）图像融合模块，（2）条件判断单元。对于图像融合模块来说其工作为两种方案的图像融合过程，对双重滤波后的两幅图像再次融合，本文中主要对AEBS系统可引用的图像进行介绍。当环境光照足够暗满足 AEBS-Night夜视增强系统模块激活要求后，域控制器采用可信度比较法模块对 AEBS-Night融合图像与ADAS环境感知传感器原始图像进行可信度比选。若AEBS-Night融合图像在比选中可信度胜出，AEBS系统会依据AEBS-Night融合图像产生夜视目标OBJ（NV），OBJ（NV）会正常参与AEBS系统正常识别的目标物比选，OBJ（NV）自身参数满足成为主目标的条件后，结合车辆状态参数信息，夜视目标计算安全时距TTC，正常请求对应减速度。

图5 AEBS-Night夜视增强系统原理图

3 AEBS-Night夜视增强系图像融合及夜间行人特征识别算法的研究

在 AEBS-Night夜视增强系统图像融合和处理的过程中必须要尽最大可能保留融合图像中的目标轮廓或主要特征，因为AEBS系统是通过识别轮廓及主要特征点判别目标。

小波分解技术是成熟的图像融合处理方法，通过高频分量（对比度、色度）的滤波优化处理，保留了几乎的全部图像信息，这些信息很好地呈现了细节、纹理信息视觉特征信息。出于保留目标轮廓或主要特征的目的，本文采用的对比度、色度的滤波方式为标准差法比对标准差后取其大致，其适用范围为选定的融合范围，灰度值越分散，纹理等信息包含越丰富时，通过本文方法加以保留。

本文研究的算法流程主要包括：（1）图像的拼合重构；（2）标准差法的图像融合变换；（3）统一光强的图像处理。以下分别加以说明。

3.1 图像的拼合及重构

NV夜视摄像头和AEBS环境感知传感器是两个功能原理完全不同的传感器，其视角必然不同，其布置位置差异也较大。所以第一步为图像的校准和拼合。

在车辆设计和标定的过程中，分别选取环境一致的像素区域作为配准区域，由于两传感器安装角度必然不同，明暗及扭曲的变形是必然的，为了消除图像融合的痕迹，本文中快速融合算法采用加权平均值法，其基本原理公式可表示为[3]：假设PNV、PAEB为NV夜视图像和AEBS环境感知图像的像素点，融合图像PA可表示为：

其中式中d1、d2代表了其重叠区域宽度代表值，令该式中满足d1+d2=1，故d1、d2很好地代表了NV夜视图像和AEBS环境感知图像中单个像素点的权重值。在图像拼接融合的过程中，对于远端视觉不可见场景，d1渐变至0，d2渐变至1，通过加权平均值法完成了NV夜视图像和AEBS环境感知图像在选定配准区域内平滑过渡问题。

本方法实现了在95%以上的选定的重叠区域内夜视图像和AEBS环境感知图像的平滑过渡问题，不会出现带状锯齿，且速度快稳定性高。

3.2 基于标准差法的图像融合变换

环境感知图像融合的步骤是首先对重叠区域分别选取一个目标像素组块，由于无可视化要求，可在工程上不进行严格的图像拼接，而后统筹比较目标像素组块标准差的值，选取大的值的分量作为最后分量的值。

重叠区域的标准差的表达式可归纳如下：

重叠区域选取目标像素组块的m×n区域，K表示为该像素点不同方向高频部分的分量，L表示在内部信息层的高频分量，代表了图像像素点（i，j）上高频分量的灰度值，代表了图像上所有像素点上高频分量的灰度平均值[4]。

故该标准差法的图像变换图像融合方案的表达式如下：

3.3 基于统一光强的图像变换处理

通过研究分析，本文基本确认出现图像仍然无法供AEBS系统直接引用的原因为夜视图像独有的识别部分在融合过程中其光强值明显高于其色度及对比度，类似强光下的炫目效果。故图像的下一步处理需要将选取夜视图像的特有部分光强因子等比例缩放后作为融合图像的光强因子，对于色对及对比度数值部分的梯度取最大值的方法，将梯度值最大时的系数作为最终的高频。

本文充分利用夜视系统优势进行如下运算，将图像由标准RGB图像模型正变换为光波空间模型：

其中SNV为光饱和度反馈组成光颜色纯度；HNV为像素点颜色组成的光波的主波长，直观反馈光的频谱即色度；INV为像素点组成的光强。

通过本组公式得到夜视系统图像的各像素点的亮度、色度与饱和度信号，其中光强信号INV保留并存储。

将提取到的光强信号INV按最大梯度法处理后，进行融合图像的逆变换，该梯度值最大法后的图像变换表达式如下：

通过本方法提出得到的图像如下，AEBS系统可以判断出图中行人，满足自身动的基本条件。

4 基于AEBS-Night夜视增强系统的AEBS功能方案设计

AEBS-Night夜视增强系统的 AEBS功能方案从四个维度：（1）功能激活条件；（2）AEBS-Night融合图像与原始图像可信度比较；（3）目标特征识别；（4）目标优先级比选。若四个维度满足要求，则AEBS系统会依据AEBS-Night融合图像产生夜视目标 OBJ（NV）计算安全时距 TTC，正常请求对应减速度。

图6 单纯夜视系统成像效果

4.1 功能激活条件及图像可信度比选

本文中关于AEBS系统夜间性能提升的设计原理是，在光照条件达到300流明以下，NV系统及AEBS系统无故障，车速大于 5km/h时，AEBS-Night夜视增强系统自动开启运行。

该模式下，AEBS系统可引用本文引用融合图像，和AEBS原始图像根据AEBS系统信息语义的输出可信度值；夜视摄像头与摄像头计算距离的综合比较，雷达判别距离、环境感知摄像头判别距离、夜视融合图像距离判别信息3个维度标定后的曲线MAP如：图7；在不同情况下选取不同可信距离作为AEBS功能执行的图像输入；本MAP图可根据装配在车辆上红外摄像头及环境感知摄像头实际情况标定。

图7 可信度比较MAP图

经过本方法的判定和比选，夜间及对树荫、临时障碍物等半透过性遮挡目标时，AEBS-Night夜视增强系统95%以上会胜出。

4.2 行人目标特征识别算法

系统识别融合图像的首要工作时，将图像中所有元素进行真值判定，当目标确定为人且可信度较高时，系统将产生OBJ（NV）目标。本节中出于融合图像简明的特点简化目标特征条件检测。

在生产的融合图像中，判定目标物头部、身体和腿部均能检测出来的条件为：

当人体任意部位X被探测出来后，我们记做Cx，我们随之生产与其匹配的主动探测区，人体3个部位的主动探测区为Zx，用函数f(Zx)表示对各个主动探测部位的响应值，x∈{T,S,F}。故主动检测和原始检测结果会产生容差值，我们可以表示如下：

Yx是关于探测的x部位可信度的基本阀值，所以我们可以得到初步判决结果：

使得 Cxx∈{0,1}，x∈{T,S,F}，那么我们可以定义Cx=1则该部位可信，Cx=0则该部位不可信。

当Cx=1时，我们将定义精确判别函数h（x）：

若h（x）×g（Zx）＞t，我们将目标物定义为人，AEBS系统可按正常方式产生OBJ（NV）对应的位置，速度，距离等信息。

4.3 行人目标区域的选定算法

向梯度直方图（HOG）是行人识别的重要算法，其广泛应用于各种基于可见呈现系统的目标识别，利用梯度直方算法进行统计和计算图像固定像素组区的向梯度直方图。

梯度直方算法在夜视系统中的应用是这样的：融合图像优化统一后的像素组块区域256*128 像素矩阵。首先，人为地将像素组块区域256*128 像素矩阵划分成小固定识别区，工程中固定识别区的大小通常设置为 8*8A像素矩阵，显而易见像素矩阵被割裂成 32×16=512 个特征识别区。然后按照AEBS系统成熟的目标提取算法每个特征识别区中的各像素点矩阵的轮廓线或称为梯度的直方图边界提取出来。最后要做到是将提取出来的梯度的直方图进行转变形成信息语义。最终为了进一步提高夜视系统的性能，提高识别率，将8*8A像素矩阵相邻的4个像素矩阵划分为命名为8*8B像素矩阵。

如果行人或物体运动每个8*8A像素矩阵的位移而形成8*8B像素矩阵，8*8B像素矩阵每次位移一个8*8A像素矩阵的宽度，对于工程展示图中256*128的图像每次位移只是可以得到465个8*8B像素矩阵。

图5是描述8*8B像素矩阵与8*8A像素矩阵的关系：

图8 像素矩阵关系图

用梯度方向的加权投影法对8*8A像素矩阵内任何像素点处理，就得到了该8*8A像素矩阵的梯度方向直方图[5]，如图6所示。最后将单个的8*8A像素矩阵组合相邻的、有关的8*8B像素矩阵组。通过这样处理，在一个B像素矩阵组内四个A像素矩阵的特征向量就关联起来了，最后得到该B像素矩阵组的梯度运动特征。统筹计算之后的B像素矩阵组特征描述就可以输出为行人特征的信息语义，最后判定为行人B像素矩阵组范围就是夜视系统的行人提升框的范围。当然B像素矩阵组的识别和处理对于AEBS系统是成熟且复杂的过程，本文不另行描述。

夜视系统梯度直方图特征算法实现用下面流程图如图 9表示：