安全距离和成像尺寸约束的超大视场红外系统车载应用关键参数论证

李 刚，陈一超，张建君，黄富瑜，张 帅

1. 陆军工程大学石家庄校区电子与光学工程系，河北 石家庄 050003 2. 武警部队研究院，北京 100012 3. 北京跟踪与通信技术研究所，北京 100094

引 言

视觉是人类获知客观世界信息的第一通道，而车辆驾驶员所感知行车环境信息的90%来自于人眼视觉。研究表明，在频发的交通事故中，夜间和视线不佳情况下发生的交通事故接近60%。为提高车辆驾驶的安全性，近些年人们越来越关注智能驾驶系统在智能交通、 安全驾驶中的应用，而作为智能驾驶系统三大重要模块之一的行车态势感知技术也成为目前智能驾驶领域研究的重点[1]。目前行车态势感知技术主要可分为三类：GPS，雷达，视觉系统[2]。其中，周围环境感知主要依靠雷达和视觉系统实现。受制于感知原理，雷达传感器能够实现对物体较为精确距离测量，但对周边环境和物体的识别等较为困难[3]，因此对物体细节感知能力较强的视觉系统始终是行车态势感知的主流手段之一[4]。

从工作波段来看，现有车载视觉态势感知系统可分为可见光系统和红外系统两大类。可见光系统虽然价格低廉、 应用广泛，但存在对光照、 阴影和烟雾过于敏感的缺陷[5-6]。相比而言，车载红外智能驾驶系统(automotive infrared intelligent driving system, AIRIDS)因具有低照度环境性能好、 抗眩光能力强、 穿雾透霾本领大等优势，而成为智能驾驶中行车环境前视态势感知研究的热点[7-8]。基于此，车载红外的障碍物检测也是一大研究热点，主要有图像分割、 显著检测、 深度学习等研究方向，取得良好的效果，为车载红外辅助驾驶的发展提供了技术支撑[9-11]。

作为智能驾驶的手段，现有AIRIDS中的环境态势感知还存在如下缺陷：前视盲区大。现有AIRIDS通常采用“相似成像”机制，该机制虽然保证了物像相似不变形，易于目标检测和提取，但是，视场角一般不足40°，所凝视空域约占前视全空域的3.4%，较大的前视盲区无疑给智能驾驶带来了安全隐患。上述缺陷严重降低了现有AIRIDS对前视行车场景的理解和辨识能力，降低了车辆在夜晚等低照度和恶劣天气条件下的行车安全。为克服现有可见光成像和小视场成像的缺陷，本工作提出将超大视场红外成像技术应用于车载道路环境感知的方法。由于镜头的“非相似”成像规律，超大视场红外成像系统视场越大，目标在像面上所成的像越小，则系统对目标的可探测距离相对也就越近。为了保证智能驾驶应用安全，以超大视场红外系统在车辆辅助驾驶中的应用为研究对象，以车载安全距离和基于Johnson准则的成像尺寸为约束条件，计算超大视场红外系统的视场角、 分辨率等关键参数。

1 车载应用关键参数研究

1.1 等距投影

超大视场镜头可分为等距投影、 等立体角投影、 体视投影和正交投影四种成像模型[12]。四种“非相似”投影方式中，像高与视场角为简单正比关系的优势使得等距投影成为最受重视的成像思想，并且基于等距投影模型设计超大视场红外镜头理论和实践也相对更为成熟。其物方球面和像方平面之间的关系如图1所示，像高满足

(1)

由图1对等距投影成像原理中的物像关系进行分析，对式(1)进行微分可得

(2)

设距离为r0的像面上存在一个微小线段，则借用高斯光学中的放大率概念，其像面上的径向放大率βr0为

(3)

将式(2)代入式(3)可得

βr0=f0/r0

(4)

对于球形像面上沿圆周方向的微小线段BC成像为B′C′，则其切向放大率βt0

(5)

比较式(4)与式(5)可得

βt0/βr0=ω0/sinω0

(6)

1.2 车载背景应用下的安全距离约束

车辆在行进过程中需要对障碍物进行制动减速或规避，车载红外成像系统对障碍物目标的探测距离应满足一定要求，从而为驾驶员提供足够的反应和处理时间。本节将结合车辆制动距离等因素，探讨车辆驾驶的安全距离，从而为成像系统的视场角设计提供理论依据。

车辆行驶安全距离可以划分为制动距离和冗余距离两部分，前者为安全距离的最小值，后者则为行驶安全提供充足的反应时间。制动距离是指车辆在一定初速度v0状态下，从驾驶员踩下制动踏板开始到车辆完全静止状态(v=0)车辆所行驶的距离。假设车辆以v0的速度进行制动，则其制动过程包括判断、 准备、 响应和制动四个阶段，其中判断是指驾驶员意识到与障碍物的距离缩短后进行判断是否进行制动处理；准备是指驾驶员判断应当刹车后到脚踩踏板这个过程；响应是指由于机械间隙等因素的存在，制动踏板的迟滞效应；制动则是踩下制动踏板发挥作用后车辆开始减速的阶段。由于判断、 准备和响应三个阶段中并没有制动装置的介入，这三个阶段车辆仍在初速度状态下继续行驶，而制动阶段则可以视为末速度v=0的匀减速运动。制动过程三个阶段中的驾驶员反应时间和踏板响应时间统计情况如表1所示[13]。

表1 制动反应时间统计表(单位：ms)Table 1 Statistical table of brakingresponse time (unit: ms)

若反应时间取所有年龄段中响应时间的最大值，可以看出总的反应时间t1=0.62s，即t1时间内无制动效果的匀速运动。设车辆制动时间为t2，制动减速度为a，则制动距离s1为

(7)

仅保持制动距离尚不足以确保安全，需要提供额外的冗余时间t0用以发现目标。因此，行车安全距离s为冗余距离与制动距离之和。

(8)

车辆行驶中通常要求冗余时间t0为1～2 s，在此取t0=2 s；制动减速取民用车辆的一般值a=5 m·s-2，则不同初速度对应的制动距离以及行车安全距离如图2所示。由式(8)可知，车辆制动距离和行车安全距离是关于速度的一次函数和二次函数之和，因此随着速度的增加，其相应的制动距离和安全距离迅速增大。

图2 不同初速度时的制动距离与安全距离Fig.2 Braking distance and safety distanceat different initial speeds

不同于民用车辆，军用车辆的显著特点是重量大、 速度低。美军M1A2主战坦克极限速度约为67 km·h-1，在越野等状态下的最大速度约为50 km·h-1，而一般状态下的行进速度低于40 km·h-1。由式(8)计算可知，美军主战坦克在三种典型模式最大速度下对应的安全距离如表2所示。为保障行车安全，应用于车辆智能驾驶的观察设备其探测距离应大于其最大速度极值对应的探测距离。

表2 美军主战坦克车辆行车安全距离Table 2 Safe driving distance of armored vehicles

1.3 基于二维Johnson准则的成像尺寸约束

图像中目标判读一般分为发现、 分类、 识别、 认清四个等级[14]：“探测”是指依据目标相对于背景的亮度差异将目标从背景中提取出来；“分类”是指判定目标的大体属性；“识别”是指在分类的基础上做进一步区分；“认清”是获取目标更具体的细节信息、 掌握其详细特征。在工程实践中，通常依据表3所示的一维Johnson准则对目标等级进行划分。

表3 一维Johnson判别准则Table 3 One dimensional Johnson criterion

表3中数据对应的探测概率p=50%，在某一特定观察等级中，不同探测概率p所需线对数n0存在如式(9)和式(10)关系[15]

(9)

E=2.7+0.7(n0/n50)

(10)

式(9)和式(10)中，n50为某一特定观察等级探测概率p=0.5时对应所需线对数，即表3中Johnson判别准则的数据。

上述探测概率对应所需线对数是一维等效条带图案，而红外成像系统探测结果为二维凝视图像，文献[16]给出了同一探测概率下，二维图像像元数N与一维所需线对数n0之间的关系。

N=(2×0.75n0)2

(11)

式(9)—式(11)即为二维图像目标探测概率与像元数量对应公式。

驾驶员能够“发现”道路中的障碍物即能够做出相应的规避判断，因而在此对超大视场红外成像系统对目标的“等级”进行探讨。不同探测概率下“发现”等级对应的像元数如表4所示，表中数据显示越高的观测等级、 越高的探测概率对应需要的像元数量也越多。在实际应用中，通常以Johnson判别准则作为判断依据，即概率为0.5时对应的像元数量，为进一步提高行车安全性，本工作取概率为0.8时的像元数量作为系统设计约束。

表4 “发现”概率与像元数量关系Table 4 Relationship between the discovery probabilityand the number of pixels

1.4 超大视场红外成像关键参数论证

对目标的探测距离是衡量超大视场红外成像系统面向车载智能驾驶可行性的基础指标之一。总体而言，红外图像中目标可被感知的条件可以简化为两个要素：一是目标与背景的实际等效温差ΔTe，在经过大气衰减到达热像仪时，仍不小于红外成像探测器的最小可分辨温差(minimum resolvable temperature difference, MRTD)；二是目标的最小成像尺寸Isize不小于观察等级所对应的二维像素数目Δps。

按实际等效温差ΔTe和最小可分辨温差MRTD对系统作用距离的影响参数包括镜头参数、 探测器性能、 目标和背景热辐射强度等，文献[17-18]等研究表明，超大视场红外成像系统对典型目标的作用距离远大于本文应用需求，即在较近条件下能够满足ΔTeτa(R)≥MRTD。超大视场红外成像系统将更大视场的信息压缩至一幅图像，在增大视场的同时，也会造成物空间目标成像尺寸的压缩。此外，由于衍射极限和工艺水平等限制，红外探测器分辨率难以实现超高分辨率，这进一步限制了目标的成像尺寸。因此，通过分析可总结为：超大视场红外成像系统的探测距离主要受限于目标成像尺寸。

超大视场红外系统面向车辆辅助驾驶应用，系统所面向的探测目标主要包括人员、 车辆以及其他障碍物。其中，行人尺寸明显小于各种车辆，故以行人为目标对超大视场红外系统成像参数约束模型进行研究。如图3为三种典型立姿状态下的行人，当超大视场红外成像系统光轴与行人前视方向平行且垂直于两肩连线时，即如图3(c)所示的侧身时，行人目标相对系统的可视面积最小，同等状态下所对应的探测距离最近，因此探测距离以这种状态下的行人为研究对象，并按照国家标准中数据取成年女性身体尺寸高度×宽度中最低值(1.45 m×0.16 m)为基准，将其等价于一个圆柱体。

图3 三种行人立姿状态示意模型Fig.3 Three models of pedestrian standing state

在远距离情况下，行人目标距离远大于行人高度和宽度，可将其视为微小线段，由等距投影式(3)和式(4)，此时行人成像宽度和高度为

(12)

(13)

式(12)和式(13)中，f为超大视场红外镜头焦距，a为单像元尺寸大小。

由于探测器像元的离散化效应，目标成像可被探测即意味着其最小成像尺寸为1个像素，因此在计算行人模型成像大小时，若目标成像尺寸大于1个像素，即fW/ra≥1，则按照实际成像尺寸计算；若目标成像尺寸小于1个像素且大于0.5个像素时，即fW/ra<1，则成像尺寸取1像素。因此成像大小Asize为(高度成像小于1像素时不在讨论之列)

(14)

根据1.3节内容计算，成像尺寸Asize应满足

Asize>Δps

(15)

式(15)中，Δps为发现目标所需要的像素数目。将式(14)代入式(15)，得到系统焦距f满足约束

(16)

式(16)即为车载应用背景下单目超大视场红外成像系统关键参数约束模型。

由1.3节中的分析可知Δps=4.8；sinω/ω在ω=0时取最小值sinω/ω=1。由式(16)计算得到若不考虑成像系统的亚像素探测能力，即f/a≥r/W，将已知参数值代入，则此时系统参数取值约束为

f/a>521.3

(17)

为增大视场，考虑到热红外成像系统具有良好的亚像素目标探测能力，此时系统参数约束条件为

(18)

将参数代入式(18)，则此时系统参数最终取值约束为 2.6.1

(19)

在此条件下，取最低约束f/a=276.1时，计算可得在最远距离时行人宽度所对应张角仍大于0.52像素，因此认为对应像点不会淹没于背景当中。

综上所述，系统参数的最终约束为

f/a>276.1

(20)

由式(20)可知，探测器单像元尺寸越小越有利于增大镜头视场可选择范围。因此，探测器单像元尺寸越小则越有利于系统性能指标的提高。

设探测器平面水平方向和竖直方向的分辨率分别为2p和2q，系统的水平视场为ωmax，由等距投影原理可得

f/a=p/ωmax

(21)

代入式(20)，则ωmax的约束为

ωmax

(22)

由式(22)可以看出，系统水平视场约束最大值正比于探测器分辨率，探测器分辨率越大，则视场可取值越大，反之则越小。

综合上述分析，红外探测器选择的原则为尽可能小的单像元尺寸以及尽可能大的分辨率。因此，结合市售产品性能，选择高德红外公司的UV840A型号作为超大视场相机机芯，如图4所示。该机芯采用非制冷红外探测器，单像元尺寸为17 μm，探测器分辨率为800×600，较目前主流车载红外探测器单像元尺寸更小、 分辨率更高。

图4 UV840A型长波红外机芯Fig.4 UV840A long wave infrared chip

超大视场红外镜头方面，当单像元尺寸a=17um、 探测器分辨率为800×600时，由式(20)和式(22)可知，基于成像尺寸约束相应的镜头焦距应满足f>4.69 mm，即水平视场ωmax<166.0°。

图5 超大视场红外镜头Fig.5 Ultra-wide FOV infrared lens

考虑到人眼水平视场约为140°[19]，为更好地使驾驶员实现对周围环境的感知，以水平视场140°为目标设计了超大视场红外镜头，对应焦距f约为5.6mm，最终设计的超大视场红外镜头如图5所示，对角线视场大于180°。

2 实验与分析

实验在位于华北某地、 温度约为25 ℃的夏季晚上开展，以校园道路场景中正常行人作为探测目标。道路路面为柏油马路，白天吸收了较多的热量，夜间也具有较强的辐射强度，增加了实验的一般性。从不同水平方位角度对100，120和150 m三个距离下的行人进行观测，如图6所示为行人局部成像示意图，可以看出在这三个距离之下行人相对背景仍然具有一定的显著性，随着距离的增大这种显著性越低，但总体而言图像中的行人仍然能够被人眼视觉发现。

为客观、 全面表征远距离下行人的可探测性，对不同入射角度行人真实成像局部归一化后效果如图7所示，每组图像从左到右的入射角度分别在区间[0°, 10°]，[10°, 20°]，[20°, 30°]，[30°, 40°]，[40°, 50°]，[50°, 60°]和[60°, 70°]；第二行为相应局部图像的垂直灰度强度投影，用以表征行人在局部图像中的显著性，分析如下：

图6 不同距离行人成像局部示意图 (a): 100 m; (b): 120 m; (c): 150 mFig.6 Local schematic diagrams of pedestrian imagings at different distances (a): 100 m; (b): 120 m; (c): 150 m

图7 远距离行人成像特性Fig.7 Long distance pedestrian imaging characteristics

(1)在本实验条件下，行人与背景的实际等效温差大于红外成像探测器的最小可分辨温差，这意味着在此范围内的行人能够被系统探测；

(2)远距离行人的成像尺寸被大幅压缩，但由于衍射、 弥散以及像元离散等等因素影响，实际成像尺寸较理想成像更大，当距离100，120和150 m时，其对应的实际成像尺寸(宽×高)限定于大小约为3×6像素、 3×5像素以及3×4像素的矩形框内；

(3)距离为100 m时，行人能够大致区分上半身和下半身，行人垂直灰度强度投影明显呈现中间单峰状；距离增大到120 m时，成像逐渐退化为线条状，行人垂直灰度强度投影开始与背景发生粘连；在距离增大到150 m时，行人成像逐渐弥散化，不能够区分上半身和下半身，行人的局部显著性进一步减弱。

面向车辆智能驾驶的系统输出图像最终要由驾驶员观察、 判断。因此，为客观、 全面地分析超大视场红外成像系统车载场景中对行人的探测距离，设计了如下试验：将系统架设在公路上某固定位置，采集视频并记录在路口出现的行人数量；组织20名具有一定红外图像成像特性认知的受试者，通过VR对采集的动态帧图像和静态图像进行观察，统计观察者“发现”目标这一等级。动态视频和静态图像中不同距离行人被受试者发现的概率如图8所示：动态情况下对行人目标的发现概率远大于同等条件下静态行人被识别的概率；当距离小于100 m时，动态和静态行人被发现的概率均大于98%；系统实际对人“发现”概率为80%时对应距离约为130 m，在动态条件下，“发现”距离将大于130 m。

图8 行人目标距离与“发现”概率Fig.8 Pedestrian target distance and “discovery” probability

3 结 论

超大视场红外成像系统的探测性能决定了其在车辆辅助驾驶应用中的可行性。超大视场红外成像系统对热目标敏感、 视场较大且探测距离近似与车载远光灯处于同一水平，因此能满足军用车辆的辅助驾驶需求和民用车辆的中、 低速智能驾驶应用需求。通过对超大视场红外成像关键性能进行计算与分析，实验研究表明本系统对人的发现距离大于130 m，验证了系统在车载智能驾驶领域方面具备可行性。