高级驾驶辅助系统（ADAS）的计算机视觉研究

计算机视觉可以单独使用，也可以与雷达或激光雷达等其他技术相结合，是高级驾驶辅助系统（ADAS）的关键技术之一。然而，由于视觉算法的特殊性，现有的约束条件以及需要实现的严格要求，嵌入基于视觉的驾驶员辅助系统是一个巨大的挑战。本研究的目的是为了展示基于视觉的嵌入式ADAS领域的当前进展和未来发展方向，缩小理论与实践之间的差距。

我们相信计算机视觉将在这里发挥关键作用。然而，改进目前的算法不仅非常重要，而且重要的是要开发新的方法，工具和体系结构来嵌入它们，以减轻这一步涉及到的负担。

本文首先介绍，计算机视觉所应用到的硬件系统和软件系统，然后介绍计算机视觉的几种研究方法，主要包括，

1.增强获取外部环境图像质量的立体视觉研究。2.实时监测驾驶员的脸部，并判断驾驶员的状态

3.实时监测路上的行人，保证交通安全。

1 ADAS中计算机视觉应用系统的介绍[1]

目前计算机视觉系统都包括硬件系统和软件系统。硬件系统都包括：

（1）专用集成电路（ASIC）：ASIC是为特定用途定制的集成电路（IC），具有高性能和低功耗的优点。它们不可重构。这意味着一旦它们被制造出来，就不能被重新编程。这种缺乏灵活性导致使用其他的替代方案，如现场可编程门阵列（FPGA）。

（2）现场可编程门阵列FPGA：与通用硬件相比，它们具有更低的功耗，更适合于低级处理。

（3）图形处理单元（GPU）：另一种特别适合并行处理的硬件架构是GPU，GPU传统上被认为是耗电的设备，在车载应用中它们并不是很频繁。

（4）数字信号处理器（DSP）：对嵌入式汽车系统非常有吸引力，因为它们具有良好的性价比。然而，与FPGA等其他选项相比，它们要求更高的成本，而且不像微处理器那样容易和快速。

（5）微处理器：微处理器是高级视觉处理的最佳选择。此外，它们易于编程，微处理器的问题在于它们不太适合低级处理。因此，复杂的算法通常需要额外的硬件进行加速。

软件系统：

软件系统主要指的是操作系统（OS），尽管在OS上计算机视觉的性能会下降，但它还有许多其他优点。首先，开发时间和系统的维护都有很大的节省。其次，ADAS软件系统的非功能需求可以更好地解决。第三，当使用OS时，程序员可以专注于特定的计算机视觉算法，而不必关心其他低级细节。使用实时操作系统（RTOS），嵌入式ADAS的严格的可靠性和安全性要求得到了更好地满足。ADAS软件应该被开发用于集成到AUTOSAR环境中。

2 ADAS中立体视觉的研究[2]

2.1 主要目的和主要原理

为了做出更好的决策，这些高级驾驶辅助系统当然需要能够从车辆的外部环境中获取真实场景的算法。基于驾驶员辅助视觉的各种先进系统已经在商业上可用，但是它们对于照明和视觉条件的变化，识别图像的鲁棒性较差。与此相关，本文描述了一种图像处理算法，能够提高获取的外部环境图像的质量，该算法必须集成在允许3D图像重建的立体过程中。本文所使用的方法是高动态范围成像（HDR）。

在实际情况下，行驶中的车辆所拍摄的照片不能适当地暴露在某个场景的所有发光强度之中。这通常是由于外部气候，光线强度，车辆前灯向相反的方向，建筑物和树木的阴影，低光照等。HDR已经解决了过度/欠曝的问题。这种方法的兴趣是提供一种技术手段来恢复丢失的信息，并通过专门的软件处理重新整合它。

该算法将动态场景的不同曝光级别的图像堆叠起来作为输入，然后选择通常是堆叠图像中最佳曝光图像的参考图像。对于堆叠的每个图像，合成一个潜像，看起来好像它是与参考图像同时拍摄的，但是具有不同的曝光。

因此，HDR成像的原理是将多个图像与不同曝光时间组合以获得动态范围大于每个原始照片的图像。换句话说，我们可以从几张不同曝光的照片中选出最好的照片来创建更好的图像。这种技术可以获得更详细的图像，而无需曝光或曝光区域。

2.2 结论及存在的问题

HDR成像的方法可以获得更高分辨率更准确的图像然而，由于其算法的复杂性，它们需要更多的时间来处理，实时性不足。根据时间要求，我们必须不断缩短执行时间，以达到预期的目标是每秒十五帧。

3 ADAS中的驾驶员面部监控算法[3]

3.1 主要目的和主要原理

高级驾驶辅助系统（ADAS）在市场和应用的快速扩展导致对各种算法的高需求。在本文中，我们提出一个监视算法，该算法的主要目标是自动判断驾驶员是否疲倦。并在这种情况下提出适当的警报。基于计算机视觉算法，对驾驶员的脸部和眼睛进行检测。另外，已经在一个真正的ADAS平台板上的受控环境中进行测试。

主要分为以下四个步骤：

（1）图像预处理

摄像机产生的BGRA帧被转换为灰度，由于脸部应该居中，所以我们裁剪了35%的框架宽度。成功地形成了适合于眼睛和虹膜检测的图像。

（2）人脸检测

分为2个阶段，第1阶段是准备阶段，由Haar特征选择和AdaBoost训练组成，第2阶段是人脸检测阶段。

在图像金字塔上运行特征检测，直觉上在金字塔的某个级别，两个人脸将适合到24x24矩形（当然不在同一层次）。图像金字塔由一些因素缩小的图像序列组成。可以找到不止一张脸（例如有人可以看到驾驶者肩上的路）。在这种情况下，选择最接近图像中心的矩形。人脸检测阶段的输出是一个矩形，表示驾驶员的脸部。

（3）眼睛和虹膜检测

眼睛中心检测算法的第一步是将输入图像裁剪到已经检测的面部矩形。然后应用标准的生物统计比例法进一步降低，处理到仅包含左眼和右眼的矩形。当眼睛的中心被确定时，下一个任务是推断眼睛是否被打开或关闭。当眼睛闭上时，会有一个和睫毛相关的权重矩阵，当眼睛睁开时，会有一个和虹膜相关的权重矩阵。

（4）嗜睡评分计算

嗜睡评分是在范围内的值

介于0到10分之间。这个范围分为三个间隔：

0-3低

3-7中

7-10高

当比分低时，我们可以看出司机根本没有分心。在中高分的情况下，司机昏昏欲睡，系统应该最终提醒驾驶员。

3.2 结论

该算法在真正的ADAS平台板上进行了测试。它作为实时算法（大约20帧每秒）具有较高的准确性。良好的驾驶员监控性能的取决于高帧率造成错误分类帧的影响，以及困倦计分方式。

4 ADAS中驾驶员注视区域检测系统研究[4]

4.1 主要目的和主要原理

驾驶员本身的状态会影响车辆的安全性，所以及时了解驾驶员的状态有助于驾驶安全性的提高，并根据驾驶员的状态进行控制。在这种情况下，我们已经提出了一个算法来确定驾驶员注视的方向，从而基本确定驾驶员是否处于安全行驶的状态。

在该算法中，通过使用安装在转向柱上的灰度相机，根据拍摄的图像计算出的面部和观看方向角等信息，确定驾驶员是否面向前方。并在实际车辆上进行测试。

使用一个自定义的改进的驾驶员监控摄像机（DMC）。DMC的优点是可以最大限度地减少阳光直射对图像的影响，并且可以输出驾驶员的特征点。把这个摄像机装在转向柱上，可以计算出驾驶员的面部图像。使用3D人脸模型来跟踪人脸，计算出驾驶员面部角度，然后根据人脸模型中跟踪的眼球图像计算注视角度。

注视方向的确定算法，提出注视区域方向估计系统，区域方向有4个，这些区域是“前”，“左”，“右”和“下”。首先，应用隐马尔可夫模型（HMM），支持向量机（SVM）和AdaBoost来确定注视区域在初始评估中是前方还是右方，然后开发了2个HMM模型，一个用来分类“左”，“前”和“右”的注视方向，另一个用来分类“前”和“下”的注视方向。除了判断注视方向，还可以分析驾驶员是否是处于闭眼或者脸被阻挡的状态。

4.2 结论

研究表明，驾驶员的面部识别精度可以达到95%以上，对于每个注视区域的得分是不同的，这是由于每个驾驶员的注视动作的差异，在状态转换期间应用从角度变化率的分布计算的可变转换概率，HMM可以根据小的脸部角度变化来估计注视区域的偏移。

5 ADAS中的行人监测研究[5]

5.1 主要目的和主要原理

行人保护系统（PPSs）对于减少道路交通死亡事故至关重要。然而，当今PPSs的相对较高的成本阻碍了大部分经济型汽车的收益。在本文中，我们提出了一种有效的低成本稀疏特征交互描述符（SpaFIND）。SpaFIND扩展了梯度方向特征的直方图（HOG）。并有选择地计算HOG的相邻成分之间的关系。因此，SpaFIND能够在保持低计算量的同时捕获物体的外观属性。

所提出的SpaFIND特征与以前的相关方法在以下方面有所不同：

1）SpaFIND不仅测量局部定向梯度直方图，而且计算相邻直方图元素之间的相互作用，即成对关系。因此，SpaFIND能够在继承HOG的优点的同时捕获对象外观的高级特征。

2）SpaFIND只计算HOG元素之间的相互作用，这些元素对行人检测有相当大的影响。

3）SpaFIND在特征计算之前估计归一化因子，使得可以同时计算和归一化特征元素。因此，SpaFIND的计算量进一步减少，以满足经济型轿车中PPS的要求。

在实验过程中，我们根据检测精度和计算量对行人检测基准的几个方法（HOG和CoHOG）进行了比较评估。

5.2 结论

实验结果表明，SpaFIND比CoHOG（定向梯度方向直方图）更快，更准确。SpaFIND通过聚集通道的特征（ACF）实现了竞争检测的准确性。同时保持了相当低的计算负载。

[1]Gorka Velez.Embedding vision-based advanced driver assistance systems:a survey[C].Selected Papers from the 22nd ITSWorld Congress。

[2]Otmane Amimi.Stereo Vision Based Advanced Driver Assistance System[J].International Conference on Wireless Technologies,2017:1-5

[3]Aleksandra Simic.Driver monitoring algorithm forAdvanced Driver Assistance Systems[J].Telecommunications Forum,2017:1-4

[4]Shunsuke Kogure.A Basic Study of a Driver's Gaze Area Detection System[J].SAE 2017-01-0030

[5]Takeo Kato.SpaFIND:An Effective and Low-Cost Feature Descriptor for Pedestrian Protection Systems in Economy Cars[J].IEEE TRANSACTIONS ON INTELLIGENT VEHICLES,VOL.2,NO.2,JUNE 2017