基于FPGA 的车载流媒体后视镜闪烁抑制系统

摘要：针对LED 信号灯环境下车载流媒体后视镜面临的闪烁问题，并考虑局部图像快速运动与边缘纹理类复杂场景对图像修复的影响，提出了基于硬件加速系统FPGA 的实时闪烁抑制系统。根据闪烁图像的多特征约束闪烁像素，基于连续三帧图像高效检测闪烁，提出了基于邻域图像群的运动估计算法，并通过改进图像匹配准则和对邻域图像矢量聚类的方式改善复杂场景下的图像修复效果；基于ZYNQ 平台设计视频数据流的并行流水线架构实现系统加速。实验结果表明：提出的系统可满足分辨率800×480、帧率30 fps 视频的实时性需求，且对复杂场景下的闪烁图像抑制效果良好。

关键词：LED 闪烁抑制；车载流媒体后视镜；多特征融合；块匹配；FPGA 加速

中图分类号：TP391 文献标志码：A

车载流媒体后视镜[1] 作为智能驾驶时代的新型汽车后视镜，不仅克服了光学后视镜在视野、风阻等方面的缺陷，还可通过算法与硬件传感器优化输出图像的质量，实现夜间防眩目[2]、危险距离警报等功能。但当其采集画面存在LED 光源时，会导致输出视频的LED 区域发生闪烁[3]。LED 闪烁不仅会引发观看显示屏的驾驶者出现视觉疲劳等生理不适，还会向驾驶者传递错误的交通信号，具有较大的安全隐患。因此车载流媒体后视镜要实现对光学后视镜的替代，就必须在保持光学后视镜低延时特性的同时抑制LED 闪烁。

目前抑制LED 闪烁的方法分为硬件和软件两种。前者通过在图像传感器中设置专门的硬件结构抑制闪烁[4-5]，然而这类方法需要实现对图像传感器曝光时间的像素级控制，存在芯片设计难度大和研发成本高的问题。后者通过图像处理算法抑制闪烁，但这类方法大多用于处理非实时影像的修复问题[6-7]，难以用于车载领域的实时视频处理。基于深度学习的图像修复算法[8] 在诸多场景下表现良好，但这类算法同样具有时间复杂度高的问题，且普遍存在可解释性和鲁棒性[9-10] 较差等安全问题，所以不适用于交通场景。针对上述情况，Behmann 等[11] 提出了一种基于三维递归搜索（3-D Recursive Search，3DRS）[12] 块匹配算法的闪烁抑制方法，并结合现场可编程门阵列（Field Programmable Gate Array， FPGA）实现系统加速[13]，但该方法只适用于运动缓慢且边缘纹理少的场景，无法满足新型后视镜的应用场景需求。为了增强块匹配算法面向复杂场景的鲁棒性，后续文献提出了改进搜索策略[14]、改进图像匹配准则[15] 和加入优化算法[16] 等方法，但普遍存在时间复杂度高的问题。

针对车载流媒体后视镜在快速运动和边缘纹理类复杂场景下的LED 闪烁问题，本文提出了一种基于FPGA 的实时闪烁抑制系统。系统结合闪烁图像的时空域特征实现高效的闪烁检测；根据相邻图像的运动一致性原理提出了可有效预测闪烁图像运动矢量的运动估计方法；通过改进图像匹配准则和优化基于密度的空间聚类噪声（Density Based SpatialClustering of Applications with Noise， DBSCAN）[17] 算法来改善复杂场景下的图像修复效果；借助FPGA 可编程、并行运算的处理能力搭建了实时闪烁抑制系统。