基于动态特征融合的智能车应用检测分割技术

舒鑫印，王 萍

(东华大学 信息科学与技术学院，上海 201620)

0 引 言

在安全驾驶辅助系统中通过智能视频处理技术帮助车辆感知交通环境变化，捕获和处理视频图像来理解交通状况是一项关键技术。运动目标检测及目标分割技术作为视频智能处理的重要部分，对视频前景目标进行实时的完整的有效提取，能准确提供运动目标参数信息如目标区域、方位等，因此该技术的质量直接影响到整套环境感知系统的可靠性和稳定性[1]。

文献[2]采用全局运动光流补偿方法，根据前景与背景间光流间的差异，进行目标检测。文献[3]采取自适应双分数阶光流模型方法，做目标检测及分割，提升了算法速率。文献[4]提出一种利用光流图的有序性及双流卷积网络，有较高的检测准确率。文献[5]提出了fast-LOF的光流轨迹分类目标检测方法，针对动态背景，有良好的检测效率。文献[6]将目标ORB特征与LK光流结合，提出了一种多尺度多区域检测跟踪算法，提高了实时性及目标定位精度。文献[7]采用边缘粒子滤波概率假设密度滤波器对运动目标进行检测跟踪有良好的目标检测分割及跟踪效果。文献[8]针对目标检测精度、错检漏检问题，提出了一种使用深度神经网络检测车标的方法。文献[9]采用神经网络CNN通过使用大数据集训练方法完成目标检测及目标分割。但文献[2,8]对视频中光线亮度有一定要求，且对小目标检测及分割不够灵敏；文献[4,7,9]没有考虑算法实时性，文献[2,3,5]算法对场景有要求，没有考虑动态场景及摄像头有抖动的情况，具有一定的局限性。

在目前实时性不够高、目标检测分割精度不够高，及多目标错检漏检问题情况下，本文针对实时性问题及车行驶中光照亮度变化影响问题，提出用动态阈值三帧间差法对视频序列做预处理，同时针对目标检测精度不高及错检漏检问题提出了一种基于视频的动态特征及边缘信息融合的运动车辆目标检测方法。

1 算法设计

1.1 本文算法设计方案

本文通过设计光流信息、边缘信息及信息融合3个模块完成对上述问题的处理，如图1所示。在光流信息模块中，在考虑到尽量不损失光流信息，同时减少光流量计算的情况下，先通过动态阈值三帧间差法处理视频序列，降低光照干扰，得到有效运动区域，加快算法检测速率。后通过金字塔光流法处理，计算视频中目标运动产生的尺度变化光流信息。最后融合边缘信息模块产生多方向边缘信息来实现对目标完整轮廓的有效提取。

图1 本算法流程

算法具体步骤如下：

(1)取视频连续三帧图像Ik-1,Ik,Ik+1；

(2)对Ik-1,Ik与Ik,Ik+1分别进行差分处理得d1k、d2k；同时对帧Ik做边缘检测，二值化得边缘检测结果G(i,j)；

(3)对d1k,d2k进行二值化，并进行与操作，得运动区域J(i,j)；

(4)将J(i,j)作为底层原视图像建立金字塔模型JL,L=0,1,…,Lm。通过迭代计算Lm,L，…，0层的光流值，以此类推得到原始图像中目标的光流值，得到运动目标结果P(i,j)；

(5)最后将边缘检测图像G(i,j)与金字塔光流法处理图像P(i,j)进行与操作得到目标图像F(i,j)，最后进行形态学处理得到输出图像。

1.2 光流信息模块

1.2.1 动态阈值三帧间差法

由于光照变化容易影响检测效果，本文在帧间差分法[10]的基础上采用动态阈值三帧差分法，通过动态自适应阈值的方法来增强抗光照干扰能力，获得有效的前景运动区域。主要思想为：取视频序列的连续三帧Ik-1,Ik,Ik+1，做相邻帧差分运算，并根据动态阈值过滤得二值化图像，由式(1)和式(2)将上一步差分运算得到的结果d1k,d2k进行相与操作，若Dk=1，目标为前景点；反之为背景点。从而确定图像中的前景区域，得到运动目标的轮廓

(1)

(2)

dk=d1k∩d2k

(3)

(4)

其中

(5)

(6)

其中，λ为抑制系数，经实验，参考值为2。T0为固定的二值化阈值，M×N为视频图像的尺寸大小，其值为图像像素个数，T1和T2均为动态阈值，Ik-1(x,y),Ik(x,y),Ik+1(x,y)为对应像素点亮度大小。在视频序列中，T1,T2反应了光照变化剧烈程度，根据式(5)和式(6)得，光照变化剧烈，动态阈值也提高，这有效抑制了光线转变所带来的影响。

1.2.2 金字塔LK光流法

光流算法[11]是一种对视频中光流变化的估计算法。金字塔光流法[12]其核心思想是通过金字塔模型缩小图像尺寸将大尺度运动光流变成小尺度运动光流，从而实现对目标大运动的检测，模型如图2所示。

(1)以原视图像作为金字塔底层L0，采用相应比例对原图像缩放成不同分辨率的层次，缩放至一定层次时，便实现了将大运动位移变得足够小，从而满足光流法约束，完成对运动光流的计算。

(2)由最顶层向下依次计算，设gL为第L3层的初始估计光流向量，ΔfL为第L3层内计算得到的光流结果，层间映射关系为

gL-1=k(gL+ΔfL)

(7)

(3)设金字塔总层数为N,初始化金字塔最顶层的光流向量g(N-1)=0，由顶层向下依次计算得原始图像的运动光流

(8)

通过迭代计算得出在原始图像中运动目标的光流估计向量P(i,j)。经过实验，为取得满意的检测跟踪效果及符合要求的算法速率，层数N=3时能取得满意效果。

图2 金字塔光流法模型

1.3 边缘信息模块

针对单一光流法检测精度低，不能完整检测目标轮廓，本文提出采用改进的八方向模板Prewitt算子进行信息补充，使得到更完整的目标检测结果。

Prewitt算子[13]只有水平及竖直两个方向的模板算子，会导致丢失一部分方向的信息，不能实现对目标完整轮廓的检测。因此本文采用改进多方向Prewitt算子来进行边缘检测，通过增加45°、135°、180°、225°、270°和315°多方向的模板算子，算子模板如图3所示，对原图像做边缘检测，得到更加完整的目标边缘轮廓。

图3 Prewitt算子的8个方向模板

(9)

由式(9)，将图像像素矩阵f(i,j)与各算子模板pk做卷积和得边缘检测结果G(i,j)。改进Prewitt算子边缘检测效果如图4所示。由图4可以看出该算法能够有效检测出目标的完整轮廓，获取更多的物体边缘信息。

图4 边缘检测效果对比

1.4 信息融合模块

本文通过“与”运算对同一运动目标的两种二值化特征信息进行融合，其中，一种为改进Prewitt边缘检测算法处理得到的目标边缘信息，另一种为采取金字塔分层光流提取得到的光流类信息。二值化操作处理边缘信息与光流信息，然后进行信息融合得到运动目标的信息

(10)

式中：F(i,j)表示信息融合后得到的结果图像，G(i,j)表示边缘检测二值化特征信息，P(i,j)表示光流类二值化特征信息。使用“与”运算进行信息融合的优势在于可强化运动信息，去掉除无关的非目标冗余信息，进一步提升检测精度，最后采用形态学方法对目标检测结果进行开运算操作得到输出结果。

2 性能评估指标

为定量评估本文方法性能，采用广泛使用的查准率PR、查全率RE和综合评价FM对算法进行评估，定义如下

(11)

(12)

(13)

其中，TP,FP分别指在检测出的区域中正确或错误的目标像素点数量,FN指将目标像素点检测成背景像素的数量。

式(14)和式(15)分别给出各场景下平均处理速率v以及综合平均速率v综

(14)

(15)

其中，t总,f总分别为各场景下视频时长及总帧数，vsum为各场景下v的和，n为场景数。

3 实验结果与分析

实验硬件平台使用英特尔i7处理器,CPU频率2.2 GHz,内存8 G,GPU为1050Ti,操作系统为Windows10。

实验视频均选dataset2014数据集[14]，视频序列highway、peopleInShawde、canoe以及traffic，分别对应本实验的4个场景：静态背景下多运动目标845帧、阴影背景下多运动目标334帧、动态背景下单目标检测970帧，及抖动摄像头下多运动目标358帧。在上述场景下依次使用光流法[15]、粒子滤波[16]、神经卷积网络[17](CNN)及本文算法进行实验，实验效果如图5所示，PR值、RE值及FM值直方图评估结果如图6所示(直方图从左至右依次为光流法、粒子滤波、CNN及本文算法)，算法速率对比结果见表1。

图5 不同场景下视频检测效果对比

图6 各场景中PR、RE、FM值直方图

表1 本文算法与各算法运行速率对比

在场景一的静态背景下，各算法均有良好的表现，传统光流法检测结果中有一些噪声干扰出现，在视野较远处，由于运动目标较小且运动小，光流法及粒子滤波无法检测到完整目标。在场景二的阴影背景下，由于光照不充分，光流法出现重影及空洞现象，将一个目标检测成多个目标，影响了追踪的准确性，CNN方法及本文算法能准确检测出运动目标，有良好的检测效果，但本文检测速度是CNN方法的3倍。在场景三的动态背景下，由于水面波纹影响，光流法失去检测追踪能力，粒子滤波不能完整检测目标，CNN与本文算法检测效果较好，但本文算法相对能检测得到更完整的目标轮廓。在场景四的抖动摄像头下，光流法失去检测追踪能力，在摄像机抖动状态下，光流法能检测出运动目标，但其抗噪性能差，CNN方法及粒子滤波抗噪能力好但不能检测出目标的完整轮廓，本文算法表现良好。

从直方图可以看出，在不同场景下本文算法的查准率PR与查全率RE均高于其它算法，算法性能有明显提升。综合评价FM达到90%左右，表明本文算法有优良的检测性能及较强鲁棒性，能适应以上各个场景的运动目标检测及目标分割。

从运行速率对比表可以看出，由于本文所提算法在进行光流法处理前，进行了帧间差法的前置处理，大大缩短了光流法所需处理时间，平均处理速率达到47帧/s,能满足各场景的实时性要求,较光流法提升了一倍，是CNN方法的近3倍。

4 结束语

本文针对车辆在行驶中引起的视频场中运动目标大动态尺度变化、抖动、多场景、多目标快速跟踪等检测分割问题，提出了一种基于视频的动态特征及边缘信息融合的运动车辆目标检测分割方法。将随运动目标尺度变化的动态光流特征以及八方向模板Prewitt边缘检测特征信息有效结合，提升检测准确率及完整度，有效进行目标检测及分割。同时，设计自适应阈值三帧间差法预处理技术获取有效运动区域，提高了算法检测速度，增强抗光照干扰能力。实验结果表明，本文方法能满足检测分割要求与实时要求，能够适应多种场景的检测精度要求，稳定性良好，在动态目标检测及目标分割方面有良好的效果。