交通场景中多目标车辆快速检测与分割算法

马秀博，孙熊伟

(1.安徽三联学院计算机工程学院,安徽 合肥 230601； 2. 中国科学院合肥物质科学研究院,安徽 合肥 230031)

0 引言

在智能交通系统中，由于交通场景的复杂性、摄像头架设的位置等因素，交通视频中的车辆目标在运动过程中时常出现相互遮挡的问题.多目标车辆的粘连检测和分割是智能交通系统后续分析和处理中必须解决的一个关键问题.

近年来，国内外研究人员针对交通监控中的车辆目标粘连问题进行了大量的研究，提出了许多有意义的方法.基于特征模型的方法[1-3]主要用到纹理、直方图、边缘等特征完成每个前景区域的特征标记、检测和分割.然而，在实际环境中很多目标车辆之间不存在明显的特征差异，或者受车窗玻璃和光线等因素的影响，基于特征的方法效果容易受到限制.基于三维模型的分割方法[4]也是计算机视觉领域中比较常用的技术手段.一般模型的参数较多，并且检测之前需要精确标定摄像机与监控场景的参数，每个运动车辆都需要分别建立三维模型，计算负担较大，难以实现实时处理.基于推理模型的分割方法[5]根据视频场景中车辆的位置及运动轨迹等先验知识和推理模型实现遮挡问题的解决.不过当交通场景比较复杂时，粘连车辆之间的遮挡检测问题仍然不能完全解决.基于轮廓形状的分析方法[6-8]利用前景团块的轮廓形状解决车辆遮挡问题，例如文献[8]就是通过寻找符合条件的轮廓拐点分割不同车辆.这类算法对先验知识要求少、适应性强、处理时间相对较少，实际使用较多.

本研究将车辆外形天然的对称特征同目标轮廓的凹性形状分析方法结合起来，提出了一个基于对称特征分析的车辆粘连检测与分割算法.算法利用对称轴位置和数目信息直接从结构上排除大量由噪声引起的候选分割点，更有效地支持粘连检测判断和分割方案.

1 车辆目标对称轴检测模型

车辆目标对称性分析是本文中算法进行粘连检测和分割处理的前提.为了快速准确地提取出车辆目标的对称轴，设计了一个新的车体对称轴检测模型.在实际的交通监控视频中不难发现，由于光照、车体广告、拍摄角度等因素的影响，车辆的局部对称特征并不严格.相比之下，车辆整体形态同自身结构相关，不易受到外部环境的干扰，特征表现相对稳定.因此，对自然场景下车辆对称信息的分析需要剔除细节信息，突出更宏观的结构特征.

本研究使用高斯差分降采样滤波[9]操作对原目标图进行去噪和削减细节处理，利用高斯模型自身的平滑特性弱化局部细节信息在室外场景中的不稳定性，利用高斯差分产生的类二阶滤波效果在有效抑制噪声的同时，锐化效果又没有太大损失.令I(x,y)为图像中像素点，⊗为卷积操作符，G(x,y,δ)为高斯函数，S(k)是用来调节相邻两个高斯滤波图的降采样函数，降采样因子为k.令σ=1.5为相邻高斯差滤波图中差分因子，则第k层滤波结果D(x,y,δ)为：

D(x,y,δ)=S(k)*(G(x,y,σδ)-G(x,y,δ))⊗I(x,y)

(1)

利用上述变换，前景目标图片灰度化之后会被逐步降采样并滤波之后形成高斯差分降采样金字塔，

图1 构建车辆目标高斯差分降采样金字塔

具体如图1所示.

基于大量前期研究，在受到光照、目标观测距离引起的缩放影响的条件下，图像中方向特征相对更稳定[9-10].为此构建方向及方向强度响应计算公式，用于构建方向特征和方向强度特征场.

(2)

其中，Ix和Iy分别为图像上任意像素沿着x和y方向上的一阶导数；I为导数的响应强度，用于表征此处方向响应的强度；α表示梯度的角度，角度的计算变化区间为(-π，π).因此，分别对车辆目标高斯差分降采样金字塔中特定的图像层进行方向和方向响应强度计算，得到如图2中的差分降采样图在方向响应和方向强度上的响应图.

图2 高斯差分降采样金字塔的三层方向响应和方向强度响应图(a)、(b)、(c)分别为lev1～lev3的方向响应；(d)、(e)、(f)分别为lev1～lev3层方向强度响应

(3)

在实际计算过程中，通过给定经验比例因子η=0.3提取阈值，结合判定条件I>Ts得到有效的可靠方向响应区域，如图3所示.

图3 高斯差分降采样金字塔的三层方向响应和利用强度筛选的有效区域(a)、(b)、(c)分别为lev1～lev3的方向响应；(d)、(e)、(f)分别为lev1～lev3层方向筛选结果

基于方向分布特征进行快速目标对称轴的筛选，具体步骤如下：

1)首先设定车辆行驶的方向作为对称轴的主轴方向V，将对称轴的搜索问题由二维降到一维；

2)设参与对称性计算的方向特征像素为支持像素，构建目标车辆连通体的方向外接矩形(长度Hconn、宽度Wconn)为主轴V实际产生的目标范围.

3)搜索范围内对称轴Vx，计算在设定长度Hconn范围内和其相对于Vx对称的垂直方向上左右距离为Wconn/2范围内的像素，得到所有空间上对称的支持像素对的相似度统计得分.

图4 车牌区域的高斯差分层响应图中稳定区域方向特征

为了让对称性得分在统计上具有一定的鲁棒性，此处设定了相对宽松的方向一致性得分规则.

(4)

在候选对称轴Vx两端的对称位置上，两个有效的像素点在方向相上的角度差值为Δα，则相似得分sim计为1，否则为0.累积搜索区域内的对称位置上的支持像素得分，得对称轴Vx的最终对称性得分.最后，统计对称轴搜索区域内的所有对称性得分，归一化后得到分层的对称性响应分布，如图5所示.由于受到观测角度和环境的干扰，实际的对称轴的对称性得分分布并不平滑，为了使峰值对应的对称轴位置更加明显，此处采用宽度为5和σ=3的高斯滤波器进行滤波平滑，如图5中绿色虚线所示.

图5 高斯差分层响应图构建的方向场中目标的对称响应

为了加速整个搜索过程，对称轴Vx的搜索可以通过逐层范围式检索的方式.首先在降采样程度最高的高斯差分响应层的方向图中进行对称轴检索.由于降采样的原因，在更高层上搜索的速度更快，不过得到的对称中心位置会损失精度.为此，利用上一层搜索的关键位置通过比例缩放导入到下一层的对称轴位置搜索过程中，以此极大的缩小了搜索范围，提升了整个对称中心的搜索范围，保证了对称轴判定在精度和速度上的要求.

图5中的波峰位置对应对称性响应最强的轴位置，如图6中，通过映射标注到车辆目标方向矩形上，并利用等比关系最终标注在原始前景图中，实现快速对称轴位置的提取.

图6 图像对称轴标注结果

2 车辆目标粘连检测与分割

2.1 基于对称关系的粘连车辆检测快速准确的车辆目标粘连判断是保证正确分割目标连通体的基础.本研究在单个连通体中将对称结构信息同连通体轮廓几何特征结合，构建出一套迭代粘连分割判断算法.常见的车辆目标连通体团块类型分为无遮挡、前后遮挡、斜向遮挡、左右遮挡等4种基本粘连类型，剩余的粘连类型皆由此4种类型组合而成，具体如图7所示.

图7 车辆目标常见粘连类型

假设目标连通体实际检测的对称轴数为N，RA为车辆所占区域，RB为整个外接矩形区域，RH和RW分别为外接矩形高和宽，则连通体占空比RAB和长宽比RHW表示为：

(5)

J(Is)为对称轴计算函数，整个连通体粘连类型判定规则可以总结如下：

5)组合类型：组合类型由以上4种基本类型组合而成，通过逐步分割可以转化为以上4种类型.

2.2 基于对称关系的粘连车辆分割实现遮挡车辆的分割，关键在于对连通体粘连类型的判定和具体分割位置的判定.在完成了粘连类型判定和对称轴位置的求解前提下，针对4种不同的粘连结构类型，设计出如下分割策略：

判断当前连通体是否发生粘连，如果没有粘连则无需分割，直接提取外接框为目标车辆，退出计算.

提取凹点：对目标连通体轮廓使用固定步长采样，利用Graham算法提取凸包点，筛选出连续的凹点区域.

图8 粘连车辆分割

完成了最外侧的连通体切分之后，剩下的部分再次进入新的连通体类型判断循环，重复以上过程，最终完成所有粘连类型的车辆分割判断.

如图8所示，其中凸轮廓采样点由蓝色圆点表示，凹点由红色圆点表示，ddep为凹点深度，lc为对称轴.

3 实验结果与分析

为保证算法性能对比的公平性，本研究实验统一使用加利福尼亚大学圣迭戈分校的CVRR实验室视频数据[12]highwayI.AVI设计实验.实验案例由视频数据中随机抽取的50个典型车辆遮挡和非遮挡混合案例样本组成，连通体由highwayI_pro.AVI中前景部分经过简单形态学滤波获取.

图9 目标连通体提取结果

实验分别从粘连检测和粘连分割两个方面对算法的性能进行验证.

3.1 连通体粘连检测实验判断车辆是否发生遮挡是正确解决分割问题的前提.文献[13]中利用非遮挡车辆连通体一般呈凸形，若存在遮挡则轮廓上会形成较大的凹点间隙结构，并以此作为遮挡车辆的判定依据.文献[14-15] 直接使用前景车辆连通体的宽高比、占空比进行判断.为检测算法的实际性能，实验分别使用查全率Rc、查准率Pr和F值[16]等3个指标对算法粘连检测能力进行评价.指标的计算公式定义如下：

(6)

设t为正确检测遮挡案例总数，f表示错误判定为遮挡车辆总数，g表示实际的遮挡车辆被漏检总数，表1给出实验中算法的参数信息.

表1 轮廓几何特征参数阈值

通过程序自动化提取案例连通体的宽高比、占空比、凹性分析参数值(包括主凹点深度、凹点角度)，参数分布如图10所示.

图10 实验案例轮廓特征参数分布图

实验给出查准率Pr、查全率Rc、F值指标分别在宽高比、占空比、凹性分析、对称分析及对称分析和这些轮廓特征指标的组合下的对比结果，具体统计结果如图11所示.

统计结果中可以看出，利用对称结构特征及组合结构特征和轮廓几何特征的方法在车辆粘连检测判断中，不论查全率、查准率和F值均明显优于单一的经典形态学思路的判断.本算法即使在目标连通体受到大量外界因素干扰，导致轮廓线不平滑的情况下仍能通过对称结构准确的判断出目标是否发生了粘连.

3.2 连通体粘连分割实验本研究提出的车辆对称结构分析算法通过结合凹点分析思路完成对多车粘连样本的分割实验，图12中给出了若干典型的多车粘连案例的分割结果，自左向右分别为：原始目标连通体图，人工标注车辆目标位置和程序检测对称轴位置标注图，传统基于凹性分析分割[14]结果，基于对称特征和凹性分析组合的分割结果.从图中可以看出，经过对称结构分析之后，真正有效的分割位置被限定在相邻对称轴之间，大量无效凹点被剔除之后，分割更准确.算法利用对称轴信息进行粘连分割具有以下优势：

1) 利用对称轴位置可以快速有效地筛选出真正符合分割条件的凹点，极大地降低了候选凹点的筛选、判断的计算消耗，同时提高了分割的准确率；

2) 分割连通体时，通常对称轴的个数同分割线的个数相同，对称轴的数量往往决定了有效的凹点分割线的个数；

3) 利用对称轴位置和连通体边界距离可以有效的约束车辆外接轮廓.对称轴相对连通体两侧外轮廓边距相同，利用此约束可以有效地减少由于阴影造成的边界轮廓不平滑和大量凹点干扰的问题，让形状分析和分割结果更加准确.

图11 车辆粘连检测性能对比

图12 基于对称结构的车辆分割

一般基于凹性分析的车辆粘连分割算法从轮廓上凹点信息本身入手判断具体分割方案，但是实际户外车辆前景往往由于车玻璃、室外光线等原因造成提取的前景轮廓噪声严重，时常难以准确地提取正确的分割点进行分割.此外，有些情况下凹点由于拍摄角度的问题并不产生，这些都导致了传统的单一凹性分析分割算法的不足.基于对称性分析和凹性分析结合的算法能有效缩小真正有效的分割点出现的区域，能一定程度提高强噪声模式下的前景车辆分割准确率.

4 结论

本研究提出一种基于对称性分析的车辆目标粘连检测和分割算法模型.该算法在DOG金字塔上利用对称性LBP编码完成车辆目标快速对称性分析和对称轴位置的检测，结合对称信息完成车辆目标是否发生遮挡的判断，并完成对相互粘连的多车辆目标快速的分割计算.实验表明，本算法相比传统的基于轮廓形状分析的算法具有更强的鲁棒性和适应性，尤其对基于轮廓的形状分析算法容易受到轮廓噪声干扰等问题上有着明显的性能优越性.在下一阶段的研究工作中，拟在现有算法思想框架下引入车体结构分块对称分析思想，结合凹性分析，实现在现有处理速度前提下车辆更完整、准确的分割.