一种基于全景视觉的运动目标检测改进方法

夏丽娟， 姚明磊， 张晓玲

(江苏理工学院机械工程学院,江苏 常州 213000)

0 引言

随着视觉领域的快速发展，全景视觉和运动目标检测成为当前研究和讨论的重点，它能够在水平方向 360°和垂直方向240°的区域内获取场景中的高分辨率图像和视频，可以有效克服传统视觉传感器只能检测部分信息的缺点，因此，如何提高其运动目标检测的精准性和可靠性成为研究重点。一般来说获取全景视觉的为鱼眼镜头[1]，它的广阔视角使得其在机器人导航[2]、智能视频监控[3]、航空航天[4]等领域得到广泛运用。

在运动目标检测方法中经常使用的是帧差法[5]、光流法[6-7]、背景减除法[8]。其中，帧差法的原理是对像素点进行处理，作为前景对象的图像的相邻两帧的像素值差异很大，这种方法的优点在于操作简单、速度快，但是提取到的前景对象容易出现空洞，正是因为存在这种不足，所以这种方法一般用于精度要求不高的初级提取操作；光流法的计算过程复杂，并且对使用的设备条件有比较高的要求，难以得到实时检测结果；关于背景减除法，STAUFFER等[9]提出的等高斯模型方法最为流行，混合高斯模型使用一个或多个高斯模型描述时间序列中的像素。特别地，像素值在给定的时间段内波动很大，并且大多数典型区域使用多个高斯分布建模。对于变化的场景高斯混合模型通过模型的自动更新，产生的结果相较于其他传统背景模型准确率和稳定性有所提高，但是不足之处依然存在：得到的结果中前景目标中有空洞，轮廓不连续；由于模型采用统一的刷新率，无法及时地更新运动目标移动而暴露的区域，从而导致此区域被错误地归类为前景。

面对以上这些问题，针对应用在全景图像上的运动目标的检测，本文提出基于全景图像改进的运动目标检测方法，改进的方法是将五帧差分法和混合高斯模型结合起来，五帧差分法可以利用连续多帧之间的检测提高获取目标的完整度，有效克服空洞现象；混合高斯背景模型的改进解决了运动目标出现在检测结果中的重影现象，降低背景中出现的干扰，再通过形态学处理得到最终结果。实验表明，本文方法更加着重于前景检测率，得到更加精准和可靠的检测结果。

1 传统混合高斯模型

混合高斯背景建模[10]是一种基于像素模型的统计数据来表示背景的方法，它利用大量像素在长时间内大量样本值的概率密度等统计信息来表示背景，然后通过统计变量来确定目标像素，从而获得前景目标，过程如图1所示。

图1 混合高斯建模的基础流程图Fig.1 Basic flow chart of Gaussian mixture modeling

1.1 混合高斯背景建模理论

在图像序列中，对于任意的像素点(x0,y0)来说，随着时间的推移形成一个“像素序列”，表达形式如下

{X1,…,Xt}={I(x0,y0,i):1≤i≤t}

(1)

式中，I(x0,y0,i)表示的是对应像素点(x0,y0)的像素值，并且将这一系列像素点用K个高斯模型来近似，观测到的像素值Xt的概率可以表示为

(2)

(3)

1.2 背景模型的参数更新

将每一帧的像素值Ii(x,y)所计算的高斯分布遵循优先级进行降序排列，若像素值与高斯分布匹配，那么满足式(4)，对第1个匹配的高斯分布按式(5)-式(8)更新高斯混合模型参数,即

|It(x,y)-ui,t-1|

(4)

wi,t=(1-α)wi,t-1+α

(5)

μ=(1-β)μi，t-1+βIi(x,y)

(6)

(7)

β=αη(It(x,y))|μ,δi,t

(8)

式中:α为学习速率，0≤α≤1，表示高斯混合背景模型的更新速率；β为更新率，是由α和η(Xt,μi,t,Σi，t)所决定的。

1.3 前景分割

随着背景模型的更新，Xt对应的分布权重会增加，从而降低方差并且提高优先级，则所用时间最长的高斯分布拥有最大的优先级，说明该高斯分布最接近原背景。将所有的高斯分布按降序排列时，离背景最近的高斯分布是前景，所以放在前面，反之，越靠近后面的高斯分布越不可能正确表示背景。因此用前B个分布来表示背景，即

(9)

式中，T为阈值，表示创建背景所需的最小权重比，当T取值很小时，表示背景用一个高斯分布来表示，当T取值较大时，表示背景用多个高斯分布来表示。在上述T个分布中至少有一个分布与像素值Xt相匹配，那么就将此像素点判断为背景点；反之为前景点，以此来实现前景分割。背景图像中像素值Xb,t表示为

(10)

2 结合五帧差分法改进的混合高斯背景建模

本文方法是混合高斯建模方法和五帧差分法的结合，并且最后对结果进行形态学处理，得到最终目标结果，流程如图2所示。

图2 本文方法流程图Fig.2 Flow chart of the proposed algorithm

2.1 改进的自适应混合高斯模型

检测到的图像会产生重影现象是因为稳定不变的学习速率，而重影的产生会对检测结果的准确性造成影响。如果学习速率太高，模型更新的速度会太快，将检测目标与背景混淆；如果学习速率太低，背景模型更新速度会变慢，造成背景模型的变化不符合实际场景，导致没有准确判断出被检测目标的背景，影响检测结果。因此，对学习速率使用不同的更新方法，即

(11)

式中:N检为当前检测帧的图像总像素数；N全为指定检测目标的像素数，根据目标像素在整个图像帧所有像素的比例来分配学习速率。在检测的第一阶段，检测目标还没有在背景中，目标像素在整个图像中的占比低，λ值较小，需要有较快的更新速度来加速消除“鬼影”，这种情况下有必要加大学习速率；当目标进入背景时，目标像素的占比高，λ值较大，背景模型趋于稳定，这种情况下有必要降低学习速率，以便不将检测目标设置为背景。

每个像素包含若干个固定的高斯分布，它在执行流程操作的实现中会占用大量系统资源，因此，通过删除多余的高斯分布来减少运算。每相隔y帧，则对高斯分布进行扫描，检查所有的高斯分布的权重，权重公式为wi,t=(1-α)wi,t-1。若存在高斯分布满足

(12)

则判断其为多余的高斯分布，并将其删除。

2.2 五帧差分法

帧间差分法是通过对相邻两帧或多个图像帧进行差分运算从而得到检测目标的方法。在检测过程中，多帧连续检测能更好地减少目标空洞问题，提升目标检测精度。两帧差分法[11-12]可以方便快捷地检测出运动目标，但会出现明显的空洞和双阴影，准确率低。不同于两帧差分的是三帧差分法[13],通过3幅连续的视频图像进行差分操作，与固定阈值进行比较，然后再细分。虽然双影现象[14]得到改善，但是不足之处是仍然存在空洞。在此基础上，五帧差分法[15-16]可以有效解决目标中出现空洞问题。取连续的5帧图像Ik-2(x,y),Ik-1(x,y),Ik(x,y),Ik+1(x,y),Ik+2(x,y)以第k帧图像作为当前帧，分别与前2帧和后2帧进行差分和二值化运算，即

(13)

(14)

(15)

(16)

得到差分后的图像g1k,g2k,g3k,g4k，M为固定的二值化阈值。最后，为了使获得的目标空洞更少，使用先“与”后 “或”的逻辑操作，即

g1∩g2=k1

(17)

g3∩g4=k2

(18)

k1∪k2=K

(19)

得到最终的差分图像K。

3 实验结果及分析

为验证本文方法，采用如下仿真实验进行比较分析。在本次实验中使用的计算机CPU为AMD Ryzen-7-4800H-with-Radon-Graphics 2.90 GHz，仿真软件openCV3.4.1,VS2017,获取全景图像所使用的鱼眼镜头型号为FE185C086HA-1 F1.8/2.7 mm，相机型号为acA1600-20uc-Basler ace，最高分辨率为1626像素×1234像素。

实验1 本实验针对2段使用鱼眼相机获取的视频进行对比，分别采用帧间差分法、传统高斯混合模型以及本文改进方法进行测试，然后将实验得到的结果进行对比，第1段视频实验结果对比如图3所示。

图3 实验结果对比Fig.3 Comparison of experimental results

在上述实验中，运动目标匀速移动，并且在移动过程中有小部分障碍物遮掩。从效果图中可以发现，在获取的全景图像中，目标检测的准确率会受到影响。帧间差分法所得到的目标结果中存在巨大空洞且不连贯，轮廓粗大与实际有出入，传统的高斯混合模型重影现象严重，而且存在噪声干扰。而本文方法明显优于前两种，改进的高斯混合模型不仅使得运动目标检测结果的完整度得到改善，并且对于噪声的去除也有所提高，在有遮挡物的情况下依然可以检测到目标，可以使检测结果更加精确。

实验2 为了验证运动目标移动速度对本文方法的影响，仿真实验中使用鱼眼镜头分别对步行和跑步时的目标进行检测。实验对比结果如图4所示。

图4 速度对检测结果影响Fig.4 Effect of speed on test results

在上述仿真实验中，对于鱼眼镜头获取的全景图像，在实验1中使用帧间差分法，运动目标速度慢时检测不到对象，实验2中目标人物步行和跑步时，速度变化由慢到快，检测结果并未受到明显影响，运动目标边缘轮廓流畅，提取的目标信息内容比较丰富，可见，改进后方法明显优于其他实验方法。

通过识别率P和误检率F对改进方法的效率和准确度进行分析评估，具体计算过程为

(20)

(21)

式中:M为正确检测出的前景像素点数；N为未被检测出的前景像素点数；D为检测错误的个数。表1所示为3种方法的识别率和误检率。

表1 3种方法的识别率和误检率Table 1 Recognition rate and false detection rate of three methods %

从表1中可以明显看出，3种不同方法的识别率接近，在实验中都可以检测出运动目标，但是在误检率上有明显差距，本文方法既可以满足一定的识别率，也可以降低误检率，检测结果较为精准。

4 结束语

本文提出基于全景图像的运动目标检测改进方法，将五帧差分法和混合高斯背景模型法结合起来，利用形态学对结果进行处理，得到最终的目标检测结果，在运动目标的检测结果的完整度上有一定提高，在一定程度上有效克服空洞现象，同时，混合高斯的自适应学习率可以减少运动目标出现在检测结果中的重影现象，提高目标检测精度和速度，降低背景造成的干扰。实验结果表明，本文方法更加着重于前景检测率，得到更加精准和可靠的检测，效果上比其他检测方法更可靠，总体来说，本文方法可以满足在全景领域的应用，使得全景图像的应用更为广泛，但面对复杂的背景变化对全景图像带来的影响需要在未来的研究中进一步改进和提高。