基于RPCA与空间相关约束的运动目标检测方法

蒋秀蓉，朱 林，郝元宏，杜海燕

（北方自动控制技术研究所，太原 030006）

0 引言

运动目标检测就是在图像处理的基础上，将运动区域从图像背景区域中提取出来，为目标识别、目标跟踪、目标行为分析提供可靠而准确的基本数据，完成相应的目标跟踪和目标分析等任务[1]。运动目标检测具有广阔的应用前景和巨大的应用价值，然而现有算法仍不能完全处理实际复杂背景下运动目标检测中背景杂波、噪声、光照变化、场景中存在阴影等影响因素[2]。常见的运动目标检测算法有帧间差分法、光流法、背景差分法等。帧间差分法是将两幅图像对应位置相减，差值小于阈值的地方是背景，否则为目标，这种算法的计算速度快，但是当背景变化较大时，会产生大量的虚假目标且鲁棒性差。光流法是利用多帧来计算每个像素的运动方向以及大小，利用运动特征来判断目标与背景，这种方法在大部分场景下能够检测出具有独立运动的对象，但算法计算复杂，实时性不强且抗噪性能较差。背景差分法是利用某些帧来建立背景模型，再将待检测的一帧图像与模型相比较，与模型有差别的点就被认定为目标区域点，这种算法检测效果较好，但是对所建立模型的质量依赖性很强。混合高斯模型方法在一定程度上克服了背景的扰动，但运算复杂且对背景的更新要求很高。而基于背景减除模型的ViBe算法[3]检测速度快，但同样对光照敏感，容易产生“鬼影”现象，对复杂环境鲁棒性较差。

2009年Candes等人提出了基于鲁棒主成分分析（RPCA）[4-5]的背景差分方法，与传统方法相比在检测准确性和鲁棒性上有十分明显的优势。RPCA模型能够同时估计背景与分离运动目标，且该方法无需输入背景干净的视频作为背景训练样本，即可直接从包含运动目标的视频中进行背景估计。低秩模型能够对噪声、数据缺失、缓慢的光照变化等退化因素保持鲁棒性，对于前景目标的运动方式无特殊要求，能够处理非刚体对象，并且需要调节的参数较少，有利于模型在工程实践中的应用与推广。

然而，传统的RPCA模型是从压缩感知的低秩矩阵模型延伸而来的[6-7]，仅仅从视频序列组成的矩阵元素方面考虑低秩和稀疏的特性，并未考虑到矩阵元素之间内在的时空相关联系。对于很多复杂的运动目标，L1范数往往不能很好地逼近真实的前景区域。如果能够利用显著运动目标的时空分布特征，排除与运动目标特征不一致的部分，就可以鲁棒地检测出运动目标。从以上动机出发，本文使用TV正则化结合L1正则化对前景目标进行建模，同时对前景目标的稀疏性和空间连续性进行约束。在矩阵低秩稀疏分解的框架下，使用核范数对背景建模，得到新的目标函数式。使用基于交替迭代思想的增广拉格朗日乘子法对目标函数式进行求解，得到目标检测结果。大量实验证明，本文算法的准确性和鲁棒性与传统算法相比均有很大提高。

1 低秩稀疏矩阵分解

鲁棒主成分分析算法（RPCA）也常被称为稀疏矩阵和低秩矩阵分解（SLMD）。其核心思想在于将视频矩阵分解为一个低秩矩阵和一个稀疏矩阵。

式（1）所表示的矩阵分解为一个NP问题，故需要在此基础上对模型进行修正。现有可行的方法是用核范数来逼近矩阵的秩，用矩阵的L1范数来逼近矩阵的L0范数，进而可以得到一个凸优化问题的求解模型：

通过求解此模型，可以分解出低秩背景矩阵A和稀疏前景矩阵E。

2 本文提出的算法

2.1 基于TV正则化的前景空间连续性约束模型

视频序列图像本身包含时空信息，背景扰动（波纹、树叶和晃动）通常是非结构化的，在时空域分布上呈现为类似噪声特性。前景目标具有很强的空间相关性，即使视频图像受到影响或干扰，相近像素之间的灰度值通常不会有很大变化，整体呈现线性关系。如果能够利用此先验信息对前景模型进行重建，结合RPCA方法进行求解，把矩阵求解与前景像素空间相关性结合起来，就可以弥补RPCA方法的不足之处，大幅度提升检测效果。

全变差正则化最早由Rudin-Osher和Fatemi（ROF）提出，其在图像处理中得到了广泛应用，如Zhou[8]等人利用全变差范数分析 aCGH 数据、Wu[9]等人加入TV空间约束条件实现HSI图像去噪、He[10]等人利用TV约束对HSI图像进行重建，上述方法均取得了良好的效果。受到以上应用的启发，如果能够把全变差正则化引入到运动目标监测中，结合TV范数对空间相关先验信息建立更为精确的模型，目标检测算法适应复杂环境的能力也会得到提升。

本文对前景的空间连续性约束进行如下定义：

Mkh和Mkv分别表示从水平方向和竖直方向对每一帧中的前景像素做差分运算。

通过结合前景空间连续性约束与L1正则化，得到新的前景模型：

其中第1项为空间约束项，约束前景空间的连续性；第2项为稀疏约束项，控制前景空间的稀疏性。

2.2 基于时空相关约束的低秩稀疏目标检测算法

结合矩阵低秩稀疏分解的思想与新的前景模型，可以得到如下目标函数：

其中，α是用来调节前景空间相似约束强度的参数，β是用来限制前景元素稀疏程度的参数。当α=0时，本模型退化为传统的RPCA模型。

目标函数式（6）是一个凸优化问题，可以通过一系列凸优化算法求解。本文使用增广拉格朗日乘子法利用交替迭代的策略求解该问题[11]。首先把式（6）转化为等价最优化问题式（7）：

式（7）的增广拉格朗日函数为：

其中，μ1和 μ2是惩罚参数，Y1和 Y2是拉格朗日乘子。

通过交替迭代的策略，依次更新变量A，E，F，Y1，Y2。变量更新过程可以表示如下：在第k+1次迭代中，依次迭代求解各个变量。

显然，优化问题被分解为3个主要的子问题。

对于变量A，可以得到：

式（9）有唯一解，可以通过软阈值算子与SVD分解来求解该优化问题[7]，得到式（9）的最优解：

对于求解变量E，有如下函数式：

优化问题（11）可以使用阈值收缩算法求解

其中，x∈R，Δ＞0，式（11）可以由下式求解：

对于子问题F，有如下函数式：

通过快速梯度算法可以求解此子问题。

综合以上各个变量优化流程，本文算法总结如下（见下页表1）。

3 实验结果及分析

在 Wallflower[12]和 BMC[13]视频测试集上对本文所提出的算法进行了测试，所有的测试视频均使用24～48帧，这些视频均具有不同程度的动态背景。同时，引入了4种常用算法作比较，分别是：DECOLOR[14]、PCP[7]、ViBe[3]、MoG。在实验中，本文方法的参数设置为其他4种算法均设置为原算法作者推荐的参数。

表1 本文算法流程

实验结果如图1所示，测试了8个具有复杂背景的视频序列。序列（a）、序列（b）、序列（e）描述了具有复杂动态背景（水面波纹、树木摇曳）的场景；序列（c）、序列（d）、序列（f）描述了具有噪声干扰的多目标场景；序列（g）、序列（h）描述了具有地面反光和物体遮挡干扰的室内场景。

通过分析实验结果发现，由于本文方法引入了基于TV范数的空间连续性约束，DECOLOR方法引入的图割法中包含的空间平滑约束，这两种方法均可以去除大部分动态背景的干扰；但是DECOLOR方法为了得到更小的能量函数使其倾向于检测大的连续区域而忽略小的目标，所以在序列（c）的结果中相近的目标被检测为同一个目标，在序列（d）、序列（f）中较小的目标则被漏检；相比较而言，本文算法更为稳定。PCP算法使用L1范数约束前景，没有考虑到像素之间的联系，在动态背景的场景下，会把动态背景检测为前景。ViBe算法是一种基于像素的背景建模方法，变化小的动态背景具有一定的鲁棒性，但是会导致空洞点的产生使目标不完整。与ViBe方法不同，MoG方法用若干高斯模型对背景区域进行建模，该方法对噪声和动态背景比较敏感，在实验结果中产生了大量虚警。

为了定量分析以上5种算法的性能，把检测看作前景和背景的分类问题，引入准确率（precision）和召回率（recall）来衡量算法的优劣：

图2表示各个测试视频的准确率和召回率，图2（a）～ 图 2（h）对应图 1 中每段测试视频，图 2（i）为实验结果的平均值。不难看出，DECOLOR的Precision值最高，本文算法和PCP方法次之；而本文算法的Recall值比其他算法都高。由于DECOLOR方法趋向于提取比较大的区域，但同时又会使检测区域过于平滑，造成大量虚警，故其检测率较高而召回率较低。本文方法和PCP方法都是基于RPCA的方法，在召回率方面相差不大，但由于本文方法引入了空间相似约束，可以大量降低虚警，所以本文方法的准确率高于DECOLOR和PCP，这也证明了本文所提出的空间相似约束的优越性。

下页表2给出了图2中各个算法检测结果的F-measure，其中F-measure值最高的算法用加粗来标记，第二高的加下划线标记。可以看出，本文方法的F-measure值要高出其他4种方法。

表2 各算法性能仿真分析

4 结论

本文提出了一种基于RPCA和空间相关约束的运动目标检测方法，在矩阵低秩稀疏正则化框架下，利用前景目标具有的空间相似性先验，结合TV正则化提出了新的前景模型，通过ALM方法对模型进行求解。在不同视频数据集上的实验结果证明，在复杂背景的条件下，本文方法的准确性和鲁棒性与传统方法相比具有很大的优越性。