傅里叶域内双背景模型的海上红外序列图像目标检测

周安然 谢维信 裴继红

（1.成都大学计算机学院，四川成都 610106；2.深圳大学电子与信息工程学院，广东深圳 518060）

1 引言

海洋环境对我国的经济社会发展有重要的影响，海洋环境监控在海防领域有着重要的应用［1］。在军事安全方面，海洋监控有助于对海上突发事件的高效指挥、对入侵目标的锁定和防御等。在民事安全方面，海洋监控有助于对海上险情的及时搜救、对海洋渔业及港口码头的智能监控等。在生态环境方面，其应用包括对油船的监控、对船只倾泻垃圾行为的监控等。红外制冷摄像仪具有作用距离远、对天气的适应性强等优点，在海上视频监控中被广泛应用。多帧的海上红外图像含有丰富的海背景信息，构建准确的海背景模型可有效的改善检测效果，但海场景的随机变化性较强［2］，背景模型较难准确跟上海场景的变化。

利用概率模型估计背景的统计分布是常见的一类背景建模法，通过将测试帧的特征与背景模型的统计分布进行比较，对像素点进行分类。离散余弦域的背景建模法（BMDC）［3］用单高斯分布对海水的离散余弦谱进行建模，但对波动性较强的海场景其检测性能会降低。时域混合高斯法（GMM）［4］将每个像素点的灰度值建模为加权高斯分布的混合，但对低对比度场景会造成目标含有空洞。共享的GMM模型（SGMM）［5］将每个像素和其邻域内的背景模型和前景模型进行匹配，根据最大匹配概率实现前景检测。类型2 的模糊混合高斯背景建模法［6］用不确定的均值向量去代替GMM 的均值向量，得到不确定均值向量的混合高斯模型（T2FGMM-UM）。复杂场景下基于特征稳定性的自适应背景建模法（SOAF）［7］根据特征直方图确定主特征和次特征，并分别对主特征和次特征进行混合高斯背景建模。基于时空样本的自适应背景混合模型法（STS）［8］，采用时空域的联合特征来描述像素，通过加权边缘高斯概率密度函数对像素进行分类。

非参数的背景建模法也是很流行的一类算法，优势在于可避免过多参数的调节。基于像素点的自适应分割算法（PBAS）［9］采用动态的自适应学习率，且提出背景复杂程度的度量，但对低对比度的图像，易将目标检测为背景。自适应码本背景模型（SACB）［10］为每个码字引入自适应的学习率，根据输入像素和背景码字的色彩偏离度进行检测。一种像素级的运动目标检测算法（SuBSENSE）［11］，结合了颜色特征和二值纹理特征进行背景建模，并结合欧式距离与汉明距离的度量方式进行目标像素点判断。Andrew 等人提出的背景模型（GMG）由RGB 色彩空间中每个像素的非参数分布组成［12］，采用贝叶斯估计对前景进行分类，但不适用于高度动态的海背景。双目标策略的背景建模法（DTNBM）［13］，用灰度值和梯度值的结合特征来表示每个像素，但其像素表示中的梯度值成分导致目标含有空洞。局部统计双模式背景减除法（LSDS）［14］利用输入帧和背景模型的局部统计特性的差异进行前景分割，但不适用于波动剧烈的海场景。

海波的运动类似于正弦波的平移，而正弦波在傅里叶域内幅度谱的稳定性强于灰度值的稳定性，因此在傅里叶域内对海水的幅度谱进行背景建模。不同地点、天气下的海场景具有不同的海水波动模式，用单一的模型构建海背景会存在偏差。因此，本文对海水的波动程度进行判别，将海水分为波动剧烈的场景和波动相对平缓的场景，构建了傅里叶域内的双海水背景模型（FDBM），根据不同的海水波动程度选择不同的海背景模型实现目标检测。

2 傅里叶域内的双海水背景模型（FDBM）

分析了海水的波动程度，提出了傅里叶域内的双海水背景模型（Dual Background Modeling in the Fourier Domain，FDBM）。当海水波动剧烈时，目标和海水的对比度较低，利用傅里叶域内的概率型单高斯背景模型（Probability Single Gaussian Model in the Fourier Domain，FPSGM）［15］进行目标检测；当海水波动相对平缓时，利用傅里叶域内的混合高斯模型（Mixture Gaussian Model in the Fourier Domain，FGMM）［16］进行目标检测。然后对所采用模型的输出结果进行阈值分割，得到最终的输出结果。FDBM的目标检测流程图如图1所示。

3 傅里叶域概率型单高斯背景模型（FPSGM）

对海水波动剧烈的场景，目标和海水的对比度较低，海背景的幅度谱序列近似服从高斯分布，利用单高斯函数来表征海水幅度谱序列的分布。由于纯海水行的总能量谱在较短的时间内是近似守恒的，根据测试帧及更新背景的行方向能量谱的绝对差异构建权重矩阵，对单高斯模型进行加权，即傅里叶域的概率单高斯模型。由于测试帧中船只所在行和更新背景对应行的能量谱差异较大，海水所在行和更新背景对应行的能量谱差异较小，此概率加权单高斯模型可显著提高目标和海水的对比度。

假设第k帧海上红外图像为fk(x，y)，大小为M×N，对其进行行方向傅里叶变换：

概率单高斯背景模型的参数训练分为参数初始化和参数学习两个阶段。首先将海上红外序列图像进行行方向的傅里叶变换，获得每帧图像的幅度谱和相位谱。在背景模型的初始化阶段，将背景均值初始化为第一帧图像的幅度谱，背景方差初始化为和图像等大小的零矩阵。在参数学习阶段，读入第k帧纯海水图像时，第k帧背景的均值和方差分别更新为：

其中，μk和σk分别为训练阶段第k帧更新背景的均值和方差，Ak为第k帧图像的幅度谱。

将第k测试帧的幅度谱和更新背景均值的绝对差值，同标准差的适当倍数进行比较，即

由于船只频率点对应的幅度谱序列不服从高斯背景模型，从而得以检测。定义粗判别矩阵dM×N，若式（5）成立，则d(i，j)=1，表明(i，j)为船只频率点；反之，则d(i，j)=0，表明(i，j)处为海浪频率点。同时，对背景模型进行更新：

其中α为学习率参数。

海水的波动在水平方向类似于正弦波从左往右的平移，即波动能量由此及彼的传播。因而，在一个持续较短的时间范围内，每帧纯海水图像每q行的能量谱之和近似不变。q的取值和船只的大小有关。显然，测试帧目标区域和更新背景具有较大的行能量谱差异，测试帧海水区域和更新背景具有较小的行能量谱差异。因此，可利用测试帧和更新背景的行能量谱的差异构建概率矩阵，来增强目标和抑制海背景。当前测试帧和更新背景每q行的能量谱差异为：

则归一化的概率加权矩阵为：

式（8）中，l=1，q+1，2q+1，...，pq+1，且(p+1)q≤M。

利用加权矩阵及粗判别矩阵对测试帧幅度谱进行频域滤波，并结合相位谱，反傅里叶变换回空域，即

式（10）中，R1表示FPSGM 的初步检测结果，γ表示可调整的常系数，IFT(·)表示行方向反傅里叶变换，Φk为第k帧图像的相位谱。

4 傅里叶域混合高斯背景模型（FGMM）

对海水波动相对平缓、海水和目标具有一定对比度的场景，海水的幅度谱序列呈现多模态分布，对海水构建傅里叶域的混合高斯模型。由于海水幅度谱和目标幅度谱具有一定的对比度，测试帧幅度谱和背景模型具有一定的差异，从而可较准确的检测出目标。将每个频率点的幅度谱序列用混合高斯模型来表示，和背景分布不匹配的频率点被视为前景点。

海上红外图像每个频率点(x，y)的幅度谱序列用{A1(x，y)，A2(x，y)，...，At(x，y)}表示，则第t帧图像幅度谱的概率分布为：

其中K表示混合高斯模型中高斯分布的个数，wi，t、μi，t、σi，t、η分别表示第i个高斯分布在t时刻的权重、均值、标准差和概率密度函数。

对剩余K-1 个不匹配的高斯分布，其均值和方差保持不变。同时，K个高斯分布的权重作如下调整：

其中，α为学习率，Mi，t是一个二值变量。若当前的幅度谱值与第i个高斯分布匹配，则Mi，t取1；对剩余K-1 个不匹配的高斯分布，则Mi，t取0。如果当前的幅度谱值和K个高斯背景分布均不匹配，则对具有最小概率值的高斯分布进行替换，新的高斯分布的均值为当前的幅度谱值，方差为一个较大的值，而权重赋予较小值。同时，对调整后的权重进行归一化。将更新后的各个高斯分布按wi，tσi，t的大小进行排序，将排序后的前B个高斯分布作为混合背景模型，B计算如下：

其中，T是阈值，T的取值影响着高斯分布的个数。

定义粗判别矩阵d'M×N，若幅度谱值At(x，y)和背景的匹配次序出现在前B个高斯背景分布里，判定该频率点为背景频率点，则d'(x，y)=0。否则为前景频率点，则d'(x，y)=1。利用粗判别矩阵对测试帧的幅度谱进行频域滤波，并结合相位谱，反傅里叶变换回空域，即

式（17）中，R2表示FGMM 的初步检测结果，γ表示可调整的常系数。

5 海水波动程度的判别

FPSGM 和FGMM 分别适用于海水波动剧烈和海水波动相对平缓的场景，因此需对海水的波动程度进行判别。在训练阶段判别图像序列的海水波动性大小，考虑由训练阶段的连续q帧纯海水图像每个频率点(i，j)处幅度谱序列的方差来度量海水的波动程度。如果方差较大，则频率点(i，j)处幅度谱值变化较剧烈；如果方差较小，则频率点(i，j)处幅度谱值变化较缓慢。若波动剧烈的海水点所占比例较大，则海水波动剧烈。若波动剧烈的海水点所占比例较小，则海水波动缓慢。

本文建立了基于蒙特卡罗方法和束流光学的带电粒子输运程序，对磁谱仪进行了全过程物理建模和性能模拟，获得了反冲质子在焦平面上的空间分布和相互关联的性能参数，可为反冲质子磁谱仪的优化设计、能量刻度及应用提供参考。

在训练阶段，利用频率点(i，j)处连续q帧纯海水图像的幅度谱值构建行向量H，即

令V(i，j)表示向量H的方差，则V(i，j)表示连续q帧纯海水图像频率点(i，j)处幅度谱序列的波动大小。若q的取值过大，会影响算法的运行速度。若q的取值过小，则样本数据过少，不足以表明海水幅度谱序列的波动大小。因此，q是可调整的变量，在实验中q的取值为3～7。

设定海水波动判别标志c，具体的判决规则为：

其中，b是可调整的常系数，在实验中b的取值为0.1～0.2。μ为V的均值。若c(i，j)=0，则(i，j)点海水波动平缓；若c(i，j)=1，则(i，j)点海水波动剧烈。则波动剧烈的海水点占整张图像的百分比为：

若p＞a%，认为波动剧烈的海水点所占比例较大，海场景波动剧烈；否则，若p≤a%，认为波动剧烈的海水点所占比例较小，海场景波动平缓。其中，a是波动剧烈的海水点所占百分比的比较阈值，在实验中a的取值为4～6。

6 双背景模型目标检测

当海水波动剧烈时，采用FPSGM 进行目标检测，FDBM的初步检测结果为R1；当海水波动相对平缓时，采用FGMM 进行目标检测，FDBM 的初步检测结果为R2。则FDBM的初步检测结果为：

然后，对图像fo进行阈值分割，实现前景检测。阈值分割如下［17］，

其中T1为阈值，μ'和σ'分别为fo(x，y)的灰度均值和灰度标准差，l1为可调整的常系数。

实验所用的海上红外序列图像为课题组采用红外制冷摄像仪在深圳湾及南澳海域实地拍摄的数据集。FDBM 的两个模型的目标检测对比结果如图2 和图3 所示。图2（a）为原图，图2（a）的前三列中，近处的海波起伏较大，船只较小。图2（b）和2（c）分别为FPSGM 和FGMM 的检测结果，可看出FPSGM 和FGMM 在检测目标的完整度上接近，但FGMM 比FPSGM 残存更少的海杂波。将测试帧的目标所在行和更新背景对应行的能量谱差异记为DT，纯海水所在行和更新背景对应行的能量谱差异记为DB。由于目标较弱小，DT值较小。近处海波波动差异大，DB值较大，导致DT和DB的差异较小，因此，FPSGM 的检测结果中残存了部分海杂波。而FGMM 将这种起伏相对平缓的海波的幅度谱用混合高斯模型来描述，由于目标和海水仍具有一定的对比度，通过比较测试帧和背景模型的差异，能较准确的检测出目标，而残存极少的海杂波。图2（a）的后三列中，前后帧的海水波动差异不大，部分船身亮于海水，部分船身暗于海水，从图2（b）和2（c）可看出，FPSGM 和FGMM 均能检测到较完整的船体，但FGMM 的检测结果里残存更少的海杂波。由于目标和海水具有一定的对比度，DT和DB的差异较大，FPSGM 能分割出完整的目标。同样，FGMM能较好的描述海背景的多模态，而较完整的检测出目标，并彻底的抑制了海杂波。

图3（a）为原图，图3（a）中海波起伏剧烈，船只较大，图3（b）和3（c）分别为FPSGM 和FGMM 的检测结果，可看出FPSGM 的检测结果中海杂波残存较少，且目标检测较完整。FGMM 的检测结果中，残存了大量的海杂波，且检测到的目标面积小于FPSGM。由于船只面积较大、亮度高，DT值较大。尽管海波变化剧烈，但帧间行方向海波的能量谱之和近似守恒，DB值较小。因此DT和DB的差异较大，FPSGM 利用能量谱的差异作为概率权重，具有更优的检测性能。对剧烈波动的海场景，FGMM虽然将海杂波用多个混合高斯分布来描述，但目标和较亮海浪的对比度较低，目标的幅度谱和背景模型的差异较小，导致检测结果中残存了大量的海杂波。从图2 和图3 的检测结果可看出，对海水波动相对平缓的情形，FGMM 的检测性能优于FPSGM；当海浪波动剧烈时，FPSGM 的检测性能优于FGMM。

7 实验结果及分析

7.1 定性比较

选取4 组不同类型的海上红外序列图像，分别如图4（a）和5（a）所示。分别选用类型2 的模糊混合高斯背景建模法（Type 2 Fuzzy Mixture Gaussian Model of Uncertain Mean Vector，T2FGMM_UM）［6］、几何多重法（Geometric Multigid，GMG）［12］、基于像素点的自适应分割法（Pixel-Based Adaptive Segmenter，PBAS）［9］，一种基于局部自适应敏感度的通用变化检测算法（A Universal Change Detection Method with Local Adaptive Sensitivity，SuBSENSE）［11］、空域中的混合高斯背景模型法（Mixture Gaussian Model，GMM）［4］、局部统计双模式背景减除法（Double Mode Background Subtraction Method of Local Statistics，LSDS）［14］、离散余弦域内的背景模型法（Background Modeling in the Discrete Cosine Domain，BMDC）［3］以及双目标策略的背景建模法（Background modeling of dual-target strategy，DTNBM）［13］与FDBM 算法进行视觉对比，9 种算法的目标检测结果分别如图4和图5的（b）-（j）所示。

图4（a）的前3 列为低对比度的红外暗小船只，分别为序列图像的第232 帧、289 帧和298 帧。从图4（b）、（c）、（d）和（e）可看 出，T2FGMM_UM、GMG、PBAS 和SuBSense 均无法检测出暗小船只，且GMG将部分海水检测为了目标。图4（f）表明，GMM可以检测出目标的位置，但少量海水有残存，检测的船体的轮廓大于真实轮廓，船体存在空洞，这是由于当船只运动较慢时，被误分类为海背景。从图4（g）可看出，LSDS能检测到完整的目标，但残存的海波较多。图4（h）表明，BMDC 可检测出较完整的目标，且残存海杂波很少。图4（i）表明，DTNBM能检测出大致的船体部分，但存在部分船体缺失。图4（j）表明，FDBM 检测出的目标较完整，小船及船上的人均清晰可见，海杂波残存较少。FDBM 对GMM 的目标空洞现象有较好的改善，海杂波残留较少。

图4（a）的后3列为夜间拍摄的灰度分布不均匀的船只，分别为序列图像的第220 帧、230 帧和251 帧。从图4（b）、（c）可看出，GMG 比T2FGMM_UM 能检测到更多的船体，但船身仍存在缺失，且有部分海杂波残存。从图4（d）可看出，PBAS 的检测结果中海水被抑制的较彻底，但较暗的船身被漏检。图4（e）表明，SuBSense 的检测结果中海水得到了很好的抑制，但检测的船体大于实际的船体，这是由于其背景更新机制采取了同时随机更新邻域内像素点的方式。图4（f）表明，GMM 仅检测出较亮的船体，同时船体存在空洞，且有部分海杂波残存。图4（g）表明，LSDS 的检测结果中目标保留较完整，但有较少量的海杂波残存。图4（h）和4（i）分别表明，BMDC 与DTNBM 仅能检测出较亮的船灯部分，船体缺失较多。图4（j）表明，FDBM 能清晰准确的检测出船体，且船体不存在空洞现象，海杂波被抑制的较彻底。

图5（a）的前3列为一艘中等大小的快艇行驶在海浪波动较剧烈的海面，分别为序列图像的第210 帧、220 帧和228 帧。图5（b）表明，T2FGMM_UM 将海水抑制的较彻底，但目标存在明显的缺失。图5（c）表明，GMG比T2FGMM_UM 检测到更大的船只面积，但仍不完整，且有大量的海杂波残存。图5（d）的表明，PBAS 可检测出大部分船体，但残存少量的海杂波。图5（e）表明，SuBSense 可检测出船体，但船身略大于实际船身，且少量的海杂波被误检为目标。从图5（f）可看出，GMM 可基本检测出船身，但有部分海杂波残存。图5（g）表明，LSDS 在基本检测到目标的同时，有部分海杂波残存。图5（h）表明，BMDC检测到的船体存在明显的缺失，且残存少量的海杂波。从图5（i）可看出，DTNBM 可检测出大致的船体部分，但存在少部分船体缺失且有少量海杂波残存。从图5（j）可看出，FDBM 检测到的目标较完整，且残存的海杂波极少。

图5（a）的后3 列是海浪较大、海水灰度变化剧烈的场景，分别为序列图像的第183 帧、230 帧和251 帧。图5（b）表明，T2FGMM_UM 检测的目标存在严重的缺失。图5（c）表明，GMG检测的目标较完整，但存在粘连和形状失真，且较多的海杂波残存，造成严重的虚检。图5（d）表明，PBAS能检测出大部分目标，但少量的海杂波残存。从图5（e）可看出，SuBSense 检测的船体相对较完整，但目标粘连在一起，轮廓大于实际值，且有部分海杂波残留。图5（f）表明，GMM 检测到的目标内部存在空洞，且有部分海杂波残留。图5（g）表明，LSDS的检测结果中残存了大量的海杂波。从图5（h）可看出，在波动剧烈的海面下，BMDC 对海杂波的抑制不彻底。图5（i）表明，DTNBM 检测到的船体存在缺失，且有部分大块浪花残存。从图5（j）可看出，FDBM 不仅能较彻底的抑制海杂波，也能清晰完整的检测出目标。

7.2 定量比较

为了进一步验证FDBM 算法的有效性，对9 种背景建模检测算法进行定量比较。采用检测率DR［18］和虚警率FR［18］两个指标对实验结果进行定量分析，分别如式（24）和（25）所示。式（24）中，DR表示被正确检测为船只的像素点数占被检测为正类样本的像素点数的百分比，NTP表示被正确检测为船只的像素点数，NFP表示检测结果中残存的海水像素点数。式（25）中，FR 表示检测结果中残存的海水像素点数占原图中海水像素点数的百分比，NTN表示检测结果中被正确分类为海水的像素点数。

九种算法的评价指标曲线如图6 所示，图6 中选取了24 张图片进行测试，其中序号1-6 的图片对应于图5（a）前3 列中海水波动剧烈、船只中等大小的场景，序号7-12 的图片对应于图4（a）前3 列中弱小红外船只的场景，序号13-18 的图片对应于图4（a）后3 列中目标灰度不均匀的场景，序号19-24 的图片对应于图5（a）后3 列中海水波动剧烈、船只较大的场景。从图6（a）可看出，FDBM 的检测率明显高于GMM，虚警率明显低于GMM。SuBSense 虽然对一些场景的检测率要高于FDBM，但其对弱小红外船只的场景检测率降为0，且SuBSense 在多组场景下的虚警率明显高于FDBM。PBAS 在弱小红外船只的场景下完全检测不出目标，且在多组场景下的虚警率明显高于FDBM。T2FGMM_UM 和GMG 的检测性能明显弱于FDBM。BMDC 仅在弱小红外船只场景下的检测率略高于FDBM，虚警率略低于FDBM。在海水波动剧烈的场景及目标灰度不均匀的场景，BMDC 的检测率远低于FDBM，虚警率高于FDBM。DTNBM 在四种场景下的检测率均明显低于FDBM，仅在弱小红外船只的场景下，其虚警率略低于FDBM。综合看来，FDBM 的检测率和虚警率在9 种算法中最优，反映出FDBM 算法对背景抑制的有效性和目标提取的准确性。因此，FDBM 是一种有效的傅里叶域背景建模目标检测算法，在不同类型的海场景下均具有最优的检测性能。

8 结论

本文提出了一种傅里叶域内基于每个频率点的双背景模型的目标检测算法，通过判断海水的波动程度而分别采用两种不同的背景模型。其中，FPSGM 适用于波动显著的海面，FGMM 适用于波动相对平缓的海面。FPSGM 将测试帧和更新背景行方向能量谱的绝对差异作为概率权重，对傅里叶域内的单高斯模型进行加权。FGMM 将每个频率点的幅度谱序列的分布建模为多个高斯分布的混合。实验结果表明，这种双模型策略使得算法具有更好的鲁棒性，对波动剧烈的场景及暗弱目标的场景均具有较优的检测性能。