基于序列图像的目标感兴趣区自动提取研究*

罗 航 杨华高

(海军驻景德镇地区航空军事代表室 景德镇 333002)



基于序列图像的目标感兴趣区自动提取研究*

罗 航 杨华高

(海军驻景德镇地区航空军事代表室 景德镇 333002)

论文在分析传统目标检测算法的基础上，将背景差分法、帧差法相融合，提出了一种基于差分融合的目标检测算法，应用于静态场景序列图像目标感兴趣区自动提取；提出了基于QP_TR域图像对准的运动目标检测算法，应用到平移运动平台下序列图像感兴趣区自动提取，经实验验证上述算法具有较好的针对性，取得了良好的效果。

直升机; 感兴趣区; 作战仿真

Class Number TP391

1 引言

现阶段无人机、预警直升机红外导引头的感兴趣区域编码技术主要是基于单帧(幅)图像，然而实际过程中，获取的信息通常是序列图像形式。本文将探讨基于序列图像的感兴趣区自动提取问题。从军事应用角度出发，序列图像中的感兴趣区即是运动目标所在的区域。因此序列图像的感兴趣区提取过程实质上就是运动目标检测、运动目标区域提取这两个过程。

现有的运动目标定位方法主要有三类：光流法[1]、帧差法和背景差分法。光流法抗噪性能差，在没有特殊硬件支持的条件下很难满足实时性要求[2]，本文不对其作研究和讨论。在研究背景差分法、帧差法等传统目标检测算法的基础上，重点研究静态和动态场景下目标检测算法问题。通过目标提取之后，可直接应用图像投影技术，生成目标感兴趣区，不在赘述。

2 传统的目标检测算法分析

2.1 背景差分法

背景差分法[3]是采用图像序列中当前帧和背景参考模型的差值运算来检测运动目标。设t时刻背景模型参考图像为fb(t)，当前帧图像为fc(t)，则背景差分图像为

f(x,y,t)=|fc(x,y,t)-fb(x,y,t)|

(1)

设分割阈值为T，那么二值化差分图像为

(2)

2.2 平均值法

顾名思义，平均值法就是通过计算多帧图像灰度的平均值来近似地模拟背景图像，其计算方法如式(3)所示。

(3)

其中，B(i,j)表示在重构的背景图像中，坐标为(i,j)的像素点的灰度值。N表示用于计算灰度平均值的图像帧数，fk(i,j)表示在第k帧图像中，坐标为(i,j)的像素点灰度值。m和n分别表示每帧图像的宽度和高度。

2.3 帧差法

帧差法是通过计算相邻帧图像中像素点的灰度差计算出运动目标的位置与形状等信息[4]。常用的方法主要有相邻帧图像差分法和对称差分法。

1) 相邻帧图像差分法

相邻帧图像差分法的计算过程可用下式来表示：

dk(x,y) =|Ik(x,y)-Ik-1(x,y)|

(4)

其中，Ik(x,y)、Ik-1(x,y)为连续两帧图像，dk(x,y)为帧差图像，T是二值化阈值[5]。

2) 对称差分法

对称差分方法也称为连续三帧图像差分法，就是由三帧连续图像的差值得到中间帧运动目标的轮廓，这种方法能够去除因为运动而显露的背景的影响，从而得到准确的运动目标轮廓。设Ik-1(x,y)、Ik(x,y)和Ik+1(x,y)分别表示连续三帧图像，dk-1,k(x,y)、dk,k+1(x,y)分别表示相邻两帧差分后的二值图像，且有：

(5)

(6)

(7)

背景差分法定位精确、速度快，但它需要建立背景模型对背景进行估计，在复杂环境中进行目标检测时，成像目标背景复杂，往往很难找出一种合理的背景模型。帧差法具有计算速度快，对动态背景适应快，特别适用于细节信息比较模糊的红外视频图像。在静止背景场合中，帧间差分法能够取得很不错的检测效果。但在成像系统和目标都存在运动的复杂背景下，直接利用帧间差分法无法进行有效的目标检测。

3 传统目标检测算法的适用范围

对于静态场景或静态场景变化不大图像序列而言，可通过背景建模的方法获取背景模型，依据背景差分法可进行运动目标检测。然而整个背景建模过程中需要分析多帧图像，且无法适应背景的任何变化。因此为了提高静态场景序列图像检测算法的鲁棒性，开展了基于差分融合的目标检测算法研究工作。

3.1 静态场景序列图像目标感兴趣区自动提取研究

为了解决背景差分法背景模型更新问题，将帧间差分和背景差分相结合，参照文献[6]相关思路，设计了一种基于差分融合的在线学习的目标检测算法(具体流程如图1所示)。

图1 基于差分融合的在线学习的目标检测算法流程

该算法主要涉及以下几个问题：

1) 背景建模

分析相邻帧图像，会发现背景像素点随时间缓慢变化，在一定的时间里差别不大。而物体运动变化区域对应的像素点变化很大。因此可假设在一定的时间段t里，由序列图像中每一个背景像素点组成的集合服从各自的高斯分布，均值为μ(i,j)和标准方差σ(i.j)。在模型初始化时，由于序列图像中每一个像素点的分布是未知的，因此取第一帧中该像素点的灰度值作为μ(i,j)，而将标准方差σ(i.j)设为0。事实上实际的背景模型是通过不断学习新帧而得到的，兼顾了过去的背景信息，所以该方法对实际图像中的偶然变化有一定的抑制作用。

2) 相邻帧变化区域的检测

帧间差分能够检测出相邻两帧间发生了变化的区域。在简单背景下，这个区域主要由包括运动目标在前一帧所覆盖的区域即显露区P，运动物体在当前帧所覆盖的区域Q。示意图如图2所示。

图2 相邻帧变化区域示意图

设fk(i,j)，fk+1(i,j)为相邻两帧各点像素的灰度值，对其进行差分。

若|fk(x,y)-fk+1(x,y)|T，那么运动变化的区域M(i,j)=fk+1(i,j)。一般来说，对256级灰度图像，与前述的像素灰度归类法一样，灰度阈值T取10～25。

3) 运动目标检测

4) 背景更新

对于区域B(i,j)中的像素点，用下述的规则来进行背景更新：

uk+1(i,j)=(1-α1)μk(i,j)+α1fk+1(i,j)

将区域B2(i,j)中的像素点用以下的规则进行更新：

uk+1(i,j)=(1-α2)μk(i,j)+α2fk+1(i,j)

其中α1,α2为更新率，fk+1(i,j)表示新帧中的像素点灰度值。这里α1,α2的取值是不同的，考虑到B2(x,y)中的点是前帧中被运动物体覆盖的区域，在当前帧中被重新显露出来，所以α2的值取得较大，在0.8以上。实验表明, 这种处理策略使得在建模时即使有运动的物体存在，也会随着运动物体的移动而迅速得到背景模型[7]。对最终检测为运动物体的区域Mo(i,j)不予更新。

3.2 静态场景序列图像目标感兴趣区域自动提取实验与分析

选取红外飞机序列图像(共计110帧，每帧图像大小256×200，飞机尺寸由小到大)作为实验对象。仔细分析该图像序列，发现第31帧图像到第70帧图像、第71帧图像到第110帧图像之间的背景也差别不大，飞机成面目标状态。因此可以将其作为静态场景图象序列目标检测与感兴趣区提取的实验对象。按照基于差分融合得在线学习的目标检测算法的流程，实验步骤主要分为：1)选取第一帧为初始背景图像，对背景模型进行初始设置；2)选取相邻两帧进行帧差操作，并进行变化区域检测；3)利用背景模型，针对差分图像进行目标检测，并进行背景更新操作；4)差分图像二值化，并进行形态滤波；5)图像投影技术自动提取感兴趣区，形成感兴趣区模板Mask。

在实验过程中，选取代表性的相邻两帧图像(如第38、39帧，第99帧、100帧)，进行静态场景图象序列目标检测与感兴趣区提取。针对38帧、39帧，基于差分融合的运动目标检测过程如图3所示。

以第31帧图像为初始背景图像，如图3(a)。取第38，39帧图像进行差分(效果如图3(d))，并通过与背景模型比较，进行二值化分割，效果如图3(f)。最后经形态学滤波提取目标。

图3 基于差分融合的运动目标检测过程(针对38帧, 39帧)

针对第99帧、100帧，基于差分融合的运动目标检测过程4所示。所提取的感兴趣区掩模Mask如图5所示。

图4 基于差分融合的运动目标检测过程(针对99帧, 100帧)

图5 提取的感兴趣区掩模Mask

4 动态场景图像序列目标感兴趣区 自动提取研究

4.1 动态场景图像序列运动目标检测问题分析

运动目标检测技术在军事侦察和武器制导方面有着十分重要的实用意义。军事运用中，运动目标检测的背景一般都是复杂背景。在复杂背景中，影响图像质量的因素主要有以下几种：目标的运动、背景的变化、载体平台的运动及其他震动和晃动等。在以上条件下形成的动态场景的序列图像质量差、对比度低；还存在晃动、环境的干扰等。现有动态场景图像序列中运动目标检测方法主要包括全局运动补偿和运动目标分割两个步骤，其中全局运动补偿处于基础性地位。各国学者对此展开研究并提出了大量的方法[8～10]，获得了一定的成功。这类检测方法的基本思想是：首先估计出相邻帧间的全局运动参数；然后运用这些参数补偿全局运动；最后利用差分法完成运动目标检测。本节将从运动目标检测的实时性出发，研究了一种基于QP_TR信任域图像对准的运动目标检测算法。

4.2 基于QP_TR信任域图像对准的运动目标检测算法

基于QP_TR信任域图像对准的运动目标检测算法是基于“全局运动补偿+差分法”的研究思路进行设计的，这一点同现有动态场景图像序列中运动目标检测方法都是一样。唯一不同，相邻帧的全局运动参数是通过QP_TR信任域算法进行求取。具体的算法框图如图6所示。

图6 基于QP_TR信任域图像对准的运动目标检测算法框图

以巡逻攻击导弹为探测目标，在巡逻侦察阶段是绝大部分时间内是处于平飞状态，可看作是快速平移运动。若将上一帧像素在下一帧中的位置设为，由快速平移运动模型可知：

u=x+Δx

v=y+Δy

其中，Δx，Δy代表着图像全局运动参数。正确的Δx，Δy将使前后两帧间的像素灰度差最小，即使下式取最小值：

QP_TR信任域算法在第1层中的运动参数计算过程如下：1)以该层图像中心点为中心，抽取长宽分别为该层图像长宽1/S的子图像作为计算图像；2)若该层是最高层，则初始化Δx0=Δy0=1，否则Δx0=2(Δx)l-1，Δy0=2(Δy)l-1。Δend=1，Δ0=min(CL-1,RL-1)/4，MAXner=100；3) 以f(x)=E2(Δx,Δy)为目标函数，在计算图像上使用QP_TR信任域算法优化，优化得到(Δx,Δy)l，为该层两帧间图像全局平移距离(以像素为单位)。

通过QP_TR信任域算法，得到平移矢量之后，由于数字图像以像数为单位，且是整数型式，因此在实际过程中，以平移矢量(23,30)对第二帧图像进行位移校正并对两帧图像进行配准，对配准后的图像进行帧间差分操作。为了说明基于QP_TR信任域图像配准算法的重要性，将两帧直接差分与配准后的差分图像进行了对比分析，效果如图8所示。

图7 两帧红外图像作两层高斯金字塔分解的效果

图8 差分效果比较

将差分图像进行阈值分割，分割效果如图9所示。

图9 直接阈值分割的对比分析

经过数学形态滤波、图像投影技术，获取的感兴趣区Mask如图10所示。

图10 感兴趣区提取过程

5 结语

本文在分析传统目标检测算法的基础上，将背景差分法、帧差法相融合，提出了一种基于差分融合的在线学习的目标检测算法，并将其应用于静态场景序列图像目标感兴趣区自动提取过程中；在分析动态场景图像序列运动目标检测问题的基础上，提出了基于QP_TR域图像对准的运动目标检测算法，将其应用到平移运动平台下序列图像感兴趣区自动提取，经实验验证上述算法具有较好的针对性，取得了良好的效果。

[1] Barron J. Fleet D. Beauchemin S. Performance of optical flow-techniques [J]. International Journal of Computer Vision,1994,12(1):42-77.

[2] 董士崇,王天珍,许刚.视频图像中的运动检测[J].武汉理工大学学报(信息与管理工程版),2004,26(1):1-3.

[3] K. Toyarea, J. Krumm, B. Brumitt, B. Meyers. Wallflower: Principles and Practice of Background Maintenance[C]//International Conference on Computer Vision,1999:255-261.

[4] 衣秀清.静态场景下运动目标检测与跟踪算法研究[D].济南:山东大学学位论文,2006:2-50.

[5] 周西汉,刘勃,周荷琴.一种基于对称差分和背景消减的运动检测方法[J].计算机仿真,2005,22(4):117-119.

[6] 朱明旱,罗大庸,曹倩霞.帧间差分与背景差分相融合的运动目标检测算法[J].计算机测量与控制,2005,13(3):215-217.

[7] 曾脉,左志宏,常晓夫,等.一种准确而快速的运动目标检测算法[J].成都信息工程学院学报.2008,28(4):370-373.

[8] TsaigY, Averbuch A. Automatic segmentation of moving objects in video sequences: A region labeling approach [J]. IEEE Transactions on Circuits and System for Video Technology,2002,12(7):597-612.

[9] NeriA, Colonnese S, RussoG,et al. Automatic moving object and background separation[J]. Signal Processing,1998,66(2):219-232.

[10] Chien SY, Ma SY, Chen LG. Efficient moving object segmentation algorithm using background registration technique [J].IEEE Transactions on Circuits and System for Video Technology,2002,12(7):577-586.

Automatic Extraction of Target Region of Interest Based on Sequence Image

LUO Hang YANG Huagao

(Navy Representative Office of Aviation in Jingdezhen, Jingdezhen 333002)

In this paper, based on the analysis of traditional target detection algorithm, combined with background difference method and fusion frame differential method, a target detection algorithm is proposed to extract the static scene sequence image target ereas of interest automatically, and a moving target detection algorithm based on QP_TR domain is proposed to apply to the mobile platform automatic extraction sequence image areas of interest. The experiment shows the algorithm has good pertinence and effect.

helicopter, ROI(region of interest), combat simulation

2016年5月10日,

2016年6月26日

罗航,男，助理工程师，研究方向：航空机械。

TP391

10.3969/j.issn.1672-9730.2016.11.022