利用运动纹理差异的运动目标分割无监督评价方法

涂晶洁，张维朋，田 思，闵超波，张俊举,



利用运动纹理差异的运动目标分割无监督评价方法

涂晶洁1，张维朋1，田 思1，闵超波2，张俊举1,2

（1.宁波大红鹰学院 机械与电气工程学院，浙江 宁波 315175；2.南京理工大学 电子工程与光电技术学院，江苏 南京 210094）

运动纹理差异；无监督评价；分割掩膜；红外视频

0 引言

运动目标的检测与分割技术在机器视觉的研究中尤为重要，可在视频中提取人们感兴趣的部分，为后续的视频编码、视频检索、图像理解和模式识别等提供可靠的数据[1]。近年来，国内外的研究人员对视频序列中运动目标的分割技术进行了深入研究，并获得了不错的成效，提出了很多视频运动目标分割算法[2-4]。运动分割质量与性能的客观评价，对实现更加精确的运动目标分割有着重要的意义。

客观评价主要分为两类：有监督的评价方法和无监督的评价方法。有监督的评价方法主要通过比较分割图像与参考图像，按照分割掩膜与参考图像的差异水平来定量地衡量分割的性能[5]。参考图像即为先验知识，可以通过手工标注和多人投票的方式来确定，有些方法中参考图像就是指运动目标的真实情况。无监督评价方法的主要原理是在没有先验知识的情况下，提取出分割图像中的某些特征，以此来衡量整个分割的性能效果。无监督的评价方法大大弥补了需要先验知识的评价方法的不足，而且，此类方法可以作为分割算法中的一个评价环节，在线地对分割算法的输出结果进行量化评价，进而实时地调整算法参数，获得最优的分割结果。因此，无监督分割评价对于分割算法的开发和改进具有重大的意义。常见的无监督评价方法有区域间对比度、区域内部均匀性、基于信息理论和最短描述长度理论（minimum description length principle，MDL）的评价准则[6]。Correia和Pereira提出了一种目标内部一致性准则和目标相互差异准则CP[7]。目标内部一致性准则由4个部分组成，分别为：外形规则性（基于致密性、圆度性和延伸性），空间一致性（基于空间感知信息和纹理方差），时域稳定性（基于大小、延伸和纹理的差分）以及运动一致性（基于运动向量和临界点的方差）。目标相互差异包括与邻域的局部颜色和运动对比度，邻域对S比度用来衡量目标内外特征的差异，并且对于图像中每一个目标计算相应的关联度来估计目标对人眼的吸引程度。如何将视频序列的时域特征与空域特征更好地联系以准确表征运动目标分割的品质，是未来运动目标分割无监督评价的发展方向。

本文提出了一种利用运动纹理差异的运动目标分割无监督评价方法。该方法利用基于贝叶斯决策的精确量化准则对差分图像进行精确量化，形成运动纹理的类别映射图。然后，将Fisher多级线性判别[8]应用于类别映射图，以分割前景和背景之间的运动纹理差异来表征分割掩膜的性能。

1 基于贝叶斯决策的精确量化准则

假设f为红外视频序列中第帧图像，d为差分图像，即d＝f－f－1。差分图像包含了第帧图像中的变化像素，反映了第帧图像中的时域信息。

首先对差分图像进行粗略的量化处理。利用阈值法对差分图像进行二值化，提取出变化显著的像素，降低噪声的影响，形成变化检测掩膜。在这里，二值化阈值＝mean(f)/4，其中mean(f)表示f中像素的灰度平均值，常数4是经过大量实验之后确定的系数。然后，利用8邻域模型在变化检测掩膜中进行连通域检测，形成连通域映射图W，其中每个像素点都为该像素点所属连通域的标记，用（＝1,2,3,…）表示，每个连通域也可表示为R。另外，静止像素标记为0。连通域映射图W反映了变化像素的连通关系，但这只是粗略地量化。为了更加精确地表述变化像素连通区域之间的关系，需要建立更加精确的量化规则。

令a和b表示两个不同的连通区域。它们两者之间的关系只有两种：属于同一类别（用0表示）和属于不同类别（用1表示）。令表示a和b之间的特征向量：

＝(SP)T(1)

根据贝叶斯理论，建立后验概率模型如下：

式中：由于S和P相互独立，所以(S,P|x)＝(S|x)×(P|x)（＝0,1）。为了简化模型，不妨假设(0)＝(1)＝0.5。后验概率模型的核心是似然比模型，因此，可根据区域之间的特征向量，构建似然比模型：

式中：S和P为量化尺度系数；S和P分别表示S和P的归一化形式，定义：

式中：和分别表示输入图像的行数和列数。

于是，似然比模型可以写成：

构建可以反映两连通区域之间特征的表达，其目的是判断两者之间的真实关系，即进行决策。由于红外图像中目标和背景的灰度一致性较好，因此将空间距离和灰度距离皆满足一定条件的连通区域进行聚类，可以更为清晰地反映红外图像中变化像素之间的联系。根据似然比估计原理，决策准则可定义为：

根据贝叶斯决策的最小风险准则，决策阈值可依据下式进行计算：

式中：C定义为决策代价。在本文中，假设所有决策的代价是相等的。图1显示了在S＝0.8和P＝0.8情况下的似然比估计概率密度分布情况。

接下来，需要对所提出的量化准则进行理论检验，以验证其有效性。由于量化准则的功能为决策，因此可以用误差概率E对其性能进行刻画，误差概率E定义如下：

E＝(0)fa＋(1)(1－d) (10)

式中：(x)表示先验概率；fa表示将原本属于不同类的区域分在同一类别的概率；d表示将原本属于同一类的区域分在同一类的概率。

2 精确量化方法

根据所提出基于贝叶斯的量化准则，设计一套精确量化的方法流程，具体算法如算法1：

define an empty matrix

while 1

for every connect regionRsuch that≥1

for every connect regionRsuch that≠

ifS(R,R)＞(2P－1)×S/Pthen(,)＝(R,R)

end for

end for

find out the maximum of

cluster the corresponding two regions into the same class and updateW

if the maximum ofis bigger thanthen break and returnW

end while

算法1中的(2P－1)×S/P是有可能属于同一类的两个连通区域之间S的最大值。令：

当P＝1且＝1时，即可得到(2P－1)×S/P。即对于任意两个连通区域，当S＜(2P－1)×S/P时，这两个连通区域就不可能属于同一类别。

算法1最终输出的W可以称为第帧差分图像的类别映射图，用C表示。在类别映射图中，标记为0的数据点代表静止像素，其余的点代表变化像素。

3 运动纹理差异评价模型

令表示类别映射图C中所有个数据点的集合。令表示任意一数据点的二维坐标向量，＝(,),Î。为的平均坐标向量：

假设类别映射图中包含no＋1个不同的类别，包含Nl个数据点的类别表示为Zl，l＝0,1,…,no。令ml表示Zl的评价坐标向量：

令：

式中：w是同一类别内部数据点坐标的总方差，其反应了每个类别内部数据点的分布情况；B反应了类别映射图中不同类别的分布情况。

定义：

值可以综合反映差分图像纹理的空间分布情况。若类别之间分布的越松散，类别内部越紧密，值越大。针对待评价的运动目标分割掩膜m，我们分别计算前景的值（f）和背景的值（b），再对这两个值进行比较。f和b的差异越大，则说明分割掩膜中前景的运动纹理与背景的运动纹理差异越大，进而说明分割掩膜越接近真实情况，其性能越好。

分割掩膜中前景区域可能包含多个独立的连通区域，因此f具体定义如下：

式中：J为分割掩膜中前景内部某个连通区域的值；M为连通区域包含的数据点数量；f为前景中包含的数据点总数。

根据上述参数，定义利用运动纹理差异的评价准则d：

式中：max(f,b)表示f和b中的最大值；min(f,b)表示f和b中的最小值。f为0表示场景中没有运动目标，因此对这种情况不予考虑。但是，b也有可能会出现等于0的情况，为了避免无意义的计算，经过大量实验，规定了b的最小值。d越大，说明分割掩膜的性能越好。

4 实验结果与分析

利用3组红外视频序列对评价准则进行实验，分别命名为“船只”、“野外单人”和“户外双人”。“船只”和“野外单人”视频的图像大小为400×512，是由本课题组研究人员利用中波红外热像仪拍摄的。“户外双人”视频图像大小为240×320，其来自OTCBVS数据库[9]。

从图3和表1中可以看出，(f)具有最低的ME，(i)具有最高的ME，而(f)的d值为最大，(i)的d值为最小，这说明d的评价结果与客观实际是相符的。从主观上来看，(c)、(d)和(e)中分别提取出了2个、3个和4个运动船只，虽然是欠分割现象，但其相对的准确性是在依次提高的，而(c)、(d)和(e)相对应的d值也是依次增大；(f)中完整地包含了5个运动船只，且没有将背景错分为前景，而(f)的d值是最大的；(g)、(h)和(i)中都属于过分割，分割效果依次降低，而所对应的d值也是依次减少的。在表2和表3的实验中，d的评价结果都与ME完全一致，也与主观评价结果完全吻合。

图3 “船只”视频第50帧不同分割结果

Fig.3 The different segmentation results of the fiftieth frame of thevideo

图4 “户外双人”视频第20帧不同分割结果

图5 “野外单人”视频第49帧不同分割结果

表1 “船只”视频第50帧不同分割掩膜的评价结果对比

表2 “户外双人”视频第20帧不同分割掩膜的评价结果对比

表3 “野外单人”视频第49帧不同分割掩膜的评价结果

从上述实验结果与分析可知，d的评价结果与人类主观感知和客观实际吻合地很好，可有效地对红外视频运动目标分割性能进行无监督评价。

5 结论

针对目前缺少红外视频运动目标分割的无监督评价准则的问题，设计了一种基于利用运动纹理差异的无监督评价方法，利用运动纹理差异的无监督评价方法提取纹理特征，采取类间差与类内差的关系来表征分割掩膜中前景与背景内部的运动纹理特征，该评价准则与现有优秀的无监督评价方法相比，复杂度较低，利用较少的计算成本即可获得与现有优秀算法相近的评价性能。实验结果充分证明了所提出的评价方法与主观感受基本一致，可以有效地对红外视频运动目标分割进行无监督评价。

[1] Yong W, Bhandarkar S M, Kang L. Semantics-based video indexing using a stochastic modeling approach[C]//, 2007, 4: 313-316.

[2] 云红全, 徐力, 孙骁, 等. 基于超像素时空显著性的运动目标检测算法[J]. 红外技术, 2015, 37(5): 404-410.

YUN Hongquan, XU Li, SUN Xiao, et al. Moving target detection algorithm based on superpixel spatio temporal saliency[J]., 2015, 37(5): 404-410.

[3] 胡柳, 解梅. 基于时空联合的红外运动目标分割算法[J]. 红外技术, 2006, 8(5): 271-274.

HU Liu, XIE Mei. Moving infrared object segmentation based on spatio-temporal information[J]., 2006, 8(5): 271-274.

[4] 张强, 蔡敬菊, 张启衡, 等. 基于局部极大值的红外弱小目标分割方法[J]. 红外技术, 2011, 33(1): 44-47.

ZHANG Qiang, CAI Jingju, ZHANG Qiheng, et al. Small dim infrared targets segmentation method based on local maximum[J]., 2011, 33(1): 44-47.

[5] Unnikrishnan R, Pantofaru C, Hebert M. Toward objective evaluation of image segmentation algorithms[J]., 2007, 29(6): 929-944.

[6] ZHANG H, Fritts J, Goldman S. An entropy-based objective evaluation method for image segmentation[C]//, 2004, 5307: doi:10.1117/12.527167.

[7] Paulo Lobato Correia, Fernando Pereira. Objective evaluation of video segmentation quality[J]., 2003, 12(2): 186-200.

[8] DENG Yining, Manjunath B S. Unsupervised segmentation of color-texture regions in images and video[J]., 2001, 23(8): 800-810.

[9] Goyette N, Jodoin P M, F Porikli, et al. A new change detection benchmark dataset[C]//, 2012: 16-21.

[10] 张俊举, 常本康, 张宝辉, 等. 远距离红外与微光/可见光融合成像系统[J]. 红外与激光工程, 2012, 41(1):20-24.

ZHANG Junju, CHANG Benkang, ZHANG Baohui, et al. Remote infrared and low light level/visible light fusion imaging system[J]., 2012, 41(1): 20-24.

Unsupervised Evaluation Method for Moving Object Segmentation Based on Motion Texture Difference

TU Jingjie1，ZHANG Weipeng1，TIAN Si1，MIN Chaobo2，ZHANG Junju1,2

(1.,,315175,; 2.,,210094,)

An unsupervised evaluation method for moving object segmentation based on motion texture difference was proposed in this paper.Aclass map of the difference image was obtainedusing the exact quantization criterion based on the Bayesian decision. Moving object segmentation masks with different effects were obtained using the region growing method.An evaluation criterion for identifying the difference between the motion textureswas defined. Moreover,evaluation criteria were used to verify the validity of the evaluation results. The results were compared with two other evaluation criteria to accurately measure the performance of the proposed criterion.The two other criteria were as follows: the supervised evaluation criterion,ME;and the unsupervised evaluation criterion based on the unsupervised color texture evaluation method, JSEG. The experimental results showed that unsupervised evaluation based on the difference between motion textureswas in agreement with human subjective perception and objective reality;this couldbe used to evaluate the performance of moving object segmentation for infrared video effectively.

motion texture difference，unsupervised evaluation，segmentation mask，infrared video

TP391

A

1001-8891(2017)06-0541-07

2017-02-13；

2017-05-24.

涂晶洁（1963-），女，浙江省宁波市，副教授，硕士，研究方向为光机电一体化。E-mail：tujj@163.com。

浙江省工艺项目（2014C31163），江苏省自然基金项目（BK20130775），宁波市科技项目（2015C10043）。