Markowitz投资组合模型改进的三帧差分法运动目标检测

夏琳琳，潘旭影，杨雪东，初 妍

（1.东北电力大学 自动化工程学院，吉林 132012；2.哈尔滨工程大学 计算机科学与技术学院，哈尔滨 150001）

Markowitz投资组合模型改进的三帧差分法运动目标检测

夏琳琳1，潘旭影1，杨雪东1，初 妍2

（1.东北电力大学 自动化工程学院，吉林 132012；2.哈尔滨工程大学 计算机科学与技术学院，哈尔滨 150001）

移动机器人的目标检测要求其对特定的静止或运动物体进行运动分析及检测。以Voyager-III移动机器人系统为研究对象，实现非理想光照下，对橘红色目标足球的运动检测。提出在传统三帧差分法基础上，先利用Markowitz投资组合模型进行足球目标的特征提取，将场地非感兴趣的目标中，出现全部像素值发生变化的目标去除，再进行图像帧间差分。利用 CCD摄像机对比赛环境中足球的运动轨迹进行录制，选取具有代表性的各帧视频图像、Markowitz算法优化后的差分图像和跟踪图像，结果表明跟踪图像不含非目标物的干扰，克服了差分图像存在空洞的问题，为移动机器人提供了一种实用的运动目标检测方法。

三帧差分法；Markowitz投资组合模型；运动目标检测；移动机器人；像素值

对视频序列中运动目标检测的核心问题是在前后各帧的检测结果之间建立对应关系，对于指定的目标，就是确定其运动模型及轨迹的过程。由于存在场景中光照条件变换、扰动、摄像机抖动以及运动目标在场景中形成的阴影等客观条件，导致了对具体问题中不同目标的检测方法和机理不尽相同，常用的方法包括背景减除法（Background Subtraction）、帧间差分法（Temporal Difference）、光流法（Optical Flow）等[1-3]。与帧间差分法相比，背景减除法对光照和外部条件造成的场景变化比较敏感，如果不对背景进行时时更新，会出现大量的伪运动目标点，影响到目标检测的效果。而光流法在视频监控系统下的应用并不多见，因该方法受噪声的影响比较大，且过程需要迭代求解计算的时间，并需要专门的硬件支持，不满足移动机器人视频流实时处理的场合。

本文以北京博创公司开发的“旅行家 3号（Voyager-III）”移动机器人为研究对象，在非理想光照情形下，对机器人足球比赛中橘红色足球的运动进行实时检测。得益于帧间差分法更适用于动态、目标单一且光照变化不强场景的特性，提出在传统三帧差法上融合Markowitz投资组合模型下的特征提取，使得用于运动检测的各帧图片中仅包含足球的运动信息，减少环境中其他目标在运动分析中所产生的影响。

1 帧间差分法

在移动机器人足球比赛中，需要时刻对场地内感兴趣的运动目标进行运动检测，即对包含运动目标的图像序列运用相关的算法，从中去除背景信息，得到运动的目标和其相关的信息，并对这些信息进行相关整合，确定目标在场景中的关键参数，如位置、大小和运动方向等。

帧间差分法是对图像序列中连续的两帧或三帧图像进行差分并通过选择合适的阈值来完成对运动目标的提取。该方法假设环境中光线在各帧像素间基本保持不变，那么对差分图像中像素值大于所设定阈值的点就表明该处像素发生了移动。假设第k帧和第k-1帧图像的灰度值数据分别为，则它们的差分图像为[4]：

式中，(i,j)表示离散图像坐标。对于上面得到的差分图像通过阈值T来判断图像中的各个像素点是运动目标还是背景，从而提取出运动区域的图像。

式(2)表明，如果差值大于T，则说明该区域的灰度变化较大，即为需要检测出的运动目标区域。图 1为三帧差算法的原理图。

如图1所示，假设第k-1帧、第k帧、第k+1帧为视频图像序列中的三张图片，首先分别对第k-1帧和第k帧求差、第k帧和第k+1帧求差，结果分别记为Dk、Dk+1，然后对Dk和Dk+1进行“与运算”，得到图片D，D中包含了Dk和Dk+1两张图片的共有部分，因此可以将运动物体的全部包括进去。

图1 三帧差分法原理图Fig.1 Schematic diagram of three frame differencing methods

然而，当目标表面存在均匀变化的灰度时，检测到的运动区域往往存在“空洞”，运动目标可能被分割成许多独立的小区域，这样在目标识别时，很可能只得到目标的一部分。另外，在实际的非理想光照环境中，由于目标的运动，使得前一帧图像中被目标遮挡的背景部分会显露出来，这样背景也会被当作运动目标区域。在实际应用帧差法时，往往希望尽量减少背景带来的影响，从而使提取出来的目标尽量接近真实形状。

2 融合Markowitz投资组合模型的改进三帧差分法

机器人足球比赛现场中，由于机器人本体时刻运动，因此Dk和Dk+1两张差值图片中包含了场地内全部像素值变化的目标，这样得到的目标图像D中除感兴趣目标外，还很可能包含了其他非感兴趣的目标，对下面进行的目标跟踪带来了很大影响。

在传统三帧差法基础上，提出融合Markowitz投资组合模型[5]的特征提取过程，使得在运动检测图片中仅包含足球的运动信息，减少环境中其他目标在运动分析中所产生的影响。首先，选择适合的颜色模型及颜色分量，将模型中的收益与风险转换成彩色图像的目标与背景，利用Markowitz投资组合模型为各颜色分量确定最优的分配权值，使得彩色图像转换成一幅灰度图像[6]。此灰度图像中，前景与背景间的对比度被增强，两者间分界处不存在灰度平缓区，这样，避免了光照较弱时，两者分界不明显而造成的差分图像中运动目标检测不完整的情况发生。

文献[6]对目标足球的特征提取过程有详尽地描述，在此不再赘述。

图2给出了改进三帧差分法算法原理图。如图2所示，在分别进行第k-1帧和第k帧求差、第k帧和第k+1帧求差前，先采用Markowitz投资组合模型特征提取方法，从第k-1帧、k帧和k+1帧提取出我们感兴趣的目标，使各区域内部像素点间具有相似的性质，而不同区域之间则具有较大的差异，根据目标足球各像素点的整体特性，将足球从该幅灰度图像中分割出来。最后对上面得到的只含有运动目标的相邻帧的灰度图像进行差分，从而实现运动足球的运动检测。

图2 改进三帧差分法原理图Fig.2 Scheme of improved three frame differencing method

3 非理想光照下Markowitz模型特征提取效果

以对单幅彩色图像的目标识别与提取为例，说明Markowitz投资组合模型特征提取方法的有效性。首步完成图像的上载，如图3所示，提供了一次非理想光照下，机器人视觉系统采集的赛场全景图像。

图3 实验图片Fig.3 Image for experiment

图4～6记录了一次基于Markowitz投资组合模型的足球特征提取的完整过程，本次实验的检测目标为橘红色足球，故选择R（红色）、B（红色）、标准r、g、S（饱和度）和V（明度）6个颜色分量（通道）组合[7]，进行最优权值的求取，方法克服光照弱时所带来的影响，给出了相应的灰度图像、最优权值作用后的灰度图像和边缘图像。

在选择颜色分量的时，标准r、g在光照变化较大时，波动很小，可视为不受影响[8-9]。而亮度I会出现较大范围内的波动，因而选择了更加适合的V（明度）分量[9]。

可以看到，图6中仅包含了足球的边缘信息，前景与背景间的对比度被增强，为后续运动目标检测去除了噪声。

图4 灰度图像Fig.4 Gray image

图5 最优权值作用后图像Fig.5 Image impinged by optimal weights

图6 边缘图像Fig.6 Edge image

4 实验结果及性能评价

由于中型组Voyager-III移动机器本体上没有摄像机装置，实验中采用 CCD数码摄像机对比赛环境中足球的运动轨迹进行了录制，在MATLAB 7.1软件中对该段视频进行了仿真。实际比赛中，机器人每秒钟至少处理15张图片，因此本次实验以15帧每秒的图片采集速度来进行现场环境的模拟仿真，室内为白炽灯照射，光线较弱，模拟非理想光照场景。实验结果如图7～12所示。

图7 第四帧图像Fig.7 Image of the fourth frame

图8 第八帧图像Fig.8 Image of the eighth frame

图9 第十四帧图像Fig.9 Image of the fourteenth frame

图10 第十五帧图像Fig.10 Image of the fifteenth frame

图11 第十六帧图像Fig.11 Image of the sixteenth frame

图12 第十九帧图像Fig.12 Image of the nineteenth frame

选取了具有代表性的第四帧、第八帧、第十四帧、第十五帧、第十六帧及第十九帧的检测结果，可以看出，采用经过Markowitz投资组合模型改进后的三帧差法，使每帧图像之间仅含有运动的目标，且优化后，目标的差分图像完整，不包含非目标物的干扰，避免了差分图像中存在空洞的情况，算法的稳定性得到了相应的提高。

5 结 论

本文面向机器人足球比赛应用实际，需机器人本体对比赛用球进行实时跟踪，而跟踪的前提是完成对运动中球体的检测。考虑到摄像机与球体均发生运动，帧间差分法对特定目标的运动阈值很难进行设定这一实际情况，提出先利用Markowitz投资组合模型进行目标的特征提取，得到前景与背景间对比度增强的灰度图像，将足球从该幅灰度图像中分割出来，再对只含有运动目标的相邻帧的灰度图像进行差分。以 15帧每秒的图片采集速度进行现场环境的模拟仿真，得到每帧的视频图像、Markowitz优化后差分图像及跟踪图像。检测结果表明，优化后，目标的差分图像完整且不含非目标物的干扰，克服了由传统三帧差分法自身及环境目标带来的可能增大运动区域的影响，避免了差分图像中存在空洞的情况，为机器人足球比赛提供了一个实用、可行的运动检测方法。

（References）：

[1]Jung C R.Efficient background subtraction and shadow removal for monochromatic video sequences[J].IEEE Transactions on Multimedia,2009,11(3): 571-577.

[2]杜春丽，王科俊，夏余，程万胜.一种小位移的运动目标检测方法[J].光电子·激光，2011，22 (3)：418～421.DU Chun-li,WANG Ke-jun,XIA Yu,CHENG Wansheng.Detection method of moving object with small displacement [J].Journal of Optoelectronics·Laser,2011,22 (3): 418-421.

[3]Lin Chung-Ching,Wolf M.Detecting moving objects using a camera on a moving platform[C]//20thIEEE International Conference on Pattern Recognition.Istanbul,Turkey,2010: 23-26.

[4]邬大鹏，程卫平，于盛林.基于帧间差分和运动估计的Camshift目标跟踪算法[J].光电工程，2010，37(1)：55-60.WU Da-peng,CHENG Wei-ping,YU Sheng-lin.Camshift object tracking algorithm based on inter-frame difference and motion prediction[J].Opto-Electronic Engineering,2010,37 (1): 55-60.

[5]Markowitz H.Portfolio selection[J].The Journal of Finance,1952,7(1): 77-91.

[6]夏琳琳，张健沛，田海军，初妍，杨雪东.基于Markowitz投资组合模型的移动机器人目标提取与识别[J].中国惯性技术学报，2012，20(6)：700-704.XIA Lin-lin,ZHANG Jian-pei,TIAN Hai-jun,CHU Yan,YANG Xue-dong.Object extraction and recognition for mobile robot based upon Markowitz portfolio model[J].Journal of Chinese Inertial Technology,2012,20(6):700-704.

[7]夏琳琳，张健沛，初妍，杨雪东.非理想光照下基于全景图像的足球机器人目标拟合与提取算法[J].中国惯性技术学报，2013，21(2)：214-220.XIA lin-lin,ZHANG Jian-pei,CHU Yan,YANG Xuedong.Object fitting and extraction algorithm for soccer robot based upon panoramic image under un-ideal illumination condition[J].Journal of Chinese Inertial Technology,2013,21(2): 214-220.

[8]Kuiaski D,Neto H V,Borba G,Gamba H.A study of the effect of illumination conditions and color spaces on skin segmentation[C]//2009 XXII Brazilian Symposium on Computer Graphics and Image Processing.Rio de Janeiro,Brazil,2009: 245-252.

[9]Zuo Qi,Xie Zhi,Guo Zijian.Vision based obstacle recognition approach of a power line inspection robot[C]//International Conference on Computational Intelligence and Natural Computing.Shenyang,China,2009: 459-462.

Moving object detection method based on three-frame difference and improved by Markowitz portfolio model

XIA Lin-lin1,PAN Xu-ying1,YANG Xue-dong1,CHU Yan2
(1.School of Automation Engineering,Northeast Dianli University,Jilin 132012,China; 2.College of Computer Science and Technology,Harbin Engineering University,Harbin 150001,China)

The motion analysis and detection on the static or moving object should be made for the mobile robot involved in detection work.Taking Voyager-III mobile robot system as the investigated subject,the detection of orange soccer in motion is accomplished under the un-ideal illumination condition.The improved approach based on traditional three frame time difference is proposed.The Markowitz portfolio model is introduced to realize the feature extraction of the target soccer in the first step,which helps to remove the objectives of non-interest,so that it will not puzzle us with the varied total pixel value.In sequence,the results are inserted to the next procedure of three frame time difference.The motion track of the soccer,under the real competition environment,is recorded by a CCD video camera,and the final results,including the video images,optimized difference images,and tracking images of representative frames are presented.The final results demonstrate that the interferences of other objects are not involved in the tracking images.Besides,the weak status of difference images with holes is improved,which indicates that the method above adapts to practical application for mobile robots in moving object detection area.

three frame time difference; Markowitz portfolio model; moving object detection; mobile robot;pixel value

U666.1

：A

1005-6734(2014)02-0200-05

10.13695/j.cnki.12-1222/o3.2014.02.011

2013-11-14；

：2014-03-12

吉林省科技厅青年科研基金项目（20130522171JH）

夏琳琳（1980—），女，博士，副教授，从事机器人技术研究。E-mail：xiall521@mail.nedu.edu.cn