一种基于灰度投影的电子稳像改进方法*

齐 红,任洪娥，田少卿,胡 鸿

(1.东北林业大学信息与计算机工程学院,黑龙江 哈尔滨 150040 2.国家林业局调查规划设计院，北京 100714)

稳像技术从早期的机械稳像到光学稳像，再到电子稳像，是一个漫长的发展过程。随着计算机软硬件的飞速发展，电子稳像技术逐渐的取代了机械稳像和光学稳像成为目前运用最广泛的稳像技术[1]。而在电子稳像技术的发展过程中又根据算法的不同分为多种稳像法，主要包括：代表点匹配算法(RPM)，投影算法(PRA)，位平面匹配算法(BPM)，特征量跟踪算法(FTA)[2]，代表点比较算法(BERP)，块匹配算法(BMA)，边沿检测匹配算法(EDA)[3-4]，频域估计算法(FDE)和光流算法(OF)等[5-7]。其中，灰度投影算法由于其运算速度快[8-9]、性能稳定而被广泛应用。而灰度投影算法在处理存在运动物体的图像时，会产生不尽如人意的结果——偏移量跳变，这种跳变的表现是偏移量突然大幅度增加或减少。本文提出了一种对灰度投影改进的方法，可以有效的消除灰度投影算法在处理有运动物体存在的图像时所产生的错误运动估计现象。同时设计了一套针对图像序列是否需要稳像，以及稳像后是否达到稳像效果的检验策略，这样可以达到电子稳像系统自动检测并决定何时对图像进行稳像处理的效果。

1 电子稳像算法及灰度投影

电子稳像算法是通过电子设备采集图像序列，同时运用数字图像处理的方法直接处理所得图像序列，确定图像偏移量并进行相应补偿来达到图像稳定的一种方法，如图1所示为电子稳像处理过程。

图1 电子稳像处理过程

运用灰度投影算法主要包括4个步骤：

1)先将采集来的图像转化成灰度图。

2)进行灰度投影运算，即将图像的每一行或列的灰度值相加，投影公式如下：

(1)

上式中row(i)是第i行的投影值，column(j)是图像第j列的投影值，pic(i,j)是图像点(i,j)处的灰度值。

3)进行相关运算，得到抖动偏移量，列相关运算公式如下：

1≤w≤2M+1

(2)

其中C(w)是相关运算值，M是检测图像抖动的范围。Wmin是C(w)最小时W的值，可得图像在纵向上的位移量motionc。行相关运算亦如此。

motionc=M+1-Wmin

(3)

4)将发生抖动的图像反向移动motionr，motionc后得到的图像为稳定图像。

2 改进的灰度投影算法

由设备获取视频图像时，难免有运动物体出现在图像中，因此可能导致两种情况：

1)图像没有发生抖动，而灰度投影算法可能会误判为图像发生抖动而对图像进行处理。

2)图像正好发生抖动，而物体的运动会对灰度投影算法造成一定的影响，出现错误稳像。

如何使运动物体不影响到算法是解决问题的关键。

2.1 检测运动物体的运动趋势及范围

在视频捕获过程中，运动物体穿越拍摄区域时其走向是不确定的，物体或是横向运动，或是纵向运动，还有可能是斜向运动。而斜向运动在连续单幅图像中可以被看做是横向运动和纵向运动的组合，因此总的来说可以把物体运动方向分为：横向与纵向。下面以横向为例说明(后面没有特殊说明，均为横向)，纵向亦然。

1)情况一：未发生抖动的运动物体检测方法。

在物体开始出现在图像中的几帧图像中，读取连续两帧图像，一帧为参考图像A，另一帧为待检测图像B。将A ,B两图分别做灰度投影，然后将两图像的投影值相减，得到投影差值[10-12]。下列为行的相关算式：

rowsub(i)=|rowA(i)-rowB(i)|

(4)

(5)

其中rowsub(i)是行投影差值，Rsum是行投影差值的平均值。用投影差值减去平均值后取大于零的部分，行这部分的个数多于列的相对应的个数，说明物体是做横向运动的；反之，为纵向运动。因为一般物体进入图像的一刹那，必然有一边的变化是宽的而另一边是窄的。同时根据大于零的灰度变化区域可以估计出物体的大概运动范围。通过对连续图像的运动范围值的记录，取其平均值可以得到比较准确的物体运动范围，如图2可知物体运动范围大概在(110,360)之间。

图2 无抖动时物体运动的区域与投影差值

2)情况二：发生抖动的运动物体检测方法。

情况二与情况一基本一致，只是情况二读取的图像B是稳像后的图像，如图3所示。这里说明一下，在运动物体进入图像的初期，由于其灰度变化面积较小而不影响灰度投影算法，这一说法在随后的实验验证中有详细证明。

图3 抖动时物体运动区域与投影差值

2.2 图像裁剪修补处理

在得到运动范围之后，便可对图像进行裁剪修补处理。这里的裁剪修补是将图像的有变化的部分用变化前的相应部分替代，使图像尽量不要包含有运动物体的灰度信息。假设运动物体的运动范围是(a，b)，且a，b满足0

1)情况一：如图4所示，直接把(m×n)的图像B的第a行的灰度信息由A的第a行的灰度信息取代，以此类推，图像B的第b行的灰度信息由A的第b行的灰度信息取代，得到新的图像D。

图4 情况一时的裁剪修补效果

2)情况二：如图5所示，图像B的第a行的灰度信息由A的第(a-dx)行的灰度信息取代，以此类推，图像B的第b行的灰度信息由A的第(b-dx)行的灰度信息取代，dx为上一幅图的横向偏移量，得到新的图像D。

图5 情况二时的裁剪修补效果

裁剪修补完成后，图像受到运动物体的影响将会有很大程度的减少，此时再次通过灰度投影算法进行稳像可以达到很好的效果。

2.3 实验分析

结合灰度投影的知识解释上述问题，因为灰度投影值是将每一行或每一列的灰度值加起来所得到的。对于像素比较高的图像来说，比如640×480的图像，每一行的投影值可能是0～122 400之间。一般情况下，投影值都会有几万。而一些所占面积小且运动范围窄的物体，其灰度信息不会影响整幅图投影值的趋势。

如图6可以看到行、列投影都没有明显的变化，而这些不明显的变化对投影稳像算法来说，是不会改变相关运算中最小值的位置的，也就不会影响稳像的性能。而当物体的运动达到一定宽度时，同时物体的所占面积也达到一定范围的时候，就必然会影响到相关运算中的最小值。

图6 不影响时两幅图的行、列投影值对比图

图7中的两行、列投影值图具有明显的不同之处，尤其是行投影。经过试验证明这两副图做稳像处理时就会发生错稳现象，如图9中的C图。

图7 有影响时两幅图的行、列投影值对比图

此时就需要裁剪修补方法对图像进行处理。在经过裁剪修补处理后的对比图中，行、列的投影值变化不是很明显了，这样就减小了运动物体在图像中的影响信息量，改善了在这种情况下灰度投影算法的可靠性，如图8所示。

图8 裁剪修补处理后图像行、列投影值对比图

2.4 实验及对比结果

图9中A为参考帧，B、C为灰度投影稳像算法处理的连续两帧图像；D为参考帧，E、F为用改进方法处理的连续两帧图像。从图中可以清楚的看出，当运动物体通过拍摄区域时，会引起稳像系统的错误判断，从而导致图像更加不稳定，因此很大程度降低了稳像的效果。而经过改进方法处理过的图像可以很好的避开干扰因素，使灰度投影稳像算法保持很高的稳定性。

图9 用灰度投影稳像算法与改进方法处理的图像

同时，在实验过程中还发现不是所有穿越图像的物体都能影响到灰度投影算法。于是这里根据物体的大小、颜色、形状以及物体进入图像的位置，做了详细的实验分析。分析得出运动宽度占图像宽度的35%以下时，不论物体形状和背景的变化，经过灰度投影稳像算法处理后出错的图像基本没有。而当运动宽度增加到35%以上时，经过处理的图像都不同程度的出现错稳现象，且有随着运动宽度增大，运动物体所占面积的增大，错稳帧数也出现逐渐增加的趋势。

3 稳像结果检测策略

摄像机或其他视频采集工具拍摄视频是一个连续不间断的过程，而其中设备发生抖动只是一个短暂的，甚至不连续的过程。如果稳像系统对每幅图都做稳像处理的话，会做很多无用功，这样就造成对硬件资源的浪费。

针对图像大部分是稳定的这一事实，本文提出在稳像过程中首先做简单的投影差值判断，判断图像是否发生抖动，如果不是，直接跳到下一帧图像再做投影差值判断；反之，对图像进行稳像处理，处理后的图像再做投影差值判断，进一步确定稳像是否成功。当稳像成功时，直接跳到下一帧，否则，可能有物体进入摄像区域，这时再采用改进方法处理，处理完后跳到下一帧。

这一检测过程，不仅可以节省硬件资源，同时还对稳像效果做出检测，使整个系统达到一个高效的、稳定的稳像平台。流程图如图10所示。

图10 结果检测策略流程图

4 结 论

充分利用灰度信息，并通过对运动物体的形状、颜色、大小及在图像中的位置等条件进行分析，验证了对图像的裁剪修补措施可以很好的消除图像中出现的运动物体对灰度投影算法所造成的影响。同时结合运动物体检测的方法，对投影算法做出了改进，并对稳像系统也提出了不盲目稳像的策略，使系统以更高效的方式工作。

参考文献：

[1]韩绍坤，赵跃进，刘明奇.电子稳像技术及其发展[J].光学技术，2001,1(1):71-73.

[2]赵红颖，金宏，熊经武.电子稳像技术概述[J].光学与精密工程，2001,8(4): 353-359.

[3]石佼，李晋惠.电子稳像技术算法研究[J].方法与理论，2007,3(3):18-24.

[4]张德丰,张葡青.基于小波的图像边缘检测算法研究[J].中山大学学报:自然科学版,2007,46(3):39-42.

[5]POURREZA H R，RAHMATT M，BEHAZIN F.An electronic digital image stabilizer based on stationary wavelet transforms (SWT)[J].ICIP，2003，2:383-386.

[6]ERTURK S， DENNIS T J.Image sequence stabilization based on DFT filtering[J].IEEE Proc on Image Vision and Signal Processing,2000,127:95-102.

[7]CHANG Jyhyeong,HU Wenfeng,CHENG Muhuo,et al.Digital image translational and rotational motion stabilization using optical flow technique[J].IEEE Transactions on Consumer Electronics,2002,48(1):108-115.

[8]余博,郭雷,赵天云.基于对数极坐标变换的灰度投影稳像算法[J].计算机应用,2008,28(12):3127 -3128.

[9]张国栋,王明泉,郭栋.基于灰度投影算法的实时电子稳像研究[J].微电子学与计算机,2010,27 (10) :53-56.

[10]张朝阳，潘保昌，郑胜林.基于帧差的灰度投影的快速运动物体检测[J].广东工业大学学报,2008,9(3):76-80.

[11]赵有婷,李熙莹,罗东华.基于视频车辆轨迹模型的交通事件自动检测方法研究[J].中山大学学报:自然科学版,2011,50(4):56-60.

[12]肖敬文,余志,聂佩林,等.基于几何与颜色特征的公交车辆视频检测算法[J].中山大学学报:自然科学版,2005,44(2):152-155.