基于梯度场的彩色图像序列光流场算法

廖 彬 ，杜明辉 ，胡金龙

（1.华南理工大学 电子与信息学院，广东 广州 510640；2.华南农业大学 理学院数学系，广东 广州 510640；3.华南理工大学 信息网络工程研究中心，广东 广州 510640）

1 引言

运动图像分析是计算机视觉中的一项重要任务，其关键技术之一就是光流计算。光流不仅携带了被观察物体的运动信息，还携带被观察物体的三维结构、传感器参数、非刚性物体的局部弹性形变等丰富的信息。光流场是由空间运动物体被观测表面上的像素点运动而产生的瞬时速度场。通过光流场的计算，可以找到三维运动物体在二维图像平面上的投影，从而获得三维运动的特性描述。

1981年，Horn和Schunck首次提出了计算光流场的基本等式[1]。在此之后，又有许多光流计算方法被提出，大致可以分成如下两类[2]：一类是对光流方程进行正则化计算，另一类是对光流方程添加多约束从而求解光流场。

由于彩色图像相对于灰度图像可提供更丰富的光学信息，因此采用彩色图像序列进行光流场计算能够有效克服孔径问题。Ohta首先提出了基于色彩灰度不变的计算模型，Lai将该模型应用于非刚性物体运动的求解及非刚性物体的运动恢复中。Golland针对不同运动情况进行了基于色彩不变性的计算与试验分析[3]。Barron对基于颜色的光流场计算方法进行了总结[4]。Andrews将Lucas-Kanade方法引入彩色图像光流场求解[5]。Madjidi将改进了的彩色光流场方法应用于水下图像[6]。Arshad提出利用移动机器人测量的距离信息进行光流场计算[7]。Simon利用运动分割的结果[8]，确保只计算运动区域的光流，提高了运动物体边缘的光流精确度。

大多数运动方程的光流约束是建立在BCM模型上的，但当被观测运动场景光照发生变化或出现非一致光照时，利用传统的BCM进行光流估计会产生较大的计算偏差。通用动态图像模型（GDIM）进行了光流定义的修正[9]，通过引入辐射度变化，将光照的影响反映于修正后的光流模型中，从而能够获得光照变化环境下的光流场。

笔者使用通用动态图像模型，利用图像梯度场对光照变化不敏感的特点，结合图像的色彩信息，对图像的梯度场进行基于GDIM模型的光流场计算，从而获得精确的光流。

2 光流场估计

2.1 图像亮度常数模型

图像亮度常数模型是基于灰度图像序列提出的，在该模型中，假设同一运动目标上的像素点灰度值在目标运动过程中保持不变，因此，在较短的时间间隔内，可有如下方程

式中：I（x，y，t）表示 t时刻的图像平面上（x，y）坐标处的亮度值，与分别表示图像亮度对变量x，y，t的偏导数。若以u表示，以v表示，式（1）可重写为如下形式

此时，矢量 V=（u，v）表示光流，式（2）即为光流场计算的基本方程。在式（2）中，无法直接求解u和v两个未知变量。常用的求解方法是施加全局或局部约束条件进行正则化，如HS法与LK法。

由于基本等式首先进行了如下设定：假设环境光照均匀，物体具有朗伯体反射表面，且在图像平面内平移运动，因此在利用基于BCM灰度模型进行光流场计算时，除了易受噪音影响外，还会在诸如物体旋转、物体形变、光照环境改变等情况下产生明显错误的光流场。

2.2 彩色图像序列的光流场估计

在实际应用中，环境的光照条件发生变化时，物体表面的颜色相对于灰度而言，更能准确地反映物体的表面特性。因此，可以利用彩色图像中基于物体表面颜色提取出的局部特性，建立超定的线性方程组，从而确定光流中的2个运动分量。

Golland阐述了基于色彩恒常性假设的原理，以实验证明了该方法适用于各种复杂的运动。在Golland提出的方法中，由物体光照模型引出的各颜色分量可表示为

式中：E（λ）为反射光能量分布，Si（λ）为光传感器灵敏度系数，λ为光的波长。积分范围为400～700 nm的可见光波长范围。由于fi无法由图像数据直接得到，因此需要用其他能直接从图像数据获得的等价不变量来代替。通过对式（3）的进一步分析可以发现，Si（λ）在物体运动过程中保持不变，入射光能量分布E（λ）在变化较为缓慢的情况下，短时间内也可看作不变量。因此，可以用任意颜色分量的比值来求取光流场，最终转化为基于色彩不变性的光流梯度约束方程组

式中：F1，F2可以是归一化RGB颜色模型中的色彩分量，也可以是HSV，YUV等颜色模型中的色彩分量。Kelson[10]已经通过试验证明，在Golland提出的色彩模型中，采用YUV颜色模型，可以取得更好的效果。

2.3 基于彩色梯度场GDIM模型的光流场计算

由于在实际环境中，亮度不变假设不成立，因此需要采用修正的光流定义反映速度场。在通用动态图像模型（GDIM）中，原来的二维运动场向量（u，v）被扩展成为三维运动场向量（u，v，δE）。其中，δE 表示图像序列的辐射度变化，据此得到亮度守恒约束方程

式中：M（r）和C（r）分别为亮度变化场的数乘和偏移量，r=（x，y，t）T表示 t时刻图像平面上坐标为（x，y）的点。 将式（5）进行泰勒级数展开，可得到基于GDIM的扩展光流模型

将式（6）推广到彩色图像模型YUV上，得到

式中采用YUV模型的Y，U，V分量进行计算。

在实际处理时，如果能使用对光照变化较不敏感的量来计算光流场，计算结果将更为准确。考虑到图像的梯度场对光照变化的敏感性与图像亮度场的变化相比较小，将式（6）转化为

其中，W为一个小的空间邻域。

3 试验结果

试验包括3部分：在无明显光照变化时，检测形变物体的光流场；在无明显光照变化时，检测图像中有相对旋转运动的光流场；检验新算法在光照变化时的稳健性。

3.1 形变物体的光流场

在试验中，使用vipmen视频序列，该视频序列主要为人的走动。在走动过程中，有手臂的前后摆动，腿部的抬起、落地，转身等大幅度的形变运动，可以较好地测试算法对形变运动的适应性。

图1a，1b是用于检测光流场的vipmen视频序列的第250帧与251帧。在该测试图像中，人物背对观察者行走。在行进过程中，人物转动了左肩膀，同时头部有摆动，左腿前倾，两腿之间跨度变大，且右腿与地面距离更为接近，最终整个身体的背部、腿部形成的人物轮廓整体前移。

对图1a，1b分别用传统HS法、塔形分解的LK法、GOLLAND的RGB归一化彩色光流法以及本文提出的基于梯度场的彩色图像序列光流场计算法进行分析，结果如图2所示。

由图2a，2b可以看出，传统HS法与LK法在物体有多部位的形变、不与图像平面平行运动时，无法获得正确的结果。图2c中，基本检测出了人物的运动轮廓，但对手部、腿部等较小形变部位的检测不够精确。图2d除了能够获得运动人物的较准确轮廓外，在头部、肩部、背部、手部、腿部等较小形变部位上，也获得了较细致的光流场。

3.2 旋转运动的光流场

为了检测物体的旋转运动，本试验采用新西兰Otago大学的Blocks彩色图像序列，使用该图像序列的第1，2帧进行测试，如图3所示。

在图3中，有4种不同的颜色块静止放置于地面上。摄像机相对于图像块做微小旋转运动。试验序列的图像分辨力为282×376，图像对的帧间最大位移为1.04像素。对图3的图像对采用4种光流法检测光流场，得到的试验结果如图4所示。

由图4a，4b，4c可以看出，在有旋转运动时，传统HS法、塔形LK法、RGB归一法都无法正确检测出光流场。图4d展示了用本文算法得到的光流场，由图中可以看出，图像背景的光流矢量连续一致，物体的边缘清晰，物体表面的光流矢量连续一致。

3.3 光照变化环境下的光流场

为了验证本文算法对光照变化的稳健性，笔者仍采用Blocks图像序列，利用式（11）来模拟光照的变化。

式中：I（x，y，t）与 I′（x，y，t）分别表示原图像序列与模拟光照变化后的图像序列。本试验中的ω取值为0.5，t为2，其余的试验参数设置与3.2节相同。应用式（11）对图3b进行处理后，得到的光照环境改变效果如图5b所示。

图5a，5b为光照改变前后的图像。由图5b可以看出，图像中的环境光线变暗将导致图像的对比度发生改变。如果按照BCM模型计算光流，由于没有考虑辐射度的改变，将无法得到正确的光流场。对图3a与图5b组成的图像对进行光流场检测，得到的试验结果如图6所示。

将图6与图4进行对比，可以发现图4a，4b，4c与对应的图6a，6b，6c区别较大。以图4a与图6a为例，在图4a中，隐约可见4个方块的轮廓。在本试验中，由于环境变暗，图像对比度降低，已经无法由图6a辨认是否有物体存在。而在图6c中，仍然能得到运动物体清晰的轮廓与光流，且与图4c相比，差别不大，此结果验证了本文算法对缓慢的光照变化不敏感的特点。

4 小结

实际环境中，由于存在环境光照的改变、多物体运动、物体遮挡、旋转、形变等复杂运动，使得传统的BCM模型的应用受限。针对自然图像，采用修正光流定义的GDIM模型。由于彩色图像比灰度图像含有更多的信息，因此可以充分利用图像的色彩信息，通过将原始图像的颜色平面转换为相关度较小的彩色平面，并利用图像梯度对光照变化不敏感的特点，进行基于梯度场的彩色图像光流场计算。在本文中，采用GDIM模型将图像的几何变换与辐射度变化引入光流方程，同时用于计算的梯度场本身可以为运动估计提供方向约束信息，因此本文算法能在形变运动、旋转运动、光照改变等条件下，获得较精确且连续一致的光流场。

然而在试验中也发现，当光照变化剧烈时，仅用梯度场减轻光照影响的效果并不显著。一种可行的解决办法是采用诸如图像直方图均衡化、梯度场重建的图像增强、利用Retinex理论的图像增强等技术对图像进行前期处理后再求解光流场。同时，当前景与背景有相对运动时，直接求取光流场会发生前景与背景融合的现象，这种现象的解决方法之一是首先区分前景与背景，接着再进行光流场的求取。对这些问题的分析将在后续的研究中进行。

[1]BERTHOLD K P，SCHUNCK B.Determining optical flow[J].Artificial Intelligence， 1981，17（1-3）：185-203.

[2]BIMBO A D，NESI P，SANZ J L C.Optical flow computation using extended constraints[J].IEEE Trans.Image Processing， 1996， 5（5）：720-739.

[3]GOLLAND P，BRUCKSTEIN A M.Motion from color[J].Computer Vision and Image Understanding， 1997，68（3）：346-362.

[4]BARRON J， FLEET D， BEAUCHEMIN S.Performance of optical flow techniques[J].International Journal of Computer Vision， 1994，12（2）：43-77.

[5]ANDREWS R J，LOVELL B C.Color optical flow[J].Workshop on Digital Image Computing， 2003，1（1）： 135-139.

[6]MADJIDI H,NEGAHDARIPOUR S.On robustness and localization accuracy of optical flow computation from color imagery[C]//Proc.the 3D Data Processing， Visualization and Transmission （3DPVT′04）.Aire-la-Ville， Switzerland： Eurographics Association， 2004： 317-324.

[7]ARSHAD J，VENKATESH K S.A new color based optical flow algorithm for environment mapping using a mobile robot[C]//Proc.22nd IEEE International Symposium on Intelligent Control Part.[S.l.]：IEEE Press， 2007， 567-572.

[8]SIMOND，CLINTONF，SRIDHAS.Improvedsimultaneouscomputation of motion detection and optical flow for object tracking[C]//Proc.Digital Image Computing:Techniques and Applications.Melbourne，Australia： IEEE Press， 2009：175-182.

[9]NEGAHDARIPOUR S，YU C H.A generalized brightness change model for computing optical flow[C]//Proc. International Conference on Computer Vision.Berlin，Germany:[s.n.]，1993：2-11.

[10]KELSON R T A，ANDRE M S，ADELARDO A D M.Optical flow using color information： preliminary results[C]//Proc.the 2008ACM Symposium on Applied Computing，SAC′08.Fortaleza，Ceara，Brazil:[s.n.]， 2008：1607-1611.