光流法在运动目标识别领域的理论与应用

杨亚东

（河北工业大学 天津 300401）

运动检测的目的是在序列图像中将变化区域与背景图像分割开来。然而光照的变化、背景混乱运动的干扰、运动目标的影子、摄像机的抖动以及运动目标的自遮挡现象的存在给运动目标的正确检测带来了极大的挑战。由于运动目标的正确检测与分割影响着运动目标能否正确跟踪和分类[1]，因此成为计算机视觉研究中一项重要的课题。现有的运动对象的检测方法可归纳为4种：光流法[2]，相邻帧差法[3]，背景减法[4]和运动能量检测法[5]。背景差法预先选取不含前景运动目标的背景图像，然后将当前帧与该背景图像相减。但背景往往会发生变化，所以对背景图像的自适应性提出了更高的要求。相邻帧差法能够适应环境的动态变化，实现实时的运动检测，但分割出的运动目标不完整。

光流的概念是Gibson于1950年首先提出的。光流是空间运动物体在观测成像面上的象素运动的瞬时速度；光流场是指图像灰度模式的表面运动[6]。光流的研究是利用图像序列中象素强度数据的时域变化和相关性来确定各自象素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。研究光流场的目的就是为了从序列图像中近似计算出不能直接得到的运动场。由于图像光流的计算不需在图像序列中建立起特征之间的对应关系，因此光流属于较高层次的计算机视觉表述。目前，光流法被广泛地应用于目标分割、识别、跟踪、机器人导航、目标形状信息恢复、3D结构恢复与运动估计等重要的计算机视觉与图像处理领域，也被广泛地应用在相关的医学、海洋和天文等领域。

1 光流的几种计算方法

Barron[7]等人按照理论基础与数学方法将光流计算技术分为4种：微分技术（梯度法）、基于区域的匹配法（块匹配法）、基于能量的方法和基于相位的方法。通常使用微分法和块匹配法。

1981年，Horn和Schunck[8]创造性地将二维速度场与灰度相结合，引入光流约束方程，得到光流计算的基本算法。假设光流在整个图像上光滑变化，即假设运动场既满足光流约束方程又满足全局平滑性，将求解u和v表示成迭代方程：

其中n是迭代次数，u0和v0是光流的初始估值，一般取为零。当相邻两次迭代结果的值小于预定的某一小值时，迭代过程终止。

Lucas和Kanade[6]假设在一个小空间邻域Ω上运动矢量保持恒定，使用加权最小二乘法估计光流。Nagel[9]用二阶导数来估计光流。和Horn－Schunck法一样，Nagel也采用全局平滑约束来建立光流误差测度函数。不同在于，Nagel提出的面向平滑的约束不是强加在亮度梯度变化最强烈的方向（即边缘方向）上。目的是为了处理遮挡问题。

基于匹配的方法是将速度（u，v）定义为不同时刻的图像区域的位移量d＝（d x，d y），使得不同时刻的图像区域匹配最佳。其实质是在图像序列的顺序图像对之间实施位置对应。为了找到最佳匹配，可对定义在d上的相似度量如归一化互相关系数进行最大化（模板匹配法）；也可对某一距离度量如光强度差的平方和进行最小化。对于大运动问题，可采用由粗到细的策略解决。根据估计理论，利用加权最小二乘法可得到真实速度的一个估计：

其中，加权在－N≤u，v≤N上实施。

基于梯度的方法实现比较简单，计算复杂度低，缺点是在图像相邻帧之间偏移量大的时候误差较大，而且该方法要求图像灰度必须是可微的。基于匹配的方法通过特征匹配来确定偏移量，可以解决相邻帧之间偏移量大的问题；但是特征匹配比较困难，运算量也较大，且块匹配法对噪声敏感。匹配块的大小对光流计算有影响——块太小，孔径问题比较严重；块太大，则容易漏掉局部的微小运动信息[10]。

2 光流法在实际中的应用

2.1 梯度光流法用于红外图像序列的运动目标检测

随着红外成像器件的发展，红外图像越来越多地运用于目标检测、识别等领域，包括运动目标的识别与跟踪等[11]。红外图像用于运动目标检测、跟踪最主要的问题是噪声问题。由于红外图像是红外成像器件接受的物体热辐射的能量分布，具有较大的高斯噪声；背景噪声不定且相关性强，兼有随机噪声和非随机噪声，因此很少采用光流场分析法进行红外目标识别和跟踪[10]。

然而，物体的热辐射具有空间的连续性，从而目标边缘比较模糊；物体热辐射随时间的变化比较缓慢，在序列图像的相邻两帧时间内没有变化，即图像背景具有较大的相似性[12]。这些特点与基本光流约束方程的模型吻合。因此，理论上可对红外图像计算光流。但图像中的随机噪声会影响光流场的计算结果，需尽可能地消除随机噪声的影响。光流场可用Horn-Schunck方法中的公式迭代求解，得到目标光流场后，就可估计出目标的运动矢量，实现目标运动状态分析和分割、跟踪等处理。

2.2 引入匹配光流法的活动轮廓模型

活动轮廓模型[12]（Snake模型）是一形变模型，可用于图像分割和运动跟踪。其本质上是一能量最小的样条曲线，在内力和外力的作用下变形，外力推动活动轮廓向着物体的边缘活动，而内力保持活动轮廓的光滑性和连续性，达到平衡位置时的活动轮廓收敛到物体边缘。snake模型是一种有效的图像分割、边缘跟踪方法。这种方法同时考虑了几何约束条件和与图像数据、轮廓形状有关的能量最小等约束条件，所以能得到令人满意的分割效果。但是，该方法也存在一些不足之处：

1）分割的结果与活动轮廓的初始位置有关

2）活动轮廓很难收敛到曲率高的边缘

对于运动速度较快的物体，采用snake模型得到的初始轮廓位置与实际位置往往有较大的差距，常导致错误的收敛。为此，可用光流匹配法得到物体的初始速度，从而预测出更精确的初始位置，大大提高了分割的准确性。

针对snake模型难以正确收敛到运动速度较快的物体边缘，为此将光流匹配法引入snake模型，提高了其初始轮廓的正确性，从而帮助其正确地收敛到物体边缘。同时引入的图像统计势能减弱了snake模型对初始位置的敏感性。实验结果表明，该方法提高了snake模型对运动速度较快物体的正确分割。

2.3 特征光流法在医学中的应用

冠状动脉是供应心脏血液的血管。目前在临床上广泛采用冠状动脉造影直接观察血管病变的位置、狭窄程度、病变性质等。通过分析造影图像序列可以得到丰富的、多种多样的运动信息。这里用基于光流的特征法[13]估计血管运动参数。

求图像点位移的特征法，就是找到图像的特征（如边缘、拐点或其它位置确定的二位结构），并且跟踪它们的运动。它包括2个步骤：从2幅或多幅连续图像中提取出特征；对各帧图像的特征进行匹配。对于冠状动脉造影图像，首先从原始图像中提取出主要血管分支中的中心线，用点（xi，yi），i＝1，2，…N的有序几何表示。假设光流在整幅图像上光滑变化，使沿中心线的光流变化最小：

N 为中心线上象素点的总数。为使上式最小化，令：

得到的方程组的解为中心线上各点的运动速度（ui，vi），从而得到各点的位移：

采用特征光流法进行冠状动脉造影图像序列的分析，通过估计冠状动脉树的运动参数，得到对心脏运动的定量了解。特征光流法的主要优点在于对目标在帧间的运动限制较少，可以处理大的帧间的位移。特征点相关法在求解光流场问题时，具有计算量小、准确率高等优点，特别适应于求解稀疏光流场的场合。同时，该算法的实施还依赖于一些前提，比如：如何自动地提取图像特征、边缘、角点等信息，如何自动选取特征点等，都是有待研究的难点问题。另外，要确定搜索窗口的大小，最好根据具体问题对光流的大小有个先验估计值，这样才能既准确且兼顾效率。

梯度光流法在这里同样适用。梯度光流法和特征光流法各有优缺点。由于前者采用了基于最小二乘拟合的计算方法，因此比迭代光流算法简单且计算快；它可得到冠状动脉树上任何一点的运动参数，但无法一次获得对动脉树整体的运动估计；它不是全自动的，需要在过程开始时选择兴趣点。后者可得到动脉树整体的运动估计，并且实现了全自动的算法，不需要操作者的参与，但计算量较大，耗费的时间较长；而且由于运动估计是沿着血管中心线进行的，因此中心线提取的可靠性将直接影响该算法的准确性。

3 结束语

基于光流法的目标检测与跟踪技术，具有较高的检测精度，能完整直接地获取目标的运动参数，光流法在以上领域的初步应用，已经显示出了它自身的深厚潜力。光流法不仅可以用于航天、医学、交通和安全[14]等方面，同样，在电子制造业也有它的用武之地。光流法在多方面得到应用即可证明。不足之处是，如抗噪性不够好、计算量比较大等导致实时性常常不能满足于工程实际应用的要求，需要加以改进。多数光流法计算复杂耗时，除非由特殊的硬件支持，很难实现实时检测。所以有关如何进一步解决光流计算的抗噪性和算法的实时性，以及如何提高运算速度等问题，尚有待深入研究。

[1]刘翠响，肖伶俐.基于视频的人脸检测综述[J].电子设计工程，2011（14）：172.LIU Cui-xiang，XIAO Ling-li.Summary of face detection based on video[J].Electronic Design Engineering，2011（14）：172.

[2]Barron J，Fleet D，Beauchemin S.Performance of optical flow techniques[J].International Journal of Computer Vision，1994，12（1）：42－77.

[3]Anderson C，Burt P，vander wal G.Change detection and tracking using pyramid transformation techniques[C]//Proc Of SPIE－Intelligent Robots and Computer Vision，1985.

[4]Collins R T，et al.A system for video surveillance and monitoring，CMU－RI－TR－00－12 [EB/OL].（2003）http：//www.cs.cmu.edu.

[5]Wildes R P.A measure of motion salience for surveillance application[C]//Proc of Image Processing，1998.

[6]马颂德，张正友.计算机视觉——计算理论与算法基础[M].北京：科学出版社，1998：235－239.

[7]Barron M，Fleet D J，Beauchemin S S.Performance of optical flow techniques[J].International Journal of Computer Vision，1994，12（1）：43－47.

[8]Horn B，Schunck B.Determing optical flow[M].Artificial Intelligence，1981：185－203.

[9]Nagel H H.Displacement vectors derived from second-order intensity variations in image sequences[J].Computer Graphics and Image Processing，1983（21）：85－117.

[10]陈邦忠，王秀坛，涂建平，等.红外图像序列的运动目标检测[J].探测与控制学报，2002，24（3）：11－13.CHEN Bang-zhong，WANG Xiu-tan，TU Jian-ping.Moving target detection of infrared image sequence[J].Detection&Control，2002，24（3）：11－13.

[11]李熙莹，倪国强.红外图像的光流计算[J].红外与激光工程，2002，31（3）：189－193.LI Xi-ying，NI Guo-qiang.Optical flow computation of infrared image[J].Infrared and Laser Engineering，2002，31（3）：189－193.

[12]王以孝，王春声，程义民.引入光流法的活动轮廓模型[J].电路与系统学报，2003，8（6）：77－80.WANG Yi-xiao，WANG Chun-sheng，CHENG Yi-min.Active contour models within optical flow method[J].Circuits and Systems，2003，8（6）：77－80.

[13]姜浩，郁道银，孙正，等.光流法在冠状动脉运动分析中的应用[J].光电子激光，2004，15（9）：1128－1130.JIANG Hao，YU Dao-yin，SUN Zheng，et al.Analysis of optical flow in the coronary artery motion[J].Optoelectronics Laser，2004，15（9）：1128－1130.

[14]王昊鹏，刘泽乾.基于特征提取与认证的彩色图像人脸检测[J].电子设计工程，2012（1）：171.WANG Hao-peng，LIU Ze-qian.Face detection of the color image based on feature extraction and authentication[J].Electronic Design Engineering，2012（1）：171.