非刚性运动目标识别跟踪研究现状

付秀明，严中红

（重庆理工大学药学与生物工程学院，重庆400054）

非刚性运动目标识别跟踪研究现状

付秀明，严中红

（重庆理工大学药学与生物工程学院，重庆400054）

基于非刚性目标运动跟踪问题进行分析，针对运动过程中目标会出现旋转、比例变化及形变等情况，在复杂的背景中通过特征识别匹配实现跟踪。以运动目标的检测识别方法及特征识别方法为出发点，对目前几种经典方法进行分析、比较。结果表明：与光流法及背景差分法相比，MHI在非刚性目标运动的检测准确率、实时性以及鲁棒性方面均占优势；特征匹配技术SURF则可更好地平衡处理速度和效果性能。以SIFT使用不同尺度确定稳定特征点的思路为基础，提出多小波变换图像分析方法，用于实现对序列图像运动目标的特征匹配。

非刚性目标；目标检测；运动跟踪；运动识别；多小波变换

非刚性物体运动分析被广泛应用于人脸识别、运动识别等，而机器人视觉也涉及非刚性物体形状的处理，如工业设备中带关节和可弯曲的部件。同时，虚拟现实技术要求同时对刚体和非刚性体进行重建和模拟［1］。利用序列图像中非刚性目标在边缘、轮廓、时空等方面的差异，检测出感兴趣的运动物体，提取目标轮廓形状特征等信息，并获取目标位置、尺寸、速度等运动状态，从而进行目标识别跟踪［2］。在非刚性运动研究领域，其分析方法可分为基于模型的方法和基于特征的方法［3］。由于前者不能进行精确的关键节点的识别跟踪，故在现实应用中多采用基于特征的方法，但是该方法实现自动跟踪时对背景的要求很严格。本文从目标检测与特征匹配两个方面对这些方法进行分析比较。

1　非刚性运动目标检测技术

对于复杂背景下运动目标的检测，实现实时控制对算法的实时性和准确性都有较高的要求。目前对运动序列图像的目标分割检测的主流方法是背景差分法、光流场法和MHI等［4］。

1.1光流法

Optical Flow（光流）属于较高层次的计算机视觉表述方式，这是因为图像光流的计算不需要在图像序列中建立对应的特征关系［5］。Horn和Schunck［6］创造性地将二维速度场与灰度联系，进而引入光流约束方程，得到光流计算的基本算法。其原理是利用图像的时空亮度梯度计算出一个运动场估算，用这个估算来表达图像中各个像素点的运动矢量。光流为一个瞬时速度场，由场景中运动物体被测表面上的像素运动而产生［7］。之后很多研究者基于不同的理论基础提出各种光流计算方法，将光流算法优化并广泛应用。Barron［8］对多种光流算法进行总结，将其按理论基础和与数学方法的区别分为4种：基于梯度的方法（以Horn-Schunck为典型代表）、基于匹配的方法、基于能量的方法、基于相位的方法（以Fleet和Jepson为代表）。

在摄像机静止的情况下，可以利用光流法计算运动物体的数目、速度、运动目标的距离等运动参数。光流法不需要预知图像场景的任何先验信息就能检测到运动对象，并且在摄像机运动的情况下也能检测到运动目标，但该方法计算复杂，光流场计算结果的精确性受高噪声、阴影、遮挡等情况的干扰，抗噪性能差，计算量较大，这在一定程度上限制了光流法在实时监控中的应用［9］。对于光流计算的抗噪性和算法的实时性，目前很多研究者基于光流场对其进行改进。张泽旭等［10］针对摄像机运动过程中的目标提取问题提出了基于光流场分割和边缘提取的方法，可在复杂场景的序列图像中检测出完整的运动目标。昌猛等［11］在Horm与Schunck算法的递归方程的基础上添加一个惯性因子，在保证算法性能的同时加快了算法的收敛速度，极大提高了计算效率。Singh［12］中指出，现有各种光流估计方法基本是在一个框架中，光流信息被这个框架分为两类：保持信息和领域信息，通过这两种信息提取物和融合来实现光流场的恢复。该领域的研究趋势是对光流计算的统一框架的研究。

1.2背景差分法

背景差分法通过序列图像建立背景图像的像素模型，并在此基础上将每帧图像与背景图像进行对比运算得到运动目标［13］。这种方法一般涉及对两个重要因素的考虑：一是背景模型的表示及初始化；二是背景更新的方法。背景差分法一般能提供完全的特征数据，但由于场景的复杂性、不可预知性以及环境噪声的存在，其对天气变化，光照变化，背景扰动及背景物移入、移出等情况非常敏感。例如在下雨的环境中检测运动目标，那么其检测结果的准确性及跟踪的精确性会受到运动目标阴影的干扰［14］。背景差分法对运动目标的检测效果直接受背景图像建模准确程度等因素的影响，但检测速度比较快，检测结果也较准确。

Wren等提出了基于单个高斯模型的背景构建方法，前提是假定连续图像帧中每个像素均是独立的，并且其灰度值遵循高斯分布。Koller等指出上述方法存在一定的欠缺，在此基础上进行改进，使运动目标的像素点不会叠加到背景中，可以适当地更新背景。Stauffer等提出了自适应的混合高斯模型背景构建方法，每个像素点的灰度值分布都由多个高斯分布混合表示，当有重复运动的背景（比如树枝的摇动、水面的波动等）时，这种背景通常表现为多峰，利用混合高斯模型可以很好地解决这个问题。Wu Yi-Ming等使用Kalman滤波器来对背景进行不断更新，该方法的计算复杂度相对较低，但是目标缓慢运动时会导致背景模型出现拖影问题。许多学者在其基础上进行改进。Elgammal等提出了基于和密度估计的非参数背景模型，该方法能解决树叶晃动等背景变动对运动目标提取的影响，但其计算代价过高。近年来很多学者对该方法进行优化，并取得了一定的效果。

1.3运动历史图像（MHI）

在运动历史图像的运动分割方法中，连续图像中目标轮廓在空间上的连续性成为其研究的出发点，通过每帧图像对应的目标在不同时刻加权叠加形成目标的运动历史图像，然后进行分割得到最终目标［15］。MHI的关键思想是利用浮点数来表示运动历史图像，轮廓图像通过当前系统转换为浮点矩阵后对MHI进行更新［16］。随着时间的推进，当前帧对应轮廓总是具有最大灰度值（最亮），而过去的轮廓在当前MHI中的影响会越来越小（变暗）。当过去帧与当前帧的时间超过设置的时间区段时，其影响将被清零。

在MHI中，轮廓序列凝结成灰度图像把需要的运动信息保存下来。因此，MHI能以紧凑的方式来描述运动序列，同时MHI模板对轮廓噪声不会非常敏感，例如孔、阴影和不完整的目标等。这些优势使得MHI模板适合应用于运动分析和步态分析中。MHI模板保持每个像素位置随时间的变化运动历史，并随时间衰减，利用每个像素的亮度在时间方式上表达运动流和序列。该方法对光线的要求不是特别高，但不适用于动态背景的运动分析，而仅限于对特定目标的运动分析，无法得到目标其他的信息［13］。

2　非刚性目标的特征匹配技术

在运动序列图像的目标跟踪识别过程中，除了需要对运动目标进行检测外，更重要的是对运动目标的识别。在对非刚性物体的跟踪分析中，由于非刚性物体的特性，很多方法对运动目标的特征进行抽取，然后与后续图像的特征进行匹配，以最后达到跟踪的目的［17］。本文主要分析比较SIFT、SURF以及CenSurE在图像特征匹配方面的区别。

2.1SIFT

David G.Lowez在不变量技术的特征检测方法的基础上提出了SIFT算法。该算法基于尺度空间，其SIFT描述算子对图像的一些局部特征有很好的鲁棒性，如图像的收缩、旋转、平移甚至仿射变换［18-19］。SIFT算法的特征检测基于尺度空间，在同时确定关键点的位置和所处的尺度条件下，将关键点领域梯度的主方向作为该点的方向特征，实现了SFIT算子对尺度和方向的无关性［20］。

SIFT对图像实现特征匹配的主要过程如下：①从需要处理的多张图像中提取不变的关键特征点；②为初步确定关键点的位置和所在尺度，需要利用尺度空间极值来检测特征点，但关键点的数目较多；③通过拟合三维二次函数更精确地确定关键点的位置和尺度，同时利用阈值去除对比度低的关键点和不稳定的边缘响应点，增强匹配稳定性和可靠性［21］；④对关键点领域像素的梯度方向分布特性进行统计，以此作为关键点指定方向参数，使算子具备旋转不变性；⑤对关键点的特征向量进行欧氏距离运算，以此作为多帧图像中关键点的相似性判定度量来确定匹配点［22］。

该方法对图像目标的方向和尺度有很好的鲁棒性，在较复杂的情况下能实现特征匹配，但是计算量大，匹配不够精确，并且处理速度较慢，难以实现实时特征匹配。

2.2SURF

基于SURF（speeded-up robust features）算法的图像匹配方法由Bay在2006年［23］提出，它采用一种新的横向扩展和旋转不变的特征点检测和描述符，在SIFT的基础上将特征匹配的算法进行优化，其核心是对整个图像进行卷积。为了平衡处理速度与效果性能，SURF在发挥现有的检测和描述算子优势的基础上，构建以Hessian矩阵为测量标准的检测方法以及一种基于分布的描述算子。文献［24］进一步完善了SURF算法，所构建的USURF算子用于特征匹配时具有较好的尺度旋转不变性。该算法由于不利用颜色进行检测，所以对光照有很好的鲁棒性，同时利用全仿射不变特征的稳健性能可有效避免对旋转不变性矫枉过正的情况。

SURF算法的检测过程与SIFT算法类似，两者的不同之处主要在于SURF算法将方框滤波近似代替二阶高斯滤波以生成尺度空间，同时利用haar小波代替直方图来统计特征点的主方向以及生成特征向量［25］。SURF算子在很多方面都优于以往类似的方法，如重复性、独特性、鲁棒性，保持所提取的特征向量依然具有旋转不变性以及尺度不变性。这不仅使得该方法在特征匹配中的精确度比较理想，同时在计算速度上也有所突破［26］。SURF算法与Harris角点检测算法相比，精度有所提高；与SIFT算法相比，解决了运算量的问题，在一定程度上提高了实时检测性能。

2.3CenSurE

Agrawal等在结合SIFT、SUFT性能的基础上提出Center Surround Extremas方法。CenSurE是一种计算效率极高的局部不变特征［27］，其主要思路是首先利用双层高斯拉普拉斯滤波器构建尺度空间，用积分图像加速计算每个像素点的中心环绕哈尔小波响应值，然后采用非极大值抑制方法检测局部极值，最后滤除响应值较小和分布在图像边缘或线上的不稳定点。

在实际工程中，相邻两帧之间通常只有几个像素的小范围距离变化，动态场景变化缓慢［28］，不会发生突变。因此，求解单应性矩阵所需的特征点提取算法需要有较好的实时性，并且对小尺度平移、旋转和缩放变化具有很好的不变性，对于光照、噪声和一定程度的视角变化也具有适应性。CenSurE算法可较好地满足上述要求。

CenSurE特征具有计算效率高、特征点坐标精确等优点，对小尺度的旋转、缩放和平移具有很好的稳定性，对光照和噪声也具有较好的适应性，目前已在目标跟踪、识别等实时性要求较高的场合得到应用。

2.4多小波变换

本文在结合SIFT与SURF算法的多尺度思想基础上提出图像的多小波变换分析法。多小波变换的本质是利用多个不同的滤波器对图像进行滤波处理，每个滤波器有不同的频率响应范围，将原图像变换成多个频段上的图像。在多小波变换中的多尺度就是图像空间变化的多个频率分段，与SIFT与SURF的多尺度基于空间尺度是相同的，只是分析的角度不同而已。多小波变换后多频段上的图像之间存在某种关系，本质上也与SIFT在不同尺度上寻找图像特征的机制是相同的。但是多小波变换计算更简单、明确、直接，可以利用小波的各种特性如极值、局部特性等实现不同特征的检测，同时小波理论有非常完善的理论分析框架，便于分析计算，甚至由小波特征点可以重建原始图像，显然这是SIFT与SURF无法达到的，这些也是笔者感兴趣的研究问题。

3　结束语

在通过运动序列图像对运动目标的跟踪识别过程中，主要是对运动目标的识别操作以及利用特征匹配来实现目标跟踪操作。在这些操作处理过程中会遇到以下主要问题：①有无遮挡。在图像视场范围内，经常遇到这样的问题：运动目标在过程中会出现被遮挡的现象，在运动目标识别过程中如何将不完整的运动对象与完整运动对象匹配。②多目标识别问题。运动目标的数量对研究有一定的影响，单目标的识别跟踪相对来说比较简单，目前技术也较成熟，但是对于多个运动目标的识别则更具有挑战性，同时多目标识别跟踪还涉及多目标的重叠问题。

序列图像的运动目标提取在实际应用中很有价值，单一方法在运动目标检测跟踪中均存在一些问题，故研究中更多地是将不同的方法有效地融合在一起，在相互弥补不足的同时将重要的参数指标提高。目前在摄像头运动时的多目标提取尤为困难，但其研究价值更高，亟待突破。

［1］李防震，胡匡祜.非刚性运动分析方法的现状与展望［J］.中国图象图形学报：A辑，2005，10（1）：11-17.

［2］吴乐，黄东军.基于视频流的运动目标跟踪技术的研究［J］.科技信息，2008（3）：76-77.

［3］胡海燕，黄文清，李文杰，等.基于MRF和神经网络的三维运动参数估计［J］.工业控制计算机，2012，25（4）：92-93.

［4］屠礼芬，仲思东，彭祺.基于混合差分法的运动目标检测［J］.科学技术与工程，2012（2）：325-329.

［5］胡以静，李政访，胡跃明.基于光流的运动分析理论及应用［J］.计算机测量与控制，2007，15（2）：219-221.

［6］Horn B K，Schunck B G.Determining optical flow［C］// 1981 Technical Symposium East.International Society for Optics and Photonics.［S.l.］：［s.n.］，1981：319-331.

［7］Royden C S，Holloway M A.Detecting moving objects in an optic flow field using direction-and speed-tuned operators［J］.Vision research，2014，98：14-25.

［8］Barron J L，Fleet D J，Beauchemin S S.Performance of optical flow techniques［J］.International journal of computer vision，1994，12（1）：43-77.

［9］侯宏录，李宁鸟，刘迪迪，等.智能视频监控中运动目标检测的研究［J］.计算机技术与发展，2012，22（2）：49-52.

［10］张泽旭，李金宗，李宁宁.基于光流场分割和Canny边缘提取融合算法的运动目标检测［J］.电子学报，2003，31（9）：1299-1302.

［11］昌猛，吴新根.一种快速的光流场计算方法［J］.东南大学学报，1999，29（5）：101-104.

［12］Singh A.An estimation-theoretic framework for imageflow computation［C］//Computer Vision，1990.Proceedings，Third International Conference on.USA：IEEE，1990：168-177.

［13］王孝艳，张艳珠，董慧颖，等.运动目标检测的三帧差法算法研究［J］.沈阳理工大学学报，2012，30（6）：82 -85.

［14］张娟，毛晓波，陈铁军.运动目标跟踪算法研究综述［J］.计算机应用研究，2009（12）：4407-4410.

［15］屈桢深，于萌萌，姜永林，等.应用小波模历史图像的运动车辆视频检测［J］.西南交通大学学报，2012，47（3）：439-445.

［16］Ahad M A R，Tan J K，Kim H，et al.Motion history image：its variants and applications［J］.Machine Vision and Applications，2012，23（2）：255-281.

［17］侯宏录，李宁鸟.一种基于运动目标识别的智能视频监控系统［J］.兵工自动化，2012，31（3）：5-9.

［18］LOWEDG.Object recognition from local scale in variant features［C］//Proc.of the International Conference on Computer Vision.［S.l.］：［s.n.］，1999：1150-1157.

［19］LOWEDG.Distinctive image features from scale in variant key points［J］.International Journal of Computer Vision，2004（6）：91-110.

［20］蔺海峰，宇峰，宋涛.基于SIFT特征目标跟踪算法研究［J］.自动化学报，2010，36（8）：1204-1208.

［21］李二森，张保明，刘景正，等.SIFT特征匹配技术在自动相对定向中的应用［J］.测绘科学，2008，33（5）：16 -18.

［22］张永宏，杨戈，郝培培，等.基于SURF特征的PCB图像拼接算法研究［J］.制造业自动化，2013，35（7）：71 -74.

［23］Bay H，Tuytelaars T，Van Gool L.Surf：Speeded up robust features［M］//Computer Vision-ECCV 2006.Berlin：Springer Berlin Heidelberg，［S.l.］：［s.n.］，2006：404-417.

［24］Bay H，Ess A，Tuytelaars T，et al.Speeded-up robust features（SURF）［J］.Computer vision and image understanding，2008，110（3）：346-359.

［25］仝如强，黄玉清，田瑞娟.SURF算法及其对运动目标的检测跟踪效果［J］.西南科技大学学报，2011，26（3）：63-67.

［26］李秀艳，刘铁根，邓仕超，等.基于SURF算子的快速手背静脉识别［J］.仪器仪表学报，2011，32（4）：831 -836.

［27］Agrawal M，Konolige K，Blas M R.Censure：Center surround extremas for realtime feature detection and matching［M］.Computer Vision-ECCV 2008，Berlin：Springer Berlin Heidelberg，2008：102-115.

（责任编辑杨黎丽）

Research Status of Target Identification and Tracking of Non-Rigid Motion

FU Xiu-ming，YAN Zhong-hong
（College of Pharmacy and Biological Engineering，Chongqing University of Technology，Chongqing 400054，China）

The analysis based on non-rigid object motion tracking.In a complex background by the feature，we identified the tracking match through the goal conditions of rotation，scaling and deformation changes in the campaign course.The starting point was to analyze the detection and identification method and feature recognition method of moving targets and to comparatively analyze on the current development of several classical methods.Compared with the optical flow method and background subtraction，MHI has advantages in non-rigid object motion detection accuracy，timeliness and robustness dominant.Feature matching technology，SURF can better balance processing speed and effectiveness of performance.Based on the idea of the SIFT of different scales to determine the stability feature points，we proposed multi-wavelet transform image analysis，which was used to implement the feature match of image sequences moving targets.

non-rigid target；target detection；motion tracking；motion recognition；multiwavelet transform

TP391.4

A

1674-8425（2015）04-0081-05

10.3969/j.issn.1674-8425（z）.2015.04.016

2014-12-20

重庆市教委科学技术研究项目（KJ120807）

付秀明（1991—），女，江西赣州人，硕士研究生，主要从事计算机医学图像与信号处理方面的研究；通讯作者严中红（1964—），男，重庆垫江人，博士，教授，主要从事计算机医学图像与信号处理方面的研究。

付秀明，严中红.非刚性运动目标识别跟踪研究现状［J］.重庆理工大学学报：自然科学版，2015（4）：81 -85.

format：FU Xiu-ming，YAN Zhong-hong.Research Status of Target Identification and Tracking of Non-Rigid Motion［J］.Journal of Chongqing University of Technology：Natural Science，2015（4）：81-85.