邹文君 肖永君
摘 要: 由于目标轮廓提取方法一直存在正确姿态轮廓提取不准确的问题,提出两种新的运动动作图像正确姿态轮廓提取对比方法。通过相邻帧差法对运动动作图像正确姿态区域进行提取,在此基础上介绍了snake模型方法,其将运动动作图像正确姿态轮廓的提取问题转换成求解能量函数的极小化问题。分析了水平集方法,将演化曲线隐性地描述成运动动作图像上的三维连续函数曲面的零水平集,当水平集函数为0时,得到的结果即为轮廓提取结果。通过实验对比所提两种方法的有效性,发现snake模型方法的轮廓提取效果、完成性和信息丢失程度虽然优于其他方法,但劣于水平集方法。
关键词: 运动动作提取; 动作图像; 能量函数; 水平集; 正确姿态; 轮廓提取
中图分类号: TN911.73?34; TP391.41 文献标识码: A 文章编号: 1004?373X(2018)15?0065?04
Comparative study on extraction methods of correct pose contour in moving action image
ZOU Wenjun, XIAO Yongjun
(Institute of Technology, East China Jiaotong University, Nanchang 330100, China)
Abstract: The traditional method of target contour extraction has the problem of incorrect pose contour extraction. Two new comparative methods of correct posture contour extraction for moving action image are proposed, in which the adjacent frame difference method is used to extract the correct pose region of the moving action image. The snake model method is introduced to convert the correct pose contour extraction from moving action image into the solving of energy function minimization. The level set method is analyzed, in which the evolution curve is implicitly described as the zero level set of the 3D continuous function surface on the moving action image. When the level set function is zero, the obtained result is deemed as the contour extraction result. By comparing the effectiveness of the two methods, it is found that the snake model method is better than other methods in the aspects of contour extraction effect, completeness and information loss rate, but is inferior to the level set method.
Keywords: moving action extraction; motion image; energy function; level set; correct posture; contour extraction
目標轮廓提取就是在一段视频序列的每帧图像中精确找到所感兴趣的运动目标的轮廓[1?2]。随着运动比赛竞争的越发激烈,运动员对自身动作准确度的要求越来越高[3?4]。因此,研究一种轮廓提取方法对运动动作图像正确姿态轮廓进行提取具有重要意义,能够为运动员的训练提供技术支持[5?6]。
文献[7]提出一种离散可变模型对目标轮廓进行提取,通过图像的外部约束令轮廓曲线保持在图像边缘处,通过图像内部约束对轮廓曲线形状进行调整。该方法实现过程简单,但提取的轮廓结果不可靠。文献[8]提出一种基于带电粒子模型的目标轮廓提取方法,带电粒子模型实质上是基于物理的能够用于图像恢复的可变形模型,用带正电的能够自由运动的粒子描述目标轮廓,在各像素处放置一个带有负电静止不动的粒子,粒子电量和图像梯度成正比,将全部粒子能量的和看作系统能量,使能量达到最小即可获取目标轮廓曲线。该方法较为有效,但容易受到噪声的干扰。文献[9]提出一种基于最小作用曲面与图像二分法的目标轮廓提取方法,对最小作用曲面性质进行分析,在此基础上,将一幅图像划分为两幅小图像,以一种简单方式解决了目标轮廓曲线的提取,但通过该方法提取的轮廓曲线误差较大。文献[10]提出一种具有仿射不变性的目标轮廓提取方法,介绍了仿射变换参数的一种规范化方法,引入形殊线,通过形殊线获取两个轮廓图之间的旋转变换参数,通过遗传算法对仿射变换参数进行求解,从而完成目标轮廓的提取,该方法提取精度高,但所需时间较长。
针对上述方法的弊端,提出两种新的运动动作图像正确姿态轮廓提取对比方法,通过相邻帧差法对运动动作图像正确姿态区域进行提取,在此基础上,介绍了snake模型方法和水平集方法。通过实验对比所提的两种方法的有效性,发现snake模型方法的轮廓提取效果、完成性和信息丢失程度虽然优于其他方法,但劣于水平集方法。
当前轮廓提取方法有很多,而运动动作正确姿态轮廓提取对运动员的训练非常关键,需选用一种高效、可靠的方法,下面对运动动作图像感兴趣区域进行提取,在此基础上介绍两种有效的轮廓提取方法,对两种方法进行对比,选择较好的方法实现运动动作图像正确姿态的轮廓提取。
运动动作图像感兴趣区域的提取为轮廓提取的基础,本节选用相邻帧差法完成感兴趣区域的提取。
Snake模型是由一组控制点构成的,是一种常用的轮廓提取方法,其实质是一条被控制的连续曲线,主要和图像力及来自外部的限制力有关,用[Xs=xs,ys]进行描述,参数[xs],[ys]代表snake的位置,可写成如下能量函数:
式中:[αxs2]代表弹性能量,为[x]一阶导数的模;[βxs2]代表弯曲能量,为[x]二阶导数的模;[Eextxs]代表外部力。弹性能量与弯曲能量被称作内部力,内部力决定了运动动作图像正确姿态轮廓线的弹性形变,外部力推动snake模型靠近预期局部最小值。选择合理的参数[α]和[β],使得能量函数[E]达到极小值,则相应的[xs]即为提取的运动动作图像正确姿态轮廓。
在snake模型中,外部通常取控制点或连线所处位置的运动动作图像局部特征,本节选择梯度作为该特征,则有:
[Eextx,y=-?Gσx,y*Iix,y2] (4)
式中:[Gσ]代表二维高斯平滑方程的标准差为[σ];[?]用于描述梯度操作算子。
將运动动作图像正确姿态轮廓的提取问题转换成求解能量函数[E]的极小化问题。最小化能量方程需符合欧拉方程:
[αxs-βx-?Eext=0] (5)
式中:[α],[β]均为常数,可将式(5)看作力平衡方程。
为了对欧拉方程进行求解,将[x]看作变量是[t]与[s]的动态方程,即:
[xts,t=αxs,t-βxs,t-?Eext] (6)
在[xs,t]稳定的状态下,[xts,t]项消失,从而求解出式(5),而式(6)可利用离散化迭代求解。
Snake模型具有易于实现的优点,但对运动动作图像正确姿态初始轮廓很敏感,也就是初始轮廓曲线需接近图像期望边缘,同时在一定程度上会收敛到局部极值点,甚至发散。
Snake模型是利用最小化能量函数构建的,而几何活动轮廓模型则利用水平集方法构建,该方法可有效处理曲线的拓扑变化,且存在稳定唯一的数值解。
水平集方法的基本思想是将演化曲线[C]隐性地描述成运动动作图像上的三维连续函数[?x,y,t]曲面的零水平集。如图2所示,虚线以上的部分代表二维曲线演化,虚线以下的部分代表较其高一维的三维水平集函数变化,衔接两个过程的虚线代表该过程是在隐性过程下实现的。
水平集函数[?x,y,t]可描述如下:
[?x,y,t:R2×0,T→R] (7)
式中:[0≤t 水平集函数[?x,y,t=0]在速度场[F]的作用下开始进化: [???t=Fk??] (8) 式中:[Fk]用于描述速度函数;[?]用于描述水平集函数。在通过水平集方法对运动动作图像正确姿态轮廓进行提取前,将水平集函数初始化成符号距离函数。在进行迭代的过程中,需保证[??=1],从而与演化曲线[C]一一对应。 通过符号距离函数对初始水平集函数[?x,y,0]进行描述: [?x,y,C=dx,y,C, xisinsideC0, xisonC-dx,y,C, xisntinsideC] (9) 式中[dx,y,C]用于描述点[x,y]与曲线[C]之间的距离。速度函数可定义如下: [F=e-?Gσ*I1-εκ] (10) 式(10)是依据运动动作图像的梯度特征定义的。[F]用于描述驱动水平集函数的演化,其隐性表示闭合曲线也随之演化,直至[F]为0时停止,从而实现运动动作图像正确姿态轮廓的提取;[κ]用于描述曲率;[ε]代表[0,1]范围内的常数;[Gσ*I]用于描述运动动作图像与标准差是[σ]的高斯平滑滤波器的卷积,其中[κ]可通过下式求出: [κ=??????=?x?2y-2?xy?x?y+?yy?2x?2x+?2y32] (11) 式中[??]用于描述水平集函数梯度范数。 式(10)可通过差分法求解: [?n+1=?n-Δt?F???] (12) 速度函数[F]与运动动作图像信息相应。2 实验结果分析
为了验证和对比提出的两种轮廓提取方法的有效性,本文将某体育院校学生作为研究对象,将仿射不变性方法作为对比,对运动动作图像正确姿态轮廓进行提取。
图4描述了采集的运动动作图像原图,图5描述的是通过snake模型方法得到的运动动作图像正确姿态轮廓提取结果,图6描述的是水平集方法得到的运动动作图像正确姿态轮廓提取结果,图7描述的是通过仿射不变性方法得到的运动动作图像正确姿态轮廓提取结果。
图7中,因为运动动作图像正确姿态背景的灰度对比度小,得到的像素数较少,导致姿态轮廓不完整,存在明显的空洞。图5和图6的轮廓提取效果较好,得到的运动动作图像正确姿态轮廓较为完整,而图6较图5的边缘更加光滑,说明snake模型方法和水平集方法的轮廓提取效果均较好,水平集方法的轮廓提取性能较snake模型更好。
为了量化评估snake模型方法、水平集方法和仿射不变性方法的性能,本文引入子块数比与目标轮廓有效面积比两个指标。针对运动动作图像正确姿态轮廓的提取,预期目标为得到单一连通的完整轮廓块,所以非连通子块个数越少,则提取的轮廓越完整。受噪声、遮挡等因素的干扰,运动动作图像中一定会出现信息丢失的情况,体现在经处理的二值化图像中就是原本灰度是1的地方出现了灰度是0的信息丢失区,所以可通过计算灰度是1的面积比率对方法得到有效信息的能力进行评价。
分别采用snake模型方法、水平集方法和仿射不变性方法对同一序列运动动作图像进行正确姿态轮廓提取,得到的非连通子块个数、有效面积比的比较结果如表1所示。
表1中有效面积方差就是各个有效面积与平均有效面积之差的平方的平均数。分析表1可以看出,将一段运动动作图像序列分成32帧、46帧和60帧,经snake模型方法处理后,32帧序列时其非连通子块个数为4个,虽然略低于水平集方法,但远远低于仿射不变性方法;snake模型方法的46帧序列时,略高于水平集方法,但明显低于仿射不变性方法;snake模型方法的60序列帧对应的非连通子块个数为3个,虽然略高于水平集方法,但明显低于仿射不变性方法。说明本文提出的snake方法和水平集方法的非连通子块数量较低,提取轮廓更加完整。snake模型方法和水平集方法的有效面积比均值高于仿射不变性方法,而方差则小于仿射不变性方法,这说明snake方法和水平集方法丢失的信息相对较少。综上所述,本文提出的snake模型方法和水平集方法具有更好的轮廓提取效果。
为了选择一种有效的运动动作图像正确姿态轮廓提取方法,为运动员的训练提供可靠依据,本文提出两种新的运动动作图像正确姿态轮廓提取对比方法,通过相邻帧差法对运动动作图像正确姿态区域进行提取,在此基础上,介绍了snake模型方法和水平集方法。通过实验对比所提的两种方法的有效性,发现snake模型方法的轮廓提取效果、完成性和信息丢失程度虽然优于其他方法,但劣于水平集方法。
参考文献
[1] 许琳娟,曹文洪,刘春晶.基于图像处理的泥沙轮廓提取对比分析[J].中国水利水电科学研究院学报,2015,13(1):28?33.
XU Linjuan, CAO Wenhong, LIU Chunjing. The comparison and analysis of sediment contour extraction based on image processing [J]. Journal of China Institute of Water Resources and Hydropower Research, 2015, 13(1): 28?33.
[2] 王腾.优秀跳远运动员助跑最后三步扒地和蹬地技术动作形式和作用研究[J].搏击(体育论坛),2015,7(3):57?58.
WANG Teng. On the forms and functions of pawing and stom?ping during the last three steps for excellent long jump athletes [J]. Technique of practical fighting, 2015, 7(3): 57?58.
[3] 苗树艳,金忠.一种面向三维人脸识别的同一截面有效轮廓线提取算法[J].计算机应用与软件,2015,32(10):244?247.
MIAO Shuyan, JIN Zhong. A 3D face recognition?oriented extraction algorithm for effective contours on same section [J]. Computer applications and software, 2015, 32(10): 244?247.
[4] 杜美.第12届全运会男子跳远运动员起跳技术的运动学研究[J].体育科技,2015,36(4):21?22.
DU Mei. Kinematic analysis of take?off technique of men′s long jump in the 12th National Games [J]. Sport science and technology, 2015, 36(4): 21?22.
[5] 董本志,康欣,任洪娥.植物叶片轮廓特征提取方法研究[J].计算机工程与应用,2015,51(8):143?147.
DONG Benzhi, KANG Xin, REN Honge. Plant leaves contour feature extraction method [J]. Computer engineering and applications, 2015, 51(8): 143?147.
[6] 王培珍,丁海涛,刘纯利,等.基于结构元的煤显微图像轮廓提取算法[J].煤炭学报,2014,39(z1):285?288.
WANG Peizhen, DING Haitao, LIU Chunli, et al. Coal microscope image contour extraction algorithm based on structuring elements [J]. Journal of China coal society, 2014, 39(S1): 285?288.
[7] 陈敏,王涛,钱竞光.我国优秀男子蹦床运动员网上起跳动作技术特征分析[J].南京体育学院学报(自然科学版),2014,13(4):44?48.
CHEN Min, WANG Tao, QIAN Jingguang. Our elite trampoline athletes in action technical characteristics off [J]. Journal of Nanjing Institute of Physical Education (natural science), 2014, 13(4): 44?48.
[8] 江山.基于形体轮廓特征提取的运动动作标志分析[J].科技通报,2015,31(8):84?86.
JIANG Shan. Movement action mark analysis based on body contour feature extraction [J]. Bulletin of science and technology, 2015, 31(8): 84?86.
[9] 家建奎,齐敏,李珂.基于块处理的直线型标志符高精度轮廓提取技术研究[J].电子设计工程,2014,22(20):164?167.
JIA Jiankui, QI Min, LI Ke. The research about high precise extraction of linear mark outline based on block operation algorithm [J]. Electronic design engineering, 2014, 22(20):164?167.
[10] 陈阳,陈霞,汪军.基于图像处理的织物覆盖系数检测[J].西安工程大学学报,2016,30(1):16?20.
CHEN Yang, CHEN Xia, WANG Jun. Inspection on the cover factors of fabric based on image processing [J]. Journal of Xian Polytechnic University, 2016, 30(1): 16?20.