引入Harris角点检测的运动图像边缘轮廓提取

于海鹏，王佳欣，文政颖

(河南工程学院 计算机学院，河南 郑州 451191)



引入Harris角点检测的运动图像边缘轮廓提取

于海鹏，王佳欣，文政颖

(河南工程学院 计算机学院，河南 郑州 451191)

对运动目标图像进行边缘轮廓特征提取，提高运动图像的电子稳像性能，从而准确实现运动目标的检测和识别.提出了一种基于Harris角点检测的运动图像边缘轮廓提取算法，对运动图像进行仿射不变闭合区域增强处理，采用Kalman滤波和运动状态相邻帧补偿的方法进行运动图像Harris角点检测，提高相邻两帧之间边缘轮廓的角点检测能力，实现了运动图像边缘轮廓的提取和稳像处理.仿真结果表明，用该方法进行图像边缘轮廓角点提取的准确度高且稳健性好.

Harris角点检测；电子稳像；边缘轮廓提取；运动图像

采用图像处理技术进行成像区域边缘轮廓的特征识别和信息提取，能准确反映图像的内部细节特征，在实现基于视觉分析的图像特征提取和智能模式识别等方面具有重要的意义.高速运动目标图像在成像和采集过程中受到的扰动较大，会造成部分的图像信息丢失，通过对运动图像的边缘轮廓进行特征提取，实现对运动图像的稳像处理和图像识别，相关算法研究受到了广大专家的重视.

电子稳像的基础是对运动图像边缘轮廓的特征提取和角点检测，由此确定稳像的阵列分布范围[1].对运动图像边缘轮廓特征提取的传统方法主要采用的是基于主成分分析(Principal Component Analysis, PCA)的线性判别方法[2-3]，该算法往往计算开销较大，易出现角点信息丢失，需要的先验知识也较多.对此，相关文献进行了改进设计，文献[4]提出了一种基于块匹配的运动模糊图像的边缘轮廓提取方法，但当图像受到较大的噪声污染时，识别精度不高，稳像处理后的角点标记重复率较高且性能不好.针对上述问题，提出了一种基于Harris角点检测的运动图像边缘轮廓提取算法,实现对运动图像边缘轮廓的提取，仿真实验得出了有效性结论.

1　运动图像采集和图像增强预处理

1.1运动图像采集与图像全局运动模型模拟

为了提高对高速运动图像的识别能力，需要进行图像的边缘轮廓提取以提高图像的稳像能力，这是进行电子稳像设计的基础.由于输入图像受到暗原色的影响，图像的亮度和纯度不够，需要进行图像增强处理.通过仿射变换，利用直方图均衡方法对输入的原始图像进行二值化处理[5]，通过角点检测方法标记出图像中物体的轮廓和几何形状，在仿射不变闭合区域中提取图像中物体的边缘特征，实现图像增强，算法的总体流程如图1所示.

根据总体设计流程，分析运动图像的位移等参量，分别对运动图像在水平位移、纵向位移、旋转移动及缩放过程中的运动参量进行估计，进行图像增强和边缘轮廓提取，运动图像的几种位移模型如图2所示.

在图2所示的运动模型中，构建仿射不变闭合区域进行图像匹配，突出图像的边缘轮廓特征，以水平位移为例进行分析，假设图像在水平运动过程中，原图像为F，经过仿射变化处理后的二值图像为G，在仿射不变区域，图像低频重构过程可描述为

Gt=AFt-1+t，

(1)

式中：Ft=[xt，yt]T是仿射变换后图像第t帧中点的坐标.读取图像的高度H，假设相邻帧运动图像的像素点关联特征分别为PE1和PE2，将二值化图像看作二维数组，得到图像边框连通邻域内的轮廓运动幅值为

(2)

(3)

式中: Lxx(x,σ)是仿射不变区域灰度图像的高斯函数二阶偏导数和二维卷积，Lxy和Lyy分别为二值化图像在仿射不变区域的累积概率分布.通过上述处理，实现了对原始运动图像的采集、运动模型的构建及参量估计.

图1　算法设计流程Fig.1　Flow chart for algorithm design

图2　运动图像的位移及运动模型全局估计Fig.2　Global estimation of motion picture displacement and motion model

1.2图像增强预处理

在上述图像运动模型的构建和特征参量全局估计的基础上，为提高对运动图像中物体的轮廓和边缘几何形状的提取和检测能力，需要进行图像增强处理.根据图像连通区域的仿射不变性，原始的运动图像中有很多闭合的区域，假设仿射不变闭合区域分布均匀，收敛到最小二乘法拟合的清晰图像与模糊核的误差范围上，对于灰度图像G得到运动图像的二乘拟合过程为

(4)

(5)

由此可见，采用直方图二值图像增强标准，运用最小二乘法度量区域间的差异和区域内的尺度均衡性，求得邻近两个尺度相对应的像素迹，得到角点(x，y)的亚像素级坐标，通过关联度的角点筛选，使其满足：

trace(x，y，σ(n))>trace(x，y，σ(l))， l∈{n-1，n+1},

(6)

式中:trace(·)表示图像角点(x，y)的像素迹，定义为

trace(x，y，σ)=σ(Lxx(x，y，σ)+Lyy(x，y，σ)).

(7)

(8)

式中：assoc(A，V)指角点周围的像素点子集A中的边连接权重总和，assoc(B，V)也是类似的定义.通过上述图像增强处理，角点尺度值响应强度最大，角点匹配性能提升.

2　Harris角点检测及图像边缘轮廓提取改进

2.1Harris角点检测

在进行了运动图像模型参量估计和图像增强处理的基础上，提出了一种引入Harris角点检测的图像边缘轮廓特征提取算法，对运动图像进行Kalman滤波及运动状态的相邻帧补偿，以提高检测精度和稳像能力.首先给出图像的Kalman滤波过程[6]，假设一个全幅原始运动图像的水平位移、纵向位移及旋转运动的参数分别为θ,Δx和Δy，对图像的运动参数进行离散化处理，得到θ(k),Δx(k)和Δy(k).运动图像滤波过程中的Kalman传递函数为

s(k)=φ·s(k-1)+w(k)，

(9)

式中：

(10)

初始化Kalman滤波器，定义K=0，求解S(0)得到运动参数的变化分量，判断图像噪声点，通过Kalman滤波得到当前时刻图像的特征点匹配函数为

s(k|k-1)=φ·s(k-1|k-1).

(11)

执行滤波状态系数更新，求得相应时刻子块内噪声点的多尺度均衡值s(k|k).由于s(k)=[θ(k)，Δx(k)，Δy(k)]，采用Kalman滤波可以求得各个运动参数，降低图像的噪声强度，提高运动图像的稳像能力.在对运动图像进行Kalman滤波后，为了减少运动过程中采集的两幅图像的叠加区域、提高图像的边缘轮廓特征提取精度，采用相邻帧补偿的方法对运动图像进行Harris角点检测优化，对运动图像的相邻帧补偿的原理描述如图3所示.

图3　运动图像的相邻帧补偿Fig.3　Adjacent frame compensation for moving images

对运动图像进行特征匹配，相邻帧补偿的运动矢量迭代过程可描述为

(12)

(13)

式中：Ic(y)为像素值，A为幅度，Ω(x)为平面随机场邻域空间.在相邻帧运动过程中，相邻两帧之间求解图像的相位差为

(14)

(15)

式中：J为Harris方向矢量，i为当前帧Ic的灰度值，n为迭代次数.沿梯度方向对图像的角点信息进行累加处理，在一个7×7像素滑动窗口中采用Harris角点检测选定图像的边缘轮廓区域，通过Harris单帧角点匹配，实现对运动图像的运动特征提取：

(16)

式中：R(k1，k2)为灰度补偿向量，Ki为子块内的噪声系数.根据边缘检测区域间的差异值，如果两幅图像完全不相似，可以得到其邻域周围的像素点的二维特征R(k1，k2)如下：

(17)

2.2运动图像的边缘轮廓提取改进

(18)

(19)

图像的边缘轮廓中蕴含着图像的局部特征，通过轮廓特征提取，计算像素点图像尺度空间的极值，得到边缘轮廓内角点的响应强度分别满足：

(20)

(21)

设尺度σ的高斯滤波函数G(x,y,σ)含有N个对称正定张量[8]，运动图像的边缘轮廓特征的二阶基础矩阵M为

(22)

式中:G(σI)表示图像尺度空间的角点判别函数，σI为Harris积分尺度，σD为微分尺度，(x,y)为角点所处邻域的坐标，L(x，y，σD)表示经过Harris角点检测后的增强图像，Lx(x，y，σD)和Ly(x，y，σD)分别表示图像在横向平移x方向和纵向平移y方向的一阶导数，Lxx(x，y，σD)和Lyy(x，y，σD)为互相关函数.通过上述设计，构建图像边缘轮廓输出的雅克比矩阵：

(23)

通过尺度归一化处理，实现图像的边缘轮廓提取，达到运动图像稳像的目的.

3　仿真实验与性能分析

为了验证本算法的性能，进行仿真实验.实验中，图像采集设备为Nikon D7100，将设备架于高速运行的小艇上，在运行过程中对岸上的参照物进行视频采集，截取其中的第200帧和第308帧图像画面，得到的原始待处理图像如图4所示.

以图4为研究对象，通过Harris角点检测，实现图像的边缘轮廓提取.为了对比算法的性能，采用本算法和传统的块匹配方法及主成分分析方法进行对比，得到运动图像边缘轮廓特征的角点检测结果,如图5至图7所示.

图4　原始图像Fig.4　Original images

图5　用主成分分析方法进行边缘轮廓提取的结果Fig.5　Extracting the edge contour principal component analysis

图6　用块匹配方法进行边缘轮廓提取的结果Fig.6　Block matching method for edge contour extraction

图7　用本算法进行边缘轮提取的结果Fig.7　Extraction result of the new method

通过上述分析可知，采用本算法对运动图像进行边缘轮廓的角点检测标记和特征提取，标定点准确且避免了重复标定.而用主成分分析方法对图像边缘轮廓的角点检测过程中类间离散度过大，导致关键角点信息缺失;用块匹配方法进行角点检测时重复率过高，信息冗余，增大了计算开销的同时也限制了特征提取的准确率.为了定量分析算法性能，采用本算法和传统方法在不同的尺度变化及旋转角度下对研究样本的第200帧图像进行边缘轮廓角点检测，得到的角点匹配率对比结果如图8所示.

图8　边缘轮廓角点匹配率对比Fig.8　Comparison of edge contour corner matching rate

从图8可见，采用本算法进行边缘轮廓检测，角点的匹配率均在60%以上，说明边缘轮廓的角点检测结果是有效的，且角点匹配率曲线相对平缓，说明该方法的稳健性较好，有效提高了对目标图像的识别性能.以此为基础，以其中的第200帧图像为例，通过不同方法进行图像的边缘轮廓提取，得到不同方法下进行运动图像电子稳像处理后的输出结果,如图9所示.

图9　稳像处理输出结果对比Fig.9　Comparison of output results of image stabilization

从图9可见，由于本算法采用Kalman滤波和相邻帧补偿的方法，有效补偿和修复了图像中模糊的边缘轮廓特征，故性能优于传统方法.

4　结语

本研究提出了一种引入Harris角点检测的运动图像边缘轮廓提取算法，采用Kalman滤波和运动状态帧补偿方法进行运动图像Harris角点检测，提高了运动图像相邻两帧之间边缘轮廓的角点检测能力，实现了运动图像边缘轮廓的提取，该方法的准确度高、稳健性好，实现稳像处理的性能优越.

[1]李计添,何永强,陈财森，等.一种基于灰度投影算法的车载电子稳像方法[J].红外技术,2010，32(6):328-332.

[2]姜浩,冯敏,肖桐,等.基于线状特征增强的TM遥感影像细小河流提取方法[J].测绘学报,2014,43(7):705-710.

[3]盂勃，韩广良.基于改进的尺度不变特征变换特征点匹配的电子稳像算法[J].计算机应用，2012，32(10):2817-2820.

[4]彭小江，张家树.基于特征匹配和校验的鲁棒实时电子稳像[J].光子学报,2011,40(9):1442-1446.

[5]任少盟，魏振忠，张广军.基于扩展Kalman预测模型的双目立体视觉图像特征点跟踪方法[J].电子测量技术，2012， 35(1):71-75,84.

[6]朱娟娟，郭宝龙.一种运动载体摄像的自适应稳像系统[J].光学激光，2007，18(1):108-112.

[7]杨宜菩,杨帆,潘国峰,等.基于同态系统滤波的高分辨率遥感图像河流信息提取[J].计算机应用,2016,36(1): 248-253.

[8]马忠丽，李慧凤，文杰,等.高速水面艇视觉系统电子稳像算法[J].计算机应用研究，2014,31(2):633-636.

Research on edge contour extraction of moving image based on Harris corner detection

YU Haipeng，WANG Jiaxin，WEN Zhengying

(College of Computer， Henan University of Engineering， Zhengzhou 451191， China)

The edge contour feature extraction of moving object image can improve the performance of electronic image stabilization in order to realize the moving object detection and recognition. A contour extraction algorithm for movement of the edge of the image based on Harris corner point detection is proposed, with affine invariant closed enhancement processing and moving image affine invariant closed enhancement processing. Moving image Harris corner detection uses Kalman filtering and motion state of adjacent frames compensation method to improve the contour of image motion between two adjacent frames between corner detection ability, realize moving image contour extraction and stability of image processing. Simulation results show that the proposed method is of high accuracy, and good robustness.

Harris corner detection; electronic image stabilization; edge contour extraction; motion image

2016-01-15

河南省高等学校重点科研项目(15A520055；17A520025)

于海鹏(1979-)，男，河南鲁山人，副教授，主要研究方向为图像处理与计算机应用.

TP391.9

A

1674-330X(2016)03-0069-06