矿井车载摄像系统中电子稳像算法的研究

程德强，郭 政，郑 珍，姜海龙，刘 洁

(中国矿业大学信息与电气工程学院，江苏徐州221008)

为了保证煤矿生产的安全和加快煤炭工业现代化进程，大量的监控系统和车载摄像系统应用到矿井中。车载摄像系统在采集图像时，由于机车的运动使得摄像设备抖动，导致获取的图像序列不稳定，不仅影响监测人员对矿井现场的判断，而且对视频序列后续的预警处理造成困难，因此对车载摄像系统进行稳像处理具有重要的意义。

电子稳像技术是指对视频序列进行数字图像处理，消减摄像机的随机抖动对视频图像的干扰，实现视频图像序列的稳定［1］。电子稳像技术具有成本低、易操作、体积小、精度高、实时性强等特点［2］，已逐步取代机械式稳像［3］和光学稳像［4］。

电子稳像技术主要包括运动估计、运动滤波、运动补偿三部分［5］。运动估计就是获取帧间全局运动矢量。如何根据运动估计得到的运动矢量正确判定是摄像机的主动扫描还是随机抖动，这是由运动滤波解决的。运动补偿就是根据运动决定得到的运动参数对图像进行反方向移动，实现图像的平滑衔接。

目前对于车载摄像系统的稳像主要改进方向在于如何提取更加精确的全局运动信息以及如何实现图像序列的平滑衔接［6］。文献［7］采用灰度投影法对图像做稳像处理，由于灰度投影法对图像信息要求严格，且对噪声敏感，而矿井图像序列一般是模糊、低清晰度的，所以文献［7］的方法不适用于煤矿井下。文献［8］利用Harris算法提取图像角点，将多组解的平均值作为全局运动矢量，从而实现图像序列的稳像，具有较好的稳像效果，但是Harris算法计算量大，运算时间长不能满足实时性的要求［9］。文献［10］采用相邻帧补偿的方式对图像进行运动补偿实现了动态场景的稳像，克服了固定帧补偿方式只能对摄像系统定点拍摄的图像序列进行运动补偿的缺点，但是由于相邻帧补偿的方式易产生累积误差，因而不能长时间连续地进行稳像。

针对文献［8，10］存在的稳像处理速度慢和效果差的问题，本文提出一种基于MIC-Harris角点特征的自适应运动补偿电子稳像算法。首先采用本文提出的MIC-Harris算子提取图像序列的角点，运用NCC和RANSAC算法对角点配准，通过二维放射运动模型求取全局运动矢量;然后用Kalman滤波确定各帧的运动补偿矢量;最后利用本文提出的自适应相邻帧补偿方法对图像序列进行反方向补偿，实现对矿井图像序列的长时间连续快速稳像处理。

1 基于特征匹配法的全局运动参数估计

运动估计的算法有灰度投影法［11］、块匹配法［12］、相关相位法［13］、特征匹配法［14］。特征匹配法以图像典型特征为基本单元计算运动估计，能够很好地满足人的视觉特性，针对矿井图像序列低清晰度、易受噪声影响的特点［15］，本文采用特征匹配法估计全局运动矢量。基本步骤为:提取图像序列每一帧的特征点;建立图像序列间特征点的对应关系;通过运动模型求取全局运动矢量。

1．1 M IC-Harris特征点检测

1.1.1 Harris特征点检测

Harris角点检测［16］是基于图像的 Hessian矩阵，图像中的每一像素点有

式中:w(x，y)为高斯窗口的权值;Ix和Iy分别为像素(x，y)在水平和垂直方向的梯度。由H的特征值建立Harris的角点量计算公式

式中:det(H)=λ1λ2=AB-C2是矩阵H的行列式;tr(H)=λ1+λ2=A+B是矩阵 H的迹;a为经验值，取值范围为［0.04，0.06］。通过判断角点量R值是否大于给定的阈值，即可得该点是否为角点。

1.1.2 MIC特征点检测

Trajkovic等人［17］对角点的定义与 Moravec角点、Harris角点是相似的，即:如果存在一条通过模板矩形中心像素点的直线灰度变化强烈，则该像素点就为角点。基于多格算法的MIC角点检测算法，首先对图像进行多格处理计算简单角点量，找到候选角点。再利用插值法计算插值角点量，最终确定角点。

1.1.3 MIC-Harris角点检测

Harris算子对噪声不敏感，角点检测准确率高，但是计算量大，运算速度慢［18］。MIC算法运算速度快，角点提取效果好，但对噪声敏感，图像边界模糊时会检测出大量边界伪角点［19］。基于以上两种算子的优缺点，本文提出MIC-Harris角点检测算法。针对Harris算法运算速度慢的缺点，首先对图像进行基于多格算法的MIC角点检测提取候选角点，避免Harris算法对图像每一个像素点计算的缺点。对于MIC算子易检测边界伪角点的情况，使用Harris算法角点检测准确度高的优点克服。算法的具体步骤如下:

1)对原始图像进行多格算法处理，计算处理后图像上的每一个像素点的简单角点量，如果简单角点量大于阈值T1，则此像素点就为候选角点。

2)在原始图像上再次计算候选角点的简单角点量，如果简单角点量小于阈值T2，则认为不是角点。如果大于阈值T2，计算该像素点的插值角点量。如果插值角点量小于阈值T2，则不是角点，相反则把此像素点标记为角点，获得初始角点集。

3)对初始角点集利用Harris算子进行提炼。通过对初始角点集里的角点进行Harris角点量的计算，判断是否为角点，若不是则剔除边界伪角点。

4)用NMS(Non-Maximum Suppression)方法对角再次提炼，确定最终角点。

1．2 基于NCC和RANSAC的角点匹配

模板匹配算法具有模板易选取、计算简单、易实现、准确率高等优点而被广泛应用与图像配准［20］。本文采用一种由粗到精的匹配策略进行角点匹配，首先采用归一化互相关法(NCC)［21］进行角点模板粗匹配，接着运用RANSAC算法滤除错误匹配点。

NCC算法是基于特征点邻域像素的灰度值的相似性来进行匹配。设w1和w2分别是图像1中以角点p1和图像2中以角点p2为中心的两个大小相同的矩形框口，u1与u2为相关窗口内像素的灰度均值，(xi，yi)的取值为窗口的大小，则NCC定义如式(3)所示

角点匹配时，首先对图像1中的角点与图像2中矩形窗口中的每个角点计算相关系数，将NCC值最大的角点作为匹配点，这样得到一个匹配点集;对图像2做同样操作，得到另一个匹配点集;最后在两个匹配点集中搜索相同匹配点对，则相同的角点被认为候选匹配点。

RANSAC是一个采用迭代法来估计参数的数学模型，具有很好的剔除误匹配点的能力，经常被应用在图像匹配中［22］。NCC算法在角点粗匹配后会存在错误的匹配点对，本文采用RANSAC算法去除误匹配。

1．3 运动参数估计

运动模型包括单应性运动模型和仿射性运动模型两种，其中仿射性运动模型具有参数少、计算简单、易于实现，且实时性强的优点被广泛应用在运动参数估计中［23］。本文通过对仿射性运动模型参数估计实现全局运动矢量的计算。

仿射模型可用式(4)表示

也可表示为

式中:U，U'是坐标矢量;θ为旋转角度;R是旋转矩阵;t是平移矢量。仿射运动模型是一最小二乘问题，因此可将利用RANSAC算法筛选后的匹配点集，代入最小二乘模型计算出仿射变换最优参数解，即全局运动矢量。

2 基于Kalman滤波的运动补偿参数求解

仿射运动模型求取的运动参数包括摄像机的正常扫描运动矢量和摄像机的随机抖动矢量两部分。运动滤波的目的是较好的保留摄像机的低频主动运动，而滤除高频随机抖动。从算法实时性的角度出发，文中采用Kalman滤波［24］获取图像序列的运动补偿参数。

Kalman滤波算法是以最小均方误差为准则，包括状态方程和测量方程两部分。根据图像序列求解的全局运动参数(x，y)建立稳像系统的状态方程和测量方程。

系统的状态方程为

式中:x，y，vx，vy表示图像分别在水平和垂直方向上的位移及位移速度;N(0，σx)是过程噪声;σx和σy是过程激励噪声方差且两者相互独立的。

运动估计矢量(x，y)就是 Kalman滤波对应的测量值，其相应的测量方程为

3 基于自适应相邻帧的运动补偿

运动补偿的目的是实现图像序列间平滑衔接和动态图像序列的稳定。文献［25］采用固定参考帧补偿的方法对摄像系统定点拍摄的图像序列进行运动补偿，达到了很好的稳像效果。但实际现场随着矿下摄像载体的运动，当前帧相对于参考帧所确定的特征点所在的区域，可能会移出图像画面，即在当前帧的某些区域找不到所对应的参考帧所确定的特征点，出现失稳现象，从而不能达到对图像序列稳像的效果。文献［10］采用相邻帧补偿的方法对图像序列进行运动补偿。运动补偿矢量如式(8)所示

式中:i为起始帧即参考帧;v(n)为当前帧Pn的运动补偿矢量;m(i)为计算得到的相邻帧间运动矢量。

由式(8)知当前帧的运动补偿参数是所有运动矢量累积的结果，容易出现累积误差，使得整个图像慢慢发生偏移，最后超出补偿边界，不能够长时间连续的稳像。针对相邻帧补偿方法的缺点，本文提出一种自适应相邻帧补偿的稳像算法。具体步骤如下:

1)设阈值为T，选取第一帧图像为参考帧。

2)根据式(8)对图像进行运动补偿。

3)判断图像序列的运动补偿矢量v(n)是否达到阈值T。如果，则重新选择参考帧，以当前帧Pn为参考帧，重新计算累积运动矢量，重复步骤2);反之，则参考帧不变。

T取值太大同样会出现累积误差现象，取值太小会由于频繁更换参考帧而出现图像序列跳变现象。根据矿井车载摄像系统的实际现场情况，经过试验测得，T取图片大小的20%。

4 实验结果及分析

本文算法在处理器为 Pentium(R)Dual-Core、主频2.6 GHz硬件环境下进行实验，采用Visual Studio 2008和OpenCV联合编程。实验视频采用矿井车载摄像系统拍摄的视频，图像分辨率为640×480，视频长度为1 603帧。

4．1 M IC-Harris角点快速检测及匹配能力分析

为了更加直观的观测图像角点，实验采用积木图像(如图1a所示)进行MIC-Harris角点检测能力的测试，图像分辨率为320×240，采用MIC、Harris和本文算法MIC-Harris进行比较。图1和表1分别为3种算法角点提取效果比较图和算法处理时间。由图1和表1可以看出，本文MIC-Harris算法既保留了MIC运算速度快和Harris准确度高的优点，又克服了MIC易检测边界伪角点和Harris计算量大、运算时间长的缺点。

图1 MIC，Harris和MIC-Harris角点提取效果比较图

表1 角点检测算法处理时间

图2为NCC角点粗匹配结果图，图3为RANSCA精匹配结果图。两幅图像比较可看出，RANSAC算法可以有效去除NCC粗匹配后的错误匹配点对。

图2 NCC角点粗匹配效果图

图3 RANSCA精匹配效果图

4．2 稳像连续处理性能分析

图4 a为原始图像序列的第206帧，图4b和图4c为分别采用文献［10］算法和本文算法稳像处理后的图像。文献［10］采用相邻帧补偿方式对图像进行变换，达到稳像的效果，但相邻帧补偿方式易产生累积误差，稳像实验最终在第342帧失稳。本文算法采用自适应参考帧的方式对图像进行运动补偿，克服了累积误差的干扰，可以保持长时间稳像效果。图像的反方向补偿会导致边界信息丢失从而出现黑色边框，从图4也可看出，由于本文算法克服了累积误差，采用本文算法进行稳像处理出现的黑色边框比文献［10］的小。

4．3 稳像准确度分析

图4 稳像效果比较图

为了测试稳像算法的准确度，采用均方差MSE评价稳像效果。MSE值越小说明两幅图像重合度越高图像越稳定［26］。图5为图像序列从第200帧到第260帧稳像前后MSE值比较图，从图中可看出，稳像后图像序列MSE值小于稳像前，说明本文提出的算法对于矿井车载摄像系统拍摄的抖动视频序列具有较好的稳像效果。

图5 稳像前后图像序列的MSE对比

5 结束语

本文针对矿井车载摄像系统获取的图像序列进行了研究，提出了基于MIC-Harris角点特征的自适应运动补偿电子稳像算法。首先采用本文提出的MIC-Harris提取角点特征;然后通过仿射运动模型，求解帧间全局运动矢量，建立Kalman滤波的状态方程和预测方程预测补偿矢量;最后采用基于自适应相邻帧更新的补偿方式进行图像稳像。实验结果表明，基于MIC-Harris角点特征的的自适应运动补偿电子稳像算法可以有效地消除矿井车载摄像系统的随机抖动，并且克服了累积误差的干扰，实现长时间的稳像，为后续煤矿井下视频处理提供了基础研究。

［1］赵红颖，金宏，熊经武.电子稳像技术概述［J］.光学精密工程，2001，9(4):353-359.

［2］朱齐丹，徐从营，蔡成涛.船载折反射全景视觉系统电子稳像算法［J］.吉林大学学报，2013(5):68-72.

［3］ SUNG-JEA K.Fast digital image stabilizer based on gray-coded bitplane matching［J］.IEEE Consumer Electronics Society，1999，45(3):598-603.

［4］谷素梅，张经武.CCD摄像机光学惯性稳像跟踪头［J］.光学技术，1995，21(2):21.

［5］王智慧.基于快速特征匹配的电子稳像技术研究［D］.南京:南京航空航天大学，2012.

［6］朱娟娟，郭宝龙.电子稳像的特征点跟踪算法［J］.光学学报，2006，26(4):516-521.

［7］齐红，任洪娥，田少卿，等.一种基于灰度投影的电子稳像改进方法［J］.中山大学学报，2012，51(5):40-44.

［8］周亚军，陶声祥，张舒，等.一种基于Harris角点特征的稳像算法［J］. 激光与红外，2009，39(5):555-557.

［9］程德强，郭政，刘洁，等.一种基于改进光流法的电子稳像算法［J］.煤炭学报，2015(3):707-712.

［10］姬莉霞，李学相.基于相邻帧补偿的高速运动目标图像稳像算法及仿真［J］.计算机科学，2014，41(7):310-312.

［11］ KRISHNA R.Real-time digital video stabilization for multi-media application［J］.IEEE Proceedings of ISCAS，1998，8(6):69-72.

［12］ ZHU C.Hexagon-based search pattern for fast block motion estimation［J］.IEEE Trans.Circuits and Systems for Video Technology，2002，12(5):349-355.

［13］ HILL L，VLACHOS T.On the estimation of global motion using phase correlation for broadcast applications［C］//Proc.7th International Conference on Image Processing and Its Applications.Manchester:IET Press，1999:721-725.

［14］ HUANG JC.Automatic feature-based global motion estimation in video sequences［J］.IEEE Trans.Consumer Electronics，2004，50(3):911-915.

［15］程德强，赵国，范一武，等.矿井移动载体摄像的电子稳像算法［J］.中国矿业大学学报，2012，41(5):805-810.

［16］ HARRISC，STEPHENSM.A combined corner and edge detector［C］//Proc.4th Alvey Vision Conference.Manchester:［s.n.］，1988:147-151.

［17］ TRAJKOVIC M，HEDLEY M.Fast corner detection［J］.Image and Vision Computing，1998，16(1):75-87.

［18］陈利军.图像角点检测和匹配算法的研究［D］.西安:西安电子科技大学，2005.

［19］刘全，张乐，张永刚，等.基于角点特征的几何同步数字水印算法［J］.通信学报，2011，32(4):25-31.

［20］高峰，雷志勇.基于模板匹配的图像跟踪技术［J］.国外电子元器件，2008，15(10):34-36.

［21］ FISCHLER M A.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1998，24(6):381-395.

［22］刘相滨，邹北骥.一种基于RANSAC的柱面图像配准算法［J］.湖南大学学报，2010，37(8):79-82.

［23］孙辉，熊经武，赵红颖.电子稳像技术在船载电视监视系统中的应用［J］. 光电工程，2008，35(2):103-108.

［24］ WANG C，KIM J M.Robust digital image stabilization using the Kalman filter ［J］.IEEE Trans.Consumer Electronics，2009，55(1):6-14.

［25］郭晓冉，崔少辉.基于光流法的多分辨率电子稳像算法［J］.半导体光电，2014，39(2):340-344.

［26］张永祥.基于陀螺仪的船载电子稳像技术研究［D］.长春:中国科学院，2005.