基于形态学和光流方程的光斑中心计算方法

赵玉华，袁 峰，张秋佳，李子帙

（1.哈尔滨理工大学应科院，黑龙江哈尔滨150080；2.哈尔滨工业大学自动化测试与控制系，黑龙江哈尔滨150001）

基于形态学和光流方程的光斑中心计算方法

赵玉华1，袁 峰2，张秋佳1，李子帙1

（1.哈尔滨理工大学应科院，黑龙江哈尔滨150080；2.哈尔滨工业大学自动化测试与控制系，黑龙江哈尔滨150001）

针对图像序列中微小光斑中心位置的计算，本文提出了一种结合灰度形态学原理和光流估计方程的中心计算方法。在对图像序列逐一进行灰度膨胀后，根据光流方程对连续三帧图像进行位置转换并叠加，完成图像中微小目标的能量增强，从而使传统的重心算法在处理这一类图像时能够达到亚像素精度。经过误差分析和实验证明，这一方法有效的解决了微小目标的中心位置计算问题。

形态学；灰度膨胀；光流方程；亚像素精度

1 引 言

为测量运动目标的位置和姿态变化，在一些特殊的环境下，经常采用在被测对象上安装激光发射装置，利用高速摄像机捕捉激光光斑来确定观测对象的实际运动情况。而当被测目标的空间坐标变化过快时，就必须对相机的曝光时间加以限制，以保证不会因为重复曝光而引起图像的动态模糊。为了满足工业生产、科学研究对于高速摄像的需求，摄像机的曝光时间已经能达到几兆分之一秒，甚至每秒钟可连续拍摄6亿幅画面的高速相机［1］。高频率的拍摄在满足了图像清晰度的同时，也造成了图像本身的亮度降低，当目标与摄像机的相对位置较远时，所拍摄到的激光光斑在成像平面上所占的像素也较少，成为弱点目标，此时，采用重心法所计算出的光斑重心往往与实际情况有较大的误差。对于以上情况，采用灰度形态学原理，对高速摄像机捕捉激光光斑进行灰度膨胀，再利用最小二乘光流估计方法将多帧图像能量叠加，增强图像的信噪比，以提高整个算法的计算精度。

2 原始图像的膨胀

由于图像中光斑目标能量较低，通过多帧图像累加的方法，可以有效的改善图像中目标光斑的能量强度，提高图像信噪比。但对于由于运动速度较大的点目标来说，直接累加并不能实现目标能量的有效积累。这样就需要将目标进行灰度膨胀，然后利用光流场的最小二乘估计，对膨胀后的图像目标进行叠加，已得到更适合重心法计算的光斑图像。

2.1 灰度膨胀

数学形态学是近年来以形态为基础对图像进行分析的一种数学工具，他的基本思想使用具有一定形态的结构元素，去量度和提取图像中的对应形状，以达到对图像分析和识别的目的。灰度形态学是数学形态学的一个分支，用于分析灰度图像，其基本运算主要有两种，即灰度膨胀和灰度腐蚀。

用结构元素b对输入图像f进行灰度膨胀，记为f⊕b，其定义为［2－5］：

式中，Df和Db分别是f和b的定义域，这里限制位移参数s－()x，t－()y在f的定义域内，灰度膨胀运算是在结构元素b定义的邻域内取f＋b的最大值，从而使图像中比背景亮的部分得到扩张，而比背景暗的部分受到收缩，收缩的程度取决于结构元素的值和形状。

2.2 结构元素的选择

在对图像进行灰值膨胀运算时，结构元素的形状和大小应根据目标的大小来选取［6－8］。高曝光频率下的激光光斑目标很小，甚至只占几个像元，要求所选的结构元素不能过大；同时目标在图像上通常近似为圆点状，其能量基本成高斯分布，所选结构元素结构也应近似于高斯分布，以保证膨胀后，图像中光斑能量分布基本不发生变化。故采用如式（2）所示的结构元素：

结构元素的选择对于之后的图像叠加也有一定的影响。当目标运动速度过快且所选择结构元素较小时，图像叠加帧数过多可能会造成目标点处噪声能量增加，并且使目标面积扩大，目标定位精度下降，计算量增加，因此，根据本文所研究的实际情况和所选择的结构元素，选取连续三帧图像进行叠加。

2.3 灰度膨胀的误差影响

图1为图像序列进行灰度膨胀的过程。其中图1（a）所示的是输入图像f和结构元素b，这里表示的是运算过程中的两种情况，图1（b）给出了最终的膨胀结果。

图1 灰度膨胀示意图

可以看出，通过灰度膨胀运算后的图像中，只是对光斑目标的大小和亮度进行的改变，并没有改变光斑的中心位置。同样，当目标较小，图像中能量分布呈阶梯状时，灰度膨胀对其中心位置的影响也很小，相对于光流估计所造成的误差可以忽略不计。

3 最小二乘光流估计与多帧图像能量累计

3.1 最小二乘光流估计原理

背景中目标的运动在图像平面上投影产生的速度场称为光流场，它反映目标运动的连续性。光流场约束方程是光流估计的基础，它建立了图像平面上任意一点时空梯度变化与该点瞬时速度（u，v）之间的光流方程关系式为［9－10］：

式中，Ex，Ey和Et分别为灰度函数E关于x，y和t的偏导；u和v为目标在x和y轴上的速度。光流方程表示运动图像中某一点的灰度时间变化率，是灰度空间变化率与该点空间运动速度的乘积［11］。实际中，灰度时间变化率可用沿时间方向的一阶差分平均值来估计：

由于光流法只适用于具有一定形状的目标，对于点目标不适用，通过灰度膨胀以后的光斑目标可以形成一个小目标区域。为避免图像的实际灰度受噪声影响，在连续的两幅图像E( x，y，t)和E (x，y，t＋1)上取具有相同u和v的同一目标上的4个不同位置的像素，组成光流约束方程：

通过光流约束方程，将前后三帧图像进行转换并叠加，然后对得到的新图像进行重心法的计算，以得到目标光斑的中心位置。

3.2 光流速度估计的误差分析

用实际光流速度(u′i，v′i)和利用公式（9）所得到的估计光流速度(ui，vi) 进行比较，可以得到平均角误差θ¯err。

式（11）中，N为光流场的像素数。光流场平均角误差反映了计算的光流场的流速矢量整体上偏离标准光流场的程度，可以根据光流场平均角误差来计算叠加后的光斑中心平均误差。

对于连续的三帧图像，将第（i－1）帧图像叠加到第i帧图像中，则其光流估计误差为：

第（i－2）帧图像叠加到第i帧图像时其光流误差为：

其中，Vi＝uiv

[]i。结合式（11）、（12）、（13），对三帧图像叠加后的合成图像进行重心法计算，则其光斑中心平均偏移量为：

从式（14）中可以看出，光斑中心偏移量与图像中光斑的移动速度有直接关系，运动速度越快则误差越大。

4 实验与误差分析

本文中采用一组320×240的图像序列，以50 mW、波长650μm的半导体激光器作为目标光源，相机的帧频为500 f／s，每幅图像的曝光频率为0.00005 s。在图像序列中，任意选取三组图像（每组图像包括三幅连续图像）按照本文中的算法进行膨胀叠加，并利用质心法求得合成图像中光斑中心位置，与原始图像序列进行比较。

表1中X，()Y和X′，()Y′分别代表原始图像和膨胀后图像中光斑的中心位置，为判断灰度膨胀对图象中心的影响程度，分别选用7×8个像素的光斑图像和1×2个像素的光斑图像进行计算，从结果中可以看出，膨胀前后所改变的只是光斑所占像素面积以及光斑的亮度，而光斑中心位置并未因此发生较大变化（误差小于0.01像素），对于之后的图象叠加的影响很小，但是由于图像光斑的能量并没有增强，因此利用质心法仍然无法对像素内位置进行细分，计算精度并没有得到提高。

表1 图像膨胀前后中心位置比较表

表2中，（Xi，Yj）和（Xi′，Yj′）分别表示原始图像和叠加图像中的光斑坐标，（ui－j，vi－j）表示两幅图像中光流速度。原始图像中，目标光斑大小约为1×2个像素，最大灰度值为59（255级）；经过灰度膨胀处理后，目标所占像素增加到3×4个像素；通过图像叠加后，光斑像素达到4×5个，光斑中心的亮度接近饱和，图像的信噪比相应提高了3倍，且误差基本可以满足亚像素精度的要求。同时从叠加结果与之前单幅图像比较可以看出，随着光斑运动速度的提高，光斑中心位置误差也随之增大，这与之前对误差的分析结果是一致的。当光斑运动速度过高时，需要增加拍摄帧数，减小光流速度以提高算法的精度。

表2 叠加图像与原始图像中心坐标位置比较表

5 结 论

本文将灰度形态学原理和光流估计方程引入经典重心法中，通过对高速低亮度的微小目标光斑图像进行逐一的灰度形态膨胀，将膨胀后的图像序列根据光流约束关系进行位置转换并累加，有效的提高了目标光斑所占的图像像亮度和信噪比，使得原本利用重心法无法精确定位的目标光斑图像中心光斑位置精度达到亚像素级别，同时，对本文中算法精度进行了估算。可以看出光流估计方程在运动目标的多帧估计和轨迹预测时效果显著，精度也较高，能够满足实际测试要求。但由于原始图像在计算光流速度以及图像彷射变换的运算量较大，对图像的实时性处理能力还有待提高，这需要在以后的研究中进一步解决。

［1］ Zhang Qiujia，Wang Hong，Liu Wei.Moving object detection optical flow vectors compensation model［J］.Laser＆Infrared，2011，41（11）：1263－1267.（in Chinese）张秋佳，王虹，刘威.光流向量补偿模型的运动目标检测［J］.激光与红外，2011，41（11）：1263－1267.

［2］ Tonissen SM，Bar-Shalom Y.Maximum likelihood trackbefore-detectwith fluctuating target amplitude［J］.IEEE Trans.On AES，1998，34（3）：796－806.

［3］ Wei Hongqiang，Feng Jinliang，Wang Jinsong，et al.Detectionmethod for smallmoving target in sequence image［J］.Chinese Journal of Scientific Instrument，2008，29（8）：1735－1739.（in Chinese）韦宏强，冯进良，王劲松，等.序列图像中弱小运动目标检测方法［J］.仪器仪表学报，2008，29（8）：1735－1739.

［4］ Xu Jianzhong，Wang Zulin，Zhao Yihuan，et al.Detection of weak pointmoving targets in infrared image sequences［J］. Optical Technique，2010，36（3）：460－463.（in Chinese）许建忠，王祖林，赵毅寰，等.红外序列图像弱小动目标检测的研究［J］.光学技术，2010，36（3）：460－463.

［5］ Qin Hanlin，Li Jia，Zhou Huixin，et al.Infrared dim and small target background suppression using shearlet transform［J］.J.Infrared Millim Waves，2011，30（2）：162－167（in Chinese）秦翰林，李佳，周慧鑫，等.采用剪切波变换的红外弱小目标背景抑制［J］.红外与毫米波学报，2011，30（2）：162－167.

［6］ Zhang Yujin.Image engineering［M］.Beijing：Tsinghua University Press，2005.（in Chinese）章毓晋.图像工程［M］.北京：清华大学出版社，2005.

［7］ Chen Yanmei，Wu Boying.An image enhancing method based onmathematicalmorphology［J］.Journal of Harbin Institute of Technology，2006，38（6）：906－908.（in Chinese）陈延梅，吴勃英.基于数学形态学的图像增强方法［J］.哈尔滨工业大学学报，2006，38（6）：906－908.

［8］ Tom V，Peli T，leung M.Morphology-based algorithm for point target detection in infrared backgrounds［J］.Proc of SPIE，1993，15（6）：2－5.

［9］ Zhou Ming，Xu Shaohui.Infrared weak-target image detection［J］.Semiconductor Optelectronics，2004，25（3）：224－227.（in Chinese）周铭，许少辉.一种红外小目标的图像检测方法［J］.光电技术应用，2004，25（3）：224－227.

［10］Rivest J F，Fortin R.Detection of dim target in infrared imagery by morphological image processing［J］.Optical Engineering，1996，7：1886－1891.

［11］Choi Jae-ho，Jang Jong-wham，Lee Seung-phil.Multiple moving object estimation in image sequences of natural scene［J］.Opt Eng.，1997，36（8）：2176－2183.

Spot centre arithmetic based on morphology and optical flow equation

ZHAO Yu-hua1，YUAN Feng2，ZHANG Qiu-jia1，LIZi-zhi1
（1.Applied Science College of Harbin University of Science and Technology，Harbin 150080，China；2.Department of Automatic Testing and Control，Harbin Institute of Technology，Harbin 150001，China）

To calculate the centre of small light points in images，an effective centre arithmetic which combinesmorphology with optical flow estimation is proposed.After dilating image sequences，three consecutive frames of the image are operated by using optical flow equation，then they are accumulated to enhance the small object energy in the images.This arithmetic makes the classical centroid method reach subpixel precision when it processes this kind of images.By error analysis and experiments，it can solve the problem of small target centre determination.

mathematicalmorphology；morphology dilation；optical flow equation；subpixel precision

TP391.4

A

10.3969／j.issn.1001-5078.2014.02.0

黑龙江省教育厅科学技术研究项目（NO：11541064）资助。

赵玉华（1970－），女，博士，副教授。主要从事视觉测量、飞行器空间姿态测量等方面的研究。E-mail：zhaoyuhua0451＠163.com

2013-07-02；

2013-07-30