基于序列图像提高光斑质心定位精度

钱 锋，杨名宇，张晓沛

(1.中国科学院 长春光学精密机械与物理研究所， 吉林 长春 130033；2.中国科学院大学，北京 100049；3.加利福尼亚大学 洛杉矶分校 亨利·萨缪里工程与应用科学学院，美国，加利福尼亚州，洛杉矶市，CA 90095)



基于序列图像提高光斑质心定位精度

钱 锋1，2*，杨名宇1，张晓沛3

(1.中国科学院 长春光学精密机械与物理研究所， 吉林 长春 130033；2.中国科学院大学，北京 100049；3.加利福尼亚大学 洛杉矶分校 亨利·萨缪里工程与应用科学学院，美国，加利福尼亚州，洛杉矶市，CA 90095)

针对激光模拟射击系统对激光光斑进行快速、高精度质心定位的要求，提出了一种基于视频序列图像的光斑检测与高精度质心定位方法。该方法首先利用帧间差分图像和噪声估计参数对射击突发事件进行检测；然后利用噪声估计方法确定光斑的分割阈值，结合形态学滤波对目标光斑和背景噪声进行有效分割，提取光斑区域，同时降低窗口内外噪声。最后，用4帧差分图像合成1帧高分辨率的图像来抑制图像噪声和计算误差的影响，实现光斑质心的高精度定位。实验结果表明，本文方法的光斑质心定位精度与稳定性均优于传统的方法；其中光斑质心定位精度达到了亚像素级别，稳定性度量平均值为0.000 49，优于传统方法的0.002 97。得到的结果显示，提出的方法有助于提升激光射击系统的性能。

光斑检测；质心定位；灰度重心法；序列图像；激光模拟射击

1 引 言

传统的士兵射击训练，通常采用空枪瞄准和实弹射击相结合的训练方式。空枪瞄准训练效率低，周期长；而实弹射击训练开支大，受训练场地限制，而且容易受天气影响，还要考虑安全因素。这些不利因素使得士兵对射击技能的熟悉和掌握程度受到影响，训练效果非常有限。近年来，以光代弹，人们采用激光射击系统模拟多种武器的射击情况[1-3]。这样不仅节省了弹药开支，减少了场地的限制，而且能检验射击效果，可以大大提高战士们的射击水平。

激光模拟系统大致有以下几种：(1)使用光电二极管阵列接收激光信号。但这种方法的后续处理电路复杂，而且容易受到干扰，易出现误触发、误操作现象[4]；(2)使用硅光电池做成激光探测器阵列，接收激光信号。这种方法加工困难，后续处理也比较复杂[5]；(3)使用摄像机或者摄像头拍摄带有激光光斑的靶面图像，在电脑上进行图像处理，得到打靶成绩[6-8]。该技术也被广泛应用于光学精密跟踪和精密测量等应用中[9-10]。其中，射击激光光斑的快速、高精度的质心定位问题是该方法的关键。

影响光斑质心定位精度的关键因素之一来源于传感器在探测光斑时所引入的误差，主要包括传感器离散采样误差、霰粒噪声、读出误差和背景噪声等的影响[11]。通常通过阈值法和窗口法来降低这些噪声的影响，进而提高质心的定位精度。但是，阈值选取过大可能滤除光斑的有效信号；阈值过小时，又会引入较大的随机误差[12]。窗口法是通过控制窗口的大小，使其与光斑尺寸相匹配，以排除窗口外噪声，从而减少噪声的影响，但无法抑制窗口内噪声的影响[13-14]。文献[15]选用3帧连续的图像，对第1、3帧图像建立处理模型，经过内插后与第2帧图像相结合，实现暗弱空间目标的高精度定位。这种使用时间相邻的多帧序列图像内插法来提高图像精度的策略被广泛应用于超分辨领域[16]。

本文提出了一种针对CCD(Charge Coupled-Device)相机所采集的序列图像的高精度质心定位方法。该方法通过背景噪声进行估计，利用帧间差分图像对设计突发事件进行检测。然后利用噪声估计确定光斑的分割阈值，结合形态学滤波和的方法将目标光斑与背景分离，提取光斑区域，同时降低窗口内外噪声的影响，突破了传统通过尺寸控制的窗口法不能降低窗口内噪声的局限。最后，利用4帧差分图像合成1帧高分辨率图像，以降低图像噪声与计算误差的影响，通过质心的加权求平均法实现光斑质心的高精度定位。通过实验对比分析了本文方法与传统方法的性能。

2 基本工作原理

采用视频检测方法模拟激光射击需要解决的3个主要问题包括：(1)对射击突发事件进行检测；(2)对激光光斑进行检测与提取；(3)对光斑质心进行高精度定位。本文采用固定CCD相机对激光射击的训练靶场进行监视，获取连续的靶面视频图像帧i=1，2，3，…，N(N为总帧数)。通过对两相邻帧(k，k+1)做差分后取绝对值生成差分图像。若激光光斑目标未出现在视频帧中，由于图像背景不变，则其差分图像中仅包含CCD相机的噪声信息；若光斑出现在视频帧中，则该时刻所处的差分图像中存在明显的高亮光斑。因此，通过检测差分图像中是否包含高亮光斑就可以判定射击事件是否出现，完成射击突发事件的检测。

在光斑的检测与提取过程中，需要将光斑的边缘与周围噪声分割开[17-18]，而分割效果的优劣将直接影响后期的光斑质心定位结果。为了提高激光光斑质心的定位精度，在检测到射击事件后，连续存储光斑出现后的4帧图第j+1、j+2、j+3和j+4帧，将其分别与前一时刻光斑未出现的帧j做差并取绝对值，获得4帧差分图像d1、d2、d3和d4，如图 1所示。图d1中的亮斑即为射击激光的光斑。随后，将具体介绍如何对射击突发事件进行检测；如何提取目标光斑，并降低窗口内外的噪声影响；最后研究了如何通过序列图像方法提高光斑局部区域的分辨率，以达到提高光斑质心定位精度的目的。

图1 由序列图像生成差分检测图像的过程

2.1 射击突发事件检测

2.1.1 噪声估计

受CCD相机霰粒噪声、读出噪声等的影响，相邻两帧的差分图像并非完全“干净”，它们存在着随机分布的噪声[19]。因此，在判断是否出现射击光斑的突发事件时需要先排除噪声的影响。除此之外，在后续的光斑质心定位过程中，这些噪声对定位精度也有较大影响。为了排除噪声的影响，本文抽取射击活动开始前的10帧差分图像进行统计，利用其统计特性估计噪声。分别统计10帧差分图像的直方图，相加之后获得总的直方图，如图2所示。

图2 由10帧差分图像获取的总统计直方图

如图2所示，差分图像中约有84.71% 像素点的值为零，表明这些像素点不含有噪声。而噪声共占有的像素约为15.29%，其灰度值呈递减趋势分布在1～6之间，最大值为6。根据实际的实验数据，激光光斑的中心峰值灰度一般在8左右，为保留一定的余量，噪声与光斑的分割阈值选为10。

2.1.2 射击突发事件的判定

可以将射击突发事件是否出现的问题建模为二值假设检验：

(1)

其中：H1表示在第j帧和第j+1帧之间有射击突发事件发生；H0表示在第j帧和第j+1帧之间不存在射击突发事件。则判定准则为：

(2)

其中：card(*)表示集合中元素的个数；Rs表示差分图像中非噪声点的集合；η为光斑判定阈值。根据实际实验数据知，光斑所占像素数为30左右，因此取η为20。集合Rs表示为：

(3)

式中：Ix，y表示图像中点(x，y)的灰度值。根据2.1.1节噪声估计所提出的经验阈值，ξ取为10。简而言之，当前差分图像中，若非噪声点集合Rs的元素个数不小于阈值η，则判定此差分图像中存在激光光斑，即第j帧与第j+1帧之间有射击突发事件发生。

2.2 光斑的检测与提取

讲武堂在1912年后继续发展，直到1928年，在南京国民政府“统一”的背景下，讲武堂第4期学员龙云执掌云南后，不得不改头换面在办学方面做新的调整。

在射击突发事件判定过程中，需要对差分图像进行遍历搜索，得到非噪声点集合Rs。与此同时，可通过记录非噪声点的坐标，对其进行粗定位，划分出窗口大小为12×12的光斑区域[20]，如图3(a)所示。然后，需要对光斑区域和背景噪声进行分割。本文提出了结合形态学滤波的方法，代替传统的阈值分割方法[21-23]，能够更好地将目标区域和背景进行分割。依据上小节选取的经验阈值ξ=10，对光斑区域进行二值化分割，得到光斑区域的形态学图像，如图3(b)所示。由图可见，光斑的边缘与背景噪声交织在一起，给分割带来了一定难度。本文从两方面来解决这一问题：(1)使用形态学滤波的方法对光斑区域进行规整；(2)通过加权平均的质心求法来弱化光斑边缘对质心定位精度的影响。

(a)差分图像中光斑区域的灰度值

(b)经过阈值分割后光斑区域的形态学图像

(c)经过形态学滤波规整后的光斑区

将图3(b)当作提取光斑区域的模板，对其进行形态学滤波操作。设该形态学图像(图3(b))为集合B，然后用结构元素w对B进行开操作[10]，记为B∘w，即用结构元素w先对B进行腐蚀操作，然后再用w对B进行膨胀操作：

B∘w=(B⊙w)⨁w，

(4)

其中：操作算子B⊙w和B⨁w分别表示腐蚀与膨胀操作。经过形态学滤波，得到规整后的光斑区域形态学图像B′。然后将B′作为滤波模板，对图3(a)进行滤波：将图3(a)与B′中的像素点一一对应，B′为1时保留图3(a)对应像素点灰度值；B′为0时，将图3(a)对应像素点灰度值置为0。得到的滤波结果如图3(c)所示。与图3(b)相比可知，经过形态学滤波规整后得到的光斑区域图3(c) 在背景噪声分割的效果上表现得更为出色。

2.3 提高光斑质心的定位精度

文献[24]提出使用线性插值的方法提高图像分辨率，进而提高光斑质心的定位精度。这种方法是对单帧图像进行处理的，其通过插值方法增加样本数量，进而降低加权平均中的计算误差，来提高定位精度，实际上并未增加图像中的信息量。因此，本文采用连续的4帧图像，通过填充的方式增加图像的分辨率。CCD相机采集的帧频一般为24～30 frame/s，而4帧图像的采集时间为0.13～0.17 s。在这段短时间内，认为采集图像中各物体不发生空间上的变化。由于在采集图像时，CCD等传感器件受其自身的量化机理、器件噪声等的不确定度的影响，使相同目标在不同帧图像之间有细微的差别，如图4所示。

图4 连续4幅差分图像中提取的同一光斑区域

Fig.4 The same spot region extracted from four sequential differential imagesd1～d4

由图4可知，在各帧差分图像中，光斑区域的灰度值在边缘部分存在着差异性，这反映了传感器在测量过程中所存在的不确定性。因此，本文将4帧12 pixel×12 pixel的光斑区域合成一张24 pixel×24 pixel的高分辨率图像，填充过程如图5所示。图中演示了其中两帧光斑的网格填充方法：将24×24的高分辨率图像划分2×2的小格，每个小格中均包含4个像素。这4个像素分别由低分辨率图像(a)，(b)，(c)，(d)在对应位置处各取一个像素填充。填充顺序为自左而右、自上而下。

图5 4帧光斑区域图像合成示意图

(5)

(a)由四帧低分辨率光斑直接合成结果

(6)

对光斑SHR进行质心定位时，采用二维一阶修正矩的计算方法[25-26]。设光斑的质心坐标为(X，Y)，单个像素点的坐标用(x，y)表示，该像素点(x，y)处的灰度值可用I(x，y)表示，则：

(7)

3 实 验

本文实验在激光试验靶场进行，采用固定CCD相机及配套采集设备连续采集目标靶面的视频序列图像。使用激光发射装置对靶面进行射击，射击间隔约为4～5 s。激光光斑在靶面上有较长的消隐时间(≥40 s)。由于光斑质心位置的真实值不易获得，因此，对光斑出现后的帧图进行重复采集，提取目标光斑的质心，以提取质心的位置稳定度作为算法性能的评价标准。

3.1 评价准则

将一次光斑j的质心定位视为一次试验，得到的质心位置为(Xi，j，Yi，j)，i=1，…，N，N为总的试验次数；j=1，…，K，K为光斑的总数目。则评价函数定义为：

(8)

(9)

3.2 试验结果与分析

连续采集光斑突发时刻的第j帧和其后连续的第j+1，j+2，…，j+N+3帧图像，将最后4帧图像与第j帧分别相减，取模后得到差分图像d1，d2，…，dN+3。采用本文方法将{d1，d2，d3，d4}， {d2，d3，d4，d5}， …， {dN，dN+1，dN+2，dN+3}提取的光斑区域分别合成高分辨率光斑，然后进行光斑质心定位。现有的高精度质心定位方法中效果比较显著的是基于双线性插值提高图像分辨率的方法[11]，本文将其作为对比方法。对比方法将d1，d2，…，dN分别插值为高分辨率图像，然后采用相同的方法对光斑质心进行定位。实验中，采集约1 s内的帧图进行计算，得到两种方法所确定的某一光斑质心坐标分布如图7所示。

图7 本文方法与对比方法提取的光斑质心的坐标分布图

Fig.7 Distribution of spot centroids extracted by reference methods and proposed method

由图7可直观地看到，本文方法得到的质心坐标更为紧凑，而对比方法得到的质心分布则较为松散一些，这表明使用本文算法所提取的质心坐标更为稳定。从数据上看，本算法定位质心坐标是(295.722 9±0.045 2，150.459 6±0.019 5)较之对比方法的(296.013 0±0.086 7，150.741 0±0.070 5)，置信区间更小，表明其定位精度更高；两种方法的M值如表1所示。由表1也可以得知本文算法效果更优。

表1 某一光斑的质心定位结果

为了证明本文算法的鲁棒性，本文进行了多次射击试验，每次试验采用多帧进行比较定位，如图8所示。

图8 对多点光斑的质心定位实验

表2 实验所有光斑质心定位的结果

4 结 论

针对激光模拟射击系统的需求本文提出了一种基于视频序列图像的光斑检测与高精度质心定位方法。首先，利用帧间的差分图像对射击突发事件进行检测；然后，利用形态学滤波方法将目标光斑与背景噪声进行分割；最后，将4帧差分图像合成为一帧图像，实现光斑质心的高精度定位。该方法对利用阈值法提取光斑的策略进行了改进，并克服了传统窗口法无法有效降低窗口内噪声影响的缺陷。实验表明：本文方法的光斑质心定位精度达到了亚像素级别，与传统方法相比，光斑质心定位精度与稳定性明显提高。在定义的稳定性度量上，传统方法为0.002 97，而本文算法为0.000 49，优于传统算法。本文的研究内容对激光射击系统性能的提升具有重要意义。

[1] ROHM H P. Laser shooting system， United States： US 2007/0021220 A1 [P]. Jan. 25， 2007.

[2] KENDIR T， SHECHTER M， CLARK J. Firearm laser training system and method facilitating firearm training for extended range targets with feedback of firearm control， United States： US 7329127 B2 [P]. Feb. 12， 2008.

[3] HASEBE H， OKI M. Laser gun and shooting system for the same， United States： US 6962532 B2 [P]. Nov. 8， 2005.

[4] 吴喜广. 红外激光打靶训练系统的设计[D]. 兰州：兰州大学，2012. WU X G.Designoftheinfraredlasershootingtrainingsystem[D]. Lanzhou： University of Lanzhou， 2012.(in Chinese)

[5] 王辉. 激光模拟打靶系统设计与靶环图像处理技术研究[D]. 太原：中北大学，2010. WANG H.Designonlasersimulationshootingsystemandresearchontargetringimageprocessingtechnology[D]. Taiyuan：North University of China， 2010.(in Chinese)

[6] 张强，李静，应自炉，等. 一种基于图像处理的激光打靶仪设计[J]. 现代电子技术， 2012， 35(12)： 90-94. ZHANG Q， LI J， YING Z L，etal.. Design of laser targeting device based on image processing[J].ModernElectronicsTechnique， 2012， 35(12)： 90-94.(in Chinese)

[7] 李艳晓，张磊，张红刚，等. 基于双CCD 探测的外场高精度激光光斑测试技术[J]. 红外与激光工程， 2015， 44(1)： 59-64. LI Y X， ZHANG L， ZHANG H G，etal.. Technology of high precision test for laser spot based on double CCD detection in the outfield [J].InfraredandLaserEngineering， 2015， 44(1)： 59-64.(in Chinese)

[8] 张宁，沈湘衡. 采用CCD 相机测量目标靶形心位置精度的方法[J]. 红外与激光工程， 2015， 44(1)： 279-284. ZHANG N， SHEN X H. Verification method for measuring accuracy of shape center location of target by using CCD camera [J].InfraredandLaserEngineering， 2015， 44(1)： 279-284.(in Chinese)

[9] BAKER K L，MOALLEM M M. Iteratively weighted centroiding for Shack-Hartmann wave-front sensors [J].OpticsExpress，2007，15(8)：5147-5159.

[11] HANCOCK B R， STIRBL R C， CUNNINGHAM T J，etal.. CMOS active pixel sensor specific performance effects on star tracker/imager position accuracy [J].SPIE， 2001， 4284：43-53.

[12] 梁春，廖文和，沈建新，等. Hartmann-Shack波前传感器的自适应质心探测方法[J]. 中国激光，2009，36(2)：430-434. LIANG CH， LIAO W H， SHEN J X，etal.. An adaptive detecting centroid method for Hartmann-Shack wavefront sensor [J].ChineseJournalofLasers， 2009， 36(2)： 430-434.

[13] BAIK S H， PARK S K， KIM C J，etal.. A center detection algorithm for Shack-Hartmann wavefront sensor [J].Optics&LaserTechnology， 2007， 39：262-267.

[14] YIN X M， LI X， ZHAO L P，etal.. Adaptive thresholding and dynamic windowing method for automatic centroid detection of digital Shack-Hartmann wavefront sensor [J].AppliedOptics， 2009， 48(32)：6088-6098.

[15] 李振伟，张涛，张楠，等. 暗弱空间目标的高精度定位[J]. 光学 精密工程，2015，23(9)： 2627-2634. LI ZH W， ZHANG T， ZHANG N，etal.. High precision orientation of faint space objects [J].Opt.PrecisionEng.， 2015， 23(9)： 2627-2634.(in Chinese)

[16] 穆绍硕，张叶，贾平. 基于自学习局部线性嵌入的多幅亚像元超分辨成像[J]. 光学 精密工程，2015，23(9)： 2677-2686. MU SH SH， ZHANG Y， JIA P. Super-resolution imaging of multi-frame sub-pixel images based on self-learning LLE [J].Opt.PrecisionEng.， 2015， 23(9)： 2677-2686.(in Chinese)

[17] 田浩南， 张叶.基于边缘及特征点匹配的立体图像质量评价[J].液晶与显示，2015， 30(4)： 666-672. TIAN H N， ZHANG Y. Quality evaluation of stereo image based on edge and characteristic point matching [J].ChineseJournalofLiquidCrystalsandDisplays， 2015， 30(4)： 666-672.(in Chinese)

[18] 刘久文， 潘峰， 李军.结合图像边缘检测和最小误差替换的隐写方案[J].液晶与显示，2015， 30(1)： 151-156. LIU J W， PAN F， LI J. Steganography based on edge detection and minimum error replacement [J].ChineseJournalofLiquidCrystalsandDisplays， 2015， 30(1)： 151-156.(in Chinese)

[19] 金占雷.CCD光斑质心算法的误差分析[J].航天返回与遥感，2011， 32(1)： 38-44. JIN ZH L. Error analysis of centroid algorithm based on CCD [J].SpacecraftRecovery&RemoteSensing， 2011， 32(1)： 38-44.(in Chinese)

[20] 王薇， 陈怀新. 基于优化探测窗口的光斑质心探测方法[J]. 强激光与粒子束，2006， 18(8)： 1249-1252. WANG W， CHEN H X. New method for centroid detecting of focal spot based on optimizing detecting window [J].HighPowerLaserandParticleBeams， 2006， 18(8)： 1249-1252. (in Chinese)

[21] OTSU N. A threshold selection method from gray level histogram [J].IEEETransactionsonSystems，ManandCybernetics， 1979，9(1)：62-66.

[22] VELASCO F R D. Thresholding using the ISODATA clustering algorithm [J].IEEETransactiononSystems，ManandCybernetics， 1980， 10(11)：771-774.

[23] GONZALEZ R C， WOODS R E.DigitalImageProcessing(2ndEdition)[M]. Beijing： Publishing House of Electronics Industry， 2007， 520-525.

[24] 夏爱利，马彩文. 基于图像处理技术的光斑质心高精度测量[J]. 光电子·激光，2011， 22(10)： 1542-1545. XIA A L， MA C W. Measurement of focal spot centroid based on image processing [J].JournalofOptoelectronicsLaser， 2011， 22(10)： 1542-1545.(in Chinese)

[25] 潘波，杨根庆，刘勇. 星点质心定位算法最优门限研究[J]. 光学 精密工程，2008，16(9)：1787-1792 PAN B，YANG G Q，LIU Y. Study on optimization threshold of centroid algorithm [J].Opt.PrecisionEng.， 2008，16(9)：1787-1792.(in Chinese)

[26] GUO W J， ZHAO L P， TONG CH SH，etal.. Adaptive centroid-finding algorithm for freeform surface measurements [J].AppliedOptics， 2013， 52(10)： D75-D83.

钱 锋(1987-)，男，湖南长沙人，博士研究生，2011年于中国科学技术大学获得工学学士学位，主要研究方向为图像处理与目标识别。E-mail：zilgard@126.com

张晓沛(1994-)，男，吉林长春人，本科生，现就读于美国加利福尼亚大学洛杉矶分校，亨利·萨缪里工程与应用科学学院，电子工程专业，主要从事机器视觉、人工智能技术研究。E-mail:zxp mirror1994

杨名宇(1983-)，男，吉林松原人，博士，助理研究员，2006 年于吉林大学获得学士学位，2012 年于中国科学院自动化研究所获得博士学位，主要从事可见光和红外图像中目标检测、目标分割方面的研究。E-mail： ymy1983@ 163.com

(本栏目编辑：李自乐)

(版权所有 未经许可 不得转载)

Improvement of localization accuracy of spot centroid based on sequential images

QIAN Feng1，2*， YANG Ming-yu1， ZHANG Xiao-pei3

(1.Changchun Institute of Optics， Fine Mechanics and Physics，ChineseAcademyofSciences，Changchun130033，China；2.UniversityofChineseAcademyofSciences，Beijing100049，China；3.HenrySamueliSchoolofEngineeringandAppliedScience，UniversityofCaliforniaLosAngeles，CA90095，USA)

To meet the requirements of a laser firing simulation system for high speed and high accurate location of laser spot centroids， a novel method based on the video sequential images is proposed for the spot detection and spot centroid location. The method firstly detects the firing events by the subtraction image between every two sequential frames and by the estimated noise parameters. Then， it uses the noise estimation to determine the segmenting threshold of the spot and combines morphologic filtering techniques to extract the spot region out from the background， meanwhile reducing the noises inside and outside of the window. Finally， one high resolution image is generated from 4 subtraction images to decrease the image noise and computing errors and to improve the locating accuracy of the spot centroid. Experimental results indicate that the spot centroid localization precision of laser spot and the average measurement stability of the proposed method are superior to that of the conventional method. The spot centroid localization precision has been reached to sub-pixel level， and the average measurement stability is 0.000 49， far better than the conventional 0.002 97. The method in this study is conductive to improving the performance of laser firing simulation systems.

spot detection； centroid localization； mass of gravity； sequential image； laser firing simulation

2016-03-24；

2016-05-23.

中国科学院长春光学精密机械与物理研究所重点发展项目(No.y3cx1ss14c)；中科院航空光学成像与测量重点实验室科研基金资助项目(No.y3hc1sr141)

1004-924X(2016)11-2880-09

TP391.4

A

10.3788/OPE.20162411.2880

*Correspondingauthor，E-mail：zilgard@126.com