陈 词,宋延嵩,2,李金旺,刘天赐
空间激光通信系统光斑小目标跟踪算法研究*
陈 词1,宋延嵩1,2,李金旺1,刘天赐1
(1 长春理工大学光电工程学院 长春 130022 2 长春理工大学空间光电技术研究所 长春 130022)
在空间激光通信链路中,大气湍流、结构设计误差、平台扰动等因素为链路的精确对准和精密跟踪带来了困难。为提高激光链路的跟踪精度,首先对光斑跟踪过程中的影响因素进行研究分析,继而对跟踪算法做出改进。针对跟踪目标特性,设计了一种自适应模板目标相关跟踪算法,并搭建了基于粗精复合轴跟踪系统的实验平台,开展了实验验证。结果表明:与当前常用跟踪算法相比,该设计处理速度可达1 kfps,目标跟踪位置与真实位置基本重合,目标跟踪准确率高于98%,在处理速度、跟踪准确率与算法鲁棒性上均有较大提升,具有一定的实用性。
空间激光通信;ATP系统;光斑小目标;目标相关跟踪算法
空间激光通信是利用激光光束所具备的方向性强、功率密度大、单色性好等特性,以其作为通信载波,在一定的空间范围内实现信息传输的通信方式,具有传输速率高、抗干扰性强、保密性好、设备体积小等优点。近年来,空间激光通信技术发展迅速,具有良好的应用前景。
虽然空间激光通信有诸多优点,但也存在着由大气湍流、结构设计误差、平台扰动等因素引起的激光通信系统在精确对准设计方面的难题,为了解决这个难题引入了捕获跟踪对准ATP(Acquisition、Tracking、Pointing)子系统。ATP子系统是空间激光通信系统的核心组成部分,它可以对快速移动下的小目标进行高精度捕获跟踪,进而确保通信链路的稳定连接。而关于光斑目标的捕获跟踪是研究人员比较关注的问题,并且提出多种解决手段。2018年,韩猛提出了一种将质心计算算法、Mean Shift目标跟踪算法与卡尔曼(Kalman)运动预测算法相结合的运动目标跟踪算法[1];同年,邓新禹针对水下激光通信光电跟踪控制系统,设计了Kalman滤波算法与Mean Shift跟踪算法相结合的水下光斑目标跟踪程序[2],可以有效跟踪水下光斑并实现水下激光通信;2019年,刘彦奎针对井下目标跟踪,通过去噪提升了图像质量,设计了一种帧间差分法与双阈值背景差分法复用的目标检测算法,通过其提出的特征提取算法进行目标跟踪,完成了复杂背景下的目标有效跟踪[3];2021年,龚元霞基于四象限探测器光电探测过程,对多种探测算法进行了分析,使用中心近似法完成了光斑位置坐标的解算跟踪[4],实现了目标的准确探测跟踪工作。
本文针对空间激光通信链路跟踪难点,首先对图像噪声进行预处理抑制,而后基于相关目标跟踪算法,设计了一种自适应模板相关跟踪的改进算法,有效抑制了图像中易与目标混淆的噪声,降低了目标跟踪误差,提升了系统工作性能。
通过分析比较,设计改进了一种自适应模板相关跟踪算法,该算法通过对内存中前五张图像的质心进行搜索比对,对光斑大小进行判断,继而以光斑中心为基础,自动选定目标模板位置及尺寸。此方法可以提高系统对光斑形状特征的判定能力,从而降低受其他干扰信号影响的可能性,提高跟踪的精确度。
基于自研算法,针对光斑图像的噪声特性与实际跟踪需要设计了一种复合算法。算法系统如图1所示,光斑图像首先经过自适应中值滤波处理,对图像进行降噪处理。而后对处理后的图像进行目标搜索,生成目标模板,根据模板对视频后续图像中目标进行匹配跟踪定位,对目标坐标完成解算并输出。
图1 本系统设计算法示意图
① 光斑检测误差分析
光电探测器的误差主要来源于固定图像噪声、相机读出噪声、相机暗噪声等探测器图像噪声导致的图像信噪比低、干扰像素多,进而带来的误差[5]。等效噪声角(NEA)的公式可表示为
② 固定图像噪声
固定图像噪声(FPN)由图像非均匀性误差、量化误差、盲元误差等组成。这一类噪声由于对探测器输出图像中的单个像素的给定影响固定,故而称之为固定图像噪声。如果不对小目标光斑图像进行降噪处理,后续跟踪中光斑的解算坐标将受到噪声干扰。固定图像噪声的建模往往无法一概而论,但在现有工作中,可以通过图像去噪算法对其进行抑制。
③噪声对跟踪误差影响分析
作为闭环控制系统,光电探测器的噪声直接影响ATP系统的跟踪控制性能。传感器的噪声功率谱密度可表示为:
根据上文分析,在ATP跟踪阶段,使用去噪算法对图像进行预处理是小目标光斑跟踪工作的重要环节。
通过此前的研究,已知相关跟踪算法是一种稳定可靠且算法复杂度较低的跟踪算法。但是该算法需要人为指定框选目标模板,在实际应用中不利于自动化实现。
工作初始时可通过装调的方式,使光斑位置稳定。光斑检测时接收图像为光斑点目标图像,理论上来说,光斑中心点灰度值最大。首先对图像进行阈值分割,如图2所示,首先对每行图像灰度最值所在列数进行提取,即可得到一条横向直线;然后对图像灰度最值所在行数进行提取,即可得到一条纵向直线,滤除整幅图像中首行、末行、首列、尾列数据;最后拟合两条直线的线性方程,继而通过两条直线方程即可解出交点坐标,两条直线的交点即可视为光斑中心位置坐标,模板中心位置即可确定。
图2 光斑位置分析特写示意图
对前五帧图像所求光斑坐标位置求取均值,再分别与均值求差,将五个差值求和,按照百分比反向分配,进行加权运算,最终求出模板位置,得到光斑跟踪模板。以上下边缘为例,公式如下:
其中()为坐标对应权值,解算完毕后,模板位置确定,目标模板选取成功,继而运行相关目标跟踪算法,对目标进行迭代跟踪。
采集光斑图像序列,采用当前算法对目标进行跟踪捕获,如图3所示的目标被红色波门框选,经验证目标捕获稳定。将上文设计算法与概率加权质心算法进行对照,将算法先后应用于不含噪声图像与添加噪声图像中。
由图3(a)和图3(b)可知,图像处于理想状态时,两种算法均可完成目标跟踪工作,而由图3(c)和图3(d)对比可知,当图像出现噪声干扰,或局部出现干扰信号时,图3(c)所示的基于质心计算的算法会出现较高的跟踪误差,跟踪失败几率较高。而图3(d)中本文设计算法跟踪精确度则相对较高,未发生误跟、错跟的情况。
图3 算法跟踪对比情况
设计中采集了大量光斑图像,逐步增加图像噪声测试,选用质心跟踪算法(CT)、概率加权质心跟踪算法(WCT)、Meanshift跟踪算法进行对比,对跟踪成功率进行记录,见表1。
表1 本文设计算法与当前常用跟踪算法对比
由于算法复杂度会影响系统实时性,而在光斑跟踪工作中,脱靶量输出实时性如果较差会直接造成伺服系统无法成功工作。因此在实现算法有效性的同时,还应该保证算法的实时性。仿真实验中对比了几种常用跟踪算法平均每秒处理的视频帧数,结果见表2。
表2 本文设计算法与当前常用跟踪算法跟踪速率对比
从表2中可以看出,虽然此研究设计算法的每秒处理帧数略低于质心算法,但与概率加权质心算法处理速度大致相同,且达到1 K以上,说明可以满足光斑实时跟踪的需求。
该设计以空间激光通信复合轴控制光端机为实验平台,将探测器设备安装在光端机系统中配合进行工作,如图4所示。图4(a)为在长春理工大学东区第二教学楼光端机实验平台,图4(b)为长春理工科技大厦16楼光端机实验平台,其距离约为2 km,采用光端机进行室外远距离激光通信实验。对试验光斑图像粗精跟踪状态进行记录,同时采集图像,对具有代表性的算法进行仿真。根据现场实验及仿真结果,对实验进行了分析。
图4 复合轴控制光斑粗精跟踪外场测试
实验所设计的粗精一体化探测器组成结构如图5所示,图5(a)为系统探测器板,图5(b)为FPGA图像处理板,图5(c)为系统电源板,图5(d)为相机整体装机后状态,连接线缆及显示器后即可对成像效果进行测试。探测器板使用长光辰芯GSENSE2020e型号CMOS探测器,负责完成光电信号转换;FPGA板采用复旦微电子JFM7K325T型号FPGA芯片对CMOS探测器进行驱动,在CMOS工作后对图像进行采集,对光斑坐标进行跟踪解算,将脱靶量由电源板的串口输出至后端设备。
图5 实验系统组成
本次实验,首先可以通过系统位置对准装调,使得光斑位于探测器靶面内,以光斑信标为目标,先后采用概率加权质心算法与上文设计算法进行跟踪。由于室外实验原因,存在着较大湍流影响以及相似特征信号干扰,使用概率加权质心算法,存在着波门框选错误、无法准确跟踪的情况。可见对跟踪算法进行设计,是小目标光斑跟踪实际工作中的重中之重。
而后重新下载代码,将设备算法更新为该设计算法。如图6所示,图6(a)为实验系统中接收端光端机,粗精跟踪相机均搭载于系统内部,探测器可在粗跟踪和精跟踪两种状态之间切换使用。图6(b)所示粗跟踪模式下画面为全窗口,其帧频为100 Hz;图6(c)所示精跟踪模式下为提高探测器帧频,转为小窗口模式运行,帧频达到500 Hz,其波门均可成功框选光斑目标,实现粗精跟踪一体化效果。实验结果表明,可对大于5×5个像素的目标进行稳定跟踪,目标位置解算成功率高于98%。
图6 实验系统搭建
基于当前实验设备,使用图像采集卡采集共245帧光斑图像,基于MATLAB仿真平台,使用概率加权质心跟踪算法与设计算法完成算法仿真,将加权质心跟踪算法处理后的坐标解算位置、经该设计算法处理后的坐标解算位置与目标真实位置在坐标图中进行统计对比,并且先后使用加权质心跟踪算法解算目标位置坐标、设计算法处理跟踪目标位置坐标与真实位置做差求取误差,对两种算法的误差值进行统计对比。如图7和图8所示,红色星点代表经使用概率加权质心跟踪算法解算目标位置坐标,黑色三角代表经采用设计算法处理后跟踪结果坐标,蓝色圆圈位置代表目标真实位置坐标。经分析可知,使用概率加权质心跟踪算法进行跟踪时,有大量目标点丢失,波门错误跟踪;使用设计算法进行跟踪后,光斑小目标解算坐标位置与目标真实位置基本重合,证明成功完成目标跟踪。
图7 概率加权质心算法跟踪情况对比
图8 改进算法跟踪情况对比
如图9所示,其横坐标代表图像在图像序列中所属帧数,纵坐标代表跟踪位置与目标真实位置坐标像素距离。由图可知,采用改进算法处理之前,有多个跟踪点误差极大,而使用改进算法跟踪之后误差大大降低。
图9 改进前后的目标解算位置误差比较
研究设计了一种针对光斑小目标图像的跟踪方案,通过搭建实验对其效果进行了验证。针对探测器噪声及噪声对目标跟踪误差等影响,根据影响因素分析结果设计算法对目标相关跟踪算法进行改进,设计了一种自适应模板相关跟踪算法,在不影响实时处理帧频的前提下,相比其他类似算法处理速度、跟踪准确率与算法鲁棒性均有所提高,对空间激光通信系统完成光斑小目标跟踪工作起到了重要作用,为空间激光通信光斑位置对准工作提供指导与参考。
[1] 韩猛. 基于Mean Shift的快速目标跟踪的研究[D]. 哈尔滨: 哈尔滨工程大学, 2018.
[2] 邓新禹. 水下激光通信光电跟踪控制系统研究[D]. 哈尔滨: 哈尔滨工业大学, 2019.
[3] 刘彦奎. 基于视觉的井下目标检测与跟踪算法研究[D]. 西安: 西安科技大学, 2019.
[4] 龚元霞. 基于四象限光电探测的目标跟踪系统研究[D]. 西安: 西京学院, 2021.
[5] 万譞. 基于CMOS探测器的湍流信道高性能ATP技术研究[D]. 成都: 电子科技大学, 2017.
[6] 李方宁, 王延杰, 张涛, 等. 基于AM41V4传感器的高清高速CMOS相机系统设计[J]. 液晶与显示, 2015, 30(3): 492–498.
LI Fangning, WANG Yanjie, ZHANG Tao, et al. Design of high-speed high-resolution CMOS camera acquisition system based on AM4 1 V4 sensor[J]. Chinese Journal of Liquid Crystals and Displays, 2015, 30(3): 492–498.
[7] 余臣. 高分辨率高速CMOS相机的硬件设计[D]. 成都: 电子科技大学, 2011.
[8] 宁永慧, 刘辉, 赵庆磊, 等. 大面阵高帧频CMOS成像电子学系统设计[J]. 光学精密工程, 2019, 27(5): 1167–1177.
NING Yonghui, LIU Hui, ZHAO Qinglei, et al. High-frame frequency imaging system of large area CMOS image sensor[J]. Optics and Precision Engineering, 2019, 27(5): 1167–1177.
[9] 王征, 何云丰, 曹小涛, 等. 基于FPGA的大面阵CMOS相机高速率电子学系统设计[J]. 液晶与显示, 2016, 31(2): 173–178.
WANG Zheng, HE Yunfeng, CAO Xiaotao, et al. Design of large area array CMOS of high speed electronics camera system based on FPGA[J]. Chinese Journal of Liquid Crystals and Displays, 2016, 31(2): 173–178.
[10] 刘美莹, 王虎, 汶德胜, 等. FPGA的大面阵CMOS相机系统的设计[J]. 红外与激光工程, 2013, 42(S2): 337–342.
LIU Meiying, WANG Hu, WEN Desheng, et al. Design of a large plane CMOS camera system FPGA[J]. Infrared and Laser Engineering, 2013, 42(S2): 337–342.
[11] 田立国. 具有开窗口功能的高帧频CMOS相机的研制[D]. 长春: 长春理工大学, 2011.
[12] 张磊, 姜会林, 宋延嵩, 等. 基于GTP的Cameralink图像采集传输系统应用[J]. 电子技术应用, 2017, 43(10): 56–58, 62.
ZHANG Lei, JIANG Huilin, SONG Yansong, et al. Application of GTP in the fiber transmission system for Cameralink[J]. Application of Electronic Technique, 2017, 43(10): 56–58, 62.
[13] 李志强, 张建华. Camera Link数字视频光纤传输系统的FPGA实现[J]. 长春理工大学学报(自然科学版), 2012, 35(4): 109–112, 129.
LI Zhiqiang, ZHANG Jianhua. Realization of Camera Link digital video fiber transmission system based on FPGA[J]. Journal of Changchun University of Science and Technology(Natural Science Edition), 2012, 35(4): 109–112, 129.
[14] 徐扬, 王晓曼, 朱佶, 等. 基于FPGA的图像拼接技术研究与实现[J]. 长春理工大学学报(自然科学版), 2018, 41(6): 94–98, 103.
XU Yang, WANG Xiaoman, ZHU Ji, et al. Research and design of image mosaic technology based on FPGA[J]. Journal of Changchun University of Science and Technology(Natural Science Edition), 2018, 41(6): 94–98, 103.
[15] 张元涛, 曹开钦, 孙德新, 等. 高灵敏低噪声sCMOS图像传感器微光探测技术[J]. 激光与光电子学进展, 2018, 55(8): 1–18.
ZHANG Yuantao, CAO Kaiqin, SUN Dexin, et al. Low light level detection based on scientific CMOS image sensor with high sensitivity and low noise[J]. Laser & Optoelectronics Progress, 2018, 55(8): 1–18.
Research on small target tracking algorithm for space laser communication system
CHEN Ci1, SONG Yansong1,2, LI Jinwang1, LIU Tianci1
(1. College of Optoelectronic Engineering, Changchun University of Science and Technology, Changchun 130022; 2. Institute of Space Optoelectronics Technology,Changchun University of Science and Technology, Changchun 130022)
In the research of space laser communication, due to the atmospheric attenuation, the structural design precision error, platform disturbance interference, etc., it brings a large problem for the system precisely alignment work. First, we studand analyse the influencing factors of speckle tracking, and then improve the tracking algorithm. A target matching algorithm for adaptive window sizes is designed for tracking target characteristics. Take the experimental platform with the crude complex shaft tracking platform to set up an experiment. The results show that comparison with the current common tracking algorithm, the design processing speed can reach 1 kfps, the target tracking position is substantially complicated with the real location, the target tracking accuracy is higher than 98%, and the tracking accuracy and algorithm robustness has a large improvement, with certain practicality.
Space laser communication; ATP system; Small spot target; Target correlation tracking algorithm
TP751
A
CN11-1780(2022)04-0037-07
10.12347/j.ycyk.20220311001
陈词, 宋延嵩, 李金旺,等. 空间激光通信系统光斑小目标跟踪算法研究[J]. 遥测遥控, 2022, 43(4): 37–43.
10.12347/j.ycyk. 20220311001
: CHEN Ci, SONG Yansong, LI Jinwang, et al. Research on small target tracking algorithm for space laser communication system[J]. Journal of Telemetry, Tracking and Command, 2022, 43(4): 37–43.
吉林省基础研究专项资助项目(202002036JC)
宋延嵩(songyansong2012@126com)
2022-03-11
2022-03-20
Website: ycyk.brit.com.cn Email: ycyk704@163.com
陈 词 1989年生,硕士研究生,工程师,主要研究方向为图像处理。
宋延嵩 1983年生,副研究员,博士生导师,主要研究方向为空间激光通信与图像处理。
李金旺 1996年生,在读博士,主要研究方向为空间激光通信与图像处理。
刘天赐 1995年生,在读博士,主要研究方向为图像处理。
(本文编辑:杨秀丽)