李正炜,王建立,吴元昊,王国聪,刘 帅
(1.中国科学院 长春学精密机械与物理研究所,吉林 长春 130033;2.中国科学院大学,北京 100049)
基于单站地基望远镜的空间目标姿态估计方法
李正炜1,2,王建立1*,吴元昊1,王国聪1,2,刘帅1
(1.中国科学院 长春学精密机械与物理研究所,吉林 长春 130033;2.中国科学院大学,北京 100049)
为实现从单站光测图像中估计出已知3D模型的空间目标姿态,利用Vega Prime提出了一种采用仿真图像进行相关度局部最优搜索的姿态估计方法,该方法无需建立2D-3D特征投影关系和大量的模型匹配库。首先,对输入图像进行图像预处理,获得目标原始图像。然后,利用Vega Prime加载目标3D模型生成仿真匹配图像,并进行图像预处理获得目标匹配图像,计算两幅图像相关度。最后,更新3D目标模型姿态,直至仿真匹配图像与目标原始图像的相关度值取得局部最优,输出目标模型姿态。仿真实验结果表明,采用本文所提方法的观测仿真图像姿态平均估计误差为3.85°,仿真原图可实现姿态准确估计,表明该方法是一种空间目标姿态估计的有效方法。
姿态估计;相关度;空间目标;地基望远镜;Vega Prime
目前,空间目标监测识别系统主要分为陆基雷达系统和光学观测系统两部分。前者主要用于探测低轨道空间目标,后者可用于探测高轨道空间目标。随着望远镜成像性能的提高和自适应光学系统的发展,光学系统对空间目标的成像质量能满足空间目标监测需求。利用地基光学望远镜图像进行空间目标姿态估计,可获得卫星任务状态、探测器侦察区域等方面信息,具有重要的研究意义[1-3]。
目前对单站光测图像进行目标姿态估计的方法,可以主要归结为两种类型:一种是通过寻找确立,以二维到三维的某种特征投影对应关系为前提,进行姿态解算,但实际中由于被测目标姿态的自由变化可能导致一些特征被遮挡,因此无法实现任意姿态的估计[4-9]。另一种是,采用三维模型检索技术进行姿态估计,可以避免建立复杂的投影关系,但目前采用的方式需要建立庞大而复杂的模型数据库,实际应用中效率较低[10-11]。本文利用Vega Prime实时仿真技术,对已知3D模型的空间目标实时生成仿真图像,进行相关度值最优匹配搜索,避免了大量模型匹配库的建立。
空间目标模型可以通过一些公布的参数或由观测图像分析建立3D模型获得。Vega Prime是实时三维虚拟现实工具,可根据设定姿态信息实时生成仿真图像并作为模型匹配图像与观测图像进行相关度计算。如果仿真图像目标姿态与观测图像目标姿态一致时,相关度值为局部最优值,则在给定接近真实姿态角初值时,更新模型姿态进行姿态角搜索,使相关度值达到最优值,可实现观测图像目标姿态估计。通过对不同姿态方向上相关度值变化分析,当仿真目标姿态角为真实姿态角时,相关度值为局部最优值,证明此方法的可行性。同时对地基望远镜成像过程进行仿真,对仿真观测图像进行姿态估计,实验结果证明本文所述方法是一种有效的姿态估计方法。
2.1目标姿态角定义
如图1所示,Os-XSYSZS为望远镜观测坐标系,OsO为望远镜观测视轴,O-XYZ为目标坐标系。
图1 观测坐标系 Fig.1 Coordinate of observation
目标的偏航角θ指目标中心轴线在XOY平面上投影与x轴所成角度,俯仰角φ为目标中轴线与XOY平面所成角度,滚转角γ为目标绕中轴线旋转角度,具体如图2所示。
图2 目标三维姿态 Fig.2 3D attitude of target
2.2Vega Prime简介
Vega Prime是Multigen-Paradigm公司推出的实时三维虚拟现实开发工具,支持面向对象技术,其底层基于开放式Open GL技术,具有良好的跨平台性。通过Lynx Prime GUI图形化工具可以进行快速配置,简单易用,让用户可以快速准确地开发出适合要求的视景仿真应用程序[12-13],是实景仿真软件平台的主流工具。
图4 Vega Prime运行流程 Fig.4 Operational scheme of Vega Prime
在启动Vega Prime仿真线程后,在仿真循环中设置目标姿态可实时生成仿真图像。在Vega Prime运行时,通过对EVENT_POST_DRAW事件的响应,提取出仿真图像作为姿态估计匹配图像。
2.3图像相关度计算
相似性度量主要分为两大类:距离度量和相关度量。其中对于各种畸变而言,相关度量优于距离度量,且相关度量对噪声和光照强弱变化不敏感[14],因此本文采用相关度量中归一化相关度量作为相似性度量方法。设g(x,y)为原图像,f(x,y)为仿真匹配图像,l为图像高度,h为图像宽度,N=l×h。
相关度计算:
(1)
2.4姿态估计方法
利用Vega Prime对望远镜成像过程进行仿真,生成观测目标不同姿态角的仿真图像。假定仿真图像与观测图像在真实姿态角附近相关度存在局部最优值,则在真实值附近,可以通过搜索各姿态角使观测图像与仿真图像相关度最优值,进而估计出当前观测图像目标姿态角。因在空间目标观测过程中目标的姿态角是连续变化过程,前一帧观测图像的姿态角可作为后一帧估计初值。
姿态估计方法:首先通过对观测图像进行人为姿态估计,作为初值,以此为基础在不同姿态方向上仿真图像与观测图像进行相关度匹配,得到相关度最优位姿,即为空间目标估计姿态。姿态搜索策略:设置搜索步长,在偏航角方向搜索达到相关度最优值,在此基础上在俯仰角方向搜索达到相关度最优值,最后进行滚转角方向搜索达到最优值,此时看作为完成一次姿态搜索。精度delta搜索完成条件:
(2)
式中,thold为相关度变化阈值,可取值10-6。更新搜索精度,重新搜索估计姿态角,直至满足要求精度,输出仿真目标姿态角,具体算法流程图如图5所示。图像预处理主要是对图像进行阈值分割处理,提取出目标的二值化图像。
具体算法步骤如下:
(a)输入:望远镜视轴方位AS、俯仰ES;
初始搜索精度delta0;
姿态估计精度APrecise;
目标3D模型;
观测图像g(x,y);
(b)Vega Prime仿真望远镜成像过程,生成仿真图像;
(c)改变3D模型姿态进行人为估计姿态角初值,偏航角θ0,滚转角γ0,俯仰角φ0,(θ0,φ0,γ0);
(d)对观测图像预处理获得gt(x,y);
(e)Vega Prime仿真线程生成姿态角(θ,φ,γ)对应仿真图像f(x,y);
(f)进行仿真图像预处理得到ft(x,y);
(g)根据式(1)计算两幅图像相关度R;
(h)循环步骤(e)到(g),更新θ=θ+delta,直至相关度最优;
(i)循环步骤(e)到(g),更新φ=φ+delta,直至相关度最优;
(j)循环步骤(e)到(g),更新γ=γ+delta,直至相关度最优;
(k)更新delta=delta/2,当delta>APrecise跳转至(h),否则输出(θ,φ,γ)。
图5 姿态估计算法流程 Fig.5 Flow chart of the attitude estimation algorithm
2.5空间目标成像仿真
本文所述方法主要应用于单站地基望远镜观测图像的空间目标姿态估计。地基光学望远镜观测成像主要受大气湍流影响,针对大气扰动进行建模,对观测成像过程进行仿真[15-17]。
2.5.1图像降质模型
CCD成像系统在空间目标成像过程中会受到各种因素的影响而产生模糊和降质,如大气湍流效应、成像过程中的噪声、光路中的衍射等。所获得的图像为所有退化过程作用后的结果,且退化过程对大部分成像系统而言是线性的。因此,图像的退化过程可表示为:
(3)
式中,*表示卷积运算,函数h(x,y)表示点扩散函数,g(x,y)表示退化图像,f(x,y)表示输入图像,η(x,y)为噪声。
频域上式(3)可表示为:
(4)
式中,H(u,v)称为光学传递函数(OTF,Optical Transfer Function)。
2.5.2光学传递函数(OTF)
对于地基望远镜而言,大气湍流效应是造成成像模糊的主要原因。因此主要对大气扰动进行建模,获得长曝光OTF,根据长曝光OTF获得仿真观测图像。大气相干长度r0反映了大气湍流对光波波前的扰动程度,表示光学成像系统分辨率受大气湍流影响不会超过口径为r0的望远镜系统衍射极限。利用大气相干长度r0表示的光学传递函数(OTF)为:
(5)
式中,λ是成像波长,f为成像系统焦距,v为频率。
根据式(5)即可计算出大气扰动所对应得光学传递函数。
采用VS2008实现实时仿真姿态估计软件的编写,软件操作UI如图6所示,其中左侧显示为输入原图,右上为Vega Prime仿真图像,右下为仿真处理图像,以哈勃望远镜3D模型为例,进行实时仿真姿态估计实验分析。
当望远镜视轴方位、俯仰角均为0°时,定义目标姿态角(0°, 0°,0°)为基准姿态,设定此时目标姿态如图7所示,所估计的目标姿态角为相对于此初始模型产生的角度变化。
图6 姿态估计软件 Fig.6 Attitude estimation software
图7 目标基准姿态 Fig.7 Basic attitude of target
3.13个姿态方向相关度分析
以望远镜视轴方位俯仰角均为45°及目标姿态偏航角10°、俯仰角10°、滚转角10°为例,目标仿真图像如图8所示,以仿真原图作为输入图像,以1°作为搜索步长,分别对偏航角、俯仰角、滚转角3个方向进行相关度值变化分析。
图8 原始仿真图像 Fig.8 Original simulation image
当俯仰角10°,滚转角10°时,偏航角方向以1°为搜索精度,相关度值变化情况如图9所示。
图9 偏航角方向相关度值R变化曲线 Fig.9 Change curve of correlation value on yaw angle
当偏航角10°,滚转角10°时,俯仰角方向以1°为搜索精度,相关度值变化情况如图10所示。
图10 俯仰角方向相关度变化曲线 Fig.10 Change curve of correlation value on pitch angle
当偏航角10°,俯仰角10°时,滚转角方向以1°为搜索精度,相关度值变化情况如图11所示。
图11 滚转角方向相关度变化曲线 Fig.11 Change curve of correlation value on roll angle
由图9、图10、图11所示,每个姿态角方向在真实值10°附近相关度值均出现峰值,相关度值最高。因此,可以判定当仿真目标姿态为真实姿态角时,仿真图像与观测图像的相关度值为局部最大值,采用本文方法在接近真实值附近进行搜索相关度最大值,实现目标姿态估计是可行的。
3.2仿真成像姿态估计
根据2.4,对地基望远镜空间目标实际成像进行仿真,取大气相干长度为10 cm ,如对图8进行退化处理得到观测仿真图像,如图12所示。
图12 仿真观测图像 Fig.12 Observation simulation image
分别对不同姿态进行实际成像仿真,采用本文方法进行姿态估计,初始搜索精度为2°,估计精度定为0.1°,估计结果如表1所示。
表1 仿真观测图像姿态估计结果
仿真观测图像姿态综合平均估计误差:
(6)
从各个姿态方向估计结果可以看出,对于仿真观测图像,由于图像退化产生了较大的估计误差,但总体而言能向真实值方向搜索逼近,姿态平均估计误差为3.85°。对于仿真原图进行姿态估计时,可得到准确的姿态值。
通过对3个姿态角方向上仿真图像与观测图像相关度值变化情况分析,说明真实姿态角对应于相关度值一个局部最优值。本文提出的采用Vega Prime实时生成仿真图像,在接近真实姿态角附近进行相关度最优搜索匹配的姿态估计方法,是一种有效可行的方法。对退化后图像进行姿态估计时,由于目标形状轮廓产生了变化和噪声影响,造成了估计误差、姿态角平均估计误差为3.85°,对未退化图像的姿态可实现准确估计。结果表明,进行姿态估计前需对观测图像进行图像复原处理,获得较清晰的目标图像,可以获得更精确的估计结果。综上所述,本文所提出的姿态估计方法,姿态估计过程无需建立2D-3D特征投影关系和大量的模型匹配库,可直接进行实时仿真搜索匹配,是一种有效的姿态估计方法。
[1]王春雪.基于图像的空间目标三维姿态估计研究[D].北京:中国科学院,2014.
WANG CH X. The study of 3D pose estimation for space object based on images[D]. Beijing:Graduate University of the Chinese Academy of Sciences,2014.(in Chinese)
[2]陈娟,陈乾辉.空间目标三维姿态估计方法综述[J].长春工业大学学报(自然科学版),2008,3(29):323-327.
CHEN J,CHEN Q H. Summary of the 3D pose estimations for the space targets[J].J.ChangchunUniversityofTechnology(Natural Science Edition),2008,3(29):323-327.(in Chinese)
[3]夏军营.空间目标的单目视觉位姿测量方法研究[D].长沙:国防科学技术大学,2012.
XIA J Y. Researches on monocular vision based pose measurements for space targets[D]. Changsha:Graduate School of National University of Defense Technology,2012.(in Chinese)
[4]冷大炜.基于单目视觉的三维刚体目标测量技术研究[D].北京:清华大学,2011.
LENG D W. Research on monocular vision based metrology for 3D rigid object[D]. Beijing:Tsinghua University,2011.(in Chinese)
[5]张永军,孔胃.利用单幅影像的空间目标姿态测定方法[J].西安交通大学学报,2009,9(43): 56-61.
ZHANG Y J,KONG W. Pose determination of space object with single image[J].J.Xi′anJiaotongUniversity,2009,9(43):56 -61.(in Chinese)
[6]于起峰,孙祥一,邱志强.从单站光测图像确定空间目标三维姿态[J].光学技术,2002,1(28): 77-80.
YU Q F,SUN X Y,QIU ZH Q. Approach of determination of Object′s 3D pose from mono-view[J].OpticalTechnique,2002,1(28):77-80.(in Chinese)
[7]张原,王志乾,乔彦峰,等.导弹发射姿态测量方法研究[J].中国光学,2015,8(6):997-1003.
ZHANG Y,WANG ZH Q,QIAO Y F,etal.. Attitude measurement method research for missile launch[J].ChineseOptics,2015,8(6):997-1003.(in Chinese)
[8]李晶,袁峰,胡英辉.基于多点合作目标的多线阵CCD空间物体姿态测量[J].光学 精密工程,2013,21(6):269-275.
LI J,YUAN F,HU Y H. Attitude measurement of space objects based on multi-linear CCD and multi-point cooperation target[J].Opt.PrecisionEng.,2013,21(6):269-275.(in Chinese)
[9]王彬,何昕,魏仲慧.采用多站图像直线特征的飞机姿态估计[J].光学 精密工程,2013,21(7):195-203.
WANG B,HE X,WEI ZH H. Attitude estimation of aircrafts using line features on multi-camera images[J].Opt.PrecisionEng.,2013,21(7): 195-203.(in Chinese)
[10]赵汝进,刘恩海,张文明,等.基于弱透视成像模型的目标三维姿态测量[J].光子学报,2014,5(43):0512002-1-6.
ZHAO R J,LIU E H,ZHANG W M,etal.. Measurement of 3D pose of objects based on weak perspective model[J].ActaPhotonicaSinica,2014,5(43):0512002-1-6.(in Chinese)
[11]胡薇,张桂林,任仙怡.基于子空间的3D目标识别和姿态估计方法[J].红外与激光工程,2004,6(33):592-596.
HU W,ZHANG G L,REN X Y. Eigenspace-based approach for object recognition and pose estimation[J].InfraredandLaserEngineering,2004,6(33):592-596.(in Chinese)
[12]牛铁.基于Vega Prime的实时三维视景仿真技术的研究[D].乌鲁木齐:新疆大学,2010.
NIU T. Research of real-time 3D scene visualization technology based on Vega Prime[D]. Wulumuqi:Xinjiang University,2010.(in Chinese)
[13]于洋,李丹.跟踪图像生成技术应用于光电设备模拟训练[J].液晶与显示,2015,30(2):166-171.
YU Y,LI D. Technology of tracking image generating applied in simulation training of photoelectric device[J].ChineseJ.LiquidCrystalsandDisplays,2015,30(2):166-171.
[14]陈卫兵.几种图像相似性度量的匹配性能比较[J].计算机应用,2010,1(30): 98-100.
CHEN W B. Comparison of matching capabilities in similarity measurements[J].J.ComputeApplications,2010,1(30):98 - 100.(in Chinese)
[15]卫沛锋,刘欣悦,林旭东,等.自适应光学系统测试中大气湍流的时域模拟[J].中国光学,2013,6(3):371-377.
WEI P F,LIU X Y,LIN X D,etal.. Temporal simulation of atmospheric turbulence during adaptive optics system testing[J].ChineseOptics,2013,6(3):371-377.(in Chinese)
[16]瞿青,曹召良,胡立发,等.位相差值法测量大气湍流格林伍德频率[J].中国光学,2015,8(1):121-129.
QU Q,CAO ZH L,HU L F,etal.. Greenwood frequency measurement of atmospheric turbulence by phase difference method[J].ChineseOptics,2015,8(1):121-129.(in Chinese)
[17]姜宝光,穆全全,曹召良,等.液晶波前校正器校正水平方向上的大气湍流[J].液晶与显示,2009,24(3):396-398.
JIANG B G,MU Q Q,CAO ZH L,etal.. Correction of turbulence in horizontal direction using a liquid crystal wave-front corrector[J].ChineseJ.LiquidCrystalsandDisplays,2009,24(3):396-398.(in Chinese)
Method of attitude estimation for space object based on single ground-based telescope
LI Zheng-wei1,2, WANG Jian-li1*, WU Yuan-hao1, WANG Guo-cong1,2, LIU Shuai1
(1.Changchun Institute of Optics,Fine Mechanics and Physics,ChineseAcademyofSciences,Changchun130033,China;2.UniversityofChineseAcademyofSciences,Beijing100049,China)*Correspondingauthor,E-mail:wangjianli@ciomp.ac.cn
To estimate the attitude of the known 3D model space object from the mono-view image, a method is proposed by searching the local optimum of the correlation between the simulation image generated from Vega Prime and the observation image, which need not establish the relationships of target feature from 2D to 3D and abundant model matching library. Firstly, the input image is preprocessed to obtain the original target image. Secondly, Vega Prime program loads 3D model of the target, and generates a simulation matching image. The simulation image is preprocessed to obtain the matching target image. And the correlation of these two images is calculated. Finally, the attitude of model is updated until the correlation of the matching image and the original image is local optimum. Experimental results show that this method can estimate the attitude from the original simulation image accurately, and the average estimation error of the simulation observation image is 3.85°, which indicates that the proposed method is an effective method for space object attitude estimation.
attitude estimation;correlation;space object;ground-based telescope;Vega Prime
2016-01-22;
2016-02-23
国家高技术研究发展计划(863计划)资助项目(No.2013AA8083042)
2095-1531(2016)03-0371-08
TP394.1
A
10.3788/CO.20160903.0371
李正炜(1988—),男,福建龙岩人,博士研究生,2010年于中国科技大学获得学士学位,2013年于中国科学院长春光学精密机械与物理研究所获得硕士学位,主要从事光学成像探测和数字图像处理等方面的研究。E-mail:lzw55555@mail.ustc.edu.cn
王建立(1971—),男,山东曲阜人,研究员,博士生导师,主要从事空间目标探测技术和地基高分辨率成像望远镜总体技术等方面的研究。E-mail:wangjianli@ciomp.ac.cn
Supported by National High-tech R&D Program of China(No.2013AA8083042)