任晨纲,王 晟,于小祥,赵亿军
(西昌卫星发射中心,西昌 615000)
空间目标的高分辨率散斑成像技术研究
任晨纲,王 晟,于小祥,赵亿军
(西昌卫星发射中心,西昌 615000)
地基光学望远镜对空间目标的成像分辨力受到大气湍流的严重限制。散斑成像技术能利用目标的短曝光序列图像来实现目标图像的高分辨复原,从而使光学望远镜达到其衍射极限分辨力。对空间目标在不同湍流强度下的成像进行了数值模拟,并采用散斑成像技术对这些模拟图像进行复原实验。实验结果表明:复原图像的分辨率相对于模拟模糊图像得到明显提升,且当采用Sobel算子作为像质评价函数时,复原图像的质量提升了2倍以上。最后对实际月球表面图像进行了复原实验,复原的月球图像不仅视觉清晰度得到提高,还显示了更多的细节信息;且像质评价函数结果是原始图像最好帧的3倍。另外,散斑成像技术也适用于非等晕成像。
大气光学;空间目标;散斑成像;高分辨率;图像复原
截至目前,世界各国已累计发射6000多个航天器,而仍在轨工作的航天器大约有300多个,另外,太空中还有超过4000万个空间碎片[1]。为保护和控制己方航天器,获取其他国家航天器的活动情况、技术信息和意图等情报,准确掌握空间态势和争夺空间控制权,军事和航天大国都特别重视空间目标监视,积极建设自己的空间目标监视系统。
空间目标监视系统一般由专用的监测网、监测站和指挥控制中心组成。而地基光学望远镜系统是对空间目标进行监测的主要设备之一,然而空间目标发出的光波穿过大气层到达地球表面时,大气湍流造成了空气折射率的不均匀性,波前的振幅和相位都受到了严重的随机扰动,因此望远镜的成像质量会严重恶化[2]。大气湍流成为限制地面望远镜分辨能力的重要因素,即使大大增加望远镜口径的大小,其分辨率也只相当于口径为10 cm左右的望远镜[3],导致其在可见光波长内的角分辨率不会超过1角秒(约5个微弧度),而理论上8 m望远镜的分辨率可以到达0.013角秒,约为湍流受限的77倍。
克服湍流对目标成像的退化效应和提高观测图像的分辨率至今仍是空间目标监视领域的热点和难点。图像处理技术通过数学方法对目标的模糊图像进行复原得到目标高分辨率图像,具有不需要复杂的系统结构和昂贵的仪器设备等优点。
散斑成像技术是目前空间目标图像复原的主要技术之一,国外对其的研究已取得丰硕成果。Lawrence等[4]利用毛伊岛测量站的1.6 m望远镜对哈勃太空望远镜进行观测,并利用散斑成像技术使得原来模糊的哈勃图像变得轮廓清楚可见,除此之外毛伊岛的高性能计算中心已将该技术作为空间目标图像复原的关键技术之一[5]。Weigelt等对俄罗斯Special Astrophysical Observatory的6 m望远镜的恒星观测数据进行了散斑成像处理,结果分辨率达到了0.03 as,接近工作波长为700 nm的衍射极限分辨率[6]。Carsten等对76 cm望远镜的AO校正后图像运用帧选择和散斑成像技术进行处理,结果分辨率大大提高[7]。美国Livermore实验室在FPGA上利用散斑成像技术实现了湍流的实时补偿[8],其处理速度由原来的每秒1帧提高到每秒60帧,通过对美国国家航空航天局(NASA)提供的航天飞机发射视频进行处理,使得原图许多模糊的细节得到清晰的显示。除上述外,国外研究者利用散斑成像技术在水下目标观测、地面远距离目标监视以及武器瞄准等领域均取得了诸多成果[9-11]。
在国内的公开报道中,云南天文台利用散斑成像技术对双星及三星的观测达到了1 m望远镜近衍射极限分辨率[12],中科院光电技术研究所对散斑成像技术进行了数值仿真[13],国防科技大学在散斑成像技术的算法运行速度和扩展目标复原等方面进行了研究[14]。但总体而言,无论在算法研究还是实际应用上,国内的研究水平还与国外存在较大的差距。本文以实际月球表面图像的复原处理为例,研究散斑成像技术在不同湍流强度下对空间目标图像复原效果。
目标的短曝光图像可能存在目标的近衍射极限信息,而图像傅立叶变换的高阶统计量能保留这些信息。散斑成像技术从这些高阶统计量中分别计算目标的功率谱和相位谱,再通过傅立叶反变换就能得到目标高分辨率图像[15]。
空间目标通过大气湍流的成像模型可以用公式(1)中的卷积表示,(x,y)表示二维坐标系,o(x,y)表示目标空间辐射强度分布,h(x,y)表示大气-望远镜系统的点扩散函数,i(x,y)表示在成像靶面上得到的图像,n(x,y)为加性高斯噪声。
对式(1)进行傅里叶变换,得到空间频域下的成像模型,如式(2)所示。
假设成像时望远镜口径为D,光波的平均波长用λ表示,大气相干长度为r0,出瞳面与像平面之间的距离用di表示。理论和实验表明当D≫r0,平均光学传递函数在空间频率处几乎为0,因此高频空间信息难以通过大气-望远镜系统,这也表明无论如何增大望远镜的口径,其分辨能力不会随之显著提高,而是受限于大气相干长度[2]。
式(4)中〈·〉表示系综平均,α为非零常数,避免在高空间频率处分母为0。公式(4)是实际中常运用的功率谱估计,如果考虑成像过程中的噪声(主要是加性噪声和光子噪声),还应当利用噪声特性对式(4)的分子进行修正,得到观测图像功率谱的无偏估计[4]。
仅有目标的功率谱不足以恢复目标图像,还需要目标的相位信息。相位谱的估计方法主要有两种:Knox-Thompson方法和双谱法(Bispectrum Method)。这两种方法都不能直接给出目标相位,而是给出目标相位的一个线性组合,因此还需要其它操作来重建目标的相位。由于双谱对目标在图像上的随机漂移不敏感,在计算前不需要对目标图像进行配准操作,因此本文采用双谱法来进行目标相位重建。
计算目标的相位谱时,将式(2)代入式(5)中,并对两边求期望值,目标在不同空间频率处的
首先,零频处的相位是已知的,因为图像在各点的值为实数,故零频处的相位恒等于0;其次距离零频最近的4个点的相位设为0,如式(7)所示。
式(7)并不会造成相位信息丢失和降低图像的成像质量,而只是在重建相位中增加一个线性项,该线性相位只引起目标产生一个移位,导致目标多数情况下不在图像中心附近,这只需在图像复原后将目标移动到中心即可[4]。
利用平均双谱相位和零频附近的相位来重建目标相位的方法主要有:递归法、最小二乘法和投影切片法。递归法能依次从低频处的相位推导出高频处的相位,其计算顺序在二维频域内可以采用横向扫描和纵向扫描两种方式,分别见图1所示。
图1(a)和(b)中的圆表示衍射极限截止频率,细箭头表示相位计算的递归顺序,fx和fy是频域的两个方向,其将整个频域分为4个象限。图像傅里叶频谱具有Hermit对称性,即图像相位谱关于原点成负对称的,因此只需任意相邻两个象限的相位就能得到目标完整的相位谱。
扫描顺序确定了不同频率的相位计算顺序,但同一频率处的相位值可以有不同的计算路径,如图2所示。当存在噪声时,沿不同路径计算的相位值存在差异,因此计算某频率处的相位时,将所有沿非冗余路径的相位计算结果进行求和平均,以减小噪声影响。
但是不同路径得到的相位可能存在2π及其整数倍的差异,求和平均则会导致相位计算的不准确,因此当利用递归法进行相位重建时,需要将式(6)两边分别求自然指数,得到相位计算的另一公式(8)。
散斑成像技术利用空间目标的短曝光序列图像来克服大气湍流引起的图像模糊,从而获得目标的高分辨率图像。散斑成像技术实现图像复原的整个计算流程如图3所示。
计算流程不仅利用空间目标的序列图像,还利用了两个参数:望远镜口径D和大气相干长度r0。但r0的值通常未知,并且在成像过程中是随时间变化的。解决方法是首先假定r0的一个取值范围,然后按照某固定步长取不同的值,相应得到一组目标复原图,再从其中选择出最清晰的图作为最终的输出图像。
在本节中,采用图3所示的计算流程先后对海洋卫星经过大气湍流成像的模拟图像以及真实月球图像进行处理。为验证散斑成像技术的图像复原效果和性能,所有的实验结果均为散斑成像技术的直接处理结果,而不进行图像锐化等进一步增强操作。
选择模拟海洋卫星作为观测的空间目标,见图4。目标图像的大小为256×256,其具有丰富的细节信息和多层次的灰度级。
采用功率谱反演法模拟空间目标经过大气湍流成像,输入的是清晰目标图像,输出的是受大气湍流影响的模糊空间目标图像。大气湍流对光波波前的影响用相位屏来描述,而相位屏则用正交的Zernike多项式作为展开基函数来表示。
大气相干长度r0=3.6 cm值越小,湍流的强度越强,受大气湍流影响就越大,空间目标成像越模糊。数值模拟过程中,r0=3.6 cm分别取3.6 cm、2.5 cm和1 cm来对应弱湍流、中等湍流和强湍流三种情况[16],每种情况均模拟生成100帧模糊目标图像,见图5。
图5给出了散斑成像技术在不同强度湍流下对空间目标图像的重建结果。图5(a)是利用Sobel算子作为像质评价函数从100帧弱湍流图像中选出的最好帧,而图5(b)则是利用这100帧弱湍流图像得到的复原结果。Sobel算子的定义为式(9)。图5(c)和图5(e)则分别为中等湍流和强湍流时100帧模拟图像中的最好帧,图5(d)和图5(f)则分别为中等湍流和强湍流时模拟海洋卫星的复原结果。
相比于各自湍流强度下的最好帧图像,复原结果的分辨率有了显著提升,并且清晰地展示了海洋卫星的帆板和天线等结构。
利用Sobel算子对模拟模糊图像和复原结果进行定量比较。Sobel算子是图像沿水平、垂直以及两个对角线方向的梯度平方和统计,图像细节越丰富其值就越大。因此Sobel算子在一定程度上反映了图像分辨率,其值越大,图像细节越多,分辨率越高。
表1给出了图5中所示的三种情况复原前后的像质评价函数计算结果。为方便比较和分析,计算结果均除以其中的最大值来进行归一化。
表1 不同强度湍流下图像复原质量的定量比较Table 1 Quantitative comparison for restored images with turbulence of different intensities
表1的第二行给出了弱、中等和强湍流下最好帧图像的像质评价函数值,弱湍流时像质评价函数最高,然后依次递减;第三行则给出了相应情况下复原图像的像质评价函数值;第四行是像质评价函数的提高比值,即第三行除以第二行的结果。表1说明相比于原始模拟图像,散斑成像技术在三种湍流强度下均明显提高了图像成像质量。
在数值模拟实验后,利用本文的算法对受大气湍流影响的真实空间目标图像进行了复原实验。选择月球作为实验空间目标,因为从地面观测月球需要经过大气层成像,并且月球表面具有陨石坑等诸多地貌特征。本文所用的月球图像来自于互联网,图像总共9帧,其大小均为640×480。利用Sobel算子对这9帧图像计算后排序,图6(a)和(b)分别是这9帧图像中的最好帧和最差帧图像。
图6展示了真实月球图像复原实验结果。与图6(b)相比较,图6(a)的中心区域分辨率更高,其具有更多的细节信息并且更清晰地展示了月球表面的地貌。另外,图6(a)的中心区域相对于周边区域要清晰一些,这显现出非等晕成像的特性,即图像不同区域受大气湍流的影响强弱不同[17]。
图6(c)则给出了本文算法的复原效果,其视觉效果更清晰,没有原始图像的朦胧感,然后还展现了月球表面的更多山丘与沟壑。图6(c)的边界有些异常,这是频域内的“振铃效应”导致,可以对原始图像加黑框来避免,使图像边缘没有目标信息。
最后利用Sobel算子对真实月球表面图像和复原图像进行定量比较分析,见表2。
表2 月球表面图像复原的定量比较Table 2 Quantitative comparison for image restoration of the Moon surface
表2的第二行给出了图6的像质评价函数计算结果M1。计算结果仍然以最大值进行归一化处理,结果表明最好帧图像质量优于最差帧,而复原图像的M1值是最好帧图像的3.2倍。
本文利用散斑成像技术分别对受大气湍流影响的模拟空间目标图像和真实月球表面图像进行了复原实验,结论如下:
1)散斑成像技术能克服大气湍流导致的不利影响,从而实现空间目标图像的高分辨率复原。在数值模拟实验中,与弱、中等和强湍流情况的原始图像相对比,复原结果皆展示了空间目标的更多细节和结构信息。
2)当利用Sobel算子作为像质评价函数时,定量分析结果表明:复原图像的评价结果比原始图像的最好图像至少提高了2倍。
3)真实月球表面图像复原结果表明即使在非等晕成像时,散斑成像技术也能提高空间目标复原图像的分辨率,扩大了散斑成像技术的应用范围。
(References)
[1] 雷厉,石星,吕泽均,等.侦察与监视[M].北京:国防工业出版社,2008:125-132.Lei Li,Shi Xing,Lu Zejun,et al.Reconnaissance and Surveillance[M].Beijing:National Defense Industry Press,2008:125-132.(in Chinese)
[2] Fried D L.Limiting resolution looking down through the atmosphere[J].J.Opt.Soc.Am,1966.56:1380-1384.
[3] Benjamin L.McGlamery.Restoration of turbulence degraded images[J].J.Opt.Soc.Am,1967.57:293-297.
[4] Lawrence T W,Goodman,Johansson,et al.Speckle imaging of satellites at the U.S.Air Force Maui Optical Station[J].J.Opt.Soc.Am,1992,31(29):6307-6321.
[5] Shoemaker M A,Shroyer L E.Historical trends in groundbased optical space surveillance system design[C]//Maui:Proceedings of the Advanced Maul Optical and Space Surveillance Technologies Conference,2007.
[6] Weigelt G,Balega Y,Hofmann K H,et al.First diffractionlimited speckle masking observation of the Mira variable R Cas with the 6 m SAO telescope[J].Astron.&Astrophys.,1996,316:21-24.
[7] Carsten Denker,Dulce Mascarinas,Yan Xu,et al.Highspatial resolution imaging combining high-order adaptive optics,frame selection,and speckle masking reconstruction[J].Solar Physics,2005,227(2):217-230.
[8] Carmen J.Carrano.Image processing:FPGAs enable realtime atmospheric compensation[R/OL].USA:OptoIQ,2010.(2010)[2017].http://www.vision-systems.com/articles/print/volume-15/issue-6/Departments/Technology_Trends/IMAGE_PROCESSING_FPGAs_enable_real-time_atmospheric_compensation.html.
[9] Wen Z,Lambert A,Fraser D,et al.Bispectral analysis and recovery of images distorted by a moving water surface[J].Applied Optics,2010,49(33):6376-6384.
[10] Carrano C J,Brase J M.Adapting high-resolution speckle imaging to moving targets and platforms[C]//SPIE Defense and Security Symposium.United States:Proc.of SPIE,2006:56-64.
[11] Carrano C J.Mitigating atmospheric effects in high-resolution infra-red surveillance imagery with bispectral speckle imaging[C]//Image reconstruction from incomplete data.United States:Proc.of SPIE,2006:631602(1)-631602(12).
[12] 刘忠,邱耀辉,楼可,等.云南天文台高分辨率斑点成像的新进展[J].天文学报,1998,39(2):217-224.Liu Zhong,Qiu Yaohui,Lou Ke,et al.New progress in the high resolution speckle imaging at Yunnan observation[J].Acta Astronomica Sinica,1998,39(2):217-224.(in Chinese)
[13] 罗林,廖胜,樊敏.天文望远镜像差对斑点成像技术的影响[J].光学学报,2005,25(11):1447-1451.Luo Lin,Liao Sheng,Fan Min,et al.Effects of large telescope aberration on speckle imaging[J].Acta Optica Sinica,2005,25(11):1447-1451.(in Chinese)
[14] 任晨纲,梁永辉,于起峰.基于散斑成像技术的扩展目标高分辨率复原[J].光子学报,2014,43(2):0210002(1)-0210002(6).Ren Chengang,Liang Yonghui,Yu Qifeng.High resolution imaging of extended object by speckle imaging[J].Acta Optica Sinica,2014,43(2):0210002(1)-(6).(in Chinese)
[15] Charles L.Matson,Marsha Fox,E.Keith Hege,et al.Deep-space satellite-image reconstructions from field data by use of speckle imaging techniques:images and functional assessment[J].Applied Optics,1997,36(14):3120-3126.
[16] Glen E.Archer,Jeremy P.Bos,Michael C.Roggemann.Comparison of bispectrum,multiframe blind deconvolution and hybrid bispectrum-multiframe blind deconvolution image reconstruction techniques for anisoplanatic,long horizontalpath imaging[J].Optical Engineering,2014,53(4):043109(1)-043109(15).
[17] Mikhail A.Vorontsov,Gary W.Carhart.Anisoplanatic imaging through turbulent media:image recovery by local information fusion from a set of short-exposure images[J].J.Opt.Soc.Am,2001,18(6):1312-1324.
Study on High Resolution Speckle Imaging Technique for Space Objects
REN Chengang,WANG Sheng,YU Xiaoxiang,ZHAO Yijun
(Xichang Satellite Launch Center,Xichang 615000,China)
The resolution of ground-based optical telescope for space object imaging is severely limited by the atmosphere turbulence.Speckle imaging technique can take advantage of the short exposure images to obtain a high resolution image,which can achieve the diffraction-limited resolution of the optical telescope.The numerical simulation experiments of space object imaging through the turbulence of different intensities were carried out,and the speckle imaging technique was used to obtain a restored image with the simulated images.The results of the simulated experiments demonstrated that the resolution of the restored images was obviously improved as compared with the simulated images.When Soble operator was used to evaluate the image quality,the image quality of the restored images was increased by at least 2 times.The restoring of the real Moon surface images demonstrated that the restored images were not only visually sharper,but also showed more details than the original images.The image quality of the restored moon image was increased by 3 times and the speckle imaging technique was also adapted for an isoplanatic imaging.
atmospheric optics;space object;speckle imaging;high resolution;image restoration
P183.4
A
1674-5825(2017)06-0755-06
2016-05-30;
2017-09-24
任晨纲,男,博士,工程师,研究方向为图像复原和超分辨率重建。E-mail:ren_chengang@163.com
(责任编辑:康金兰)