星载相机轨道末期成像模型及图像复原算法

贺小军,金 光,杨秀彬,王金玲,曲宏松

1.中国科学院长春光学精密机械与物理研究所,吉林长春130033;2.中国科学院研究生院,北京100039

星载相机轨道末期成像模型及图像复原算法

贺小军1,2,金 光1,杨秀彬1,2,王金玲1,2,曲宏松1

1.中国科学院长春光学精密机械与物理研究所,吉林长春130033;2.中国科学院研究生院,北京100039

通过对光学卫星轨道末期成像面临的像移失配的研究,从能量的观点出发建立TDI CCD(时间延迟积分电荷耦合器件)推扫成像通用模型(GMPI)。基于该模型提出一种像移失配工况下的非常规遥感成像方式。引入信号滤波器的表示方法,将GMPI模型简化成为易于计算的TDI CCD推扫成像滤波器模型(FMPI),对轨道末期遥感图像混叠效应进行定量分析,并给出基于成像机理及成像参数的图像恢复处理方法。通过实际成像试验获取像移速度失配下的图像并通过图像恢复算法进行处理,得到比半盲式复原算法更好的图像恢复效果。

轨道末期;TDI CCD;非常规成像;像移失配;图像恢复

1 引 言

为了获取高分辨率的遥感图像,光学成像卫星大多运行在低于1 000 km的太阳同步轨道。由于稀薄大气的阻力影响,卫星轨道会逐渐衰变,最后坠入大气层烧毁。为了维持正常轨道高度,光学成像卫星一般都携带大量燃料,每隔一段时间重新将轨道推高到标称高度,这一过程称为轨道维持。当卫星燃料耗尽,无力再维持正常的轨道高度时,光学相机的成像系统往往会因为本身参数的限制,不能再进行正常的遥感成像。从卫星燃料耗尽到衰变坠入大气层烧毁,这段时间称为卫星轨道末期。由于太空中空气极为稀薄,轨道的衰变是一个漫长的过程,这段时间短则几个月,长则几年。由于卫星其他系统的设计寿命往往长于燃料供给时间,故在卫星轨道末期,卫星仍然有可能进行一些异于常规模式的成像,从而获取一些有价值的遥感资料。由于此时成像已经不满足像移速度匹配条件,所得到的遥感图像是具有区域性混叠的欠采样图像。

对卫星轨道末期成像问题进行研究,其关键技术是图像复原算法,本问题属于图像工程中的运动图像复原研究范畴。该领域的研究成果和相关算法较多。文献[1]通过获取点扩散函数从而得到遥感图像的调制传递函数(MTF)增强图像的高频部分,使图像易于判读解译。文献[2]综合利用了无人机运动的先验信息,提出不同运动模糊情况下点扩散函数的估计方法,采用维纳滤波复原算法估计图像,给出了适用于无人机成像制导系统的图像复原方案。文献[3]分析了航空成像系统像移模糊产生的机理;通过建立运动模糊的数学模型,构建二维运动模糊点扩散函数;采用维纳滤波方法,消除了航空成像系统图像像移模糊;通过加窗技术,有效地抑制和减小了边缘误差。文献[4]基于调制传递函数(MTF)对 TDI CCD的像移进行了分析。根据TDI CCD像移的产生机理,建立图像退化的数学模型,本文作者提出一种有效估计模糊图像系统点扩散函数的方法,并对运动模糊图像进行半盲恢复。

文献[2-3,7]主要针对面阵CCD所成图像进行分析,由于像移情况复杂,只能通过盲式或半盲式,主要依靠对图像的统计学参数进行图像恢复,其中提到的特征分割等处理方法对完善本文的算法具有借鉴意义。文献[1,4]针对TDI CCD在航天遥感的像移失配成像进行半盲式恢复,但并不适用于轨道末期像移严重失配的情况。在该情况下,像移主要是沿航方向分量,且与轨道直接相关。本文提出一种基于成像原理的复原算法,避免盲式或者半盲式复原算法在像移失配严重时出现病态。建立像移速度失配下的 TDI CCD推扫成像模型,并寻找出图像恢复算法,不仅可以延长光学成像卫星的有效工作寿命,使得卫星得到更加充分的利用,而且有助于非常规遥感成像理论的发展。

2 轨道末期成像模型

2.1 TDI CCD推扫成像通用模型

根据初步调研,到目前为止,学术界尚未提出TDI CCD像移速度严重失配时的成像模型。在轨道末期,随着卫星轨道的不断衰变,像移速度持续增大。由于焦平面电子学的噪声与像素移出时钟频率存在正相关关系,为了保证相机在正常工作轨道上具备较高的信噪比,成像电子学在设计时往往选取了满足正常拍照要求的最低像素移出频率。故在轨道末期,随着轨道持续衰变,相移速度持续增大。若仍然通过调整行转移周期去实现与相移速度的严格匹配,则会使得TDI CCD每行的像素无法正常移出,使得TDI CCD产生时许紊乱,无法成像。所以在进行成像电子学设计中,都设定了一个最小行周期阈值,当通过姿轨参数计算所得值小于这个阈值时,则将实际行转移周期锁定为该阈值。由于轨道末期太阳能帆板仍能正常提供电能,卫星姿态控制系统可以正常工作,卫星仍具备调偏流能力,偏流对卫星成像的影响在允许范围之内,忽略其影响。本论文提出的 TDI CCD推扫成像通用模型(GMPI)主要研究沿航方向像移速度与行转移频率在任意不同匹配度时对遥感成像的影响,对不同的匹配情况具有较好的通用性。

为了建立简单实用的数学模型,以文献[1]中的成像模型为基础进行简化,设地面目标亮度函数为 g0(x0,y0,t),轨道高度为 H,焦距为 f,在成像的瞬时弧段看成匀速圆周运动,则像面照度函数为

其中,A0是与光学系统、星地距离有关的系统参数,在每次拍照时间内,可以看作常数,其数值对本模型没有影响。根据能量积分的观点,每个CCD像元的信号能量来源于像面上对应区域的照度对时间及位置的积分,根据TDI CCD的推扫成像方式及电荷转移原理,每个像元输出信号为该列各感光像元先后不同时刻积分之和,TDI CCD第L行R列输出的信号理论大小为

其中,K0为光电转换常数,只与TDI CCD器件本身有关;N为 TDI CCD推扫成像所采用的积分级数;a为CCD像元尺寸,若行转移频率与像移速度严格匹配,则表现为对同一区域的多次感光量之和,而对像移速度失配的情况,则表现为对某区域及其前后邻近混叠区域的感光量之和。

2.2 TDI CCD的滤波器模型

公式(2)为TDI CCD成像的理论公式,但在实际成像过程中,目标的亮度函数往往是不规则函数,很难进行精确的积分计算。为了得到易于应用的工程化模型,将TDI CCD的推扫成像过程看成一个滤波器。由于轨道末期相移失配主要表现为沿航方向(行间像移),偏流引起的列间像移在经过偏流调节之后,其残差已经变为次要因素,予以忽略,得到简化的TDI CCD推扫成像滤波器模型(FMPI)。它表示像面各个区域对遥感图像中每个像素的贡献率,或者是遥感图像每个像素对目标各个区域的敏感度,其传递特性函数为GTDI(L,y)表示像面 y位置的图像对第L行图像的贡献率(其数值在0～N之间),其中 y为目标在像面坐标系中的位置矢量(飞行方向为正),L为行数;a为CCD像元尺寸;δ为行转移频率失配率矢量(像移速度超前为正);N为 TDI CCD积分级数。图1～图3直观地表示出δ取不同值时公式(3)所表示的滤波器特性。

图1 δ=0时96级积分等效滤波器Fig.1 Flitter module forδ=0 andN=96

图2 δ=1%时96级积分等效滤波器Fig.2 Flitter module forδ=1%andN=96

图1～图3展示了TDI CCD在96级积分情况下连续10行输出信号所对应的目标位置。从图中可以看出,当行转移频率与像移速度严格匹配时,只有相邻像素之间有成像区域混叠现象,每个像素所采集的信息来源于邻近的2个GSD单元,主峰出现在本GSD内,且本GSD区域能量权重占75%。当行转移频率与像移速度失配时,混叠程度变得越来越严重,对于96级积分的 TDI CCD,当δ=1%时,每个像素所采集的信息来源于邻近的2.5个 GSD单元。当δ=5%时,每个像素所采集的信息来源于邻近的4.5个 GSD单元。为了便于表征信号混叠的严重程度,引入混叠率RA来表示某像元中混叠信号量与总信号量之比,混叠率越小,表示该像元信号可信度越高,图像的对比度越好。

图3 δ=5%时96级积分等效滤波器Fig.3 Flitter module forδ=5%andN=96

由公式(3)可以看出,GTDI(l,y)具有明显的窗口特性,在窗口外为全0。根据窗口范围,可以得出每行像素图像信号来源的始末位置,而且每行像素的滤波曲线仅仅是在 y方向的平移,所以相邻两行像素增益值相等处,则为两行之间的分界位置,于是可以计算出第L行图像信号来源的起始位置Ybegin(L)、结束位置Yend(L),与L+1行的分界位置得 Yborder(L)

于是利用公式(3)中单行像素滤波曲线关于中心位置的对称特性,可以得到混叠率公式为

为便于计算,公式可变换为

通过数值分析,可以得到图4。从图中可以看出,随着行像移失配率的增大,混叠率随之增大,且TDI CCD积分级数越大,变化混叠率增加越快。所以,在卫星轨道末期,若失配率已经较大,不应选用高积分级数,而应该采用较低积分级数,同时提高电子学放大系数的方法来获得较好图像。

图4 图像混叠率曲线图Fig.4 Image-aliasing effect(IAE)curve

图4定性地表示了混叠率在不同积分级数下随着失配率的变化。常规的航天遥感图像处理大多是围绕图像本身进行盲式或半盲式处理[3,5],对于轨道末期的非常规成像,像移失配严重,很难取得好的效果,需要采用特殊的图像复原算法。为便于图像复原处理,进一步计算出各像元信息来源的精确比例即信息贡献率,作为图像复原处理的补偿系数,实现图像的信息校正与恢复。将当前像元对应的GSD称为0级目标区域,前后邻近GSD依次为±1级、±2级,为了得到补偿系数,需要精确计算出邻近GSD对本像素的信号贡献率。利用公式(6)、公式(8),可以计算出邻近±j级区域的贡献率 Kj,它同时作为图像复原时的补偿系数。32级积分时补偿系数如表1。

表1 TDI CCD32级积分补偿系数表Tab.1 Compensation coefficient forN=32

像移失配情况下的成像效果可以用式(10)表示。

于是可以得到如下的补偿公式

上式中 Ki表示±i级区域的贡献率,带＊号的量表示准确值,但由于图像本身已经发生混叠,无法得到准确值。由公式(8)及表2可以看出,一般情况下,0级补偿系数始终大于其他高级次系数,不妨用带＊号量所对应的0级像素的值来代替准确值,于是有近似补偿公式

根据公式(9)、公式(12),可以对轨道末期成像得到的遥感图像进行复原处理,算法参数来源于卫星成像参数,原始图像数据来源于轨道末期非常规成像结果,利用公式(12)进行迭代,可以实现对相移失配成像结果的图像恢复。

由于像移速度失配条件下成像结果存在几何畸变(沿像移速度矢量方向压缩或伸长),所以需要将公式(12)复原的图像进行几何修正,修正因子与失配率相关

其中,Y为复原算法所得图像沿像移速度方向长度;Y′为进行修正后的图像沿像移速度方向长度;像移速度超前于行转移速度时,δ为正,像移速度滞后于行转移速度时,δ为负,卫星轨道末期成像属于前者。

3 试验验证

为了验证本文提出的图像恢复算法的恢复效果,设计了一组成像试验,利用某工程项目的TDI CCD相机电性样机对贴有分辨率图案的匀速转动靶标进行成像,模拟卫星对地的推扫成像,经理论计算,其理论行转移时间为56.86μs。积分级数为32级时,成像如图5所示。

图5 相移匹配成像结果Fig.5 Image without IMM

为了得到相移适配条件下的成像结果,将行转移时间设置为68.25μs,即失配率20%,积分级数为32级时,成像结果如图6所示。

图6 相移失配率20%成像结果Fig.6 Image with 20%IMM

利用本文推到的图像恢复算法,利用公式(12)及表(1)中的补偿参数,对图6进行了图像复原,经过2次迭代,并经公式(13)进行几何修正,得到图7所示的复原图。

图7 图像恢复结果Fig.7 Image recovered

从图7与图6的对比中可以看出,恢复后的图像在纵向(像移失配方向)有较明显的改善,图像清晰程度有明显提高,从较小的鉴别率图案中可以看出,图像分辨率有所提高,原图中的弥散现象大大减弱。上述试验结果说明,本文提出的图像复原算法能够较有效地复原因像移失配引起的模糊现象。

4 参照试验及评价

为了对本文的图像恢复算法进行评价,以焦斌亮教授等人提出的基于 TDI CCD点扩散函数估计的半盲恢复算法作为参照算法[4],对图(6)进行半盲恢复。根据图8所示频谱图,分析得到水平方向中央条带宽度为78像素。原图尺寸为256×256,计算得像移量初始化值S=6.6,根据文献[4]中提出的图像恢复算法,得到复原图(图9)。

图8 像移失配20%成像结果频谱图Fig.8 Spectrum of the image with 20%IMM

图9 参考算法复原结果Fig.9 Image recovered by reference algorithm

由于目前TDI CCD像移失配图像的复原算法[4]一般用于处理微小像移失配(小于0.02%),文献[4]中的算法对严重像移失配(20%)的图像复原效果欠佳,出现了较为明显的横纹噪声,试验过程中发现算法此时容易表现出病态。对比图9和图7可以发现,本文的算法在轨道末期成像这种严重像移失配情况下的图像,具有更好的复原效果,且算法具有较好的鲁棒性,对像移失配较严重时据有较明显的优势。为了定量得衡量两种算法的图像复原效果,引入文献[6]中翟亮博士提出的Q值评价方法。它由影像特征畸变(GCD)、纹理畸变(TD)和相关性损失(LC)三个“维”组成,与主观评价有很好的吻合性。分别分析两种算法复原的图像(均经过几何校正)与像移匹配条件下成像结果进行比较,得到吻合性参数,参数值越大,表示复原效果越接近理想结果。从表2可以看出,本文的算法在三个分指标及总体指标Q均优于参考算法,且处理时间仅为参考算法的10%左右。

表2 参照试验分析结果Tab.2 Results of comparative experiment

5 结 论

本文从TDI CCD推扫成像的基本原理出发,推导出了卫星轨道末期像移严重失配下的成像模型和工程化简化算法,并利用某空间项目TDI CCD相机电性样机进行了对鉴别率靶标的推扫成像试验及图像复原试验,取得了优于参考算法的复原效果。从复原图像可以看出噪声对复原效果影响较大,加入适当的噪声抑制算法将可以使得本算法更加完善,从而可以大大降低多次迭代过程中产生的噪声积累,有利于获得更优的复原效果。

[1] ZHOU Chunping,GONG Huili,LI Xiaojuan,et al.The Summary of MTF Restoration on Remote Sensing Image[J].Spacecraft Recovery&Remote Sensing,2009,30(1):27-32.(周春平,宫辉力,李小娟,等.遥感图像MTF复原国内研究现状[J].航天返回与遥感,2009,30(1):27-32.)

[2] LI Qingzhen,ZHU Xiaoping,ZHOU Zhou.Research on UAV Motion-blurred Image Restoration[J].Fire Control &Command Control,2009,34(2):51-54.(李庆震,祝小平,周洲.无人机运动模糊图像复原技术[J].火力与指挥控制,2009.34(2):51-54.)

[3] JIA Ping,ZHANG Bao,SUN Hui.Restoration of Motionblurred Aerial Image[J].Optics and Precision Engineering. 2006.14(4):697-703.(贾平,张葆,孙辉.航空成像像移模糊恢复技术[J].光学精密工程,2006.14(4):697-703.)

[4] J IAO Binliang,YAN Xuhui.Image Motion Analysis and Image Restoration Based on TDI-CCD Imaging[J].Journal of Astronautics,2008,29(2):675-678.(焦斌亮,闫旭辉.基于TDI-CCD成像像移分析及图像复原[J].宇航学报,2008,29(2):675-678.)

[5] TONG Xiaochong,WU Yundong,WANG Hui,et al.The Eliminate Inconsistent Algorithm of Large Plane Array CCD Multiple Channel Images[J].ActaGeodaetica et Cartographica Sinica,2006,35(3):234-239.(童晓冲,吴云东,王慧,等.大面阵CCD影像多通道不一致性消除算法[J].测绘学报,2006,35(3):234-239.)

[6] ZHAI Liang,TANG Xinming,LI Lin,et al.A New Quality Assessment Index for Compressed RS Image[J].Geomatics and Information Science of Wuhan University,2007,32 (10):872-873.(翟亮,唐新明,李霖,等.一种新型的遥感影像压缩质量评价指标[J].武汉大学学报:信息科学版,2007,32(10):872-873.)

[7] ZHANG Yuye,ZHOU Xiaodong,WANG Chunxin.Space-Variant Blurred Image Restoration Based on Pixel Motion-Blur Character Segmentation[J].Optics and Precision Engineering,2009,17(5):1119-1126.(张玉叶,周晓东,王春歆.应用像素运动模糊特征分割的空间移变降质复原[J].光学精密工程,2009,17(5):1119-1126.

(责任编辑:丛树平)

Imaging Model and Image Recovering Algorithms of Spaceborne Camera In the End of Orbit Life

HE Xiaojun1,2,J IN Guang1,YANG Xiubin1,2,WANGJinling1,2,QU Hongsong1
1.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Sciences,Changchun 130033,China;2.Graduate University of the Chinese Academy of Sciences,Beijing 100039,China

A generic model of time-delay and integration charge-coupled device(TDI CCD)push-broom imaging (GMPI)based on energy is established,through researching the image motion mismatch(IMM)of the space camera in the end of orbit life.For the image motion mismatch being inevitable in the end of orbit life,an unconventional way of remote sensing imaging(UWRSI)is proposed based on GMPI,in order to simplify the calculation.The GMPI is simplified to a filter model of TDI CCD push-broom imaging(FMPI).Using the filter model,the image-aliasing effect(IAE)of the space camera in end of orbit life is quantitatively analyzed easily,and the algorithm and its parameters of image recovering is given out based on imaging parameters.The original images with IMM are obtained from imaging system with IMM,which is tried to recover the virtual images using the image recovery algorithm,the result shows that the image recover algorithm is effective.

end of orbit life;TDI CCD;unconventional imaging;image motion mismatch;image recovery

HEXiaojun(1983-),male,PhD candidate, majors in CCD imaging electronics of spaceborne camera.

E-mail:hexiaojun6@163.com

1001-1595(2010)06-0579-06

P236

A

国家863计划(O93J32F090);吉林省科技支撑计划(20090102)

2009-07-03

2010-03-25

贺小军(1983—),男,博士生,研究方向为星载相机CCD成像电子学。