空间遥感相机星上图像复原系统设计

赵丽婷 黄刚 林喆



空间遥感相机星上图像复原系统设计

赵丽婷1,2黄刚1林喆1

（1 北京空间机电研究所，北京 100094）（2 先进光学遥感技术北京市重点实验室，北京 100094）

为了能够在轨、实时对空间遥感图像做增强处理，设计了一个基于现场可编程门阵列（FPGA），应用于空间遥感相机的星上实时图像复原系统，实现在轨实时处理遥感图像，增强图像清晰度并有效抑制噪声。图像复原系统采用模块化设计，调制传递函数（MTF）在轨测量计算模块实现了边缘扩展函数计算、线扩展函数计算、归一化MTF计算，以及调制传递函数补偿（MTFC）参数计算与存储等功能；MTFC图像滤波抑噪算法模块实现了二维图像实时滤波以及抑制噪声功能。使用ISE软件的系统生成器模块设计了图像处理算法，简化了系统设计和验证流程。复原系统运行结果表明，图像经过实时复原处理后，图像灰度梯度、点锐度、边缘能量、方差都有大幅提高；复原后图像信噪比与原始图像相比降低很小，对于MTF的中高频域增强。图像复原系统采用模块化设计，实时复原效果好，可灵活应用于多种场合。

星上实时 图像复原系统 现场可编程门阵列 空间相机 航天遥感

0 引言

目前，国内遥感图像因传输带宽限制，回传地面前一般要进行3∶1~8∶1的有损压缩，地面解压图像存在一定程度的失真，影响图像增强处理。因此，需要在轨数字滤波处理，有助于提升零级图像品质且实时性高。对图像进行调制传递函数补偿（MTFC），可使成像系统调制传递函数（MTF）得到提升，提高成像性能。文献[1]介绍了美国商业卫星Ikonos-2应用边缘地物法在轨测量MTF，使MTF从0.03提高至0.17；文献[2]将MTFC技术应用于商用卫星OrbView-3，在轨MTF从0.1提高到0.15。

常用MTF在轨测量方法有：点源法、边缘地物法、线性地物测量法及高分辨图像对比法[3]。点源法已成功应用于部分空间遥感相机，但因其点扩散函数（PSF）同时受光学器件以及大气环境的影响，在轨测量噪声大，复原效果有限[4]；边缘地物法要求选择足够长且带一定灰度反差的地物边缘，计算量小、易实现[1-2,5-6]；线性地物法在实际应用中需要根据线性地物的宽度选择计算宽度，依赖一定的人工经验，难以实现自动化[7-9]；高分辨率图像法要求地表景物信息多样化，高低两个分辨率传感器波段一致且图像同步，很多遥感相机难以满足此要求[3]。综合考虑，获取MTF的方法越复杂、条件越苛刻，星上实时获取就越难以实现。

对退化图像进行复原最常用的方法是约束复原方法，包括约束最小二乘滤波、维纳滤波、迭代算法、小波域算法、逆滤波反卷积算法等。这些方法通常已知各退化过程的精确MTF曲线，根据曲线拟合并构造MTF矩阵。约束最小二乘滤波法、维纳滤波法未解决星载计算机实时处理问题[10-12]，其MTFC曲线形状需靠经验优化；迭代算法依靠大量迭代步骤，有时甚至需要上百次迭代才能获得较好复原效果，降低了运算的实时性与有效性[13-14]；小波域算法复原效果好，但计算结构复杂，对超过1Gbit图像需进行傅里叶变换、反变换和变换域乘积处理，运算量大，严重制约系统的处理速度，实时性较差[15-16]；逆滤波反卷积算法在复原效果和复原速度方面有较大优势，适用于星载计算机实现[17-19]。

鉴于上述原因，本文构建了一种星上实时图像复原系统，使用刀刃边缘法在轨测量MTF，然后使用MTFC滤波抑噪方法对实时图像做复原处理。与现有的地面MTFC技术相比，能够克服有损压缩图像复原信息损失、实时性差、运算量大、复原精度有限的问题，实现在轨实时处理遥感图像；能够大幅提高成像品质，有效抑制噪声。

1 星上实时图像复原系统的设计

本文设计的星上实时图像复原系统包含MTF在轨测量计算模块和MTFC图像滤波抑噪算法模块。MTF在轨测量计算模块包含边缘扩展函数计算模块、线扩展函数计算模块、归一化MTF函数计算模块；MTFC图像滤波抑噪算法模块包含MTFC数字滤波器系数计算存储模块、图像数据边界处理模块、行向图像数字滤波模块、行向滤波图像抑噪模块、两向间滤波图像处理模块、列向图像数字滤波模块、列向滤波图像抑噪模块、复原后图像处理模块，系统结构如图1所示。

首先，图像数据存储模块接收、存储遥感相机CCD焦面电路输出的原始图像数据；再将原始图像数据输出至边缘扩展函数（ESF）计算模块和图像数据边界处理模块；边缘扩展函数计算模块使用原始图像数据计算得到边缘扩展函数；线扩展函数（LSF）计算模块使用边缘扩展函数计算模块输出结果计算LSF；归一化MTF函数计算模块使用ESF计算得到相机系统MTF序列曲线；MTFC数字滤波器系数计算存储模块使用MTF计算、存储并输出行向、列向数字滤波器系数；图像数据边界处理模块对原始图像数据以及两向间滤波图像处理模块输出数据做边界处理；行向图像数字滤波模块使用行向数字滤波器系数对边界处理后的数据进行滤波；行向滤波图像抑噪模块对行向滤波后数据做抑噪处理；两向间滤波图像处理模块存储、处理并输出行向滤波抑噪后图像数据给图像数据边界处理模块和复原后图像处理模块；列向图像数字滤波模块对边界处理模块输出的图像数据做列向滤波处理；列向滤波图像抑噪模块对列向滤波后数据做抑噪处理，处理后数据存入复原后图像处理模块；复原后图像处理模块处理完行、列两向图像数据信息后输出复原后图像。

FPGA作为图像处理芯片，本文选用XILINX公司Virtex-4系列的FPGA芯片，时钟频率40MHz。

图1 星上实时图像复原系统结构

1.1 MTF在轨测量计算模块设计

1.1.1 边缘扩展函数计算模块

模块计算步骤如下：

式中,表示像元点行、列向坐标；D,j为像元点（,）处的像元灰度值。

表1 边缘图像灰度分布序列

Tab.1 Gray value distribution sequence for edge image

1.1.2 线扩展函数计算模块

计算步骤如下：

2）对步骤1）的结果数据进行插值。实验论证选取插值分辨率0.2，即在每两个数据点之间插入5个间隔数据点，插值结果为该行ESF离散曲线。

3）对各行ESF离散曲线求平均，以降低噪声。经以上三步计算得到ESF平均曲线（如图2所示）。

图2 原始边缘曲线与ESF曲线分布

图3 线扩展函数LSF曲线

图4 MTF曲线序列

1.1.3 归一化MTF函数计算模块

计算步骤如下：

图5 图像退化模型

1.1.4 MTFC数字滤波器系数计算存储模块

针对引起图像退化的原因建立退化模型，并根据模型得到退化前的图像，即图像复原。MTFC图像复原是在频域下对退化模型进行补偿，得到近似的退化前的图像。计算步骤如下：

经实验分析计算，MTFC=[0.00342，–0.03101，–0.09399，–0.16016，1.5625，–0.16016，–0.09399，–0.031006，0.00342]；在轨计算机的运算量未超硬件限制；水平（线阵）方向和垂直（推扫）方向分开做复原运算；MTFC真值在计算机上按16bit存储，第1位为符号位，第2~4位为整数位，第5~16位为小数位；存入可编程只读存储器（PROM）。

1.2 MTFC图像滤波抑噪算法模块设计

1.2.1 图像数据边界处理模块

原始图像数据边界处理SG模块设计。边界处理模块使用选择器和计数器逻辑，成功实现在轨实时对像元数据流做边界镜像处理，且不影响相机像元数据流速度。

步骤如下：

按上述步骤对原始图像线阵数据每行的头尾像元数据作对称处理后，得到有对称镜像边界的图像数据，用于和MTFC序列做卷积运算。

1.2.2 行（列）向图像数字滤波模块

行（列）向图像数字滤波模块接收来自MTFC数字滤波器系数计算存储模块获得的行（列）卷积参数，对图像数据进行行方向卷积运算，并输出给行向滤波图像抑噪模块；两向叠加算法为：

1.2.3 行（列）向滤波图像抑噪模块

单卷积运算后图像信噪比下降严重，因此需要进行抑噪处理，确定一种计算量小、抑噪效果好、对图像锐化程度影响小的算法；复原图像像元邻近区域的信息是否丰富决定MTF是否全额补偿。对于判断结果高于抑噪阈值的像元（即该像元图像信息较丰富，滤波后无法被噪声淹没），采用MTF全额补偿；对判断结果低于抑噪阈值的像元（即该像元图像信息较少，滤波后图像信息被噪声淹没），采用MTF半额补偿。

行（列）向滤波图像抑噪模块接收来自行（列）向图像数字滤波模块计算后的图像数据，进行抑噪处理，输出处理后图像数据，抑噪阈值参数存储在PROM中为正整数，范围为[1,1024]，用16bit存储。

1.2.4 两向间滤波图像处理模块

遥感图像线阵CCD数据为串行数据，按行依次输出；列向图像数字滤波操作同时需要11列数据做运算；两向间滤波图像处理模块将行向滤波处理和抑噪处理后的图像数据存储到块随机存储器（Block RAM）中，以进行列方向数据处理；整合、对齐后，按时间顺序就近存储11列像元数据，然后传输至列向图像数字滤波模块，做列向叠加滤波处理，从而实现两向滤波抑噪模块同时对串行图像行数据做处理，保证输出至复原后图像处理模块的图像数据流的速率与输出至图像处理存储模块的速率相同，满足在轨实时图像数据处理的要求。

系统软硬件功能测试用例使用Matlab的M文件编写，计算机仿真程序对原始图像做MTFC复原算法处理的复原后图像，与硬件系统MTFC算法打开后复原图像作对比计算，确定系统实现的算法精度。

2 图像系统验证结果

本文实验计算的MTFC复原滤波器幅频响应曲线如图6所示；经滤波器补偿后，相机分系统全链路的MTF曲线形状提升如图7所示。

图6 MTFC补偿滤波器幅频响应曲线

图7 MTF提升曲线

对全色图像中某块较均匀区域进行仿真，复原前图像信噪比为43.976dB，不抑噪复原后信噪比下降了7.000dB，下降为36.976dB；抑噪复原后，信噪比为43.974dB，下降0.002dB。

无损图像复原结果如图8所示；将原始图像做4∶1的有损压缩后，使用相同复原算法对图像做处理，复原效果如图9所示；原始图像和有损图像及相对应的复原后图像客观评价如表2所示。复原结果表明：无损图像经过实时复原处理后，图像灰度梯度提高131%，点锐度提高47%；边缘能量（分别使用行、列向算子对图像做卷积后再取平方和）提高260%，方差提高9%；复原后图像信噪比与原始图像信噪比相比降低很小，硬件实现结果与理论计算结果相差<5%，复原算法开启后信噪比下降<1dB。对比两套图像复原结果可知，有损压缩图像的复原结果比无损图像复原结果差。

图8 图像复原结果评价

图9 有损压缩图像复原结果评价

表2 原始图像及其复原后图像客观评价

Tab.2 The objective evaluation for original and recovery images

3 结论

本文设计的星上实时图像复原系统与现有技术相比，有如下优点：使用MTFC图像滤波抑噪算法模块；在轨实时对原始图像数据做复原处理，为星上其他数据系统和地面使用者提供像质更清晰、细节更丰富的图像；在空间域做MTFC滤波补偿处理克服了频域处理速度低的问题，可实现MTFC在轨实时快速运算；在轨测量相机系统MTF，针对MTF退化曲线特征，在保证原始图像信噪比未受较大影响的条件下，增强图像灰度梯度、点锐度、边缘对比度，针对MTF中高频域做增强处理；添加MTFC图像滤波抑噪算法模块，使复原后图像信噪比与原始图像信噪比相比降低很小。相比有损压缩的图像，对未压缩的图像做图像复原处理能够获得更丰富的图像信息。因此，本文设计的基于FPGA的遥感相机星上实时图像复原系统实时复原效果好，可灵活应用于多种场合。

[1] CHOI T. IKONOS Satelfite on Orbit Modulation Transfer Function(MTF) Measurement Using Edge and Pulse Method[Z]. A Thesis Submitted in Partial Fulfillment of the Requirements for the Master of Science Major in Engineering South Dakota State University, 2002.

[2] KOHM K. Modulation Tansfer Function Measurement Method and Results for the Orbview-3 High Resultion Imaging Satellite[C]. Proceedings of ISPRS 2004. Istanbul, Turkey, Julyl 2-23, 2004.

[3] 顾行发, 李小英, 闵祥军, 等. CBERS-02卫星CCD相机MTF在轨测量及图像MTF补偿[J]. 中国科学E辑信息科学, 2005, 35(增刊): 26-40. GU Xingfa, LI Xiaoying, MIN Xiangjun, et al. CBERS-02 Satellite CCD Camera MTF On-Orbit Measurement and MTF Compensation[J]. Science in China Ser.E Information Sciences, 2005, 35(suppl): 26-40. (in Chinese)

[4] DU H, VOSS K J. Effects of Point-spread Function on Calibration and Radiometric Accuracy of CCD Camera[J]. Applied Optics, 2004, 43(3): 665-670.

[5] 孟伟, 金龙旭, 李国宁, 等. 调制传递函数在遥感图像复原中的应用[J]. 红外与激光工程, 2014, 43(5): 1690-1696. MENG wei, JIN Longxu, LI Guoning, et al. Application of MTF in Remote Sensing Image Restoration[J]. Infrared and Laser Engineering, 2014, 43(5): 1690-1696. (in Chinese)

[6] 吴昀昭, 宫鹏. “北京一号”小卫星MTF 在轨测量与图像复原[J]. 遥感应用, 2007, 40(4): 49-53. WU Junzhao, GONG peng. On-orbit MTF Estimation and Restoration of Beijing-1 Images[J].Remote Sensing Application, 2007, 40(4): 49-53. (in Chinese)

[7] SCHOWENGERDT R A, ARCHWAMCTY C, WRIGLEY R C. Landsat Thematic Mapper Image-derived MTF[J]. Photogrammetric Engineering and Remote Sensing, 1985, 51(9): 1395-1406.

[8] RUIZ C P. LOPEZ F J A. Restoring SPOT Images Using PSF-derived Deconvolution Filters[J]. International Journal of Remote Sensing, 2002, 23(12): 2379-2391.

[9] 汪畅, 顾行发, 余涛, 等. 资源三号卫星在轨MTF测量与图像复原[J]. 计算机工程, 2014, 40(4): 237-246. WANG Chang, GU Xingfa, YU Tao, et al. On-orbit MTF Measurement and Image Restoration for ZY-3 Satellite[J]. Computer Engineering, 2014, 40(4): 237-246. (in Chinese)

[10] 周楠, 齐文雯, 曹世翔, 等. 基于空域的自适应MTFC遥感图像复原算法[J]. 航天返回与遥感, 2015, 36(4): 104-109. (in Chinese) ZHOU Nan, QI Wenwen, CAO Shixiang, et al. Adaptive MTFC Restoration Algorathm of Remote Sensing Images Based on Spatial Domain[J]. Spacecraft Recovery & Remote Sensing, 2015, 36(4): 104-109. (in Chinese)

[11] 张朋, 刘团结, 王宏琦. 线阵CCD相机MTF的系统模型估计法与图像复原[J]. 光学技术, 2009, 35(3): 394-398. ZHANG Peng, LIU Tuanjie, WANG Hongqi. MTF Estimation Based on System Model for Linear CCD Camera and Image Recovery[J]. Optical, Technique, 2009, 35(3): 394-398. (in Chinese)

[12] 柴雅琼, 冯钟葵, 齐东楷, 等. 改进的MTF遥感影像复原算法研究[J]. 遥感应用, 2012(1): 78-83. CHAI Yaqiong, FENG Zhongkui, QI Dongkai, et al. An Improved MTFC Restoration Algorithm for Remote Sensing Image[J]. Remote Sensing Application, 2012(1): 78-83. (in Chinese)

[13] 贺小军, 金光, 杨秀彬, 等. 星载相机轨道末期成像模型及图像复原算法[J]. 测绘学报, 2010, 39(6): 579-584. HE Xiaojun, JIN Guang, YANG Xiubin, et al. Imageing Model and Image Recovering Algorithms of Spaceborne Camera In the End of Orbit Life[J]. Acta Geodaetica et Cartographica Sinica, 2010, 39(6): 579-584. (in Chinese)

[14] 谢冰, 焦斌亮. 基于航天TDICCD相机像移分析的PSF估计及图像复原算法研究[J]. 宇航学报, 2010, 31(3): 936-940. XIE Bing, JIAO Binliang. The PSF Estimation Method and Image Restoration Algorithm Based on Image-Motion Analysis of Spaceborne TDICCD Camera[J]. Journal of Astronautics, 2010, 31(3): 936-940. (in Chinese)

[15] 陈奋, 赵忠明. 遥感影像反卷积复原处理[J]. 数据采集与处理, 2008, 23(2): 168-175. CHEN Fen, ZHAO Zhongming. Deconvolution of Remote Sensing Images[J]. Journal of Data Acquisition and Processing, 2008, 23(2): 168-175. (in Chinese)

[16] 智喜洋, 张伟, 侯晴宇, 等. 基于空不变图像复原的光学遥感成像系统优化[J]. 光学精密工程, 2013, 23(5): 1490-1497. ZHI Xiyang, ZHANG Wei, HOU Qingyu, et al. Optimization for Optical Remote Sensing Imaging System Based on Space-invariant Image Restoration[J]. Optics and Precision Engineering, 2013, 23(5): 1490-1497. (in Chinese)

[17] 洪汉玉, 张天序. 基于多分辨率盲目去卷积的气动光学效应退化图像复原算法[J]. 计算机学报, 2004, 27(7): 952-962. HONG Hanyu, ZHANG Tianxu. Investigation of Restoration Algorithm for Degraded Imaged Caused by Aero-optics Effects Using Multi-resolution Blind Deconvolution[J]. Chinese Journal of Computers, 2004, 27(7): 952-962. (in Chinese)

[18] 李盛阳, 朱重光. DMC卫星图像MTF分析及其复原方法研究[J]. 遥感学报, 2005, 9(4): 475-479. LI Shengyang, ZHU Chongguang. DMC Satellite Image MTF Analysis and Restoration Method Research[J]. Journal of Remote Sensing, 2005, 9(4): 475-479. (in Chinese)

[19] 陈强, 戴奇燕, 夏德深. 基于MTF理论的遥感图像复原[J]. 中国图象图形学报, 2005, 11(9): 1299-1305. CHEN Qiang, DAI Jiyan, XIA Deshen. Restoration of Remote Sensing Images Based on MTF Theory[J]. Journal of Image and Graphics, 2005, 11(9): 1299-1305. (in Chinese)

[20] 王先华, 乔延利, 洪津. 遥感图像恢复与遥感器MTF在轨检测技术[J]. 遥感技术与应用, 2006, 21(5): 440-444. WANG Xianhua, QIAO Yanli, HONG Jin. A Technique of RS Image Restoration and In-flight Measurement of Remote Sensor MTF[J]. Remote Sensing Technology and Application, 2006, 21(5): 440-444. (in Chinese)

（编辑：夏淑密）

A Real-time Digital Image Restoration System Design of Space Remote Sensing Camera

ZHAO Liting1,2HUANG Gang1LIN Zhe1

（1 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（2Beijing Key Laboratory of Advanced Optical Remote Sensing Technology, Beijing 100094, China）

In order to process space remote sensing images on orbit in real time, a real-time digital image restoration system for space camera was designed based on field programmable gate array (FPGA) in the paper, which can enhance image definition and suppress the noise effectively. Modular design was adopted in the system. The modulation transfer function (MTF) measurement and calculation module on-orbit has the function of calculating many characteristics, such as the edge spread function (ESF), line spread function (LSF), ESF difference operation, normalization MTF and MTFC parameters. The modulation transfer function (MTFC) image filtering and noise suppression module has the function of filtering and effectively suppressing the noise. The system generator software in ISE was used to design the image processing algorithms, thus simplifying the design structure of system and the process redesign. The real-time processing results of the restoration system showed that the gray gradient, dot sharpness, edge energy and variance all had a huge increase after restoration process, the signal to noise ratio (SNR) of the recovered image was very close to the SNR of original image. Especially the SNR was dramatically enhanced at medium-high frequency of image. The designed image restoration system can be widely used in various fields with better restoration effect.

real-time on-orbit; image restoration system; field programmable gate array; space camera; space remote sensing

TP79

A

1009-8518(2017)06-0074-09

10.3969/j.issn.1009-8518.2017.06.009

赵丽婷，女，1986年生，2011年获北京航空航天大学导航制导与控制专业硕士学位，工程师。研究方向为电机FPGA控制、星上图像处理FPGA设计。E-mail：403812355@qq.com。

2017-07-02