“高分七号”卫星相机高精度快速在轨调焦方法

2020-05-21 00:18谭伟王殿中何红艳邢坤王长杰杨居奎
航天返回与遥感 2020年2期
关键词:调焦清晰度步长

谭伟 王殿中 何红艳 邢坤 王长杰 杨居奎

“高分七号”卫星相机高精度快速在轨调焦方法

谭伟1,2王殿中1,2何红艳1,2邢坤1,2王长杰1杨居奎1

(1 北京空间机电研究所,北京 100094)(2 先进光学遥感技术北京市重点实验室,北京 100094)

空间遥感相机在轨调焦是保障并提升相机图像品质的重要方法。“高分七号”(GF-7)卫星立体测绘系统包含前后视两台相机,针对相机光学系统特点与设计参数,研究了在轨高精度快速调焦方法。根据发射入轨初期卫星飞控计划,结合相机覆盖区域研究了在轨调焦方案,包括在轨粗调焦和精调焦两个环节,粗调焦基于图像相对功率谱计算原理,通过粗调焦可快速获取理论最佳焦面位置;精调焦基于图像清晰度评价原理,通过精调焦在理论最佳焦面位置附近定位实际最佳焦面位置。调焦结果表明:文章提出的高精度快速调焦方法在轨调焦精度接近100%,效率高,快速准确地保障了GF-7卫星相机在轨图像品质。

测绘相机 在轨调焦 图像清晰度 “高分七号”卫星

0 引言

2019年11月3日11时22分,我国高分辨率对地观测系统重大专项(简称高分专项)的收官之作——“高分七号”(GF-7)卫星在太原卫星发射中心顺利发射入轨,开启了精准3D测绘之旅。GF-7卫星是我国首颗民用亚米级高分辨率传输型立体测绘卫星,星上搭载的双线阵相机由北京空间机电研究所研制,任务是进行1∶1万比例尺立体测图和数字影像制作,在未来的8年寿命期间,将为地球绘制彩色立体的精准图像,服务于测图生产及更大比例尺基础地理信息产品的更新。

相机分系统由前视相机、后视相机组成,分别从前后两个方向对地面同一景物进行不同角度观测,获取地面景物全色影像,从而形成立体像对;其中后视相机比前视相机增加了4个多光谱谱段成像功能,用于确定地物的物理属性,通过多光谱影像与全色影像的融合处理,可以生成彩色正射影像产品。从506km的轨道高度,前视相机对地角度相对星下点取值26°,后视相机对地角度相对星下点为5°。这样取值的优点是,既能够得到立体的成像效果,而且后视相机对地拍照角度设计接近0°正视,可以得到近似于正视地球的效果。正视及接近于正视的遥感图像,还可以满足除测绘外的国土普查、地物辨别、农作物种植等方面的需求。

GF-7卫星搭载的两台高空间分辨率和高立体测绘精度相机复杂度高,在发射之前,系统经过精确调焦处于最佳焦面位置,但由于发射期间多种因素的影响,以及大气压力、温度、湿度等环境因素的改变,进入轨道后可能会引起光学系统焦距的改变,从而产生离焦现象。离焦使图像清晰度和对比度降低,影响图像像质[1-2]。所以,高分辨率空间遥感相机均设置了调焦机构,发射入轨后进行在轨调焦,才能获得高品质图像[3-4]。

1 常用在轨调焦方法

调焦机构是遥感相机的重要组成部分,目前空间遥感相机调焦方法有程序控制法[5]、对比调焦法[6]和图像处理法[7]。

程序控制法根据相机外景试验时以及热真空试验时可能对焦面产生影响的因素进行预估,利用提前编制好的程序来调整焦面位置。这种方法简单易行,但只能考虑到有限种因素对焦点位置变化的影响,不可能对复杂的空间环境全面估计到,因此有可能与实际情况有一定的偏离。

对比调焦法最早用于SPOT-5卫星[8],利用双相机具有相同覆盖的原理,通过互相参考进行对比调焦,直至两台相机均调整到最佳焦面[9]。

图像处理法是一种比较理想的调焦方法,它的优点是利用遥感相机实时图像作为评价依据,通过图像的特征参数对焦面状态进行判断,来确定相机的最佳工作状态[10-11]。

目前遥感卫星发射入轨后,用户对相机在轨调焦的时间要求越来越高。快速准确完成在轨调焦的关键在于如何制定合适的调焦计划和选取可靠的调焦评价函数。合适的调焦计划有助于充分利用卫星飞控期间有限的成像资源,可靠的调焦评价函数则是判断相机系统是否离焦以及离焦量为多少的关键。一般摄影测量系统中被摄目标不变,其调焦计划可大大简化,直接采用连续变焦搜索即可得到最佳焦面,其调焦评价函数也相对较为简单[12-14]。

对于GF-7卫星来说,调焦策略方面,常规连续变焦搜索的策略对在轨成像时间和卫星使用资源占用要求高,难以满足用户的要求;调焦函数方面,GF-7卫星两台相机采用TDICCD推扫模式成像,被摄目标始终处于变化之中,常用调焦评价函数均无法使用。在用户的时效要求下迅速精准完成在轨调焦的关键在于制定高效的调焦策略和研究高精度的调焦函数。

2 在轨调焦策略

经分析发现,星载遥感相机在轨调焦时采用粗调焦与精调焦相结合的调焦方法可大幅缩短在轨调焦时间。粗调焦时调焦机构采用大步长进行焦面调整,并采用合适的调焦评价函数计算出当前相机的离焦量,进而得到初步的焦面调整位置;精调焦则在粗调焦焦面基础上,调焦机构采用小步长进行调整,采用合适的调焦评价函数对各焦面图像特征参数进行对比,得到最佳焦面。调焦策略流程如图1所示。

图1 在轨调焦流程

根据调焦流程图可知,开展调焦前先对相机光学系统焦深和调焦机构的调整步长进行计算,计算公式为

2=42(1)

式中为相机半焦深;为相机中心波长;为相机F数;为相机一倍焦深对应调焦机构的调焦步长;为调焦机构的单位调焦步长;为调焦机构机动单位步长可应相机光学系统焦面位置变化距离的放大倍数。

以相机当前焦面位置为0,对相机进行步长为的粗调焦,获取相对焦面位置在0+2,0+,0–,0–2,0处的五组图像。此轮调焦执行后,焦面回到初始焦面位置0。粗调焦过程中采用的调焦评价函数可计算每个焦面图像相对理论焦面的离焦量,通过各焦面离焦量大小可得到预估焦面位置,记为1。

精调焦在粗调焦判断出的理论最佳焦面基础上开展。研究发现,对于成像距离近似为无穷远的星载遥感相机,像面在相机四分之一焦深之内时,图像品质几乎不受影响[15],因此精调焦步长选择为/4。以粗调焦预估焦面位置1为基准,对相机进行步长为/4的调焦,获取相对焦面位置在1+/2,1+/4,1–/2,1–/4,1处的五组图像。此轮调焦执行后,焦面回到理论最佳焦面位置1。精调焦采用的调焦评价函数可计算每个焦面图像的清晰度,通过对比图像清晰度大小可得到最终焦面位置,记为2。

3 调焦评价函数

3.1 粗调焦评价函数

图像功率谱表征了图像经过傅里叶变换后频谱的强度,高频分量越丰富,图像功率谱幅值越大。通过对图像功率谱的研究发现,不同景物图像功率谱在频域的变化趋势基本相同,焦面变化时表现为功率谱幅值变化[16]。大部分地物的相对功率谱()变化遵循以下规律:

式中 f为图像频率变量;A为图像频率幅值,即功率谱强度;k为图像指数变量,经试验验证,k的取值范围为1.81~2.05。当频率逐渐增大时,不同地物图像的功率谱曲线逐渐衰减,且衰减幅值为,图像功率谱的这种特征称之为功率谱不变性[17-18]。根据光线传播的衍射原理,即平行光线通过光学系统中限制光束口径的光阑后,其光斑呈高斯曲线扩散状[19]。经傅里叶变换后,光学系统对焦越好,高斯曲线扩散越小,变换到频域后图像功率谱随频率增加单调降低,变化规律如图2所示;光学系统离焦后,高斯曲线扩散变大,变换到频域后图像功率谱出现随频率增加而出现局部峰值的现象,如图3所示。

图3 离焦光学系统图像相对功率谱频率特征

根据图2~3可知,对于离焦光学系统,对图像相对功率谱归一化处理后,会出现不同的功率谱零点,对应频率0、1、···。结合相机光学设计参数和光学弥散特性,建立离焦光学系统离焦量的计算模型,如式(4)所示。

式中为相机探测器像元尺寸;为相机调焦机构放大倍数;为调焦机构调整步长;0为对应离焦图像相对功率谱中第一个功率谱零点对应的频率。

3.2 精调焦评价函数

理想的精调焦清晰度评价方法应具备三个特点:1)鲁棒性高,即独立于图像内容,适应图像场景的变化;2)单调性好,能够随着图像清晰度变化单调变化;3)敏感性强,能够敏锐检测出焦面变化导致的图像清晰度变化[20-21]。GF-7卫星两台相机均为TDICCD相机,对地物进行推扫成像,图像场景始终处于变化之中,对精调焦算法的鲁棒性要求极高;同时由于精调焦时调整步长较小,对精调焦算法的敏感性要求也很苛刻。

一般,基于空域的图像有效边缘宽度随图像离焦程度的增加而增大,其优点是计算量小、对离焦变化敏感,缺点是无法完全满足对图像场景变化的独立性;基于频域的图像高频强度随图像离焦程度的增加而减小,其优点是对图像场景变化较稳定,但对离焦变化的敏感度差。因此,结合二者优点,针对GF-7卫星相机在轨精调焦的需求,开发了一种适用于此相机在轨精调焦图像清晰度评价的新方法,计算公式为

式中e为图像清晰度;r为高频强度,用以表示图像频域中归一化频率在[0.75,1]范围内的高频部分频谱强度之和;p为有效边缘宽度,表示大于特定阈值的图像中目标边缘的扩散宽度,该阈值为自适应阈值,与待计算图像特征有关,一般取值为图像标准差;、分别为常数系数。经试验验证,当+=1且∈(0.09,0.23),∈(0.77,0.91)时,e作为图像清晰度不仅对场景变化的独立性好,而且能够很好的反映图像的离焦状况。应用于调焦过程中,图像清晰度计算结果越高,表示焦面对焦状态越好。

4 在轨调整结果

4.1 粗调焦调整结果

根据相机光学系统、调焦机构等相关设计参数,以及前文设计的在轨粗调焦策略,制定两台相机在轨粗调焦计划,如表1所示。为保证获取足够的数据样本进行调焦判断,每个焦面均成像30s,表1中0为粗调焦开始时刻,由卫星飞行过程中的一个成像弧段即可完成。

表1 GF-7卫星相机在轨粗调焦计划

Tab.1 Plan of rough refocusing for GF-7 satellite

基于式(4)分别计算GF-7卫星前视和后视两台相机粗调焦过程中每个焦面的离焦量,计算结果如表2所示。

对比分析前、后视两台相机各焦面离焦量可知,前、后视相机理论最佳焦面位置分别为

1,F=0,F+1.25F(6)

1,B=0,B+0.25B(7)

式中1,F为前视相机理论最佳焦面;0,F为前视相机初始焦面;F为前视相机一倍焦深对应调焦步长数;1,B为后视相机理论最佳焦面;0,B为后视相机初始焦面;B为后视相机一倍焦深对应调焦步长数。

表2 粗调焦过程前、后视相机每个焦面的离焦量

Tab.2 Defocusing degree of each focal plane in rough refocusing process for forward camera

4.2 精调焦调整结果

在轨精调焦以粗调焦获取的理论最佳焦面为初始调整位置进行调整,两台相机在轨精调焦计划如表3所示,为保证获取足够的数据样本进行调焦判断,每个焦面均成像30s,表中1表示精调焦开始时刻,由卫星飞行过程中的一个成像弧段即可完成。

表3 GF-7卫星前、后视相机在轨精调焦计划

Tab.3 Plan of accurate refocusing for forward and backward cameras of GF-7 satellite

采用3.2节中图像清晰度评价方法分别对前、后视相机各焦面图像清晰度进行计算和对比,清晰度计算结果越大,表示焦面状态越好。由于该计算过程采用编程计算,且程序布设于用户单位,本文仅列举了最终计算结果,具体如表4所示。

表4 前、后视相机精调焦过程中各焦面图像清晰度

Tab.4 Image definition of each focal plane in accurate refocusing process of forward and backward cameras

分别对比前视和后视相机各焦面图像清晰度大小关系,以e,F1、e,F2、e,F3、e,F4、e,F5表示表4中前视相机从左到右依次五个焦面的图像清晰度;以e,B1、e,B2、e,B3、e,B4、e,B5表示表4中后视相机从左到右依次五个焦面的图像清晰度。

对于前视相机,对比精调焦各焦面图像清晰度,结果为

e,F3>e,F1>e,F2>e,F4>e,F5(8)

根据式(8)可知前视相机实际最佳焦面应处于1,F与1,F+0.25F之间,且更接近1,F+0.25F。因此可以推导出前视相机最佳焦面2,F应为

对于后视相机,对比精调焦各焦面图像清晰度,结果为

e,B1>e,B3≈e,B4>e,B5≈e,B2(10)

根据式(10)可知后视相机实际最佳焦面即为理论最佳焦面。

4.3 调焦结果验证

图像像质评价一般分为主观评价和客观评价两种方法。主观评价主要基于定性的方法,从图像清晰与模糊程度、细节丰富程度对人眼视觉系统的刺激进行考虑;客观评价主要是采用图像品质评价函数计算不同的图像品质参数,对比图像参数大小进行评价。本文中采用主客观相结合的方法综合评价,其中客观评价时采用几种典型图像品质参数[22-23],如灰度梯度、边缘锐度、信息熵、对比度、角二阶矩等,这几个指标均为图像灰度统计参数,计算结果越大表征图像品质越高。前、后视相机调焦前后对比结果如图4~5及表5所示。由图4~5可以发现:前、后视相机调焦前图像模糊,细节无法辨识或难以辨识;调焦后两相机图像清晰,细节可辨。表5中灰度梯度、边缘锐度及信息熵的数据单位为灰度值,对比度及角二阶矩为相对量,无单位。

图4 前视相机调焦前后图像

图5 后视相机调焦前后图像

表5 前、后视相机调焦前后图像像质评价指标对比

Tab.5 Comparison of image quality before and after refocusing of forward and backward cameras

由上述主客观评价结果可知,通过在轨调焦将相机焦面调整到了最佳位置,图像像质得到了有效提升,保障了GF-7卫星立体测绘系统两台相机优异的成像品质。

5 结束语

在轨调焦是保障空间遥感相机在轨成像品质的重要途径,合适的调焦策略和可靠的调焦评价方法决定了相机在轨调焦的时间效率和精度。本文针对GF-7卫星立体测绘系统的两台相机研究了快速高精度在轨调焦算法,制定了粗调焦和精调焦相结合的调焦策略,并针对粗调焦和精调焦分别开发了适用于不同阶段的调焦评价函数。结果显示:本文提出的调焦策略和调焦评价方法精准快速地完成了最佳焦面定位,在卫星飞控期间的两个成像弧段内便完成了相机在轨调焦。主客观综合评价结果显示,调焦后两台相机图像像质均得到了明显提升。

[1] 陈世平. 关于航天遥感的若干问题[J]. 航天返回与遥感, 2011, 32(3): 1-8. CHEN Shiping. Some Issues about Space Remote Sensing[J]. Spacecraft Recovery & Remote Sensing, 2011, 32(3): 1-8. (in Chinese)

[2] ESKICIOGLU A M, FISHER P S. Image Quality Measures and Their Performance[J]. IEEE Transactions on Communications, 1995, 43(12): 2956-2965.

[3] 贺金平, 阮宁娟, 何红艳. 基于EMD的无参考图像清晰度评价方法[J]. 航天返回与遥感, 2013, 34(5): 78-84. HE Jinping, RUAN Ningjuan, HE Hongyan. Non-reference Evaluation Method of Image Definition Based on EMD[J]. Spacecraft Recovery & Remote Sensing, 2013, 34(5): 78-84. (in Chinese)

[4] 蒋婷, 谭跃刚, 刘泉. 基于SOBEL算子的图像清晰度评价函数研究[J]. 计算机与数字工程, 2008, 226(8): 129-132. JIANG Ting, TAN Yuegang, LIU Quan. Research of a Clarity-evaluation Function of Image Based on Sobel[J]. Computer & Digital Engineering, 2008, 226(8): 129-132. (in Chinese)

[5] NORMAN B N, BRIAN H B. Objective Image Quality Measure Derived from Digital Image Power Spectra[J]. Optical Engineering, 1992, 31(4): 813-825.

[6] SUBBARAO M, CHAI T S, NIKZAD A. Focusing Techniques[J]. Optical Engineering, 1993, 32(11): 2824-2836.

[7] YI Y, BESMA A, NAEJES D. Evaluation of Sharpness Measures and Search Algorithms for the Auto-focusing of High Magnification Images[J]. Visual Information Processing, 2006, 62(46): 1-12.

[8] BEGNI G, LEGER D, DINGUIRARD M. An In-flight Refocusing Methods for SPOT HRV Cameras[J]. Photogrammetric Engineering and Remote Sensing, 1984, 50(12): 1697-1705.

[9] LEGER D, VIALLEFONT F, HILLAIRET E. In-flight Refocusing and MTF Assessment of SPOT5 HRG and HRS Cameras[C]//Proceedings of SPIE 4881, Sensors, Systems, and Next-Generation Satellites VI, April 8 2003. 2003, 540: 775-875.

[10] CHERN N K, NEWO P A, ANG M H. Practical Issues in Pixel-based Autofocusing for Machine Vision[C]//Proceedings of IEEE International Conference on Robotics and Automation, Volume 3, February 2001. 2001: 2791-2796.

[11] 谭伟, 杨秉新, 何红艳. 一种新的遥感影像清晰度评价方法[J]. 中国空间科学技术, 2016, 36(2): 50-57. TAN Wei, YANG Bingxin, HE Hongyan. A New Definition Evaluation Method for Remote Sensing Image of Satellite[J]. Chinese Space Science and Technology, 2016, 36(2): 50-57. (in Chinese)

[12] 赵辉, 鲍歌堂, 陶卫. 图像测量中自动调焦函数的实验研究与分析[J]. 光学精密工程, 2004, 12(5): 531-536. ZHAO Hui, BAO Getang, TAO Wei. Experimental Research and Analysis of Automatic Focusing Function for Imaging Measurement[J]. Optics and Precision Engineering, 2004, 12(5): 531-536. (in Chinese)

[13] 康宗明, 张利, 谢攀. 一种基于能量和熵的自动聚焦算法[J]. 电子学报, 2003, 31(4): 552-555. KANG Zongming, ZHANG Li, XIE Pan. Implementation of an Automatic Focusing Algorithm Based on Spatial High Frequency Energy and Entropy[J]. Acta Electronica Sinica, 2003, 31(4): 552-555. (in Chinese)

[14] MARZILIANO P, DUFAUX F, WINKLER S. A No-reference Perceptual Blur Metric[C]//Proceedings of IEEE International Conference Image Processing, Rochester, New York, 2002.

[15] DAIGO H, TAKAHIRO Y. Detection of Actual Focus Variations by Focus automatic measurement[C]//Proceedings of SPIE, 2003, 540: 861-870.

[16] NILL N B, BOUZAS B H. Objective Image Quality Measure Derived From Digital Image Power Spectra[J]. Optical Engineering, 1992, 31(4): 813-825.

[17] ZHANG W, WAI K. Single-image Refocusing and Defocusing[J]. IEEE Transactions On Image Processing, 2012, 21(2): 873-882.

[18] JO Leong-Bin, HWANG Jai-Hyuk, BA Lae-Sung. Online Refocusing Algorithm for Satellite Camera Using Stellar Source[J]. Optics Express, 2016, 24(5): 5411-5422.

[19] 安连生. 应用光学[M]. 北京: 北京理工大学出版社, 2009: 160-165. AN Liansheng. Applied Optics[M]. Beijing: Beijing Institute of Technology Press, 2009: 160-165. (in Chinese)

[20] 陈亮, 李卫军, 覃鸿. 数字影像清晰度评价函数的通用评价能力研究[J]. 计算机工程与应用, 2013, 49(14): 152-155. CHEN Liang, LI Weijun, QIN Hong. Efficiency Contrast of Digital Image Definition Functions for General Evaluation Function[J]. Computer Engineering and Applications, 2013, 49(14): 152-155. (in Chinese)

[21] ZHANG Rumin, LIU Peng, LIU Dijun. Reconstruction of Refocusing and All-in-focus Images Based on Forward Simulation Model of Phenolic Camera[J]. Optics Communications, 2015, 357: 1-6.

[22] CAVIEDES J, GURBUZ S. No-reference Sharpness Metris Based on Local Edge Kurtosis[C]//Proceedings of IEEE International Conference Image Processing, Rochester, New York, 2002.

[23] WANG Z, BOVIK A C. A Universal Image Quality Index[J]. IEEE Signal Processing Lefters, 2002, 9(3): 81-84.

Research on High Accurate Refocusing Method of GF-7 Camera

TAN Wei1,2WANG Dianzhong1,2HE Hongyan1,2XING Kun1,2WANG Changjie1YANG Jukui1

(1 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China)(2 Beijing Key Laboratory of Advanced Optical Remote Sensing Technology, Beijing 100094, China)

On-orbit refocusing is a critical method to keep and improve image quality for spaceborne remote sensing camera. The stereo mapping system of GF-7 satellite contains two separate cameras. Based on the properties of optical system and designing parameters, researches on rapid on-orbit refocusing method with high accuracy have been implemented. Considering the flight controlling plan of satellite and the covering area of two cameras, this paper proposed a new refocusing scheme. The scheme contains rough and accurate refocusing processes. Based on image relative power spectrum, rough refocusing can obtain a theoretical focal plane to adjust rapidly. According to image definition evaluation, accurate refocusing can locate the actual focal plane after rough refocusing. The refocusing results indicate that the proposed method has an accuracy of almost 100% and high efficiency. The image quality of GF-7 satellite has been verified with proposed method.

mapping camera; on-orbit refocusing; image definition; GF-7 satellite

TP751

A

1009-8518(2020)02-0078-09

10.3969/j.issn.1009-8518.2020.02.009

谭伟,男,1990年生,2015年获中国空间科学技术研究院飞行器设计专业硕士学位,工程师。研究方向为遥感器在轨调试、数据处理与应用。E-mail:blacktanphay@126.com。

2020-02-27

国家重点研发计划地球观测与导航重点专项(2018YFB0504801);国家重点研发计划地球观测与导航重点专项(2016YFB0500802);国家自然科学基金(61701023)

谭伟, 王殿中, 何红艳, 等. “高分七号”卫星相机高精度快速在轨调焦方法[J]. 航天返回与遥感, 2020, 41(2): 78-86.

TAN Wei, WANG Dianzhong, HE Hongyan, et al. Research on High Accurate Refocusing Method of GF-7 Camera[J]. Spacecraft Recovery & Remote Sensing, 2020, 41(2): 78-86. (in Chinese)

(编辑:夏淑密)

猜你喜欢
调焦清晰度步长
新入职护士工作价值观、未来工作自我清晰度与心理弹性研究
影响摄影图像清晰度的因素
基于多尺度窗口的自动调焦算法
基于变步长梯形求积法的Volterra积分方程数值解
董事长发开脱声明,无助消除步长困境
起底步长制药
步长制药
——中国制药企业十佳品牌
你与高分的距离,只差一个“清晰度”
“生活中的平面镜现象”教学设计
航天508所自研软件用于在轨相机试验