航空光电成像载荷系统级固定噪声去除方法研究

摘" 要： 航空光电成像载荷作为一种有效的侦察装备，由于光学系统灰尘、探测器坏像元、探测器非均匀性等因素，导致光电成像载荷生成的图像中存在固定噪声，从而使载荷的成像质量下降。为解决该问题，文中提出一种可以去除航空光电成像载荷系统固定噪声的方法。首先使用光电成像载荷对标准光源进行成像，得到标准图像；再对标准图像进行处理，得到固定噪声图像；最后从待优化图像中将固定噪声图像剔除，得到去噪后图像。实践证明，该方法在保持图像空间结构信息以及不损失图像细节的前提下，可以有效地去除光电成像载荷的系统固定噪声，提升光电成像载荷图像质量。

关键词： 航空侦察； 光电成像载荷； 系统固定噪声； 图像滤波； 噪声去除； 图像质量提升

中图分类号： TN911.73⁃34； TP751； TP391" " " " " 文献标识码： A" " " " " " " " 文章编号： 1004⁃373X（2024）23⁃0176⁃05

A study of system⁃level fixed noise removal method for aerial optoelectronic imaging load

WANG Xiaoyi1， 2， NIE Haitao1

（1. Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences， Changchun 130033， China;

2. School of Optoelectronic Engineering， Changchun University of Science and Technology， Changchun 130022， China）

Abstract： As an effective reconnaissance equipment， aerial photoelectric imaging load， due to the factors such as dust on the optical system and unqualified pixels and the non⁃uniformity of the detector， can lead to the presence of fixed noise in the image generated by the photoelectric imaging load， which can degrade the imaging quality of the load. Therefore， a method that can remove system⁃level fixed noise from an aerial photoelectric imaging load is proposed. A standard light source is imaged by photoelectric imaging load to obtain a standard image， which is processed and then a fixed noise image is obtained. The fixed noise image is removed from the image to be optimized to obtain a denoised image. It is proved that the proposed method can effectively remove the system⁃level fixed noise of the photoelectric imaging load and improve the image quality under the premise of maintaining the spatial structure information of the image and not losing the image details.

Keywords： aerial reconnaissance; optical imaging load; system⁃level fixed noise; image filtering; noise removal; image quality improvement

0" 引" 言

航空光电成像载荷作为一种重要装备，可以搭载于飞机、飞艇等航空动平台上，是一种可以快速获取高精度图像的数据手段，在航空摄影测量[1]、军事侦察[2]、国土调查、农业监测[3]、生态监测[4]等领域有着广泛应用，为我国国防安全、经济发展、民生建设起到了至关重要的作用。航空光电成像载荷在进行图像信号采集的过程中，由于载荷内部或外界环境等因素的干扰，导致生成的图像中存在各种噪声，从而影响图像质量。随着各种应用需求的不断增强，对光电成像载荷的图像质量要求日益增高，因此如何保证图像质量、降低图像噪声，是提升光电成像载荷综合性能、保障图像下游应用效能的关键[5]。

图像去噪的相关方法研究经历了数十年的过程，在基础理论和应用算法方面都取得了重要进展，同时在航空航天[6]、生物医学[7]、工业工程[8]等领域都得到了较为广泛的应用。图像去噪方法的研究主要分为两类：一类是传统方法[9]，早期主要采用滤波器的方法实现图像降噪[10]，分为空间域滤波和变换域滤波，后期研究者们提出了基于模型的图像去噪方法[11]，该类方法通过设计图像先验实现噪声去除；另一类是基于深度学习的去噪方法[12]，研究者们将各种深度神经网络应用于图像去噪方法中，在去噪性能方面有较大提升。

然而，以往的图像去噪方法研究多针对图像本身的传统噪声问题，该类方法在处理特定成像设备生成的真实图像噪声时效果较差，近年来研究者们开始研究真实图像的噪声处理问题[13⁃14]。由于成像设备的光学系统、机械结构、探测器件等自身因素，真实图像中通常存在大量复杂且未知的噪声特性，该类噪声难以用单一的数学模型进行描述，因此该类图像噪声的去除更具有挑战性。

特别针对航空光电成像载荷，复杂的内部结构导致其在工作中会存在多种系统级固定噪声，在实际工程项目中，现有的图像去噪方法均无法有效去除其图像噪声。针对此问题，本文提出一种可以去除由航空光电成像载荷内部因素导致的系统固定噪声方法，采用该去噪方法，可以在保持图像空间结构信息以及不损失图像细节的前提下，有效去除光电成像载荷的系统固定噪声，提升光电成像载荷的成像质量。

1" 航空光电成像载荷及其图像噪声

航空光电成像载荷一般具备可见光、红外成像能力，以Spectro XR光电载荷[15]为例，如图1所示。该系统具备可见光、红外成像能力，以及多目标跟踪、地形测量计算等功能，其高精度目标识别和跟踪功能的实现，依赖于高信噪比的图像获取能力。因此，如何去除航空光电成像载荷的图像噪声、保证成像质量是决定其效能发挥的重要因素。

航空光电成像载荷系统主要由光学系统、机械结构系统、成像探测器、电控系统构成，如图2所示。

如图3所示，导致光电成像设备图像噪声产生的因素有两类：系统内部因素主要包括光学系统灰尘、机械结构形变、探测器坏像元、探测器非均匀性等，该类因素导致的噪声一般为固定噪声，表现为光环、波纹、线条等；外部环境因素主要包括抖动、云雾、雨水、气流等，该类因素导致的噪声一般具有随机性。本文方法主要解决内部因素。

目前的图像去噪方法主要分为基于滤波器的方法、基于模型的方法和基于学习的方法三类。现有方法都根据图像自身结构特性实现去噪，对于由外部因素导致的噪声具有较好的去除效果，但无法有效去除某一特定光电成像载荷中由于内部因素导致的系统固定噪声，同时存在去噪效率低、无法在载荷端实现的问题。因此，本文针对由航空光电成像载荷系统内部因素导致的图像噪声，提出一种有效的系统级固定噪声去除方法。

2" 系统固定噪声去除方法

2.1" 方法流程

为解决航空光电成像载荷系统内部因素导致的图像噪声问题，弥补现有算法在具体工程应用中的不足，本文提出了一种可以有效去除航空光电成像载荷系统固定噪声的方法，如图4所示。

去除航空光电成像载荷系统固定噪声的方法步骤如下：

第1步：使用光电成像载荷对标准光源进行成像，得到标准图像；

第2步：对标准图像进行处理，得到固定噪声图像；

第3步：从待优化图像中将固定噪声图像剔除，得到去噪后的优化图像。

2.2" 光电成像载荷标准图像获取

为获取特定光电成像载荷的系统级标准噪声，首先需要获取该光电成像载荷的标准图像。根据光电成像载荷相关参数特性，选取合适口径的积分球（可见光成像设备使用）或黑体（红外成像设备使用），之后用光电成像载荷对标准光源进行成像，得到该光电成像载荷的标准图像。为保证光电成像载荷系统成像的一致性和准确性，使用光电成像载荷对标准光源进行多次成像，各像素点均取多次成像的平均值，从而得到标准图像。光电成像载荷标准图像计算公式如下：

[Si，j=k=1nTki，jn]" （1）

式中：[Si，j]为标准图像[S]在[（i，j）]位置的像素值；[Tki，j]为第[k]次对标准光源成像所生成图像[Tk]在[（i，j）]位置的像素值；[n]为对标准光源成像次数。

2.3" 噪声图像生成

得到光电成像载荷的标准图像之后，需要进一步提取系统级固定噪声图像。如图5所示，首先计算标准图像[S]的图像直方图；之后，为了排除探测器坏像元等特异性因素的影响，根据图像直方图计算寻找像素点个数大于10的像素值最小值；最后，用标准图像[S]各像素值减去上述最小值，得到系统级固定噪声图像。

[Qi，j=Si，j-min（Si，j），" " h（min（Si，j））gt;10] （2）

式中：[Qi，j]为求得的系统级固定噪声图像[Q]在[（i，j）]位置的像素值；[min（Si，j）]为标准图像[S]的像素最小值；[h（min（Si，j））]是值为[min（Si，j）]的像素点个数。

2.4" 系统级噪声去除

从待优化的原始图像中将系统级固定噪声图像去除。首先，求出标准图像像素点均值，公式如下：

[ES=i=0Mj=0NSi，jM×N]" " " （3）

式中：[ES]为标准图像像素点均值；[M]、[N]分别为图像长宽方向的像素点个数。

之后，求出待优化的原始图像像素点均值，公式如下：

[ESrc=i=0Mj=0NSrci，jM×N]" " " （4）

式中：[ESrc]为待优化的原始图像像素点均值；[Srci，j]为待优化的原始图像Src在[（i，j）]位置的像素值。

最后，去噪后的图像通过式（5）计算生成：

[Ri，j=Srci，j-Qi，jESrcES]" "（5）

式中[Ri，j]为去噪后图像[R]在[（i，j）]位置的像素值。

3" 实验结果与分析

为了验证本文提出的航空光电成像载荷系统级固定噪声去除方法的有效性和可靠性，以某型航空光电成像载荷的可见光图像作为实验验证对象，开展了图像噪声去除实验。本文提出的方法既可以在上位机上实现图像后处理，也可以在下位机实现嵌入式端上实时处理，端上处理方式可以实现载荷工作时实时生成优化后图像，有效提升载荷效能。

3.1" 实验环境及参数设置

实验采用的航空光电成像载荷的可见光探测器尺寸为1 920×1 080，图像量化位数为8 bit。上位机代码实现环境为Qt6+OpenCV，操作系统为Windows 10，计算机CPU为Core i5⁃8250U 1.8 GHz，内存为8 GB。

3.2" 主观评价

图像主观评价是指通过人眼观察来对图像质量进行定性评价[16]。根据第2节去噪方法描述，图6展示了某型航空光电成像载荷可见光图像采用本文方法的去噪效果。其中，图6a）为对标准积分球进行10次成像后根据公式（1）求得的标准图像；图6b）为根据公式（2）求得的系统级固定噪声图像；图6c）为该航空光电成像载荷实飞拍摄的可见光图像；图6d）为根据本文方法生成的去噪处理后图像。通过观察可以发现图6c）的待优化原始图像中存在“水波纹”“右下角黑圈”“横纵两条亮线”以及“透明小圆点”等系统级固定噪声，经过本文方法处理后，在图6d）中均已消失，同时没有损失原始图像细节，优化后图像质量得到大幅度提升，可见该方法可以有效去除系统级固定噪声。

3.3" 客观评价

客观图像质量评价可分为全参考评价、半参考评价和无参考评价三种[17]，前两种评价方法都必须提供原始干净图像作为参考，而对于航空光电成像载荷的实际应用场景，显然无法提供原始干净图像作为参考，因此，本文采用无参考评价方法中经典的图像信噪比（SNR）和图像信息熵（Entropy）对本文去噪方法效果进行评价。由于现阶段没有专门针对特定成像装备噪声进行优化的方法，因此选取对真实场景效果较好且边缘信息保留效果好的中值滤波和双边滤波算法与本文方法进行对比。

为保证对比算法在该场景下的最佳效果，中值滤波的卷积核大小（[ksize]）设置为7；双边滤波的滤波直径参数（[d]）设置为9，颜色空间滤波器的标准差值（sigmaColor）设置为100，坐标空间滤波器的标准差值（sigmaSpace）设置为120。图7为不同方法的去噪效果对比图。

从对比图中可以看出，两种传统去噪方法对随机噪声有一定的去除能力，但对固定噪声去除能力较差，图像“水波纹”问题仍然存在。客观指标评价方面，由于信噪比（SNR）和图像信息熵（Entropy）的值均是越大说明去噪效果越好，从表1中可以看出，相比其他两种方法，本文提出的方法在两个评价指标上均为最优，证明了本文方法处理后的图像信息更丰富、图像质量更高、去噪效果更优。

4" 结" 语

本文针对航空光电成像载荷在成像过程中存在的系统级固定噪声问题，提出了一种高效的噪声去除方法，该方法可以在保持图像空间结构信息以及不损失图像细节的前提下，有效去除由于光电成像载荷内部因素导致的系统级固定噪声。相比现有面向图像本身的高复杂度图像去噪方法，本文提出的方法面向特定光电成像载荷的真实成像场景，具有针对性强、效率高的特点，既可以在装备端实时处理，也可以在上位机进行事后处理。通过相关实验对比，验证了所提方法的有效性和实用性，在航空光电成像载荷上具有一定的应用前景。

注：本文通讯作者为王潇逸。

参考文献

[1] ZHANGH W， YUAN G Q， LIU X J. Precise calibration of dynamic geometric parameters cameras for aerial mapping [J]. Optics and lasers in engineering， 2022， 149： 106816.

[2] SHIMONI M， HAELTERMAN R， PERNEEL C. Hypersectral imaging for military and security applications： Combining myriad processing and sensing techniques [J]. IEEE geoscience and remote sensing magazine， 2019， 7（2）： 101⁃117.

[3] ZHANG H D， WANG L Q， TIAN T， et al. A review of unmanned aerial vehicle low⁃altitude remote sensing （UAV⁃LARS） use in agricultural monitoring in China [J]. Remote sensing， 2021， 13（6）： 1221.

[4] KIM J I， CHI J H， MASJEDI A， et al. High⁃resolution hyperspectral imagery from pushbroom scanners on unmanned aerial systems [J]. Geoscience data journal， 2021， 9： 221⁃234.

[5] BUADES A， COLL B， MOREL J M. A review of image denoising algorithms， with a new one [J]. Multiscale modeling amp; simulation， 2005， 4（2）： 490⁃530.

[6] WANG X Y， LUO Z Z， LI W Q， et al. A self⁃supervised denoising network for satellite⁃airborne⁃ground hyperspectral imagery [J]. IEEE transactions on geoscience and remote sensing， 2021， 60： 1⁃16.

[7] 于淼，许铮铧.生成对抗网络医学图像去噪研究综述[J].中国生物医学工程学报，2022，41（6）：724⁃731.

[8] FAN J F， JING F S， YANG L， et al. A precise initial weld point guiding method of micro⁃gap weld based on structured light vision sensor [J]. IEEE sensors journal， 2019， 19（1）： 322⁃331.

[9] FAN L W， LI X M， GUO Q， et al. Nonlocal image denoising using edge⁃based similarity metric and adaptive parameter selection [J]. Science China （Information sciences）， 2018， 61（4）： 1⁃3.

[10] ZHANG X D， FENG X C， WANG W W. Two⁃direction nonlocal model for image interpolation [J]. Science China （Technological sciences）， 2013， 56（4）： 930⁃939.

[11] DABOV K， FOI A， KATKOVNIK V， et al. Image denoising by sparse 3⁃D transform⁃domain collaborative filtering [J]. IEEE transactions on image processing， 2007， 16（8）： 2080⁃2095.

[12] 王静.基于卷积神经网络的图像去噪方法研究[D].济南：山东大学，2016.

[13] 许雪.基于多尺度特征的真实噪声图像去噪算法研究[D].南京：南京信息工程大学，2022.

[14] 陈畅.面向真实图像恢复的降质建模与算法设计[D].合肥：中国科学技术大学，2021.

[15] CARRIGAN K G. Manufacturing status of Tinsley visible qua⁃lity bare aluminum and an example of snap together assembly [C]// SPIE Conference on Infrared Technology and Applications. [S.l.： s.n.]， 2012： 1⁃6.

[16] 韩翰，卓力，张菁，等.基于深度学习的无参考图像质量评价综述[J].测控技术，2022，41（4）：1⁃10.

[17] 鄢杰斌，方玉明，刘学林.图像质量评价研究综述：从失真的角度[J].中国图象图形学报，2022，27（5）：1430⁃1466.

作者简介：王潇逸（1992—），男，吉林公主岭人，硕士研究生，助理研究员，研究方向为航空光电载荷控制及光电图像智能处理技术。

聂海涛（1986—），男，吉林长春人，博士研究生，副研究员，研究方向为光电图像智能处理技术。