摘要:湍流退化图像复原技术旨在解决成像系统中因湍流效应引起的图像模糊和失真问题。本文介绍了湍流对图像影响的多种模型,包括Kolmogorov湍流模型、移动平均模型、Zernike多项式模型和平均结构函数模型。重点介绍了退化图像盲复原技术和深度学习的图像复原方法最新研究进展、课题组在该领域的研究进展和未来图像复原技术研究的方向。
关键词:湍流退化模型;图像盲复原;深度学习
中图分类号: TP391 文献标志码:A 文章编号:1001-2443(2024)04-0301-05
引 言
成像系统常受到多种退化因素的影响,如相机与目标之间的相对运动,运动(相机抖动)模糊;光学系统像差,失焦模糊;和大气扰动,大气湍流模糊等。这些退化因素平滑了图像中灰度级的突变,降低了图像的对比度,其作用可视为低通滤波器。湍流是一种在自然界中普遍存在的流体运动形式,其不规则的大气折射率起伏会对光波传输和图像采集产生影响,导致图像产生退化和失真。湍流效应对图像产生的影响主要表现在这几个方面:湍流导致光束传输路径的不规则变化使得图像细节丢失的模糊、湍流在图像采集过程中增加额外噪声使得图像信噪比降低、湍流引起图像形变和扭曲使得图像几何结构和形状发生变化产生的失真。由于湍流的因素引起的在视觉上呈现出不清晰的效果称为湍流退化。图像复原是一种通过去除图像中的噪声和模糊来恢复原始图像的过程。通过对湍流退化图像复原的研究,可以深入了解湍流对图像的影响机制,为进一步探索图像复原方法和技术提供理论基础和实践指导,具有重要的科学和应用价值。
1 湍流退化模型
湍流对图像影响的点扩散函数(Point Spread Function, PSF)描述了点光源在成像过程中受湍流影响扩展成一个更大的模糊斑点。PSF在湍流条件下的具体形式依赖于湍流的特性和光学系统的参数。以下是几种常用的湍流PSF模型公式。
Kolmogorov湍流模型:
Kolmogorov湍流模型中的PSF为[1]
[PSF(r)=1πr20exp(-r2r20)] (1)
其中r表示图像平面上的点与光源的距离。PSF的衰减随着距离r的增加而迅速下降。[r0]是描述大气湍流强度的Fried参数(相干长度)。Fried参数越小,湍流的影响越强,图像模糊程度越大。Kolmogorov湍流模型中的PSF公式提供了一种简单而有效的方法来描述湍流导致的光学图像模糊。这个模型在天文学、成像系统设计以及其他需要考虑大气湍流影响的领域中得到了广泛应用。
移动平均模型[2]:
假设湍流导致图像上的点光源在一个高斯分布的范围内随机移动,移动平均模型的PSF为
[PSF(x,y)=12πσ2exp(-x2+y22σ2)] (2)
其中x,y是图像平面上的坐标,[σ]表示湍流导致的模糊程度的标准差。这个模型假设了光斑的扩散服从二维高斯分布,其形状由标准差[σ]控制。标准差越大,光斑扩散的越广,图像模糊程度越高。PSF移动平均模型是一种简化模型,通常用于需要快速估计湍流影响的场景,特别是在分辨率要求不高或光斑扩散相对均匀的情况下如大气湍流对天文观测图像的影响等。
Zernike 多项式模型[3]:
Zernike多项式在单位圆上形成的一组正交基,可用于描述波前畸变,可以将湍流引起的波前畸变转化为一系列Zernike模态的叠加。给定波前相位畸变后,可通过相位屏模型计算PSF:
[PSF(x,y)=F-1FP(x,y)·eiϕ(x,y)2] (3)
这里[P(x,y)]是系统的光学传递函数,[ϕ(x,y)]是波前畸变相位函数,[F]和[F-1]分别是傅里叶变换和傅里叶逆变换。Zernike多项式表示的PSF在光学系统的波前畸变描述以及图像处理领域中被广泛使用。
平均结构函数模型[4]:
平均结构函数模型假设波前相位畸变服从Kolmogorov湍流的统计特征,常用于大气湍流导致的光学波前畸变的建模和分析。
[PSF(f)=Fexp(-0.5Dϕ(ρ))] (4)
其中相位结构函数[Dϕ(ρ)=6.88(ρr0)5/3],[ρ]是两点间距离,f是频率。通过该模型,可以估计湍流对光学成像的影响。
湍流对图像影响的点扩散函数PSF(x,y)确定后,湍流退化图像Idegraded(x,y)可看成原始图像I(x,y)与点扩散函数的卷积再叠加加性噪声N(x,y)生成。
Idegraded(x,y)=(I(x,y)*PSF(x,y))+N(x,y) (5)
在频域上,上述卷积可表示成乘积。使用傅里叶变换,公式(5)变为:
[FIdegraded(x,y)=FI(x,y)·FPSF(x,y)+FN(x,y)] (6)
传统的图像复原技术都是在退化模型如PSF确定和已知的情况下,采用逆滤波或维纳滤波的方法,从观察到的退化图像Idegraded(x,y)中去除模糊进行复原。由于大气湍流对目标影响复杂多变,导致点扩展函数难以确定,传统方法复原效果并不理想。在实际应用中,在未知退化过程条件下从观测到的退化图像中同时估计原始图像和退化函数是一个关键问题。常见的复原方法包括多帧图像叠加技术、盲去卷积技术、和深度学习技术等。
2 湍流退化图像复原研究进展
2.1 幸运成像技术
20世纪七十年代Fried对短曝光成像(曝光时间小于大气湍流的相干时间)进行深入研究,开启了幸运成像技术(Lucky Imaging)的发展[5]。受大气湍流影响,天文台光学望远镜无论口径多大,其实际的光学分辨能力仅为1角秒左右,大气湍流的变化相当快,其时间尺度大约为几十毫秒。在短曝光图像中,总会存在一定比例接近衍射极限没有退化的“好图像”。选出这些时刻的图像,通过中心点配准和叠加处理,能有效抑制随机噪声,进一步增强信噪比,最终可以得到分辨率远高于长曝光的图像,这就是幸运成像技术的基本原理。幸运成像技术是一种对目标短曝光序列图像的筛选、配准、叠加的后处理方法,主要应用于天文学,特别是行星、双星和其他高分辨率观测需求的天体观测。幸运成像技术存在一些不足,该技术只适用于短曝光图像,长曝光图像很难出现幸运图像。其次,幸运图像出现比例很低,要求拍摄大量的短曝光图像,大大增加了复原算法的计算量。此外要求曝光时间非常短,限制了其在暗弱天体观测中的应用,而且在大气湍流特别严重的情况下,效果可能不佳。
2.2 退化图像盲复原技术
大气湍流退化图像复原技术的挑战在于其退化模型是未知和随机变化的,难以用数学解析式来描述,再加上噪声使得复原难度进一步增加。图像盲复原技术(Blind Image Restoration)是从观测到的退化图像中同时估计原始图像和退化函数(如模糊核或PSF),不需要事先知道退化过程的图像复原技术。常用的图像盲复原方法有:频域方法,即利用傅里叶变换,将公式(5)的卷积过程转化为频域中的乘积操作,以分离和估算点扩散函数和原始图像,如Wiener滤波器,在频域中通过最小化均方误差来估计原始图像和PSF;空域方法,直接在空间域中处理图像,通常采用迭代优化算法和约束条件来同时估计PSF和原始图像,如Richardson-Lucy算法[6,7],这是一种基于最大似然估计的迭代去卷积方法,用于图像去模糊;正则化方法,通过引入先验知识和正则化项来解决盲复原中的欠定问题和噪声问题,如总变差正则化通过最小化图像梯度的总变差来平滑图像,同时保留图像细节;交替最小二乘法(Alternating Minimization),通过交替优化PSF和原始图像来逼近最优解;深度学习方法,通过训练神经网络来同时估计PSF和复原图像等。
2.2.1 单帧图像盲复原
单帧图像盲复原(Single Image Blind Restoration)技术旨在从单个退化图像中复原出原始图像,同时估计退化模型(通常是PSF)。这是一个高度欠定的问题,因为没有其他图像信息可以用来辅助复原,引入先验知识和正则化方法是解决该问题的关键。
1975年Stockhan等[8]人提出盲复原技术。Lane[9]和Bates[10]论证用单帧图像进行盲去卷积是可能的。1988年Ayers[11]提出迭代盲去卷积算法(Iterative Blind Deconvolution,IBD),将其应用在大气湍流退化图像的复原中。在此基础上,众多学者利用点扩散函数支持域大小及频率域等图像的先验知识,对IBD算法进行修正和改进。
为避免对先验知识的过多依赖和点扩散函数支持域大小的苛刻限制, Kundur和Hatzinakos[12]提出递归逆滤波的盲去卷积算法。随后盲去卷积的正则化理论研究和自适应方法在克服噪声敏感性上取得进展,既可以平滑噪声同时又尽可能保留图像细节。Charles [13] 提出了一种新的盲图像去卷积技术(Blind Atmospheric TUrbulence Deconvolution,BATUD),BATUD结合重新参数化的一个简化版本的物理模型Fried核,使得复原图像质量大幅提高,计算速度更快。 Li [14]探讨了利用主成分分析(Principal Components Analysis ,PCA)进行大气湍流退化图像复原的方法。通过将盲图像去卷积与PCA算法结合,实现了对图像的高效复原。Furhad [15]提出了一种有效的方法来恢复受大气湍流影响的图像,首先通过无监督的k均值聚类技术选择重要的帧,然后使用基于B样条的非刚性图像配准来抑制几何失真。再引入局部锐利补丁概念的时空核回归用于融合注册的帧序列成图像。最后应用盲去卷积技术来去除融合图像中的模糊。
2.2.2 多帧图像盲复原
多帧图像盲复原(Multi-Frame Blind Restoration)技术旨在从多帧退化图像中复原原始图像,同时估计退化模型。相比单帧图像盲复原,多帧图像盲复原利用多帧图像提供的冗余信息,可以更有效地抑制噪声和估计退化参数。在过去的十年中,已经开发了用于此目的的在线盲去卷积方法(Online Blind Deconvolution, OBD)。OBD是一种迭代算法,旨在处理具有有限缓冲区大小和有限计算资源和时间的图像流[16-17]。该算法每次处理一个图像,利用前一张图像的解作为对象和点扩散函数的起点。OBD适用于地面空间目标成像的短曝光和等晕条件。Chmidt [18] 在在线盲去卷积算法基础上提出了多帧在线盲去卷积算法(Multi-Frame Blind Deconvolution ,MFBD)。它能够同时处理多帧图像,从而实现真正的多帧盲去卷积。这种算法的改进使得在实时处理中更有效地提高图像质量,适用于地面天体成像等应用。Webb[19] 采用MFBD,利用一系列图像帧来捕捉大气湍流引起的像差,并通过分析这些图像帧间接推断大气相干长度。
2.2.3 基于深度学习的图像复原方法
深度学习在湍流退化图像复原中具有广泛的应用前景,其强大的非线性建模和自适应学习能力使其成为研究热点。湍流退化图像深度学习复原方法与传统图像复原方法不同点在于,深度学习方法利用合成生成的数据模拟湍流失真,通过训练神经网络来学习并恢复受湍流影响的图像。
Nair[20]通过使用真实世界的LRFID数据集,采用六种模拟大气湍流的方法合成生成的湍流退化图像,训练神经网络来复原受湍流影响的图像。并对六种模拟方法进行了系统评估。Shi[21] 提出了一种基于条件生成对抗网络(cGAN)的盲复原方法,构建了一个包含4800个清晰-模糊图像对的模拟空间目标图像数据集,用于训练神经网络,实现了图像复原而无需估计PSF。Chen[22] 提出了一种用于盲去模糊大气湍流的卷积网络(BDATNet),其中包括特征提取噪声抑制块(FENSB)、不对称U型网络和图像重建子网络(IRSubnetwork)。实验结果表明,BDATNet可以复原图像的细节并能抑制噪声。Mao[23]提出的空间-时间非局部平均方法、几何一致性和Zernike空间约束的PSF先验模型,幸运帧生成和盲去卷积,能有效复原静态和动态场景图像。甄诚[24]提出了一种基于多尺度生成对抗网络的大气湍流图像复原方法。通过引入多尺度注意力特征提取单元和动态特征融合单元,能够有效提高图像复原的质量,减少湍流效应导致的图像模糊和几何失真。
3 课题组湍流退化图像复原研究进展
近几年课题组在湍流退化图像复原方面开展了卓有成效的研究。博士生苏昶东基于深度学习,使用改进的扩展卷积网络进行大气湍流退化图像复原[25]。将DnCNN网络的拓扑结构与具有不同扩张数的平滑膨胀残差块(SmDR)相结合,提取更多的图像特征。采用端到端的设计将去模糊和几何变形整合在一起,降低了计算量和系统误差。由Fried核合成的强、中、弱湍流强度训练和测试数据、以及由Ritchey–Chretien望远镜捕获的实时数据、开放湍流图像集等比对结果表明,所提出的方法可有效复原湍流退化图像。博士生郭一鸣提出了一种基于深度迁移学习的盲复原方法[26],利用GoPro数据集对网络进行预训练,然后使用少量Hot-Air数据集进行微调。引入了Res FFT-Conv块来整合低频和高频残差信息,以提高图像复原的效果。通过深度迁移学习框架,网络学习非均匀模糊效应和几何变形特征,能够有效去除图像中的时空变化模糊和几何失真,提高图像的视觉质量。还提出了一种“零样本”自监督学习的生成网络用于湍流退化图像复原[27]。该方法不需要预先训练,只需输入单个真实湍流受损图像,通过使用Deep Image Prior(DIP)网络生成潜在的清晰图像,再通过三层卷积神经网络(CNN)估计失真图像的模糊核。引入正则化去噪(RED)并通过多次迭代预测的平均值来改善自监督恢复效果,最终输出高质量复原图像结果。此外,还提出了一种基于双向多尺度特征融合的生成对抗网络(GAN)[28],用于快速恢复受大气湍流影响的地基望远镜拍摄的目标天体图像。通过在训练过程中结合不同尺度的特征,该网络能够更好地理解图像中的湍流退化特征,并生成更清晰、更真实的复原图像。
4 展望
湍流退化图像复原技术是一项复杂且具有挑战性的研究领域,未来可从以下几个方面展开研究:1)设计更加高效的网络结构和算法设计,提高图像复原的速度和效率。2)改进湍流模型,使其能够更准确地描述实际大气的湍流效应,能够根据不同的场景和湍流强度自动调整参数,具备更好的自适应能力满足实时图像监控应用的需求。3)开发更先进的多帧融合算法,有效减小单帧图像中的噪声和失真,提高图像的清晰度。4)开发通用的图像复原框架,支持多种类型的湍流和不同的成像系统,使其能够在不同的应用场景中广泛使用。5)创建标准化的开放数据集和基准测试平台,促进算法间的对比研究和性能评估,加速技术的发展和推广。
参考文献:
[1] FRIED D L.Statistics of a geometric representation of wavefront distortion[J]. Journal of the Optical Society of America, 1965,55(11): 1427-1435.
[2] BRACEWELL R N .The Fourier Transform and Its Applications[M]. McGraw-Hill Education, 2000(5):0071160434.
[3] Noll R J . Zernike polynomials and atmospheric turbulence[J].Journal of the Optical Society of America, 1976, 66(3): 207-211.
[4] RODDIEN F . The effects of atmospheric turbulence in optical astronomy[J]. Progress in Optics, 1981(19): 281-376.
[5] FRIED D L. Probability of getting a lucky short-exposure image through turbulence[J]. Journal of the Optical Society of America, 1978,68(12): 1651-1658.
[6] LUCY L.An iterative technique for the rectification of observed distribution[J]. Astron J, 1974,79(6): 745–754.
[7] RICHARDSON W H. Bayesian-based iterative method of image restoration[J].J Opt Soc Amer A, 1972,62(1): 55–59.
[8] STOCKHAM T G ,CANNON T M, INGEBRETSEN R B.Blind deconvolution through digital signal processing[J]. Proceedings of the IEEE,1965, 63(4):678–692.
[9]BATE R H T,MCDONNELL M J.Image Restoration and Reconstruction[M].Oxford Engineering Science,Clarendon Press, Oxford,1986:16.
[10] LANE R G.Blind deconvolution of speckle images[J].J Opt Soc Am,1992,A 9(9):1508-1514.
[11] AYES G R,DAINTY J C. Iterative blind deconvolution method and its applications[J]. Opt Lett,1988(13): 547–549.
[12] KUNDUR D,HATZINAKOS D.Blind image deconvolution[J]. IEEE Signal Processing Magazine, 1996,13(3):43-64.
[13] DELEDALLE CHARLES-AIBAN, GILLES.BATUD:Blind Atmospheric TUrbulence Deconvolution[L/OL]. This paper is a preprint of a paper submitted to IET Image Processing. If accepted, the copy of record will be available at the IET Digital Library,2019:23-25.
[14] LI DL, MERSEREAU R M,SIMSKE S.Atmospheric turbulence-degraded image restoration using principal components analysis[J] . IEEE Geoscience and Remote Sensing Letters ,2007,4(3):340-344.
[15] FURHAD M D H, TAHTALI M, LAMBERT A.Restoring atmospheric-turbulence-degraded image[J].Appl Opt,2016,55(19): 5082-5090.
[16] HARARMELING S, HIRSCH M, SRA S.Online blind deconvolution for astronomical imaging[J]. IEEE International Conference on Computational Photography (ICCP) , 2009(1): 1–7.
[17] HIRSCH M, S HARMELING, S SRA.Online multi-frame blind deconvolution with super-resolution and saturation correction[J]. Astron. Astrophys. 2011(A9):531.
[18] J D SCHMIDT, JACHOVITZ K, RILEY J T, et al.Real-time image restoration for space-object imaging[J].Applied Optics,2019,58(25):6983-6995.
[19] WEBB A J, ROGGEMANN M C,WHITELEY M R.Atmospheric turbulence characterization through multiframe blind deconvolution[J]. Applied Optics,2021,60(17): 5031-5036.
[20] GOPALAKRISHNAN NAIR N, MEI K,PATE V M. A comparison of different atmospheric turbulence simulation methods for image restoration[J]. 2022 IEEE International Conference on Image Processing (ICIP), 2022(1):3386-3390.
[21] SHI J L, ZHANG R Z, GUO S P, et al.Space targets adaptive optics images blind restoration by convolutional neural network[J]. Opt Eng,2019,58(9):093102.
[22] CHEN G P, GAO Z S, WANG Q L, et al. Blind de-convolution of images degraded by atmospheric turbulence[J].Applied Soft Computing ,2020(89): 106131.
[23] MAO Z, CHIMITT N ,CHAN S H. Image reconstruction of static and dynamic scenes through anisoplanatic turbulence[J]. in IEEE Transactions on Computational Imaging,2020(6): 1415-1428.
[24] 甄 诚,杨永胜,李元祥,等. 基于多尺度生成对抗网络的大气湍流图像复原[J] .计算机工程,2021,47(11):227-233.
[25] SU C D, WU X Q, GUO Y M. Restoration of turbulence-degraded images using the modified convolutional neural network[J]. Applied Intelligence, 2023(53):5834–5844.
[26] GUO Y M, WU X Q, QING C, et al. Blind restoration of images distorted by atmospheric turbulence based on deep transfer learning[J]. Photonics, 2022, 9(582):1-17.
[27] GUO Y M, WU X Q, QING C. Blind restoration of a single real turbulence-degraded image based on self-supervised learning[J]. Remote Sens, 2023,15(4076):1-18.
[28] 郭一鸣 ,吴晓庆 ,苏昶东,等.基于双向多尺度特征融合的湍流退化图像快速复原[J]. 激光与光电子学进展,2022,59(22): 63-73.
Review of Turbulence-Degraded Image Restoration Techniques
WU Xiao-qing1,2,3
(1. Key Laboratory of Atmospheric Optics, Anhui Institute of Optics and Fine Mechanics, HFIPS, Chinese Academy of Sciences, Hefei 230031,China; 2. Nanhu laser Laboratory, National University of Defense Technology, Changsha 410073, China; 3. Science Island Branch of Graduate School, University of Science and Technology of China, Hefei 230026, China)
Abstract: Turbulence-degraded image restoration techniques aim to address the problems of image blurring and distortion caused by turbulence effects in imaging systems. This paper introduces various models that describe the impact of turbulence on images, including the Kolmogorov turbulence model, the moving average model, the Zernike polynomial model, and the average structure function model. It highlights the latest research progress in blind image restoration techniques and deep learning-based image restoration methods. Additionally, it presents the research advancements made by our research group in this field and discusses future directions for image restoration technology research.
Key words: turbulence degradation model; blind image restoration; deep learning
(责任编辑:叶松庆)