基于深度学习的合成孔径成像系统共相误差检测研究综述

马慧敏,檀磊,张京会,张鹏飞,宁孝梅,刘海秋,高彦伟

(1安徽农业大学信息与计算机学院,安徽 合肥 230036;2中国科学院合肥物质科学研究院安徽光学精密机械研究所,中国科学院大气光学重点实验室,安徽 合肥 230031;3中国科学院合肥物质科学研究院智能机械研究所,安徽 合肥 230031)

0 引言

随着科技发展和实际应用的需求,天文观测、遥感成像、军事侦察等领域对探测器的成像分辨能力要求越来越高。合成孔径成像技术是一种新型的、以多路分离子孔径组合来代替传统单一口径主镜的高分辨成像技术,能够达到等效大口径望远镜系统的高分辨率成像性能[1−4]。同时,合成孔径系统中的子孔径尺寸较小、易于加工、重量较轻、所需的成本较低,已经成为未来大口径及超大口径望远镜发展的重要方向之一。子孔径光束在像面上的同相位叠加是实现合成孔径系统高分辨率成像的重要前提,因此,子孔径间的共相误差探测是光学合成孔径成像系统研制所涉及的关键技术之一,一直受到该领域研究者的极大关注。

自光学合成孔径成像技术提出以来,科研人员相继开展了对共相误差检测技术的研究,提出了多种共相误差检测方法,主要可以归纳为两类。一类是依赖于波前传感器的瞳面共相误差探测方法,通常利用特定结构的传感器对系统的瞳面波前进行调制分析,从而获取共相误差信息,如夏克哈特曼宽窄带法[5−9]、曲率传感器法[10,11]、色散条纹共相检测法[12,13]、四棱锥传感器法[12]等经典瞳面共相检测方法;另一类是不需要额外传感器件的焦面共相探测方法,只需根据探测器采集的焦面或离焦面的光强图像,采用波前复原算法或者优化迭代算法来估算相位误差,如GS相位复原法[14]、相位差法[15−17]、随机并行梯度下降优化算法[18−21]、模拟退火优化算法[22]、改进粒子群算法[23]等焦面共相探测方法。相比而言,瞳面共相探测技术一般具有较高的实时性,能实现拼接式系统共相误差的快速测量,但是其光学系统结构复杂,更适合地基拼接式望远镜;焦面共相探测技术光学系统简单,成本低,抗振性较强,更适合天基望远镜。但上述优化算法检测范围窄、迭代过程长,实时性较差,而且在进行大量程共相探测时算法收敛稳定性较差。因此,研究人员一直致力于探索新的共相方法以满足实际系统的应用需求。

近年来随着人工智能及大数据技术的飞快发展,深度学习与光学成像的交叉融合研究开启了光学成像智能化研究新时代。其中,深度学习也被引入合成孔径成像共相误差检测技术中,并取得了一些有代表性的研究成果。本文对近年来深度学习在合成孔径成像共相误差检测方面的研究进行了总结、对比和梳理,以期为相关研究人员提供参考。

1 全连接神经网络在共相误差检测中的初步应用

早在1990年,美国空军实验室Angel等[24]首次提出了基于人工神经网络的无波前传感器相位检测方法,仿真了多望远镜系统活塞及倾斜像差的校正。Angel使用的网络是早期的三层全连接神经网络(FCN),结构如图1所示,此网络由338个输入结点、150个隐藏层结点、18个输出结点组成,输入结点为2帧13 pixel×13 pixel光强图像的每一个像素点,输出结点为6个望远镜的活塞及倾斜控制信号。1991年,Sandler等[25]进一步实验实现了该系统的闭环运行。1993年,Barrett等[26]在美国空军飞利浦实验室1.5 m的望远镜上实现了基于FCN的焦平面及离焦面光强图像对实际星的观测,其波前复原结果与哈特曼波前复原结果有较好的一致性,该实验校正的Zernike阶数达到11阶,证明了基于FCN校正低阶大气湍流像差的可行性。1998年,Ryan等[27]进一步将该技术用于哈勃望远镜的低价像差校正中。

图1 基于光强图像预测相位Zernike系数的FCN示意图[24]Fig.1 FCN diagram of phase Zernike coefficient prediction based on light intensity image[24]

但是自上世纪90年代Angel、Sandler等的研究后,关于FCN在相位检测方面的研究转为基于传统哈特曼传感器测量斜率数据进行的系统参数检测及优化[28−31]和大气波前实时预测[32]及宽视场天文成像系统中波前层析重建[33−35]方面的研究。在Angel、Sandler等的研究工作中相位检测主要应用于天文观测,一般选取湍流较弱的站点,有效光强区域较小,作为网络输入的像素总数也很少,作为网络输出的Zernike像差阶数也只到11阶,网络输入输出较少、结构简单,FCN可以有效实施。但是,随着湍流效应增强或像差畸变增大、光斑扩展以及有效的光强图像增大,以光强图像像素数据作为网络输入的FCN,其输入节点会非线性地迅速增加,网络的训练将变得极为困难,极易陷入局部极值以及出现过拟合[36]。因此,探索更有效的网络结构是提高基于人工神经网络的无波前传感成像系统相位检测能力的有效途径。

2 深度学习在单孔径相位复原方面的研究开端

20世纪90年代,LeCun等[37]提出在FCN中增加卷积结构提取图像特征的方法,从而建立了LeNet,初步用于手写体识别、人脸检测等应用中,成为最早的卷积神经网络(CNN)。但受限于当时的训练样本数、计算条件及深层网络梯度消失等问题,其并没有成为主流方法。随着GPU和大数据带来的发展机遇,2012年,多伦多大学Krizhevsky等[38]改造了早期的CNN,通过增加新的激活函数ReLU及Dropout机制,在计算机视觉领域取得突破性进展。CNN是利用卷积和池化操作[39]提取原始图像特征作为网络输入的深层神经网络,与以单个像素点作为输入的FCN相比,其权值参数个数大幅减少且不随输入图像像素数改变,FCN与CNN的结构示意图如图2所示。CNN由三部分构成,第一部分是输入层,第二部分由若干个卷积层和池化层的特征提取器组成,第三部分由若干个全连结的多层感知机分类器构成。CNN成功应用的关键在于采用局部连接和共享权值的方式,其一方面减少了权值的数量从而使网络易于优化,另一方面能够降低过拟合的风险[40]。

图2 神经网络结构示意图。(a)FCN;(b)CNNFig.2 Structure diagram of neural network.(a)FCN;(b)CNN

AlexNet的成功掀起了CNN的研究热潮,在近几年的ILSVRC比赛中涌现了诸如VGGNets[41]、GoogLeNet[42]、ResNet[43]等基于CNN的识别准确率极高的神经网络模型,这些模型已深入到图像识别[41−43]、语音识别[44]、通用物体识别[45]、运动分析[46]等诸多领域并取得了令人瞩目的成绩,成功地解决了许多现代计算机难以解决的实际问题,在人工智能方面取得了突飞猛进的发展。自2017年,国内外研究人员也初步开始了CNN在光通信、光学成像及相位复原等光学工程方面的研究。

在相位复原方面,2017年,杜兰大学Lohani等[47,48]基于CNN实现了利用光强图像对拉盖尔-高斯光束模式OAM分类,同时结合梯度下降优化(GDO)算法构建光学反馈网络,通过数值仿真证明该网络能够实现湍流对OAM影响的校正。2018年,罗切斯特大学Paine等[49]实现了基于GoogLeNet的像差复原,利用焦平面单帧光强图像来预测畸变波前的Zernike系数,研究认为使用机器学习操作点扩散函数(PSF)可以估计波前初始值,训练的CNN甚至在存在模拟探测器噪声的情况下均能较好地估计波前初始值,并且比使用大量随机猜测的波前值更有效。2018年,安徽农业大学Ma等[50]利用焦平面和离焦平面两帧光强图像作为输入、Zernike系数作为输出训练了CNN,实现了利用CNN基于两帧光强测量来预测湍流波前。2019年,大阪大学Nishizaki等[51]实验证明了可以通过GoogLeNet直接从单幅光强图像中估计出畸变波前的Zernike系数,且验证了该方法在接收光强图像具有过度曝光、散焦、散射等影响时的鲁棒性。自此,开启了国内外基于深度卷积神经网络的端到端“光强图像-相位”在不同应用场景的相位感知研究,近年来涌现出大量优秀研究成果,文献[52,53]对此进行了详细叙述,而此处重点综述针对合成孔径成像系统的深度学习相位检测方面的研究。

3 深度学习在合成孔径成像系统共相误差检测中的研究进展

2018年,西班牙拉古纳大学Guerra-Ramos等[54]采用CNN实现了36拼接镜的共相误差活塞项检测。由于单波长活塞误差2π范围的物理限制,其采用四波长系统,中心波长λ0为700 nm,其余波长分别为0.930λ0、0.860λ0、0.790λ0,四波长可实现±11λ0范围内活塞误差的检测。将±11λ0分成44个区间,每个区间设置为π范围。其网络结构如图3所示,此网络由两个CNN组成,分别为Ground Truth Ambiguity Range分类网络和Ground Truth PistonValue回归网络。前者由5个卷积层和1个softmax层组成,用于估计活塞像差所处的区间范围;后者由3个卷积层和1个ReLU层组成,用于得到区间内活塞项的具体值。研究通过将图像和湍流的OTF做卷积来实现湍流效应的仿真,Fried相干长度范围为0.1∼0.2 m,最终仿真中实现了±11λ0范围内活塞相位±0.0087λ0的检测精度。

图3 文献[54]网络架构示意图Fig.3 Schematic representation of the network architecture in document[54]

2020年,Guerra-Ramos等[55]在原神经网络中引入了递归神经网络,并进一步考虑倾斜、抛光误差的影响,其网络结构如图4所示。与原CNN相比,每个网络结构中增加了一个递归神经网络,将每个交点的衍射子图像送入CNN进行处理获得图像特征,将图像特征交由递归神经网络分析,最后接Softmax层或全连接层用于分类和回归。与单独使用卷积层相比,该方法可以获得更高的预测精度,最终系统预测全局活塞均方根(RMS)为7.34 nm,捕获范围为±21λ0,误差在±14.7µm。

图4 文献[55]网络架构示意图Fig.4 Schematic representation of the network architecture in document[55]

同年,Guerra-Ramos等[56]进一步将深度强化学习用于校正拼接镜活塞相位误差中,与有监督的机器学习方法不同,强化学习不需要对数据进行标记。该方法采用CNN将4个不同波长的强度图像作为输入,以活塞驱动器执行后交点处PSF的Strehl比取得最大值时的概率分布为输出,执行机构从该分布中采样来实现校正。该方法能校正的活塞误差范围为±λ0/2,适用于已完成粗调优的拼接镜系统,捕获范围越窄,则强化学习的速度就越快。该网络一旦经过训练,执行机构就能仅通过衍射图像计算活塞误差。

2019年,中国科学院长春光学精密机械与物理研究所的Li等[57]在Guerra-Ramos的基础上研究了CNN对面目标的共相探测性能,活塞误差检测流程及网络结构如图5所示。该工作与Guerra-Ramos工作的主要区别在于:其利用M锐度函数构建数据集,实现了目标独立的活塞误差检测。Li采用的方法利用焦面和离焦图像来构造M锐度特征图像数据集,并对M锐度特征进行统计分类,构建了5个并行的CNN用于两两子镜间的共相误差探测,实现6拼接镜系统的粗共相,系统最终实现了0∼10λ范围的活塞误差检测。

图5 文献[57]活塞误差检测流程及网络结构图Fig.5 Recognition flow of the submirror piston error and the network structure diagram in document[57]

2019年,中国科学院光电技术研究所的Ma等[58]利用深度卷积神经网络(DCNN)来建模点扩展函数与相应活塞值之间的映射关系,仿真和实验验证了该方法的可行性。DCNN网络流程图及实验光路图如图6所示,DCNN包括一个输入层、多个卷积层、池化层、全连接层和一个输出层共26层。DCNN中引入归一化层(BN),防止梯度消失和梯度爆炸问题,同时加快训练。该研究仿真分析了双孔径和四孔径系统,仿真结果表明DCNN仿真预测值与仿真值均方根误差平均值分别为9 nm和17 nm;此外还基于双孔径实验系统,进一步验证了使用DCNN获得活塞误差的可行性,测试样本的预测值和实际输入之间的均方根误差平均值约为15 nm。该研究工作的特色之处在于仅使用一幅宽带光焦平面强度图像,即可直接获得活塞误差,光学系统结构大大简化。

图6 文献[58]DCNN网络结构图及实验光路图Fig.6 DCNN Network structure diagram and experimental setup of the system in document[58]

2020年,Ma等[59]进一步使用DCNN从宽带光扩展图像中提取活塞,并通过实验验证了其有效性,预测流程图如图7所示。文中使用100 nm宽带光源,在捕获范围10λ内(λ以最大波长为单位)实现了三孔径成像系统均方根误差为12 nm、六孔径成像系统均方根误差为32 nm的检测精度,这足以在无需联合使用其他手段的情况下进行精细定相。此外,训练后的DCNN即使在系统存在一定畸变的情况下也能有效识别活塞,证明了该方法的有效性及其在实际环境中的适用性。对于非中心对称阵列,结构冗余对传感精度的影响很小。对于中心对称配置,使用单个CNN的方法仍然适用于破坏对称性的光圈。

图7 文献[59]活塞误差探测流程图Fig.7 Flow chart of piston error detection in document[59]

2019年,北京理工大学Hui等[60]通过深度CNN实现了六孔径成像系统的面目标共相误差活塞项探测,方法流程图如图8所示,训练了五个基于图像的CNN,实际活塞值与预测值之间的六个子误差的平均均方根误差约为0.0622λ。该研究加深了网络层数,用较少的训练样本实现了系统的共相检测,但该方法的探测量程仅为一个波长,需要其他共相方法预先完成粗共相部分,且为了避免子镜间共相误差的相互干扰,仍选择了分孔径检测的多网络组合,导致共相过程繁琐,无法满足实时性要求。

图8 文献[60]子镜活塞误差预测流程图Fig.8 Prediction flow of the sub-mirror piston error in document[60]

2020年,Hui等[61]进一步提出一种基于广度优先算法(BSF)和多波长图像监督学习策略的活塞误差探测方法,流程图如图9所示。使用BSF遍历算法分割和计算子模型,从而使活塞误差探测过程更加高效。研究结果表明测试集的Pearson相关系数大于0.99,实际活塞值与预测值之间的拼接镜平均均方根误差约为0.01λ,测试数据集的最大活塞误差范围为±2.5λ。

图9 文献[61]活塞误差探测流程图。(a)分段的BFS算法;(b)监督学习过程;(c)分段的活塞误差校正Fig.9 Piston diagnosing flow of the segments in document[61].(a)BFS algorithm for segments;(b)Procedure of supervised learning;(c)Piston error correction of segments

2021年,西北工业大学Tang等[62]将深度CNN应用于大尺度活塞误差条件下的倾斜误差检测中,仿真分析了活塞误差和倾斜误差对成像性能的影响,指出倾斜误差对合成孔径成像系统的影响与活塞误差相比更严重。其提出的DCNN网络结构如图10所示,由5个卷积池化层模块组、1个1×1卷积层和3个全连接层组成。根据输入数据的差异将DCNN分为两类:以PSF为输入的网络,命名为DCNN-P网络;以PD特征(Mshape和Mpower)为输入的网络,命名为DCNN-Ms和DCNN-Mp。研究比较了两种类型网络在单波长、宽带光、不同湍流像差和孔径排列等条件下的倾斜探测性能。仿真结果表明DCNN可以提取出单波长、宽带光和湍流畸变下合成孔径成像系统的倾斜误差,检测所需时间小于10 ms,可以用于实时校正;与DCNN-Mp相比,DCNN-P具有更强的检测能力、泛化能力和鲁棒性;基于PD的DCNN在应用中具有优势,因为它只使用聚焦和散焦图像来形成网络的输入,但其可能会受到孔径的影响;两种类型网络的共同特点是与成像目标无关,大大提高了成像目标多样性的泛化能力。

图10 文献[62]基于DCNN的倾斜误差循环校正过程及网络结构Fig.10 Cyclic correction process of tilt error using DCNN and network structure in document[62]

2021年,中国科学院西安光学精密机械研究所Wang等[63]提出基于多通道的色散条纹传感器(DSF),利用离散条纹积累的LSR-DSF和深度CNN算法实现了分块镜活塞项的粗精一体化检测。该方法利用LSR-DSF算法获取色散条纹特征矢量,并将特征矢量作为输入训练神经网络,从而实现活塞相位的探测。其采用的神经网络有两种类型:一种是简单的BP神经网络,用于拟合参考波长内的活塞像差,属于精共相网络;另一种使用ResNet18深度CNN实现活塞像差的粗共相。仿真结果表明提出的方法实现了−139λ∼139λ(λ=720 nm)的检测范围,而且该方法在大样本情况下可以保证至少94.96%的精度,甚至当信噪比为15时,均方根误差也可以限制在10.2 nm以内。该方法有两个主要创新:首先是不再局限于整个色散条纹图案沿色散方向的总体累积,而是引入多波长通道成像来形成LSR特征向量,也可以增加入射光的相干长度以增加检测范围;其次,在神经网络训练数据的获取方面,利用一个波长内的数据创建一个大型数据集,可以解决传统神经网络方法所面临的训练数据不足的问题。同年,Wang等[64]利用该方法进一步提高了活塞误差的检测范围,实现了−208λ∼208λ(λ=720 nm)的检测范围,且无论是否存在噪声,检测误差的均方根值均不超过17.7 nm(0.027λmin,λmin=660 nm)。

图11 文献[63]网络结构示意图Fig.11 Network structure diagram in document[63]

2021年,中国科学院长春光学精密机械与物理研究所Wang等[65]将深度双门控循环单元GRU神经网络引入到拼接镜的精共相检测中,该网络由两个方向相反的GRU组成,并添加了一个隐藏层,网络模型如图12所示,它不仅比CNN或LSTM网络的结构简单,而且可以有效地解决由于长期依赖性导致的梯度消失问题。此研究做了三个方面工作:仿真验证Bi-GRU网络在6单元拼接镜系统的有效性,前三阶Zernike仿真误差在−0.5λ∼0.5λ范围,Bi-GRU网络输出与真实值绝对误差平均为0.0065λ,训练后的网络可以准确地建立退化PSF图像对与相应相位像差之间的非线性映射关系;采用2块拼接镜系统,将Bi-GRU网络应用于实际实验系统,实验结果表明即使存在源于制造或初始对准的一些残余高阶像差,校正相位误差后的RMS波前误差也优于0.1λ;进一步仿真分析了18段拼接镜,比较了Bi-GRU、标准RNN、深LSTM和深CNN四种网络的相位复原精度,结果表明Bi-GRU具有较高的拟合精度且只需较少的训练时间。

图12 文献[65]网络结构示意图Fig.12 Network structure diagram in document[65]

2022年,北京理工大学Zhao等[66]提出了基于光阑和多神经网络高精度和大量程的捕获拼接镜的活塞像差。通过在拼接镜的共轭平面设置多个圆形光阑(这种光阑会造成相应拼接镜的子波之间发生干涉),使得数据集对于活塞误差更为敏感。从光阑增强的PSF与活塞之间的关系可以看出活塞误差包含在PSF的干涉因子中。该研究建立了分类和回归CNNCDnet和FDnet,如图13所示。CDnet由三个卷积层、两个池化层、一个全连接层和一个softmax层组成。该网络用于识别拼接镜活塞误差的范围,通过迭代将拼接镜活塞误差校正至FDnet的有效检测范围内。FDnet的前半部分使用堆叠卷积层和池层的组合结构,用两个3×3卷积核代替5×5卷积核,用三个3×3卷积核代替7×7卷积核,这种架构可以增加网络的深度,同时确保相同的接收域。更深层次的模型将具有更好的非线性表达能力,并可以学习更复杂的转换。FDnet的后半部分在常规卷积之后添加一定数量的1×1卷积,目的是实现跨通道特征融合,增强网络本地模块的抽象表达能力。

图13 文献[66]网络结构示意图Fig.13 Network structure diagram in document[66]

综上所述,文献[54-66]是近年来深度学习在合成孔径成像系统共相误差探测方面有代表性的几项研究成果,其性能对比如表1所示。

表1 深度学习在合成孔径成像系统共相误差探测方面的研究成果汇总Table 1 Summary of the research on deep learning in detecting the common phase error of synthetic aperture imaging system

4 结论

重点综述了近年来深度学习在合成孔径成像系统共相误差检测方面的应用研究,可以看出,深度神经网络在合成孔径成像系统粗定相、精定相及粗精一体化方面均表现出了一定的应用潜力,在活塞及倾斜误差检测方面都进行了验证。但是,目前的验证大都采用数值仿真作为研究手段,实验研究相对较少。建立合成孔径或拼接镜的实验系统,实验验证深度CNN方法的可行性还需要进行进一步研究。实验中不仅包含噪声、倾斜、抛光像差、湍流等多种环境因素的影响,而且成像目标的特性也具有不确定性,许多实际因素在仿真中缺失,因此实验验证是必不可少的环节。另一方面,目前的研究主要针对系统本身存在的像差,如活塞误差和低阶的倾斜像差,而在实际的合成孔径系统成像应用中,湍流对系统成像分辨率的影响无法忽略,但目前鲜有湍流对合成孔径系统的影响及校正方面的仿真和实验研究工作。因此,基于深度学习的合成孔径共相误差检测已取得了较多成果,但仍有许多研究值得进一步推进。

另外,深度学习网络迅猛发展,新的网络结构层出不穷,可以进一步将新型的网络结构应用于合成孔径成像共相误差探测系统中。如时间、空间或时空结合的自注意力网络,这些网络可以更为有效地提取光强图像中的特征信息;YOLO系列网络可以实现图像中物体的识别和定位,可以尝试用来直接定位不同子孔径的光强信息,以降低目前研究使用的多套网络的复杂性,提高训练效率。深度学习和其他技术的结合也是一个值得探索的研究方向,如Wang等[63]将深度学习与DSF技术相结合实现了目前最大的活塞项校正范围。综上所述,深度学习与波前传感技术的深度融合为合成孔径共相误差检测带来了新的思路和机遇,有待研究者进一步深入研究和突破。