低照度小样本限制下的失效卫星相对位姿估计与优化

刘付成，牟金震，刘宗明，韩飞，李爽

1. 上海航天技术研究院，上海 201109 2.上海航天控制技术研究所，上海 201109 3.上海市空间智能控制技术重点实验室，上海 201109 4.南京航空航天大学 航天学院，南京 210016

受限于空间特殊的光照环境，导致获取的失效卫星图像呈现低照度现象[1-4]。此时应用视觉观测方法估计空间失效卫星相对位姿时，无法实现连续稳定的长时间测量。对低照度图像进行增强预处理，能够为目标位姿测量任务提供更高质量的图像信息[5-6]。

传统的低照度图像增强方法主要由直方图均衡化(HE)和Retinex主导。HE 是一种常用的灰度增强算法，其原理是通过拉伸图像的动态范围来增加对比度[7]。Retinex 的基本原理是假设一幅图像是由入射光分量和反射光分量组成，只需去除照射图的影响即可得到物体本来的样子，完成图像增强[8-10]。由于空间图像的低对比度等原因，导致传统方法的增强结果存在明显的细节模糊、色彩失真等问题。

基于深度学习的方法在低照度图像增强方面取得了显着的成功[11-12]。由于难以获得匹配数据，文献[13-15]在非配对训练条件下，利用生成对抗网络实现低照度图像增强。文献[16]在非配对训练数据条件下，通过轻量级网络DCE-Net在没有参考图像的情况下进行训练。但是，面向空间图像处理的深度学习方法目前非常罕见，主要原因在于小样本问题。综上所述，如何在小样本条件下提高空间低照度图像的质量，仍然是一个值得研究的问题。

此外，单目视觉SLAM方法是完成非合作目标的位姿测量任务的有效手段之一，具有在轨应用的潜能[17-20]。基于单目视觉SLAM方法的非合作目标位姿测量原理是利用星载单目相机拍摄卫星的序列图像，然后利用运动恢复结构的方法获得卫星的三维点云模型，结合相机的运动信息以及图像平面特征点的运动信息，解算相对位姿关系。但面向在轨应用，单目SLAM方案的不足之处主要包括体现在过度依赖参考帧、累计误差和平移变化的尺度不确定性问题。

从工程应用角度出发，对空间图像的小样本低照度问题，以及位姿估计的尺度模糊、过度依赖参考帧与累计误差问题进行了研究，提出针对低照度小样本限制下的失效卫星相对位姿估计的综合方案。首先，改进基于U-Net生成对抗网络的低照度图像增强方模型。考虑到空间目标图像的特殊性，提出将判别器输出的标量真实性得分扩展为分布的真实性得分。其次，在小样本的条件下，基于进化算法与并行训练方式改进基于SinGAN的数据增广算法，从而抑制网络过拟合。最后，在ORB-SLAM实现慢旋卫星相对位姿初始化的基础上，通过特征信息局部地图构建、尺度因子估计与联合位姿优化方法提高测量的精度和鲁棒性。

1 空间目标低光照图像增强

1.1 集残差加强的生成器

在EnlightenGAN[13]基础上，每个卷积结构设计为5层；左侧设计为4个阶段(Stage 1、Stage 2、Stage 3与Stage 4)的特征提取部分，右侧设计为3个阶段(Stage 5、Stage 6与Stage 7)的图像增强部分；在Stage 1、Stage 2与Stage 3的特征提取中设计为密集残差连接结构，加强信息传递，如图1所示。密集连接是在通道维度上进行连接。在最后阶段，Stage 7 输出的特征图与EnlightenGAN的注意力图逐像素相乘，进一步突出特征图中的待增强区域，经过卷积运算后，与低照度图像逐像素相加，输出最终的增强图像。

图1 密集残差结构Fig.1 Structure of dense residuals

1.2 逼真度的双判别器

本文采用全局-局部双辨别器结构[13-15]，将判别器的单一标量扩展为多标量判别。首先，将标准的GAN目标函数改写成

V(D,G)=Epd[log(D(x))]+

Epz[log(1-D(G(z)))]=

Epd[log(D(x))]+Epg[log(1-D(x))]=

Epd[log(D(x)-0)]+Epg[log(1-D(x))]

(1)

式中：D表示判别器；G表示生成器；pd表示真实数据的分布；pz表示噪声的分布；pg表示生产数据的分布；x和z分别表示在数据和噪声分布上的采样。在式(1)中，0和1理解为2个锚，分别对应伪图片和真图片。训练时，判别器最大化真图片与伪锚之间的距离，而生成器小化伪图片与真锚之间的距离。将判别器的输出替换成真实性的分布pr，即

D(x)={pr(x,u);x,u∈Ω}

(2)

式中：Ω表示pr的结果集合。类似式(1)中的0和1分别代表“真”和“假”，这里引入2个分布A1和A0来表示。因此，2个标量之间的差异被替换为Kullback-Leibler (KL)散度[21]。由此，目标函数改写为

(3)

式中：判别器最小化真图片与真锚、伪图片与伪锚的KL散度，生成器则最大化伪图片与伪锚的KL散度；DKL为2个分布间的KL散度。

基于此，全局-局部的损失函数分别重新定义为

(4)

式中：Ifake为生成的样本；Ireal为真样本；Pfake为生成样本的分布；Preal为真样本的分布。

(5)

式中：Pfake-pathes为生成样本的块分布；Preal-pathes为真样本的块分布。

1.3 小样本数据增广

采用SinGAN[22]提出的完全卷积GAN金字塔结构，并提出进化与并行的训练方式 (如图2(a)所示)。并行的训练仅最后阶段固定前n-2层，联合训练生成器的n-2到n阶段(参见图1(a)中的“Stagen”)。进化训练如图2(b)所示，其包括变异、评估与选择3个过程[23]。定义生成器G由{Gθ1，Gθ2，…，GθP}组成，其中P表示生成器的数量。

图2 小样本数据增广模型Fig.2 Structure of proposed few-shot data augmentation model

(6)

2) 评估。评价子代的质量和多样性。质量适应评价函数定义为

FGq=E[D(G(z))]

(7)

多样性评价函数定义为

(8)

3) 选择。依据优胜略汰原则，根据适应度评价得分进行升序排序，选择得分高的子代作为下一次迭代的父本。

2 相对位姿估计与优化

2.1 构建特征点局部地图

考虑失效卫星旋转带来的特征点提取困难与旋转变化，利用旋转和尺度不变性的ORB-SLAM[24]的完成特征提取和关键帧确定。从获取的关键帧序列Kn中选取前3帧K1、K2和K3，将K1对应对应的相机坐标系定义为世界参考坐标系。失效卫星表面的特性，提取的特征点可能存在平面特征较多或者非平面特征较多的情况。利用ORB-SLAM的单应性判别得分选择利用单应矩阵或者基础矩阵计算本质矩阵。从获得K1→K2和K1→K3的本质矩阵EK1→K2和EK1→K3中初始化K3相对K1的旋转矩阵RK1→K3和平移矩阵tK1→K3(尺度模糊存在于tK1→K3)。

利用单目SLAM实现非合作目标的位姿测量，姿变换矩阵的解算过度参考帧，当某一参考帧图像质量较差时，后续的图像帧位姿估计误差不断累积。通过建立局部地图的方式，存储相机附近特征信息，将参考帧/当前帧的匹配转变为当前帧与特征地图的匹配，克服对参考帧的依赖。这样，在一个不断更新的特征点地图中，假如后期某帧图像发生差错，可利用特征地图进行匹配从而正确求解位姿。三角化图像特征点wi=[uivi]T得到地图点pi=[xiyizi]T。利用当前估计的姿态将pi投影为图像特征点，其与测得的图像特征点的像素坐标存重投影误差，构建光束法平差优化方程，得到相机位姿和地图点的最优解，即

(9)

2.3 尺度估计

在位姿初始化阶段，服务航天器与失效卫星处于同一水平面上，单目相机固定服务航天器中心轴上，假定相机视野中卫星区域的平面法向量为n，相机中心到水平面的距离h已知。设卫星某上一区域3D点M在K2下的坐标为pM=[xMyMzM]T，存在如下关系：

nTpM+h=0

(10)

设估计值与实际值之间存在一个尺度比例因子λ，其定义为

(11)

式中：h已知且有单位；h′为单目SLAM下对应的高度且无单位。

利用K1和K3估计尺度因子，根据两帧的位姿变化关系[RK1→K3|tK1→K3]，点M在K3下的坐标p′M表示为

(12)

由式(10)和式(12)联立，可得

(13)

在图像坐标系下，式(13)可化为

(14)

(15)

(16)

为求解λ，设定K3和K1的ROI。根据式(16) 可知，wp′M和wpM满足单应性变化，利用H将K1的中ROI每个像素投影到K3中。根据灰度不变假设，可逐像素计算在K3中的亮度误差eM，并求得绝对误差为

(17)

式中：I为灰度值。

将h和n作为优化变量，构建非线性优化模型为[25]

(18)

式中：SAD*为ROI中像素绝对误差均值。取ρ为1.5，优化变量初值可由式(15)求得。解得单目下相机高度值h′，再根据式(11)解得λ。

2.3 全局位姿优化

当失效卫星旋转一周后，对重访区域的闭环位姿优化可有效减小累积误差。当检测闭环后[26-27]，基于相对位姿约束的图优化策略对所有目标地图点和所有关键帧的位姿变换矩阵进行联合优化。假设检测到Kk为闭环帧，将SE(3)空间下的连续3个关键帧的位姿变换矩阵的Tk-1、Tk和Tk+1分别变换为sim(3)空间的相似性变换矩阵Sk-1、Sk和Sk+1，其中T和S表示为

(19)

在李代数空间sim(3)下定义如下变换矩阵残差：

(20)

最终的闭环优化目标函数为

(21)

式中：c为图优化的边数量；Ωc为信息矩阵。

3 测量实验与结果

3.1 低照度图像增强实验

获取的不同角度下的低照度图像如图3所示，基于改进SinGAN的图像生成过程如图4所示，不同角度下的卫星图像生成如图5所示，不同光照下的卫星图像生成过程如图6所示，数据增广后的低照度图像如图7所示，低照度图像增强效果对比如图8所示。实验中，对比了进化算法在不同阶段对学习感知图像块相似度 (Learned Perceptual Image Patch Similarity, LPIPS)与弗雷切特起始距离(Fréchet Inception Distance, FID)的影响，如表1所示。实验采用峰值信噪比(Peak Signal to Noise Ratio, PSNR)、结构相似性(Structural SIMilarity, SSIM)、均方误差(Mean-Square Error, MSE)对增强结果进行评价，如表2所示。

图4中，基于并行训练多尺度体系结，从低分辨率到高分率的图像生成过程中，真实地合成了反射和阴影。图5与图6中，基于改进SinGAN生成的新样本具有显著的可变性。表2中，将进化算法应用于全阶段有效提升了生成图像的多样性与质量。从图7可以看出，本文的数据增广方法具有多样性。从图8看出本文的低照度图像增强算法效果更接近真实正常照度图像，而RetinexNet与LIME方法均出现严重细节丢失且颜色严重失。图9表明，在不同光照环境下，本文方法可有效增强对其他卫星模型的低照度图像。表1中，本文方法相比于RetinexNet结果平均SSIM提升了0.21，平均 PNSR值提升3.78，平均MSE降低 0.052。

图4 图像分辨率的增加过程Fig.4 Process of increase of image resolution

图5 不同角度下的图像生成Fig.5 Generated images at different angles

图6 不同光照条件的图像生成Fig.6 Generated images under different lighting conditions

图7 小样本数据集增广Fig.7 Data augmentation of few-shot training samples

图8 低光照图像增强效果对比Fig.8 Comparison of enhancement of low-light images

图9 其他卫星模型下的图像增强效果Fig.9 Image enhancement with other satellite model

表1 进化算法在不同阶段的影响

表2 评价指标对比结果Table 2 Comparison results of evaluation indexes

3.2 空间失效旋转卫星相对位姿测量实验

将增强后的图像序列作为ORB-SLAM的输入。实验中先后进行了基于原始低照度图像的相对位姿测量、基于增强后的图像相对位姿测量以及基于参考正常照度图像的相对位姿测量。

图10中，图像加载到ORB-SLAM系统进行位姿初始化，实现图像帧序列的特征跟踪。图像经增强后，系统的初始化时间由原来的8～10 s缩短为3～5 s，图像处理的帧率由原来的10 Hz提高到13 Hz。图11说明ORB-SLAM在不同的光照条件下特征跟踪的效果有明显的差别。图12说明原始图像经过低光照增强网络处理好，对于图像中的低照度和过曝都有一定的抑制作用。图13和图14说明，ORB-SLAM在低照度图像序列上的重建效果较差，会出现跟踪失败，而在低照度增强后图像序列上的重建效果明显变好。图15和图16说明，ORB-SLAM在低照度增强后图像序列上的位姿估计曲线较为真实的逼近真实运动估计。在图16中，将x轴与z

图10 ORB-SLAM特征跟踪Fig.10 Feature tracking of ORB-SLAM

图11 不同光照条件下的特征提取结果Fig.11 Feature extraction results under different lighting conditions

图12 低照度图像增强前与后的特征提取效果对比Fig.12 Comparison results of feature extraction in low-light images and enhanced images

图13 ORB-SLAM在低照度图像序列上的重建效果Fig.13 Reconstruction results of ORB-SLAM on low-light image sequences

图14 ORB-SLAM在增强后图像序列上的重建效果Fig.14 Reconstruction results of ORB-SLAM in enhanced image sequences

图15 姿态角估计结果对比Fig.15 Comparison results of pose estimation

图16 位置估计结果Fig.16 Position estimation result

轴的测量距离等效为[-1 cm，1 cm]，这样真实的运动轨迹为等效的单位圆轨迹，因此目标运动轨迹估计仅对比与单位圆轨迹的差异。图17表示测量的旋转角和拟合的旋转角之间的绝对误差，当测量稳定后，低照度图像的姿态角拟合误差最大值为4°，而图像增强的姿态角拟合误差最大为0.5°。

图17 拟合误差对比结果Fig.17 Comparison of fitting residuals

在图18和图19中，卫星在+180°～-180°范围内周期旋转。经图像增强后，ORB-SLAM可以实现对目标对以5°/s速度旋转、8°/s速度旋转、10°/s速度旋转与20°/s速度旋转的长时间稳定跟踪。由表3可知，ORB-SLAM在低照度图像中的跟踪效果差，无法实现对目标长时间稳定跟踪。当目标由近及远机动过程中，由于光照环境的影响以及目标在图像中所占像素明显减少，效特征点提取困难，易导致跟踪失败。由表4可知，低光照图像经过增强后，ORB-SLAM可以实现对水平方向机动目标的测量。

图18 在低照度图像下角速度的跟踪结果Fig.18 Tracking results of angular velocity in low-light images

表3 目标静止下的长时间跟踪对比结果

表4 目标连续机动下的长时间跟踪对比

4 结论

针对低照度小样本限制下的失效卫星相对位姿估计与优化问题，提出了一种融合基于GAN的小样本图像增强与基于单目SLAM的位姿估计综合方案，有效解决了在小样本与无匹配数据对的双重限制下空间目标图像增强问题，同时改善了单目SLAM的过度依赖参考帧、累计误差和平移变化的尺度不确定性的问题。实验结果表明所提出的方法对空间旋转非合作目标相对位姿估计性能优秀，具有在轨应用的潜能。