高速微扫描图像超分辨重建

赵浩光，曲涵石，王 鑫，尚 洋，刘立刚，韩松伟，孟 森，王 平

（1.国防科技大学 空天科学学院，湖南 长沙410073；2.中国航空工业集团公司 沈阳飞机设计研究所，辽宁 沈阳110035；3.西安电子科技大 学计算机科学与技术学院，西安710071；4.中国科学院长春光学精密机械与物理研究所 航空光学成像与测量重点实验室，吉林 长春130033；5.图像测量与视觉导航湖南省重点实验室，湖南 长沙410073；6.上海乂义实业有限公司，上海20114）

1 引 言

超分辨成像技术是指对同一场景多次曝光采样，获取存在亚像素偏差的低分辨率图像序列，然后利用图像超分辨重建技术将一幅或多幅低分辨率图像合成高分辨率图像的技术［1-2］。

传统图像超分辨重建技术主要应用于航天领域的遥感成像技术，其实现方法为：针对同一场景使用多个相机同步进行采样或者使用一个相机在不同位置进行采样，以此获取低分辨率图像序列，然后利用空域插值法得到高分辨率图像，最后使用传统图像处理手段去除图像噪声和模糊。这种超分辨重建技术存在定位精度差、实时性较差、配套设备体积大的问题，很难应用于航空侦察领域。

自二十世纪九十年代起，基于微扫描的超分辨重建技术开始受到西方国家重视。现阶段，美国、法国等西方国家已经在航空光电侦察领域广泛使用此项技术［3］，而我国在这个方向尚处于起步阶段［10］。

近些年，随着深度学习技术的广泛使用，图像超分辨技术得到了飞速发展，其基本思想是通过计算机多层次深入学习获得先验知识，利用不同图像在高频细节的相似性，结合深度学习算法构建高分辨率图像和低分辨率图像之间的关系模型。较之传统方法，基于深度学习的超分辨重建技术的重建效果得到了进一步提升，但是实时性变得更差。即使使用更快、更深的卷积神经网络做单帧图像超分辨重建，依然很难应用于航空侦察领域。

无论使用何种超分辨重建技术，探测器输出的低分辨率图像均会受到如下因素制约：

（1）光学系统的方案设计、加工精度和安装误差会引起图像模糊，改变图像对比度；

（2）探测器靶面的像元尺寸、感光材料的选取以及读出电路的设计均会使图像产生一定程度的噪声混叠；

（3）伺服控制系统的控制误差会引起图像运动模糊。

这些因素不仅降低了探测器输出的低分辨率图像的成像质量，而且增加了低分辨率图像二次配准的难度，进而影响超分辨重建的结果。

本文将光学系统内部透镜固定到高速微扫组件上，在探测器曝光的间歇期快速移动光学透镜一段距离，使探测器输出的前后两帧图像存在亚像素偏差。然后使用基于概率分布的超分辨重建算法，将低分辨率图像序列处理成高分辨率图像。与传统的超分辨重建相比，高速微扫描组件体积小、重量轻、扫描速度快、到位精度高，能较好的应对场景快速变化和平台振动干扰，满足机载光电侦察设备对尺寸、重量和抗冲击振动的要求。基于概率分布的超分辨重建算法能够针对图像有效信息进行处理，避免了大量冗余计算，进一步提高超分重建的实时性和准确性。经实验验证，高速微扫描图像超分辨重建技术在机载光电侦察平台不改变光学系统的前提下，可以有效地提升目标识别距离。

高速微扫描超分辨技术还能较好的克服或缓解前文提及的三点制约因素带来的问题。高速微扫描超分辨技术在提高光电侦察设备输出图像分辨率的同时［4］，还能够提升探测器的灵敏度［1，5］、降低探测器的系统噪声，对探测器进行基于场景的非均匀较正，进而降低探测器因设计、加工、像元尺寸、伺服控制等因素产生的负面影响［6-7］，最终提高光电侦察设备的识别能力。

随着电子芯片集成化技术和计算机技术的高速发展［8］，实现无人机自主侦查打击已成为可能。世界军事强国无不重视无人机自主查打技术的研究［9］，具有高度自主侦查、打击能力的无人机系统必将成为未来战争的主角。目标自主识别是无人机自主感知、自主决策、自主规划、自主攻击的基础。实现目标自主识别可使无人机迅速适应战场环境，对敌我态势进行准确判断和应对，即使在通信受阻、操作人员被限制的不利条件下，依然能够继续执行任务。因此开展相关领域的技术研究势在必行。

2 微扫描图像超分辨工作原理

先敌发现、先敌识别是机载光电侦察设备的重要指标，这对光电侦察设备装备的探测器的灵敏度和分辨率提出较高要求［6］。探测器灵敏度与像元尺寸正相关，即像元尺寸越大探测器灵敏度越高。光电侦察设备受到无人机载重（续航）、安装结构影响，对光学系统口径进行了尺寸限制，导致探测器靶面尺寸偏小。在探测器靶面固定的情况下，分辨率与像元尺寸负相关，即分辨率越高，像元尺寸越小，单个像元的灵敏度越低。

本文采用高速微扫描图像超分辨技术，即使光电侦察设备使用大像元探测器，也可以在保证高灵敏度的同时，提升机载光电侦察设备的分辨率。高速微扫描超分辨原理分为两个步骤（参见图1）：

图1 高速微扫描超分辨示意图Fig.1 Schematic diagram of high-speed micro-scanning super-resolution

（1）控制微扫描组件（二维压电高速微扫描平台和紧凑型高频压电控制器）实现图像过采样；

（2）使用图像过采样获取的低分辨率图像，在嵌入式平台实现图像实时超分辨重建算法。

2.1 图像过采样基本原理

为了获取具有亚像素级偏差的低分辨率原始图像序列，需要微扫描平台按照一定频率及步长移动光学透镜。通过机械平移透镜一段距离d，使得目标物在像平面上的成像位置由I运动到I′，如图2所示。

通过精细控制实现成像的微位移（亚像素级）运动，这一过程称为过采样过程。过采样过程通常会使用4种微扫描模式［2］（1×1，2×2，3×3，4×4），如图3所示。本文综合考虑了计算机资源分配和实时性需求，采用2×2微扫描模式。

图3 常用微扫描模式Fig.3 The micro-scan pattern according to the mode

2.2 图像超分辨重建原理

将获取的存在亚像素级偏差的低分辨率图像处理成高分辨率图像的方式主要有三种［11］，分别是：

a基于经典插值理论的图像插值算法；

b基于概率分布的超分辨重建算法；

c基于深度学习的图像拟合算法。

方式a的特点是图像处理的速度快、鲁棒性差、超分效果有限；方式b的特点是鲁棒性好、超分效果较好、图像处理速度相对较慢；方式c的特点是需要事先进行大量的机器训练、运行过程消耗大量的计算资源，很难满足机载光电侦察设备对实时性的要求［12］。为满足机载光电侦察设备的实时性需求，同时达到最优的重建效果，本文采用了基于概率分布的超分辨重建算法。

基于概率分布的超分辨重建算法的基本原理是：建立真实成像的数学模型，估计模型的相关参数，结合探测器输出的低分辨率图像序列Y，构建符合一定条件的像素概率分布函数［13］，通过极大似然估计，确定理想高分辨图像X。成像模型如图4所示。

图4 成像模型示意图Fig.4 Schematic diagram of image degradation process

2.2.1 光学成像模型的数学拟合

选取连续的自然场景作为输入，经一定频率采样后获得离散场景，离散场景对应理想的高分辨率图像X，当采样频率高于奈奎斯特频率时，离散场景可完全复现输入场景。

机载探测器的空间位置是时刻变化的，这些变化会引起图像的平移、旋转、仿射，导致场景X发生生运动变化，用运动变化矩阵F表示这一过程；受到探测器光学孔径限制和伺服控制精度的双重影响，场景X中某些点会扩散成不规则的弥散斑，导致输出图像伴随一定程度的模糊，用模糊因子矩阵H表示这一过程；探测器感光区生成像素值的过程是一个下采样的过程，导致探测器输出图像的分辨率进一步降低，用下采样算子矩阵D表示这一过程；探测器输出图像经读出电路转换后会附着噪声，用噪声混叠矩阵V表示这一过程。因此，第k帧的探测器输出图像Y k的表达式如下所示：

其中：Y k为探测器输出的第k帧低分辨率图像，D k为第k帧下采样算子，H k为第k帧模糊因子，F k为第k帧的运动变化，X为理想高分辨率图像，V k为第k帧噪声混叠项。

下采样算子D k、模糊因子H k、帧间运动变化F k可分别通过图像配准、相机标定、解算光电侦察设备姿态的方式确定，即降质矩阵W k可确定。另外，场景明暗变化也会引起探测器输出的图像Y k的变化，故引入明暗变化矩阵λ1k，λ2k，对式（1）进行调整如下：

2.2.2 构建概率密度函数求取理想高分辨图像

式（2）中D k，H k，F k均为稀疏矩阵，根据若干张输出图像Y k反推理想高分辨率图像X的过程实际上是一个解算病态方程的过程。假设混叠噪声项V k符合高斯分布，构建关于高分辨率图像X、光照强度变化矩λ1k，λ2k及降质矩阵W k的Y k像素值的概率密度函数，如下：

其中：参数β和M的值一般默认为1，实际情况会根据实际场景进行微调。在Y k，λ1k，λ2k，W k已知的情况下对式（2）进行极大似然估计，也就是求概率极值所对应的理想高分辨率图像X̂ML，如下：

由于降质矩阵W k行数、列数较大，且有较多非零元素，无法直接求逆，故使用迭代法求逆。构建似然函数L及似然函数L关于任一高分辨率估计图像x的导数似然函数L的表达式

极大似然估计值X̂ML通过共轭梯度迭代法求解。如忽略光照强度变化引起的图像变化，认定混叠噪声项V的期望为零，则X̂ML的可近似为如下：

如无法忽略光照强度变化引起的图像变化，且认定噪声混叠项V的期望为零，则X̂ML的解析式可改写为：

3 高速微扫描超分辨的实现

为在机载光电侦察设备上实现实时高速微扫描超分辨技术，与其他机载设备进行了精细配合，通信示意图如图5所示。本文将光学系统中的一片透镜固定到二维压电高速微扫描平台上，以此带动该透镜进行高速微位移。首先在上位机端按照2×2扫描模式，驱动二维压电高速微扫描平台，获取具有亚像素级偏差的低分辨率原始图像序列，然后在嵌入式平台上，使用基于概率分布的超分辨重建算法，将探测器输出的低分辨率原始图像处理成高分辨率图像。

图5 微扫描超分辨通信示意图Fig.5 Communication schematic diagram of micro-scan⁃ning super-resolution

本文利用过采样后获取的四帧连续图像，合成一帧理想高分辨率图像，本质上是牺牲时间换取空间的方式。对于帧频为120 FPS，画幅为640×512，位深为14 bit的输入图像，经本文算法处理后的图像帧频变为30 FPS，画幅变为1 280×1 024，位深仍为14 bit，理论上可提升100%的空间分辨率，大幅度提高识别距离。

3.1 图像过采样的实现

图像过采样由二维压电高速微扫描平台、紧凑型高频压电控制器配合实现。当探测器处于曝光阶段时，透镜保持位置稳定，当探测器处于非曝光阶段时，二维压电高速微扫描平台带动透镜快速运动实现亚像素位移。

为了保证微扫描与探测器曝光同步，上位机先发送微扫描控制命令，1.5 ms后发送探测器外触发信号，曝光完成后，上位机再次发送微扫描控制命令，以此循环，确保微扫描不引起图像模糊，提高成像质量。针对输出帧频为120 FPS的探测器，高速微扫描超分辨核心组件进行了专门的优化设计，采用2×2的过采样扫描方式，微扫描时间＜1.0 ms，到位稳定精度＜0.3μm（对应约0.03个像素）。二维压电高速微扫描平台的实测结果如图6所示。

图6 2×2微扫描位移测试结果Fig.6 2×2 micro-scan pattern test result

本文采用压电陶瓷作为驱动单元，采用闭环控制的方法，解决压电陶瓷输出位移与输入电压非线性的问题。经理论计算和反复标校实验，本文为达成图像0.5像素微位移，微扫描步长设定为±6.75μm，测试结果如图7所示。

图7 微扫描位移响应测试结果Fig.7 Micro-scan response test results

3.2 图像实时超分辨的实现

3.2.1 图像配准预处理

光学成像系统受真实场景的复杂程度、光学系统的加工精度、方案设计、选材、光轴一致性以及伺服系统的控制精度等多方面影响，并不是理想的时不变系统。微扫描后获取的图像序列很难保证严格相差1/4或1/2个像元大小，导致在进行图像超分辨之前，必须进行图像配准。

图像配准技术包括四个方面：变换模型、特征空间、相似性测度、搜索空间。本文依据这四个特性，将图像配准分为以下五个步骤进行：

Step1：根据实际应用场合选取适当的变换模型；

Step2：选取基于灰度的特征空间；

Step3：根据变换模型的配置参数及所选用的特征，确定参数的变化范围及最优的搜索策略；

Step4：应用相似性测度在搜索空间中按照优化准则进行搜索，寻找最大相关点，从而求解出变换模型中的未知参数；

Step5：将待配准图像按照变换模型逐像素一一对应到参考图像中，实现图像间的匹配。

3.2.2 实时图像超分辨

真实场景经2×2模式过采样处理后，获得4张低分辨率图像，本文的目的是根据这四张低分辨率图像估计出一张理想高分辨率图像X，故式（5）中的N=4，根据式（6）结合迭代法计算出极大似然估计值X̂ML，这个极大似然估计值就是超分辨重建后的高分辨率图像。本文使用基于概率分布的超分辨重建算法，需要构建一个行数、列数较大的降质矩阵W，导致求极大似然估计值的过程涉及大量、频繁的矩阵计算。为了兼顾硬件功耗、处理芯片性能，本文对超分辨重建算法进行了改进和优化。

本文将过采样获取的4幅640×512的低分辨率图像，重建成一幅1 280×1 024的高分辨图像，对应的W矩阵的大小为1 280×1 024×4×640×512。为降低W矩阵的复杂度，本文提出一种分块处理方法，即将固定区域分割成80个子区域，记作Y(i)k，i=1，2，...，80，每子区域Y(i)k的画幅为36×36，且与相邻子区域有部分重叠（防止边界损失）。分割后每个子区域对应的W(i)k矩阵的大小为72×72×4×36×36，大大降低了迭代过程的复杂度。

本文采用共轭梯度法（Conjugate Gradient）求式（6）的极大似然估计值时。共轭梯度法是介于最速下降法与牛顿法之间的一种方法。通过一阶导数的使用，克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点。共轭梯度法具有步收敛性，稳定性高。经实验验证，采用共轭梯度法仅需10次迭代便可达到最速下降法150次迭代的收敛性，且迭代精度几乎一致，极大提高了迭代效率。

为了提升帧间运动信息的时效性、准确性及鲁棒性，本文选用GPU-TX2i嵌入式平台作为硬件环境，并行构建80个子区域对应的降质矩阵，并行迭代求解子区域对应的高分辨率图像X(i)。为提高图像处理速度，在算法优化时使用更小的卷积核，严格控制存储量，实时调整迭代步长，在保证精度的情况下尽量减小迭代次数，降低图像处理运算量。为了避免子区域合成全画幅的高分辨率图像时出现边缘效应，本文对每个子区域边缘重叠部分的灰度值进行了自适应调整，最终获得期望的超分辨率图像X。

4 测量实验与结果

4.1 超分辨重建对图像空间分辨率提升的测试

为了测试基于概率分布的超分辨重建算法对图像空间分辨率的提升效果，本文分别对室内靶标、室外复杂场景进行测试。

4.1.1 室内靶标测

室内靶标测试识别的目标是1951USAF分辨率测试板。1951USAF分辨率测试板由不同的群组（Group）和对应元素（Element）构成，可通过查表获取相应的分辨率。1951USAF分辨率测试板上的每个群组包含六个元素，每个元素包含水平分布和垂直分布的三条靶标，靶标之间的间距与靶标宽度相同。空间分辨率（Frequency）计算方法如下所示：

经过采样处理后，探测器输出的4张具有亚像素偏差的低分辨率原始图像如图8所示。由于实验在室内进行，不存在大气湍流扰动和伺服控制精度的问题，这四张图片的偏差实际为0.5个像素，属于一种较为理想的状态。

图8 具有亚像素偏差的4张低分辨率原始图像Fig.8 4 low-resolution images with sub-pixel shift

对比数据取自图8中标红位置的局部图，超分辨前后空间分辨率变化如图9所示，图9中的左图为低分辨率原始图像，右图为超分辨重建的图像。

图9 低分辨率原始图像与超分辨重建图像对比图Fig.9 Comparison of low resolution original image and super-resolution reconstruction results

由图9知，低分辨率原始图像可分辨第2组第3元素，对应的空间分辨率为5.039。经超分辨重建处理后的高分辨率图像可分辨第3组第2元素，其对应的空间分辨率为8.979。相比于低分辨率原始图像，超分辨重建后的图像可识别的元素提升了5个，空间分辨率提升78.2%。

4.1.2 室外复杂场景测试

室外复杂场景测试相较于室内靶标测试，不能忽略大气湍流扰动和伺服控制精度的影响，为了不降低超分辨重建算法在复杂场景下的鲁棒性、稳定性，需要对过采样获取的图像进行配准。

室外复杂场景的超分辨前后图像的局部对比，如图10所示，图10中的左图为低分辨率原始图像，右图为超分辨重建的图像。

图10 地面外景超分辨结果对比图Fig.10 Comparison of super-resolution results in outdoor scenes

由图10知，经超分辨重建处理后，图像中的混叠信息被去除掉了，目标的特征更清晰、识别更容易。

4.2 超分辨重建对目标识别距离提升的测试

为了测试本文基于概率分布的超分辨重建算法对目标识别距离的提升效果，利用某型号无人机挂载光电侦察设备进行实地测试。无人机初始飞行高度约2 000 m，距离目标场景10 km，无人机以288 km·h-1的速度飞行，逐渐接近目标场景。场景仿真示意图如图11所示。

图11 场景仿真示意图Fig.11 Schematic diagram of scene simulation

无人机机载光电侦察设备的探测器输出图像分辨率为640×512、像元尺寸17μm、帧频为120 FPS，光电侦察设备光学系统的焦距为400 mm。R1点与R2点均放置有坦克车，R1点与无人机之间的距离约3 904.68 m，R2点与无人机之间的距离约2 725.54 m。

图13 R2点处超分辨结果对比图Fig.13 Comparison of super-resolution results at point R2

超分辨重建仿真实验的对比结果如图12和13所示，图12和13中的左图均为低分辨率原始图像，右图均为超分辨重建的图像。由图像知，在R1点处，超分辨重建获取的高分辨率图像可识别到坦克目标，而低分辨率原始图不能识别；在R2点处，二者均可识别出坦克目标，但超分辨重建后的图像识别效果更加显著。

图12 R1点处超分辨结果对比图Fig.12 Comparison of super-resolution results at point R1

光学仿真结果表明，针对同一场景，经超分辨重建获取的高分辨率图像对坦克目标的识别距离由2 725.54 m提升到3 904.68 m，识别距离提升了约43.3%。

4.3 超分辨重建处理的实时性测试

实验表明，探测器输出的帧频为120 FPS、分辨率为640×512的实时图像，经超分辨重建处理后输出的图像分辨率为1 280×1 024，帧频可达30 FPS，每帧处理时间仅为33 ms，满足机载光电侦察设备对图像实时处理的要求，如图14所示。

图14 实时处理输出帧频为30 FPSFig.14 Real-time processing output frequency is 30 FPS

5 结 论

为了提升无人机机载光电侦察设备的性能，本文结合实际工程项目，在嵌入式平台实现了基于概率分布的图像超分辨重建。实验结果表明，高速微扫描超分辨核心组件的微扫描响应时间＜1.0 ms，到位精度＜0.3μm（对应0.03个像素）。探测器输出的帧频为120 FPS、分辨率为640×512的图像，经超分辨重建处理后，变为帧频为30 FPS、分辨率为1 280×1 024的图像。超分辨重建处理单帧图像时间约为33 ms，满足机载光电侦察设备对实时性的要求。地面实测结果表明，经超分辨重建后，图像有效空间分辨率提升了78.2%。应用场景光学仿真表明，经超分辨重建后，光电侦察设备对于坦克目标的识别距离提升了43.3%。微扫描组件和超分辨重建技术的配合使用，既能提升光电侦察设备输出图像的有效空间分辨率，又能增加光电侦察设备对地面目标的识别距离。