基于虚拟成像原理的组合相机视场拼接与波段配准方法

2024-09-19 00:00:00冯笑宇李雷钟联宇陈江苏顾杭
无线电工程 2024年6期

摘 要:针对宽幅组合相机在交会角过小、平差精度不稳定等方面的挑战,以及多光谱组合相机面临的波段配准技术难题,深入探讨了虚拟成像原理在扩大视场角和提升波谱分辨率方面的实现途径。通过分析和优化组合相机各物理相机间固有的几何关系,将多台物理相机的位置和姿态关系视为刚体连接。通过测量不同相机拍摄的影像间的同名像点,解算相机间的几何变换关系并重投影至虚拟成像面,最终实现了各物理相机所获取的独立图像的高效且精确的影像融合,融合的图像符合单中心投影规律。通过优化,扩展了宽幅组合相机的航摄范围,提高了多光谱组合相机的光谱分辨率,尤其在处理无纹理区域和地形起伏场景时展现出卓越的适应性和精确度。实验结果显示,对于宽幅组合相机,该方法的影像拼接精度达到0. 31 pixel;对于多光谱组合相机,波段配准精度达到0. 25 pixel。证明了虚拟成像技术能够显著提升组合相机数据的处理性能和效率,且与现有摄影测量处理软件系统完全兼容,拓宽了组合相机数据在航空摄影测量领域的应用范围,为地理信息系统的应用提供了新视角。

关键词:虚拟成像;波段配准;宽幅相机;多光谱相机;多拼相机;组合相机

中图分类号:TP391. 41 文献标志码:A 开放科学(资源服务)标识码(OSID):

文章编号:1003-3106(2024)06-1576-08

0 引言

直升机、无人机等低空摄影平台作为航空航天摄影测量的重要补充手段,广泛应用于抗灾救援[1]、国土监察[2]、林业调查[3]以及大比例尺地形图测绘[4]等多个领域,在中小范围航空摄影测量作业中发挥了巨大的作用。面对不断增长的地理信息需求,这些摄影平台需要在有限的飞行时间内实现尽可能广的地面覆盖率且尽可能高的分辨率。

在复杂多变的应用背景下,单一相机往往受限于其传感器幅面和镜头的限制难以满足不同领域对高分辨率和宽视角影像的需求,因此宽幅组合相机[5]和多光谱组合相机[6]变得尤为重要。一方面,宽幅组合相机在城市规划、交通监控等领域扮演着关键角色。通过将多台数码单镜头反光相机(Digital Single Lens Reflex Camera,DSLRC)的影像组合在一起,可以显著增加视场角和覆盖地面范围,为城市的发展和管理提供详细的视角[7]。另一方面,多光谱组合相机则在农业监测、环境评估中发挥着不可或缺的作用[8]。它能够捕捉不同光谱范围内的数据,提供有关地面状况的更多细节,以支持精确的农业管理和生态保护。

然而,由宽幅组合相机和多光谱组合相机在不同条件下获得的多幅独立影像在视角、光谱特性和覆盖范围上各有差异,给摄影测量数据处理带来了不小的难度,因此,当前的挑战在于如何高效地整合这些影像。现有摄影测量数据处理软件在处理面阵传感器影像时,通常基于小孔成像模型[9]对相机的成像过程进行建模,以共线条件方程为基本数学模型。如果将上述2 类组合相机在同时曝光时获取的多幅图像看作是相互独立的,直接采用现有的摄影测量数据处理软件进行处理,常常面临诸多挑战,如交会角过小、未知数相关性强以及平差结果精度不稳定等[10]。

当前,基于单中心投影[11]理论研究的摄影测量数据处理技术日趋成熟,并在行业内已得到广泛应用。在这样的背景下,为了实现成本效益和实用性的最优化,针对宽幅和多光谱组合相机中的特定问题,基于现有的处理软件对现有技术进行细致优化来提高数据的应用价值,而非开发新理论或软件。根据虚拟成像原理,深入分析了组合相机成像时各物理相机间的固有几何关系;优化了将相互独立的几幅图像合成为一幅符合单中心投影规律的新图像的过程。采用该优化方法能够扩大宽幅组合相机的航摄范围,提高多光谱组合相机的光谱分辨率,同时使得这些组合相机能够适用于现有的摄影测量处理技术和软件。在实际应用中,这一优化方法在处理宽视角组合相机的影像时被称为“相机拼接”[12-14],而在处理多光谱相机的影像时则被称为“波段配准”[15],以上方式旨在提升宽幅和多光谱组合相机在多样化地理信息应用中的效能和效率。

1 虚拟成像原理

1. 1 组合相机工作原理

当组合相机中的各物理相机曝光严格同步时,飞行平台对组合相机的影响是可以忽略的,因此相机之间的几何关系可以看作是恒定的。组合相机工作原理示意如图1 所示。

在图1(a)中,左视、下视和右视相机相互靠近,尽可能减少投影中心间的距离,右视相机放置在左侧,镜头向右倾斜,左视相机放置在右侧,镜头向左倾斜,倾斜角度对称,大小根据左右相机的地面度进行设置。图1 (b)展示了多光谱组合相机的成像原理,每台物理相机的镜头指向近似平行,对地面范围相同区域成像,获取各自滤光片对应的谱段数据。

1. 2 虚拟成像模型

无论是用于扩大视场角的宽幅组合相机,还是旨在提高波谱分辨率的多光谱组合相机,它们的基本工作原理是相同的。每台物理相机自身是一个完整的DSLRC 系统,拥有独立的光学路径和成像传感器。所提到的成像传感器,通常是互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor,CMOS)或电荷耦合器件(Charge-Coupled Device,CCD)。在讨论组合相机的几何关系时,重要的是考虑各物理相机的摄影中心和摄影方向。每台物理相机,例如第i 台,具有摄影中心Si 和像主点oi,后者是摄影方向与影像成像平面的交点。相机i 的像平面坐标系oi -xi yi 中,xi 轴方向通常与航向方向一致。建立像空间坐标系Si -xi yi zi 时,以物理相机投影中心Si 为坐标原点,相机主光轴Si oi 为坐标系的zi轴,同时确保其xi、yi 轴分别平行于像平面坐标系的xi、yi 轴。对于组合相机系统,以虚拟投影中心S 在空间中的位置为坐标原点,以铅垂线方向为Z 轴,取航线方向为X 轴,按照右手系规则建立虚拟像空间辅助坐标系S-XYZ。取地面一点A 为原点,坐标轴与虚拟像空间辅助坐标系坐标轴平行,建立地面摄影测量坐标系A-Xp Yp Zp。此外,考虑一个投影中心位于S 的虚拟理想水平像片,建立其虚拟像空间坐标系S-xyz,其中主光轴So 为坐标系z 轴。相应的虚拟水平像片的像平面坐标系表示为o-xy。这些空间关系和坐标系统如图2 所示。

设地物点M,其在第i 台物理相机所摄影像上的像点记作mi。相机i 摄影时,其摄影中心Si、地物点M 和其构像点mi 满足共线条件方差:

式中:(XM YM ZM) T 为地物点M 在地面摄影测量坐标系A-Xp Yp Zp 下的坐标,λi 为物理相机i 上的摄影比例尺分母,Ri 为相机i 成像光束姿态方向余弦构成的旋转矩阵,(xi yi zi) T 为相机i 上的构象mi 在像空间坐标系Si -xi yi zi 下的坐标,(XSi YSi ZSi) T 为相机i 投影中心在摄影测量坐标系A-Xp Yp Zp 下的坐标。

同理,设地物点M 在理想像片上的构像为m0 ,其在虚拟像空间坐标系S-xyz 下的坐标为(x0 y0 z0 ),且满足:

式中:λ0 为虚拟相机的摄影比例尺分母,R0 为虚拟相机姿态参数构成的旋转矩阵,(x0 y0 z0) T 为虚拟相机上的构象m0 在像空间坐标系S-xyz 下的坐标,(XS0 YS0 ZS0) T 为虚拟相机投影中心在摄影测量坐标系A-Xp Yp Zp 下的坐标。

联立式(1)和式(2)可以发现,mi 与m0 之间存在式(3)所示的变换关系———虚拟摄影作业公式:

式中:fi 与f0 分别为物理相机和虚拟相机的主距,Hi为投影中心Si 与地物点M 之间的距离,即深度;R-1i为姿态方向余弦构成的旋转矩阵,i 取值为0 时对应虚拟相机。

结合组合相机成像特点,进一步分析式(3)可以发现,当虚拟相机以理想水平姿态对地成像时,R0 = E,Ri 为物理相机i 成像光束相对于理想相机的姿态,虚拟摄影成像误差由(XS0 - XSi YS0 - YSi ZS0 -ZSi) T / Hi 决定,当虚拟相机投影中心与物理相机投影中心重合时,误差项分子为0,此时虚拟相机与物理相机间的几何变换关系是严密的。然而,组合相机的物理结构决定了虚拟相机无法同时与各个物理相机的投影中心重合,因此虚拟摄影过程不可避免地引入误差:

式中:H0 为虚拟成像投影面平均高程,ΔH 为地物点与投影水平面间的高差,(Δx Δy Δz) T 为地形起伏引起的投影误差。一般情况下,投影中心间距离为厘米级,航空飞行平台的摄影距离通常为数百米,误差项数值较小,可忽略其影响。

2 实验及分析

本节通过一系列实验来验证虚拟成像原理在宽幅组合相机图像拼接以及多光谱组合相机波段配准中的有效性[16]。为了展示虚拟成像技术在处理不同摄影平台和条件下获取的图像数据时的适应能力和精度,并证明理论的可行性和实用性,实验选取了2 种不同类型的相机:徕卡ContentMapper 宽幅组合相机和长光禹辰MS600 多光谱组合相机作为实验的主要设备。

详细的技术参数和外观特征为实验提供了必要的技术背景,是理解实验结果的关键因素。2 种相机的外观及其基本参数分别如表1 和表2 所示。

表1 列出了徕卡ContentMapper 组合相机中3 台独立物理相机的基本参数,下视相机与左、右2 台侧视相机相比,主距短,视场角大,由于其摄影距离较侧视相机更近,因此成像时3 台物理相机间的空间分辨率差异较小,对于虚拟拼接是有利的。

表2 列出了长光禹辰6 波段多光谱组合相机的基本参数,每台物理相机除滤光片不同外,其他参数均相同,安装角度近似相互平行,拍摄范围基本一致。

2. 1 宽幅组合相机实验与分析

徕卡ContentMapper 宽幅组合相机实验数据位于城区,相对地面飞行高度约为2 700 m,影像空间分辨率约为0. 09 m,影像纹理丰富、对比度适中,无明显模糊。在成像时,3 台物理相机分别对地面不同区域进行摄影,侧视相机与下视相机视场角之间的重叠度约为0. 6°,处于重叠区的地物会同时在侧视相机和下视相机上成像。首先利用影像匹配算法在重叠区内量取一组空间分布尽可能均匀的同名像点,如图3 所示,图中红色十字丝代表同名像点在影像中的位置。

然后将同名像点坐标视作观测值,利用最小二乘方法解算式(3)对应的未知数,建立3 台相机之间的刚体变换关系。接着将虚拟相机成像传感器幅面设置为191. 76 mm×40. 00 mm,并通过虚拟成像重投影变换[17]和灰度重采样过程,生成一整幅宽视角影像,结果如图4 所示。

图4 所示影像宽51 000 pixel,高10 640 pixel,与表1 所示物理相机幅面相比,虚拟宽幅影像合成了左视、下视以及右视3 台相机拍摄的影像,显著增大了虚拟相机的视场角。

为了进一步验证相机重叠区拼接缝两侧地物的对齐精度,实验临时关闭了虚拟成像过程中的色彩均衡算法和羽化过度算法。这样做可以保留拼接缝,便于观察地物几何错位,这种几何错位在图5 中有所展示。

图5 为拼接缝两侧放大2 倍后的结果,沿拼接缝两侧线状地物对齐良好,无明显错位。为了定量评价3 台相机重地区拼接精度,实验在求得式(3)中的未知数后,将左、右2 台相机上的像点坐标变换至下视相机,并与同名像点在下视相机上的坐标求差,其中误差为1. 19 μm,约为0. 31 pixel(1. 19 / 3. 76≈0. 31),该值可作为拼接精度的定量评价指标。

2. 2 多光谱组合相机实验与分析

在本节中,第一组实验数据选取高大建筑区,用于本文方法对场景深度变化的适应能力;第二组数据为无纹理及乏纹理区,用于检验将组合相机几何关系视作刚体的合理性;第三组纹理丰富,用于定量评价本文方法的精度。

2. 2. 1 场景深度变化时的验证与分析

实验采用多旋翼无人机搭载多光谱组合相机进行飞行,相对地面飞行高度为100 m,同时观察的楼房高度约为20 m。为了展示波段配准的效果,比较了配准前后的影像,对比效果如图6 所示。

从图6(a)可以看出,配准前将各物理相机拍摄的波段直接叠加,存在明显的几何错位;而采用本文方法配准后,整体目视效果良好。从图6(c)的局部放大图来看,地面停车场中车位边线及屋顶均严格配准,无错位现象,说明忽略式(4)所示误差项是可行的。

2. 2. 2 乏纹理及无纹理区的验证与分析

当用组合相机拍摄大面积河流、湖泊、沙漠和草原等无纹理或乏纹理地区时,可利用相同航高获取的一组纹理丰富的图像,计算式(3)所需参数,进而处理无纹理区图像。实验选取一个水面面积较大的区域进行观测,其中相对水面的航高约50 m。为了展示不同条件下的配准效果,特别关注了部分落水和完全落水2 种情况。这2 种情况下的配准效果分别如图7 和图8 所示。

从图7 和图8 可以看出,地面和水面均严密配准,特别是当影像全部落水时,波段之间仍然配准严密,这说明将组合相机的几何变换关系视作刚体,相同飞行条件使用同一套变换参数是合理的。

2. 2. 3 精度验证与分析

为定量评价本文方法的几何精度,实验进一步选取一幅已配准影像,取该影像的第四、第五波段,利用最小二乘匹配方法[18]提取波段间同名像点,并将像点在2 个波段上的坐标之差作为评价波段间配准精度[19-21]的指标。

波段4 与波段5 之间的同名像点(经统计共计212 对同名像点)基本覆盖了整幅影像,这些点不仅分布在地面上,也位于房顶和树冠上。这种广泛的分布可用于评估不同深度地物的配准精度。同名像点的分布如图9 所示,而2 个波段间同名像点的坐标差值,作为评价配准精度的部分结果,如表3 所示。

从表3 可以看出,2 个波段间在列和行方向的配准误差分别为0. 16 pixel 和0. 19 pixel,平面配准误差为0. 25 pixel,满足遥感领域中对影像配准精度一般不低于0. 3 pixel 的要求。

3 结束语

基于通道分离型组合相机成像原理,深入探讨了虚拟成像技术在扩展宽幅组合相机视场角及实现多光谱组合相机波段精确配准方面的应用。将多台物理相机的相对位置和姿态关系视为刚体连接,通过精确测量不同相机捕捉的同名像点,计算相机间的几何变换关系,成功将各个相机拍摄的图像集有效地融合为一幅符合单中心投影规律的新图像。核心工作在于优化各物理相机的固有几何关系,特别是在航空摄影中,通过忽略地形起伏引入的误差,简化了平差模型,显著提升了图像融合的处理效率,在处理无纹理区域或复杂地形时显示出高适应性和精确度,扩展了宽幅组合相机在中小范围航摄中的应用范围和提高了多光谱组合相机的光谱分辨率。

此外,基于虚拟成像原理的组合相机视场拼接与波段配准后生成的单中心投影虚拟影像,完全兼容现有摄影测量处理软件系统。这一成果在理论上具有精确性,在实际应用中展现出高效性,解决了宽幅组合相机的拼接难题和多光谱相机的波段配准问题,为航空摄影测量领域提供了新视角和实用解决方案。该技术不仅提高了数据处理的效率和精度,也为地理信息系统的应用开辟了新途径。

然而,在特殊场景,尤其是处理各物理相机曝光不同步的问题时仍面临挑战。在物理相机摄影中心间距较大时,虚拟成像方法难以解决宽幅组合相机的拼接和多光谱组合相机的配准问题。未来将探索更高效的同步曝光技术和改进的影像融合算法[22],以确保在各种条件下都能获得高质量影像数据。

参考文献

[1] 葛小三,陈曦,赵文智,等. 基于生成对抗网络的建筑物损毁检测[J]. 测绘学报,2022,51(2):238-247.

[2] 韩杰,王争. 无人机遥感国土资源快速监察系统关键技术研究[J]. 测绘通报,2008(2):4-6.

[3] 吴培强,任广波,张程飞,等. 无人机多光谱和LiDAR的红树林精细识别与生物量估算[J]. 遥感学报,2022,26(6):1169-1181.

[4] 薛武,张永生,王涛,等. 无人直升机面阵影像高精度对地定位[J]. 武汉大学学报(信息科学版),2019,44(2):246-253.

[5] 刘宇,熊恒斌,文义红,等. GPU 支持的宽幅遥感影像RPC 校正并行处理[J]. 无线电工程,2021,51 (8):699-704.

[6] 范鑫,胡昌苗,霍连志. 耦合多源地理数据的多分辨率遥感影像场景分类方法研究[J]. 无线电工程,2021,51(12):1449-1460.

[7] 孙佳敏,宋慧慧. 基于DWT 和生成对抗网络的高光谱多光谱图像融合[J]. 无线电工程,2021,51 (12 ):1434-1441.

[8] JHAN J P,RAU J Y,HAALA N. Robust and AdaptiveBandtoBand Image Transform of UAS Miniature Multilens Multispectral Camera [J]. ISPRS Journal of Photogrammetry and Remote Sensing,2018,137:47-60.

[9] 张杰,范生宏,刘昌儒,等. 空间后方交会精度分析及实验验证[J]. 无线电工程,2015,45(12):59-63.

[10] 徐斌,李英成,刘晓龙,等. 附加约束条件的光束法区域网平差在四拼数码航空相机平台检校中的应用[J]. 测绘学报,2014,43(1):66-73.

[11] 高燕,夏霏. 视觉信息位姿估计在火箭起飞漂移量中的应用[J]. 无线电工程,2021,51(4):302-307.

[12] TANG L,D?RSTEL C,JACOBSEN K,et al. GeometricAccuracy Potential of the Digital Modular Camera[J]. International Archives of Photogrammetry and Remote Sensing,2000,33:1051-1057.

[13] 林宗坚,苏国中,支晓栋. 无人机双拼相机低空航测系统[J]. 地理空间信息,2010,8(4):1-3.

[14] 于君娜,王士成,梁硕. 基于POS 系统和SIFT 特征的无人机遥感影像拼接方法[J]. 无线电工程,2019,49(10):875-879.

[15] 李健,刘先林,刘凤德,等. SWDC-4 大面阵数码航空相机拼接模型与立体测图精度分析[J]. 测绘科学,2008(2):104-106.

[16] JHAN J P,RAU J Y,HUANG C Y. BandtoBand Registration and Orthorectification of Multilens/ MultispectralImagery:A Case Study of MiniMCA12 Acquired by aFixedwing UAS [J]. ISPRS Journal of Photogrammetryand Remote Sensing,2016,114:66-77.

[17] 黄鸿柳,谭果,蒋林利,等. 基于雷达传感器和改进深度学习的无人机目标检测方法[J]. 无线电工程,2023,53(9):2143-2150.

[18] 耿傲婷,李迟生. 一种基于粒子群的多站测向交叉定位改进算法[J]. 无线电工程,2023,53(9):2012-2018.

[19] 魏泓安,单小军,郑柯,等. 基于深度学习的SAR 与光学影像配准方法综述[J]. 无线电工程,2021,51(12):1363-1372.

[20] 宋枭,朱家明,王莹. 基于生成对抗网络的多模态可变形医学图像配准[J]. 无线电工程,2021,51 (9 ):999-1006.

[21] 杨毅,李大成,于杰,等. 基于迭代更新的SIFT 遥感图像配准算法[J]. 无线电工程,2023,53(2):401-409.

[22] 常学立,郭鑫轶,严盟. 基于Pansharp 模型色彩高保真优化的高分遥感影像融合方法[J]. 无线电工程,2021,51(12):1382-1388.

作者简介

冯笑宇 男,(1992—),硕士,工程师。主要研究方向:航电系统、导航。

李 雷 男,(1985—),硕士,高级工程师。主要研究方向:航电武器任务系统。

钟联宇 男,(1968—),硕士,正高级工程师。主要研究方向:航电、卫星导航、火控和通信。

陈江苏 男,(1984—),硕士,高级工程师。主要研究方向:航电系统、导航、座舱显示。

顾 杭 男,(1971—),硕士,正高级工程师。主要研究方向:航电任务系统、通信。

基金项目:国家自然科学基金(6181373)