基于单目视觉的三维重构相机技术研究

温聚英 施卫科 倪 越

(1.中国运载火箭技术研究院,北京 100076;2.中国运载火箭技术研究院空间物理重点实验室,北京 100076)

1 引言

美国航空航天局、欧洲空间局等部门先后开展了针对空间目标的操控任务,以验证航天器间对接、停靠与捕获技术,为开展在轨服务任务提供了技术论证并积累了工程经验。飞行器对空间目标进行检测、交会对接及维修等操作的前提是获取目标的相对位置和姿态。由于太空环境的特殊性,需要空间飞行器测量克服卫星振动、参照系误差、轨道预测误差和背景光噪声等因素对测量精度的影响,主要利用装载在空间飞行器上的相对位姿测量系统实现对空间目标的精密测量。面向空间飞行器执行在轨服务过程中对精确识别空间目标特征部位的需求,提出基于单目视觉的三维重构相机技术[1-3]。

基于图像的三维重构方法主要有单目视觉、双目视觉及多目视觉。基于单目视觉的三维重构是根据相机的运动（或物体的运动）得到不同角度的图像序列,根据图像特征匹配估计相机和物体之间的相对运动,利用极线约束和三角原理进行计算,最后得到重建的三维场景;基于双目视觉的三维重构首先需要对相机进行标定,然后根据拍摄到的左右视图的图像进行立体匹配,利用视差图和三角原理进行重建[4];基于多目视觉的三维重构的原理跟双目视觉重构的原理一致,需要更多相机组合在一起形成一个多目视觉成像系统。双目视觉和多目视觉单次拍摄就可以得到物体在某个视角下的立体图像,三维重构的精度高,缺点是成像系统复杂（需要两个及以上相机且需要进行双目联合标定）,体积和质量大,且需要提前标定基线的信息,从而实现空间目标的三维重构。单目三维重构系统的优点是成像简单,只需要一个相机即可,质量轻,精度较高[5-7]。

针对空间飞行器特点及任务需求,提出一种基于单目视觉的三维重构相机技术,利用基于亮度法体素着色技术的三维重构算法,获取空间目标多角度、多层次的图像信息,为空间飞行器执行在轨服务提供空间目标特征部位相对位置和姿态。

2 基于单目视觉的三维重构相机技术基本原理

使用基于亮度法体素着色技术实现对物体的三维建模。假设有一静态场景,光照情况不随时间改变,同时,物体满足朗伯表面假设,物体表面的任意一点从不同方向进行成像得到像素值的亮度应该具有一致性,如图1 所示。通过分析物体在不同视角下图像亮度特征的一致性关系,就可以确定空间中的某一点是否位于物体的表面,从而得到三维几何模型。微单元着色法根据输入的图片组对微单元赋予颜色,从而使得图片最完整。根据输入的图片组对微单元着色后,尽可能投影出原始的图片。

图1 三维重构原理图Fig.1 3D reconstruction schematic diagram

将包含物体的三维空间离散化成大小相同的体素单元,按照某种遍历算法访问全部体素,并将每一个三维采样单元——体素,投影至所有可见的图像上。按照一致性判定方程,计算所对应的全部图像像素是否满足亮度一致性条件,如果满足,则说明该体素位于物体的表面,将其保留并赋予颜色信息,否则将其剔除。最后,判定结束时保留的全部体素组成重建的三维模型。基本公式为

式中:X——测量坐标系下体素坐标值;J（X）——亮度梯度一致性;P——体素总个数;k——体素序号;GVC——法向量;BP——反向传播矩阵;ρ——特征点匹配误差;Yk——测量坐标系下第k个体素坐标值;λ1、λ2——加权值;DBk——第k个体素深度值;Mk——第k个体素投影;γ——表面反射率。

基于单目视觉的三维重构算法的前提是对摄像机进行标定,确定摄像机的内部参数和外部参数。内部参数在摄像机研发装配完成后,可以采取实验室定标的方式获得,外部参数的信息由观测平台的位置和姿态信息获取。获取到标定的信息以后,就可以确定不同视角下二维图像中的特征点在三维模型中的映射关系。

3 三维重构试验验证

3.1 系统组成

三维重构相机主要包括光学系统、图像传感器、高清摄影组件和电源转换板。光学系统用于接收目标反射的光信号,成像于图像传感器上,获取高分辨率光学影像;高清摄影组件主要包括镜头结构及箱体结构,为相机提供支撑和防护;电源转换板完成获取图像采集及处理等工作,用于实现光电转换、图像预处理、内部数据接口、二次电源分配、图像压缩、数据缓存等功能。三维重构相机观测范围为200 m 内,视场角为1.85°×1.05°,像素分辨率优于7.2 mm ＠100 m,三维重构相机系统组成如图2 所示。

图2 三维重构相机方案设计Fig.2 Scheme design of 3D reconstruction camera

3.2 试验平台设计

试验平台包括三维重构相机、小卫星模型、摇摆台、光源组件等。将三维重构相机用夹具固定在三脚架上,如图3 所示。目标模型的尺寸（长×宽×高）为700 mm×650 mm×550 mm,小目标模型的尺寸（长×宽×高）为151 mm×166 mm×179 mm。设计了四次试验,分别为:200 m×100 m 椭圆轨道试验、100 m 圆轨道试验、10 m 圆轨道局部特征试验和10 m 小目标圆轨道试验。三维重构相机沿着椭圆轨道或圆轨道围绕小卫星模型在不同角度对物体进行成像,利用算法进行后续三维建模。

图3 试验平台设计图Fig.3 Design of experiment platform

3.3 三维重构试验结果分析

在200 m 椭圆轨道试验中,每旋转10°采集一张图像,将目标模型按照计算得到的椭圆轨道参数进行前后移动,形成远近大小不同的36 张图像,将所有图像映射到圆轨道进行三维模型重建,如图4所示。针对650 mm 的边长,对应的卫星计算边长为601.044 mm,误差为±48.956 mm;针对550 mm的边长,对应的卫星计算边长为533.2 mm,误差为±16.800 mm;针对700 mm 的边长,对应的卫星计算边长为632.96 mm,误差为±67.040 mm,模型的整体误差为±67 mm。

图4 200 m 椭圆轨道重构效果图Fig.4 Reconstruction of 200 m elliptical orbit

在100 m 圆轨道试验中,每旋转30°采集一张图像,形成12 张图像,进行三维重构。由于是圆轨道试验,在试验过程中,目标模型不需要相应移动,仅需转动转台,如图5 所示。针对650 mm 的边长,对应的卫星计算边长为634.45 mm,误差为±16 mm;针对550 mm 的边长,对应的卫星计算边长为567.174 mm,误差为±18 mm;针对700 mm 的边长,对应的卫星计算边长为664.699 mm,误差为±36 mm,模型的整体误差为±36 mm。

图5 100 m 圆轨道重构效果图Fig.5 Reconstruction of 100 m circal orbit

在10 m 圆轨道局部特征试验中,每旋转10°采集一张图像,形成36 张图像,进行三维重构。由于是圆轨道试验,在试验过程中,目标模型不需要相应移动,仅需转动转台,如图6 所示。由于镜头最佳观测距离为100 m 以上,所以在10 m 距离处只能通过调节后焦距对部分目标特征进行成像,局部目标已经占据整个视场,所以不需要进行轮廓提取,由于没有轮廓信息,视场中仅有多张图像,没有立体信息,重构试验验证失败。

图6 10 m 圆轨道局部特征重构效果图Fig.6 Reconstruction of 10 m circle orbit local characteristic

在10 m 小目标圆轨道试验中,每旋转10°采集一张图像,形成36 张图像,进行三维重构。由于是圆轨道试验,在试验过程中,目标模型不需要相应移动,仅需转动转台,如图7 所示。由于镜头最佳观测距离为100 m 以上,所以在10 m 距离处只能通过调节后焦距对部分目标特征进行成像,换做小目标后可以在视场中清晰成像,针对151 mm 的边长,对应的卫星计算边长为147.251 mm,误差为±3.749 mm;针对166 mm 的边长,对应的卫星计算边长 为160.055 mm,误差为± 5.994 mm;针对179 mm的边长,对应的卫星计算边长为183.18 mm,误差为±4.18 mm,模型的整体误差为±5.994 mm。

图7 10 m 小目标圆轨道重构效果图Fig.7 Reconstruction of 10 m circle orbit characteristic

3.4 三维重构精度分析

从四种试验工况结果分析可知,三维重构相机对目标单幅成像的像素分辨率较高,但存在三维重构误差,如表1 所示。

表1 四种试验工况下目标模型重构误差分析Tab.1 Error analysis of target model reconstruction in four operating test condition

假设观测平台的位置信息已知,此时三维重构误差源主要有两个:一是由于平台的姿态信息的不准确性导致的三维重构误差δ;二是三维重构算法所带来的三维重构误差λ。

（1）平台姿态误差δ:在三维重构过程中,假设每隔30°拍摄一幅图像来进行三维重构,由于平台姿态的不稳定性,平台给出的角度信息跟实际的拍摄角度通常存在误差,假设这个误差是当前拍摄角度的±4°,则通过试验可以得到最长边三维重构后的数据误差为±6.23 pixel。

（2）重构算法误差λ:由于基于体素渲染的三维重构算法在体素着色过程中,需要计算当前体素在所有可视视角下的图像中的对应点。一般情况下,在每个视角图像下所找到的点并不是一个,通常是一个3 pixel×3 pixel 的区域甚至更大。这里可以假定体素的分辨率等于三维重构相机像素的分辨率,由于三维重构的算法所导致的误差可以限定在±3 pixel。

按照误差分布理论,总误差可以计算得到

此时,6.92 pixel 在200 m 处等同于±0.105 m的三维重构误差,在100 m 处等同于±0.048 m 的三维重构误差。

4 结束语

提出了基于单目视觉的三维重构相机技术,实现了200 m 范围内非合作目标的高分辨率三维图像重构,重构误差为±0.105 m。搭建地面试验环境,按照四种工况对目标模型进行成像,利用基于亮度法的体素着色技术对目标三维建模,验证了该方法的准确性,该技术成果可应用于在轨操控、在轨加注和交会对接等领域。