王 镓,胡国林,罗益鸿,梁家林,万文辉,赵 迪,薄 正,4
(1.北京航天飞行控制中心,北京 100094;2.中国科学院 空天信息创新研究院/遥感科学国家重点实验室,北京 100101;3.华中科技大学 机械工程学院,湖北 武汉 430074;4.中国科学院 空间应用工程与技术中心,北京 100094)
作为地球唯一的天然卫星,自古以来月球就是人类文明发展的重要参与者与见证者[1]。未来深空探测领域将呈现“近地轨道-地月空间-火星”的发展趋势[2],月球作为深空探测前沿,必将成为各航天强国的首选探测目标[2]。据《2021 年中国航天白皮书》,我国将在2030 年前实现载人登月,之后将建造月球科研站。月球科研站不仅是解决关键月球科学问题、实现重大原创科学发现的有力工具,而且还是推动航天技术跨越提升、促进多学科融合发展的重要引擎[2]。月球科研站任务系统复杂,挑战艰巨,必须在实施登月阶段开展方案论证和系统设计,并对制约任务实施的关键技术早布局,为后续任务顺利实施奠定基础。
基于此,本文拟设计面向月球科研站任务的地月准实时遥操作模拟验证系统,提出基于海量多尺度遥感数据的联合处理方法,研制基于空地多运动平台协同定位的原型软件,并开发带有力觉反馈的预测仿真验证平台。以期能够在地面环境中真实还原远端的遥操作作业场景,提高遥操作的执行效率和准确性,为地面人员的方案设计、操作手训练、故障处置等提供实时支持,为我国月球科研站任务的实施奠定基础。
我国在2020 年完成“三步走”之后,月球探测目标逐步转变为“科学深化研究与资源开发利用”,“无人”和“有人”这2 种探测形式进行同步开展、互为补充[2],如图1 所示。具体包括:继续开展无人探测[3],建立机器人月球科研站能力体系;同步实施有人探月技术攻关,重点突破重型运载、载人地月往返、月面航天员出舱等关键技术[4];进行人-机联合探测,实现月球资源开发利用,促进可持续发展[2]。
图1 我国月球探测未来发展特点[2]Fig.1 Future development characteristics of the lunar exploration in China[2]
月球科研站建设是一项综合的系统工程,需要完成空间建造、太空制造、天文观测、生物实验等科学任务。其中,遥操作系统负责整个科研站部件单元和各个运动平台的指挥、控制与协同,是月球科研站运行的“神经中枢”,具有极其重要的地位。此外,宇航员也将参与月面活动,以遥操作的方式控制月球车或者月面机器人单独、伴随或联合作业,将面临更大风险。月球科研站任务对巡视探测的范围、效率、精度等需求会明显提高,能主动发现感兴趣的科学目标,最终实现精准探测[5]。受天地间传输距离影响,数据通信过程中会有较大时延,且一旦时延超过一定限制会使连续的闭环系统变得不稳定,普通抑制时延的控制算法又很难保证大时延下遥操作系统的稳定性和安全性[6]。因此,新的任务需求遥操作系统向更高效、更智能、更安全的方向发展,以满足未来复杂地形条件下实施大范围、远距离、高效、精准的科学探测任务需求。
目前月面遥操作系统通常采用以下方法:首先操作人员在地面搭建一套远程集中监控系统,等待月面机器人系统回传月表图像及其他传感器信息;然后对事件或路径进行决策;最后以遥操作的方式控制月面机器人执行相应命令[7-9]。这种方式能够解决单一任务、单个对象、简单场景的远程控制,但面对系统非线性高、耦合性强、可靠性要求较高[10]的月球科研站这类多操作者(协同)的高度复杂任务,遥操作系统在大范围、高精度、高实时性、智能化等方面还须进一步提升和加强。
针对当前月面遥操作系统控制效率较低的问题,设计了基于状态预测修正和混合现实(Mixed Reality,MR)的地月准实时遥操作模拟验证系统,如图2 所示。初始化阶段,MR 仿真子系统利用全球遥感数据进行大范围三维重构、渲染和地形增强显示,在地面控制中心构造静态虚拟月面任务场景[11]。接着,依靠重建的月面任务场景(主要指月面环境和月面机器人数字模型),地面操作人员通过人机交互子系统操控虚拟机器人运动,生成运动指令,并发送至预测修正子系统进行预先仿真(包括机器人的位置、速度、姿态等),经验证无误后再发送至月面真实机器人。等待各类传感器数据下传至地面(数据量和延时均较小),预测修正子系统首先对虚拟机器人的状态进行参数辨识,完成短周期预测修正,然后再根据月面图像(数据量和延时均较大),对虚拟机器人的位姿进行进一步精化以实现长周期预测修正。期间,MR 仿真子系统同步更新虚拟机器人状态及任务场景,从而使地面操控人员能够感受与真实月面任务延时同步变化的高临场感任务场景。
图2 基于MR 的地月准实时遥操作系统控制方案[1,11]Fig.2 Control scheme for the Earth-Moon quasi-real-time teleoperation system based on MR[1,11]
基于以上分析,本文从月球科研站多目标大区域协同探测需求出发,梳理了构建地月准实时遥操作模拟验证系统需突破的关键技术,如图3所示。
图3 遥操作关键技术Fig.3 Key technologies for teleoperation
1)海量多尺度遥感数据环境感知技术
遥感测图是深空探测任务的一项重要工作,通过搭载的相机等传感器实现地外天体表面多尺度的二维、三维制图是获取地外天体形貌和构造信息的基本手段。月球科研站任务需通过全球遥感数据制作全月大范围或局部高分辨率的地形产品,支持未来深空探测任务的科学目标制定、月球地质构造成因和演化研究、安全着陆区选址等科学研究和工程任务[2,12]。未来,探测范围将由公里级扩展至百公里级以上,新的任务需求遥操作系统具有统一的大范围感知结果。然而深空探测任务因轨道姿态测量精度较差、易受时变光照和复杂地形等环境因素影响,使得月球遥感测图极具挑战[13]。因此,为将这些不同范围、不同分辨率的遥感数据进行融合感知,需研究全球可覆盖千公里范围的多任务、多尺度的海量遥感数据融合处理方法,实现多层次、多尺度的遥感数据优化融合[14]。
2)空地协同高精度定位技术
随着机器人移动、人工智能、协同操作技术的发展,在月球科研站任务中,宇航员、有/无人月球车、月面机器人等平台的运动性能将不断增强,从而对各运动平台的定位能力提出了更高的要求。无人月球车、宇航员、月面移动机器人等各移动平台需要按照已经制定的探测计划,在着陆区一定范围内开展实验组件布设、巡视探测、科学考察及月壤或岩石的采集等工作。这些操作的执行,尤其是对较远距离(公里级)的探测,都离不开精确导航定位技术的引导。由于月面环境的特殊性,现有地面成熟的移动导航定位技术并不适用[15-16],需结合地月遥操作系统组成特点,研究空地协同的一体化定位框架,突破月面长距离、超视距导航定位技术瓶颈。
3)基于MR 的预测仿真技术
月球科研站任务中有许多如获取月球样品、样品的物理特性分析、移动设备抓取等接触性遥操作,尤其在精细操作方面,力觉的重要性更是突显。视觉、力觉等感觉系统的相互配合,能够更好地实现对各种形状、尺寸、质量目标的自适应抓取。对遥操作接触力的预测和仿真,可以有效减少碰撞或接触力过载的风险[17]。通过研究基于MR 的预测仿真技术,尤其是加入了遥操作力觉建模和预测,可以有效避免直接与远程执行机构交互的时延影响,提高遥操作过程中的感知和决策能力。
目前全球制图产品的分辨率一般较低,主要用于提供着陆区宏观的地形、地貌信息,无法支撑巡视探测任务的中、短期任务规划和局部精细地形、地貌的分析。局部制图产品尽管分辨率较高,但覆盖范围有限。此外,各国对于月球探测数据的基准不统一,不同探测任务遥感数据存在较为明显的几何偏差[13]。随着月球科研站任务的不断深入,无人月球车、宇航员、月面移动机器人等平台将不断获取局部更高或超高分辨率的感知数据,可将这些高精度数字高程图(Digital Elevation Map,DEM)与先验不同数据源的DEM 进行高效融合,以形成大范围、统一、无缝的月球科研站感知结果。本文首先构建多源轨道器影像的统一平差模型,实现对多重覆盖影像的优化处理,消除其中的不一致性,得到基于先验数据的大范围感知结果;然后建立多分辨率地形融合模型,融合高分辨率的感知结果;最终得到无缝的感知结果,流程如图4 所示。
图4 海量多尺度遥感数据环境感知算法流程Fig.4 Flowchart for the environment awareness algorithm based on massive multi-scale remote sensing data
大区域影像制图需处理的轨道器影像数据量繁重,同时解决全部影像的精化模型会带来效率较低且精度难以满足要求等困难,此外还需解决影像与控制数据之间的几何不一致性。针对上述问题,采用一种“两步法”的轨道器大区域制图策略[18-20]。
首先建立轨道器影像的成像几何模型,然后依据预选着陆区范围对轨道器影像进行分区。对于每个分区,先对影像进行区域网平差处理,以消除影像间的几何偏差以及影像与控制数据间的几何不一致性,然后再对各影像进行正射纠正和均光镶嵌。为了解决分区影像间的几何不一致性,设计了基于TPS 模型的配准校正方法。令制图中心位置的数字正射影像图(Digital Orthophoto Map,DOM)为基准,将附近相邻DOM 与基准DOM 进行配准,配准校正后的DOM 则成为后续其他相邻DOM 的基准,以此类推,最终可得到高精度、大区域、几何无缝的制图产品,具体见文献[19]。
由于月球科研站需使用大范围的感知产品,而这些先验的DEM 大部分分辨率不一致,且多个DEM 间重叠度不均一。本文采取一种由初至精的点云配准方法,使不同分辨率的点云能够自动配准。初始配准主要是减小点云之间的旋转和平移错位,保证后续匹配不致朝向错误方向。精细配准采用非刚性最近点迭代法(Non-Rigid Iterative Closest Point,ICP)算法,通过求出代价函数的最小值实现点云精确配准[21]。在进行点云初始配准时,首先通过比较高、低分辨率点云的快速点特征直方图(Fast Point Feature Histogram,FPFH)特征,找到欧式距离最近的几个点组成关键点集,然后再通过采样一致性初始配准算法(Sample Consensus Initial Alignment,SAC-IA)实现刚体变换优化[22],为后续精确配准提供较好的初始位置和方向。
采用无人机、激光雷达、ZED(配手持云台)等分别获取试验区的高分辨率点云和地面序列影像。试验区选取我国甘肃省金昌市金昌试验基地,如图5 所示。其中,图5(b)、图5(c)为人工制作的撞击坑。其中,无人机获取的DEM 分辨率为0.02 m,经重采样后转化为1 m 分辨率,地面立体相机生成的地形数据分辨率为0.04 m,如图6 所示,其中:同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)融合后的结果及精度验证如图7 所示,其中,图7(a)、图7(b)分别为融合前、后点云的接近图,可以看出,融合后点云的贴合度更高。实验中,利用GPS 测量了实验区的7 个控制点,对比控制点的平面位置结果,融合中误差优于0.07 m。
图5 金昌实验基地Fig.5 Jinchang experimental base
图6 实验步骤和实验数据Fig.6 Experimental procedure and the related experimental data
图7 融合后的实验结果及精度验证Fig.7 Experimental results before and after fusion and the accuracy verification
高精度导航定位作为深空探测任务的关键技术,在探测目标接近、路径规划和安全避障等方面发挥着至关重要的作用[14]。本文研究了无/有人月球车、宇航员等多平台的运动特性,综合利用惯导、视觉等数据,通过组合导航的方式实现了各探测平台的高精度定位,解决了视觉测程定位在贫纹理区域不易进行连续特征跟踪、无法实现稳健定位的难题。在此基础上,研究基于极坐标系的轨道器数据(空)与地面(地)数据的特征关联方法,利用轨道器观测结果对探测平台的定位结果进行约束与优化,突破了长距离移动各平台定位的累计误差瓶颈,从而实现远距离、超视距、高精度、稳健定位,相应技术路线如图8 所示。
图8 空地协同高精度定位算法流程Fig.8 Flowchart for the high-precision localization algorithm based on air-ground collaboration
本文提出了一种基于立体序列影像、同惯导集成的运动平台、多传感器集成的定位方法[23]。针对立体影像特点,在进行高精度相机标定前提下,通过ORB 算法提取序列立体影像上的特征点,如图9所示。基于特征点匹配关联,结合惯性测量单元(Inertial Measurement Unit,IMU)数据,估计相邻帧间的运动,最后通过多帧图像惯导数据的光束法平差完成运动平台位置参数估计。
图9 立体影像特征点匹配Fig.9 Feature point matching between stereo images
由于IMU 获取数据频率高于立体相机,无法直接利用IMU 数据计算得到位姿的变化结果。因此,需对IMU 数据预积分,使得IMU 数据与视觉信息对齐。预积分方式为式(1)~式(3),其中式(1)为相对旋转矩阵积分、式(2)为相对速度积分、式(3)为相对位置积分:
式中:为k时刻角速度值,弧度/s;为陀螺零偏,弧度/s;为陀螺白噪声,弧度/s;为i时刻惯导姿态矩阵转置;为j时刻姿态矩阵;为j时刻速度矢量,m/s;为i时刻速度矢量,m/s;g重力加速度,m/s2;Δtij为i~j时刻间时长,s ;分别为i和j时刻的位置矢量,m;为i时刻速度,m/s。
进行空天协同定位处理的前提是拥有基准统一的轨道器制图数据。本文提出了一种基于球面三角网的全月产品高精度配准方法[24]。该配准方法直接使用球坐标进行全局配准,能有效避免复杂的地图投影变换导致的变形问题,从而切实提高校正精度[25],主要步骤如图10 所示。
图10 基于球面三角网的全月产品高精度配准算法流程[26]Fig.10 Flowchart of the high precision registration algorithm based on spherical triangular meshes for lunar global mapping products[26]
在数据预处理时,为了将复杂的3D-3D 或3D-2D 匹配转换为2D-2D 匹配,利用Hill shading 方法首先将DEM 处理为模拟影像,后续对单模和多模态制图产品进行特征点提取和匹配时,再分别采用ASIFT 算法和CFOG 算法。基于球面质心坐标进行几何校正的实质是将待配准球面三角形的顶点位置转换至对应参考球面三角形的顶点位置。
本文采用ALFELD 等[27]给出的方法定义球面重心坐标。令球面三角形P3个顶点的集合为V={v1,v2,v3},ni为平面Pi(Pi=span(V{vi}),i=1,2,3)的单位法向量。那么,对于球面S上的任意点v,有:
式中:αi为平面Pi与向量vi的方向角(Oriented Angle),(°);β为平面Pi与向量vi的相似角(Analogues Angle),(°)。
如图11 所示。那么,球面三角形P内任意点v的球面重心坐标λi可用式(5)计算:
图11 式(5)计算球面重心坐标[26]Fig.11 Spherical barycentric coordinates calculated by Eq.(5)[26]
记参考球面三角形为P′,其顶点为V′={v1′,v2′,v3′},各顶点位置可通过式(6)计算:
在进行空地协同定位时,月面各运动平台与轨道器影像间关联的建立是精准定位的前提和基础。空地数据间分辨率差异较大,并且地面探测车DOM结果与轨道器数据属于不同传感器获取的数据,两者之间灰度特性存在差异。同时,探测车DOM 的纹理受视角变化影响,存在纹理几何变形。因而,通常情况下难以直接进行空地数据的关联。本文结合地面探测车DOM 的数据特点,采用基于极坐标分布的空地信息配准策略[26],如图12 所示。
图12 空地信息配准算法流程Fig.12 Flowchart of the air-ground image registration algorithm
首先基于极坐标系,在某个极方向对地面探测车DOM 进行灰度特征提取,得到的特征集合为Flr={flri,i∈PN},其中,flri为极特征,PN为极方位角范围。然后根据得到的极特征flri的距离参数和方位参数,在轨道器DOM 的对应位置周围搜索选取相应的特征,记得到的特征集合为Fhr={fhri,i∈PN}。依次对余下极方向按照一定的间隔进行特征点提取,便可获得全部空地数据的对应特征分布。然后以探测平台组合导航的定位结果作为初值,在其误差范围内进行最优偏置位置计算搜索,选取相似度最高的作为最终关联结果,完成空地数据配准。记S(Xoff,Yoff)为偏移位置为(Xoff,Yoff)时空地影像间的整体特征相似度,可用式(7)来计算:
式中:n为图像中特征点的个数;S为某个特征的相似程度值;c为特征权重;可分别用式(8)和式(9)计算:
式中:phi、poi分别为对应Fhr与Flr的极性值;γ为预设系数;d为特征距离原点的距离。
1)多运动平台联合定位
在试验区利用双目图像及自带惯导进行集成定位测试,探测车行走闭合环,轨迹如图13 所示。实验过程中,总行驶里程为268.5 m,闭合差为1.68 m,定位精度为行驶里程的0.63%(优于1%)。
图13 视觉+惯导闭合行驶路径Fig.13 Closed travel path based on vision+inertial navigation systems
2)全球制图产品融合
以Moon Clementine UVVIS Warped Color Ratio Mosaic 200 m[28]作为参考,对CE1_TMap_GDOM_120 m[29]进行配准校正。参考数据的空间分辨率为200 m/pixel,待校正数据的空间分辨率为120 m/pixel,平面定位精度为100.0 m~1.5 km[30]。
在数据预处理时,将2 个数据按照经纬度划分为规则的影像块,对于高纬度区域还需进一步转换为极方位立体投影。然后采用多模态图像匹配方法[31],将其进行特征点提取与匹配,并用RANSAC算法剔除粗差。接着在每个影像块内部划分若干个不规则的三角网,选取距离格网中心最近的点作为后续构建球面三角网的控制点。共划分50×50 个格网,选取了131 082 个控制点,中心坐标为(45°E,45°N)的某30°×30°影像块的匹配结果如图14 所示。把参考数据和待校正数据视为相同的拓扑结构,利用匹配的控制点分别构建两者的球面Delaunay 三角网,即完成了全局配准至局部配准的转换。
图14 中心坐标为(45°E,45°N)的某30°×30°影像块匹配结果[24]Fig.14 Matching results of a 30°×30° image block centered at(45°E,45°N)[24]
随机选取16 377 个检查点定量分析配准的精度,以1°为采样间隔制作彩色编码图,如图15 所示,分别为配准前后检查点的平面残差分布。可以看出,处理前2 个数据的平面不一致性较大,残差分布很不均匀,呈现出月球背面大于月球正面、南半球大于北半球的特点,最大残差值超过5 000 m。进行配准校正处理后,产品与参考数据的平面残差大幅减小,且分布较为均匀,表明了方法的有效性。
图15 配准前后平面残差分布[24]Fig.15 Planimetric difference maps before and after registration[24]
3)空地协同定位
为验证协同定位算法的有效性及精度,开发了协同定位原型软件。通过该软件可以获得真实的位姿信息、立体影像数据,并基于仿真过程的相关信息对定位结果进行定量评价。实验中,利用该软件控制探测车按照预设行驶路径生成500 帧立体影像,并同步将仿真的立体影像位置输出作为评价参考。探测车在行进过程中,近实时地将地面影像与轨道器数据进行匹配,利用定位结果将地面DOM叠加至轨道器DOM上,如图16所示。其中,轨道器DOM 的分辨率为1 m,探测车DOM 的分辨率为0.1 cm。以仿真影像的真实位姿参数为参考,评价实验过程中探测车定位算法的精度,得到协同定位平均误差为0.677 m。
图16 空地协同定位精度Fig.16 Localization precision results based on air-ground collaboration
为了减少传输时延对遥操作稳定性的影响,采用力觉预测的方式,解决欠采样情况下力反馈不足的问题。运用基于模型修正的遥操作力觉预测和反馈方法,搭建力觉预测与显示验证平台。以视觉显示和力觉反馈相融合的方式给操作者提供增强的力觉反馈[32],如图17 所示。首先,转运机械臂按照预先设定的轨迹自主移动,操作者控制主端的力反馈设备,并将其运动信息传输至虚拟(环境中的)精细机械臂。接着,仿真整个作业任务过程。最后,经由网络服务器(Socket 通信)将主端虚拟环境中的全部运动信息(包括精细机械臂和转运机械臂)传递到从端。为了保证机械臂运动轨迹在上述两种(虚拟、真实)环境中完全一致,本平台采用增强现实技术,将从端机械臂末端的运动路径叠加显示至真实场景中。
图17 力觉预测与显示验证平台架构[32]Fig.17 Architecture of the force prediction and display verification platform[32]
模块主要包括:仿真控制计算机、投影显示系统、力反馈设备、操作面板、后台处理单元等,可实现人机交互输入、遥操作力觉反馈,操作场景展示,时延数据传输等,其实物组成如图18(a)所示。操作者对操纵手柄、操作面板、力反馈设备和仿真控制台交互,仿真控制计算机负责执行场景运算、虚拟力预测、时延处理和仿真渲染等,控制流程如图18(b)所示。
图18 力觉预测与显示验证仿真控制台组成Fig.18 Composition of force prediction and display verification simulation console
操控对象与物体发生接触时,两者间不仅发生了碰撞力,还会产生接触力[32]。本文使用弹簧-阻尼-质子线性模型(MBK 模型[33])表达接触力,如式(10):
式中:f(t)为接触力的大小,N;x(t)为操控对象穿刺到碰撞对象的深度,m(t)为操控对象穿刺到碰撞对象的速度,m/s;(t)为操控对象穿刺到碰撞对象的加速度,m/s2;m为x(t)的系数;b为(t)的 系数;k为(t)的系数。
在虚拟环境中,需要对环境中的接触力进行计算和预测。为解决力反馈信息不连续问题,搭建了简化的RNN 模型如图19 所示。训练时,安装六维力传感器至真实机械臂末端,共采集有效数据190 组。随机选取10%的数据作为验证集,其余作为训练集。经实验,发现batch size=2 时,效果最好。隐藏层为2、节点数为30 时,RNN 模型的训练结果见表1。
表1 RNN 模型不同参数的训练结果[32]Tab.1 Training results of the RNN model with different parameters[32]
图19 RNN 简化模型Fig.19 Simplified RNN model
采用训练后的网络对按压力进行预测,预测值与真值的对比如图20 所示。考虑在按压物体的过程中,与其他五维力相比,仅Z方向的力会有明显变化,故在图中只显示该方向的力变换。可以看出,与真实力相比较,预测曲线的整体变化趋势与真值较为一致。但对力的峰值估计还有一定误差,不过也在可接受的范围之内。
图20 预测力与真实力对比[32]Fig.20 Comparison between the predicted force and true force[32]
针对月面多机器人协作搬运和维护作业搭建了仿真操作场景,利用力觉预测与显示验证平台进行了带有力觉反馈和显示的双机械臂协同搬运操作实验。转运机械臂完成范围较大的运动,搬运构件到达搬运目标点附近后,再由精细机械臂引导搬运构件至目标位置。引导过程中的作用力反馈至仿真控制台,经计算和预测后,再将力觉信息反馈给操作者。在场景中通过接触点的颜色变化,可动态实时更新力觉信息,方便操作者对操作数据和实验结果进行调整。地面操作者通过手控器控制精细机械臂完成装配任务如图21 所示。其中,精细机械臂末端法兰通过物体自身的温度梯度图显示末端受力的大小及方向。实验表明:采用力觉预测的方式可以给操作者以真实的力觉感受,减少操作者的力觉认知负担,实现更加自然的人机交互。
图21 月球科研站任务力觉遥操作仿真验证界面[32]Fig.21 Simulation verification interface of the force teleoperation for lunar scientific research stations[32]
基于状态预测修正和MR 技术设计了面向月球科研站任务的地月准实时遥操作模拟验证系统,对其中的大区域环境感知、空地协同定位、力觉预测与显示等关键技术进行了重点研究,取得了较好的实验效果,开发的相关原型软件和仿真验证平台可用于后续深空探测或载人登月任务遥操作软件功能的验证和操作人员训练。月球科研站任务所亟需的遥操作系统,未来应向真实感和沉浸感更强、稳定性和安全性更高、交互更自然、操作感受更直观的方向发展。面向中国探月工程四期、小行星探测等重大任务,开展面向星表巡视探测系统的自主感知与智能操控等关键技术研究,充分利用人工智能技术为深空探测器“增智赋能”意义重大[5]。