一种深空探测巡视器多相机目标交接新方法

邸凯昌 张重阳 刘召芹

（1 中国科学院遥感应用研究所，北京 100101）

（2 航天飞行动力学技术重点实验室，北京 100094）

1 引言

着陆巡视探测是深空探测的主要方式之一，近年来最引人注目的深空着陆巡视探测活动是美国国家航空航天局火星探测巡视器勇气号和机遇号的火星表面巡视探测，好奇心号火星巡视器于2012年8月6日着陆火星，开启了人类深空探测的新篇章。在中国嫦娥工程的第二期探月活动中，也将开展月面着陆器探测和月面巡视器探测［1］。深空探测巡视器在探测活动中，需要接近和到达科学家指定的科学目标并且部署相关仪器对目标进行就位探测或者取样［2］。在勇气号和机遇号火星探测巡视器任务中，火星巡视器自确定目标到接近目标部署科学仪器至少需要3个指令周期，即3个火星日（一个火星日为24h39min 35s）［3］。科学家一般先从火星巡视器全景相机影像中，确定一定距离外（如几十米以外）所关注的目标（如石块、岩层、沙丘等），在接近目标途中，通过导航相机获取目标影像，对其进行识别和交接，接近目标时，再将目标从导航相机影像交接到避障相机影像，科学目标在相机间的交接，是由科学家和工程师通过人机交互的方式实现的，最终根据科学目标在避障相机影像中的位置，用机械臂上的科学仪器进行就位探测。目前的好奇心号火星巡视器也基本沿用了上述目标接近方法，未来的深空探测巡视器需要更加高效、智能地接近目标部署科学仪器，如果可以实现目标在影像间的自动交接，便可大幅度缩短深空探测巡视器接近目标部署仪器的时间（例如缩短到一个指令周期），从而提高科学探测的效率。

美国喷气推进实验室（JPL）的研究者们，近年来开始研究火星巡视器单指令周期接近目标和部署仪器的技术［3-4］，其技术路线包括确定和量测目标、追踪目标、目标交接和部署科学仪器几个过程，文献［4］中的自动交接方法，是通过前一个位置拍摄的桅杆相机（mast camera）立体影像，计算出目标点及其周围像点的三维坐标，然后生成巡视器相机（body camera）的虚拟图像，并与后一个位置实际拍摄的巡视器相机影像进行匹配，实现目标交接，其交接精度为几个像素。此目标交接方法需要在交接前连续追踪目标，也就需要连续获取影像，资源消耗较多；目标交接在相距很近拍摄的桅杆相机和巡视器相机影像间进行，难以应用于相距较远拍摄的影像间交接；另外，直接通过匹配追踪和交接目标，没有充分利用影像中其它的明显特征点，因此交接的精度和可靠性都有待提高。

本文提出利用SIFT 匹配和光束法平差方法，实现多相机间的图像配准和目标交接，以利于提高目标交接精度和可靠性，同时，还可用于相距较远拍摄的影像间交接。

2 多相机间目标交接算法

2．1 火星巡视器相机

典型的深空探测巡视器一般都配有多对立体相机，以勇气号和机遇号火星巡视器为例，巡视器上配有四对立体相机（如图1）：全景相机（panoramic camera，Pancam）和导航相机（navigation camera，Navcam）安装于同一根相机横杆上，统称为桅杆相机，分别用来对远、中距离和中、近距离的地物进行成像；两对避障相机（hazard-avoidance camera，Hazcam）分别安装在火星巡视器车头和车尾、太阳能电池板下，称为巡视器相机，用来对近距离的地物进行成像。Navcam 是一对中视场角（45°）全色相机，主要用于导航；Pancam 是一对窄角（16．8°）多光谱相机，主要用于对地质、地形、地貌等的科学研究；Hazcam 是宽角（120°）全色相机，主要用于探测和避开障碍物，以及布设机械臂上仪器前的近距离量测。文献［5-6］对于这些相机的具体参数，以及在地形测图和火星巡视器定位方面的应用有更为详细的介绍。

图1 火星巡视器上的相机及其它仪器Fig．1 Cameras and other instruments on the Mars rover

2．2 目标交接概念

多相机影像的目标交接（camera handoff），指的是将某一个相机影像内的特定目标传递到在另一个位置拍摄的另一个相机的影像上，两个相机的影像间要有一定的重叠度。如图2所示，当探测巡视器距离目标10 m 左右时，首先用焦距较长的全景相机对目标拍照；随着火星巡视器向前行进，如在距离目标5m 左右时，用导航相机拍照，并将目标从全景相机传递到导航相机；而随着火星巡视器进一步接近目标，如距目标1 m 以内时，由于太阳能电池板的遮挡，全景相机和导航相机均难以拍摄到目标物，因此采用避障相机拍照，并需要将目标从导航相机传递到避障相机；最后，根据避障相机对目标的量测，部署机械臂上的相关科学探测仪器进行就位探测。

图3给出了目标交接的一个示例，图3（a）、（b）分别为火星巡视器导航相机、避障相机在由远到近不同位置获取的同一地区的影像，由于两个相机在火星巡视器上安装的位置不同及拍照的时间不同，两幅图像的视角和尺度均有较大差异，导航相机到避障相机的目标交接，就是要确定导航相机中所关注的目标点（如图3（a）中十字标示的点）在避障相机影像（如图3（b））上的位置。在美国的勇气号和机遇号火星探测巡视器任务中，这一过程是由人工实现的。下文中探讨了自动化、高精度实现这一交接过程的方法。

图2 相机交接概念图Fig．2 A conceptual illustration of camera handoff

图3 目标交接示例Fig．3 An example of camera handoff

2．3 基于SIFT匹配和光束法平差的多相机目标交接

本文提出的方法，首先在不同位置多相机图像间进行SIFT 匹配，提取同名点并剔除粗差，将不同相机所拍摄的影像连接起来，构成影像区域网，通过对影像网的光束法平差，提高所有相机影像姿态位置参数的一致性；然后，根据平差后的影像外方位元素，将目标从一个相机的立体影像上精确地投影到另一个相机的影像上，实现目标的高精度交接。图4以火星巡视器上导航相机影像和避障相机影像间的目标交接为例，给出了所提出方法的流程图。

图4 目标交接流程图Fig．4 Flowchart of the proposed camera handoff method

2．3．1 SIFT 特征匹配

由于探测巡视器上装载的不同相机（例如避障相机和导航相机）在不同位置拍摄同一目标时，距离目标的距离不同、视角不同，光照条件也不同，因此不同相机间影像的差异较大，常规的相关系数等匹配算法，不适合用于多相机间影像的匹配。SIFT 关键点特征对图像平移、缩放和旋转保持不变性［7］，对差异较大的图像具有稳定的特征匹配能力，在遥感影像［8］、医学影像［9］的匹配中也得到了广泛应用。本文中，采用SIFT 匹配来实现火星巡视器多相机间影像的特征匹配。提取SIFT 关键点后，用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定度量，如果最近距离与次近距离的比值小于某个比例阈值，则认为最近距离的点是匹配点。匹配阈值越大，匹配点数目越多，误匹配的可能性也就越大，阈值越小，匹配点的数目也相应减少，但匹配的正确率也越高［7］。根据勇气号火星巡视器相机影像的特点，SIFT 匹配的阈值取0．75时，一般可以获取足够数目的匹配点，能够满足目标交接要求。以上设置的阈值为多次试验得到的经验值，处理其它巡视器影像时可能需要调整。

2．3．2 随机抽样一致性方法剔除匹配粗差

SIFT 关键点匹配结果中难免有错误匹配点，即粗差。粗差会严重影响后续的光束法平差和目标交接，需要设法剔除。随机抽样一致性（RANdom SAmple Consensus，RANSAC）算法，对包含大量粗差的数据仍能有效地估计参数［10］，其过程如下：首先，针对具体问题设计一个目标函数；然后，反复迭代抽取尽可能少但有足够多的数据点集，来估算目标函数参数的初始值，并利用这些初始值把数据划分为所谓的内点（Inliers，满足参数估计的点）和外点（Outliers，不满足估计参数的点，即粗差）；最后，反过来用所有的内点重新估算目标函数的参数值。与传统优化算法所不同的是，RANSAC算法最开始是利用一小部分数据作为内点得到参数初始值，然后根据初始值寻找数据集合中其他的内点，这样可以最大限度地减少噪声和外点的影像，算法具有很强的抗粗差能力。

根据导航相机立体像对的左片与避障相机立体像对的左片，通过SIFT 关键点匹配得到的同名点坐标，分别在同一立体像对右片通过相关系数和最小二乘匹配寻找同名像点，前方交会求解出匹配点的三维坐标［11］。对于同一点在不同立体模型下的平面坐标X、Y满足一个简单的旋转、平移变换，故用相似变换模型构建RANSAC 算法，对于不满足相似变换的三维坐标，作为粗差剔除。

对于剔除粗差后的SIFT 匹配点，在图像上用50×50像素大小的格网进行分块，在每一个格网内随机选取一个点，这样，可以自动选取出足够数目分布均匀的模型连接点用于后续的光束法平差。

2．3．3 光束法平差和目标交接

将正确匹配和选取的同名特征点作为连接点，把火星巡视器不同位置、不同相机获取的影像连接起来，构建成影像网，对影像网进行摄影测量光束法平差，提高影像位置和姿态参数的精度和一致性。本文实验中，为了实现目标从导航相机到避障相机的交接，固定导航相机影像的外方位元素，平差调整避障相机的外方位元素。最后，将导航相机内科学目标的三维坐标，根据避障相机平差后的外方位元素，投影到避障相机影像上，实现目标交接。

对于光束法平差中的连接点，每个像点可列两个误差方程［11］：

式中：vx、vy为像点误差；a11～a26为误差方程系数；ΔXs、ΔYs、ΔZs、Δw、Δφ、Δκ分别为外方位线元素和角元素的改正数；ΔX、ΔY、ΔZ为对应物方点三维坐标的改正值；lx、ly为像点观测坐标观测值与迭代过程中坐标近似值之差。误差方程组联立后，最小二乘迭代求解影像外方位的改正数，最终得出较高精度影像外方位元素。

3 实验验证与分析

实验的数据采用勇气号火星巡视器在2004年2月间，接近一个叫“Humphrey”的石头时，获取的全景、导航和避障相机共10对立体影像，其中全景相机影像2对，导航相机影像4对，避障相机影像4对。数据从MER Analyst’s Notebook网站［12］下载得到，选取的是经过处理的核线影像。影像文件中，包含了由里程计和惯性测量器件（IMU）数据，根据航迹推算（dead reckoning）方法得到的影像的外方位元素，由于巡视器轮打滑和IMU 漂移的影响，这些外方位元素的精度一般不高［13］。

以上文提到的导航相机和避障相机影像的交接为例，图5是图3中两幅影像SIFT 特征点匹配结果，连线的两端是匹配的同名点，共得到51对匹配点，显然存在匹配粗差。图6 是用RANSAC 方法剔除粗差后得到的42对正确匹配点。在正确匹配的SIFT关键点格网分块，共选择出14对分布比较均匀的点作为模型连接点进行光束法平差，因为两幅图像的视角、光照等相差较大，人工选取检查点会引入较大误差，故将SIFT 匹配其余的28 个匹配点，作为检查点检验目标交接的精度。

图5 SIFT 匹配结果（含粗差）Fig．5 SIFT matching results（including outliers）

图6 剔除粗差后的SIFT 匹配结果和光束法平差后的目标交接结果Fig．6 SIFT matching results after outlier elimination and handoff result after bundle adjustment

为了检验目标交接的精度，将导航相机影像与避障相机影像匹配的28个检查点的像点坐标作为真值，由导航相机三维点投影到避障相机影像的坐标与真值的差值作为相机目标交接的像方误差。分别用光束法平差前后导航相机的外方位元素进行投影，以对比平差前后交接的精度。实验表明，平差前，交接的精度为X方向16．49像素，Y方向12．23像素，平差后交接的精度为X方向3．49像素，Y方向1．49像素。导航相机、避障相机间的距离为3．63m。本次实验根据获取的10对立体像对，进行了不同类型相机的交接实验，实验结果汇总见表1。

从实验结果可以看到，当2个拍摄站点距离较近时（1m 以内），光束法平差前的交接精度为3～4个像素，表明在很短距离航迹推算得到影像位置和姿态累积误差不大，而本文方法交接的精度更高，为2个像素；拍摄站点距离不断增大（大于3m），传统的直接反投的误差迅速增大，有20～40个像素之多，而本文提出方法的交接精度仍然保持在2～3个像素，与直接利用航迹推算得到的影像位置和姿态交接相比精度大幅度提高。因为在火星巡视器前进的过程中，基于航迹推算的定位、姿态等误差会不断累积，因而降低直接交接的精度，而通过光束法平差，可以大幅度提高方位参数的一致性，从而显著提高了目标交接精度。一般2～3个像素的交接精度，能够满足部署就位探测仪器的要求。

表1 交接误差统计Table 1 Statistics of camera handoff errors

4 结束语

本文提出了一种基于SIFT 匹配和光束法平差的深空探测巡视器多相机目标自动交接方法，能够显著提高目标交接的精度和可靠性，满足布设机械臂上仪器进行就位探测的要求。经过进一步完善和测试，可应用于未来深空巡视器探测任务中，实现单指令周期接近目标和部署就位探测仪器，提高科学探测的效率和自动化程度。

（References）

［1］欧阳自远．月球探测进展与我国的探月行动［J］．自然杂志，2005，27（5）：253-257

Ouyang Ziyuan．Review of lunar exploration and introduction of Chinese lunar exploration project［J］．Nature Magazine，2005，27（5）：253-257（in Chinese）

［2］Di K C，Ge Z J．A brief review of Sprit’s six years of Mars roving and scientific discoveries［J］．Journal of Remote Sensing，2011，15（4）：651-658

［3］Kim W，Ansar A，Steele R．Rover mast calibration，exact camera pointing，and camera handoff for visual target tracking［C］／／IEEE International Conference on Robotics and Automation（ICRA）．New York：IEEE，2005

［4］Bajracharya M，Diaz-Calderon A，Robinson M，et al．Target tracking，approach，and camera handoff for automated instrument placement［C］／／IEEE Aerospace Conference．New York：IEEE，2005

［5］Li R X，Di K C，Matthies L H，et al．Rover localization and landing site mapping technology for 2003 Mars Exploration Rover mission［J］．Photogrammetric Engineering and Remote Sensing，2004，70（1）：77-90

［6］Di K C，Xu F L，Wang J，et al．Photogrammetric processing of rover imagery of the 2003 Mars Exploration Rover mission［J］．Journal of Photogrammetry and Remote Sensing，2008，63（2）：181-201

［7］Lowe D．Distinctive image features from scale-invariant keypoints［J］．International Journal of Computer Vision，2004，60（2）：91-110

［8］李晓明，郑链，胡占义．基于SIFT 特征的遥感影像自动配准［J］．遥感学报，2006，10（6）：885-892

Li Xiaoming，Zheng Lian，Hu Zhanyi．SIFT based automatic registration of remotely-sensed imagery［J］．Journal of Remote Sensing，2006，10（6）：885-892（in Chinese）

［9］张少敏，支力佳，赵大哲，等．融合SIFT 特征的熵图像估计医学图像非刚性配准［J］．中国图像图形学报，2012，17（3）：412-418

Zhang Shaomin，Zhi Lijia，Zhao Dazhe，et al．Entropic graph estimation integrated with SIFT features for medical image non-rigid registration［J］．Journal of Image and Graphics，2012，17（3）：412-418（in Chinese）

［10］Fischler M A，Bolles R C．Random sample consensus：aparadigm for model fitting with applications to image analysis and automated cartography［J］．Graphics and Image Processing，1981，24（6）：381-395

［11］李德仁，王树根，周月琴．摄影测量与遥感概论［M］．2版．北京：测绘出版社，2008

Li Deren，Wang Shugen，Zhou Yueqin．Introduction to photogrammetry and remote sensing［M］．2nd ed．Beijing：Publishing House of Surveying and Mapping，2008（in Chinese）

［12］NASA Planetary Data System Geosciences Node．MER analyst’s notebook ［EB／OL］．［2004-02-29］．http：／／an．rsl．wustl．edu／mer／

［13］邸凯昌．火星车定位与制图技术现状以及对发展中国月球车／火星车定位制图技术的建议［J］．遥感学报，2009，13（s1）：101-112

Di Kaichang．Review of mars exploration rover localization and mapping technology and suggestions for developing Chinese lunar／Mars rover localization and mapping technology［J］．Journal of Remote Sensing，2009，13（s1）：101-112（in Chinese）