低速无人系统定位导航通用指标及测试方法

裴 凌，刘海春，赵 澎，朱亚夫，鲁吉林，梁 霄

(1.上海交通大学，上海市北斗导航与位置服务重点实验室，上海200240; 2.中国通信研究院华东分院，上海200002;3.上海北斗导航创新研究院，上海201702; 4.陆军装备部装备项目管理中心，北京100071;5.上海华测导航技术有限公司，上海201702)

0 引言

近年来，随着传感器性能、移动计算能力、人工智能水平、系统集成度等方面的迅速提升，无人系统取得了长足的进步。以往仅仅限于实验室探索研究或军事用途的无人系统，目前正在快速进入大众应用场景，为公共服务和个人生活带来颠覆式改变。无人系统中最底层的核心技术包括：环境感知[1-2]、定位导航[3-5]、人机交互[6]和运动控制[7]。在无人机、自动驾驶农业机械、服务机器人、搬运机器人等无人系统中，智能的感知能力和鲁棒的自主定位导航能力是近年来无人系统研究的热点。从文献检索分析，研究领域对如何正确科学地评价无人系统的感知能力和定位导航能力并不够重视，标准领域更是空白。

由于无人平台存在多样性，之前的研究往往针对特定的平台，例如文献[8]针对移动机器人的定位能力，基于克拉美罗界(Cramér-Rao Bound，CRB)理论，使用 Fisher’s 信息矩阵，在已知地图模型与观测模型的条件下，对移动机器人的静态定位能力与动态定位能力进行评估；文献[9]基于地图上不同位置的视觉观测，可在无需环境真值的条件下，对无人设备的建图能力进行评估。无人系统的定位能力通常包括全球卫星导航系统(Global Navigation Satellite System，GNSS)、惯性测量单元(Inertial Measurement Unit，IMU)、里程计、机器视觉、激光雷达、毫米波雷达等，并且有大量研究针对单一技术的测试评估，但无人系统通常使用至少两种以上的定位技术来保障系统的可靠性。因此，融合定位导航是无人系统定位导航能力测试评估的重点。

由于融合定位没有标准配置与技术方案，在不用组合定位技术手段时，测试评估方法存在差异[10-12]。此外，无人系统的导航任务也会因为场景需求的不同[13]，产生不同的评估指标要求。此外，随着人工智能技术的发展，对无人系统感知能力的评估提出了新的要求。目标检测、目标识别、场景识别、语义识别、场景理解等能力逐步成为智能无人系统的标准能力[14]。

1 研究背景

本文依托工信部行业标准：低速无人系统导航定位通用指标及测试方法，编号：2018-1798T-YD，同时参考国内外军用或行业测试标准[15-19]，开展了相关研究。为了满足大多数低速无人系统定位导航测试的共性需求，本文重点针对低速无人系统的定位导航与环境感知，分析通用的技术指标，研究通用的测试方法。

参考欧美以及日本等国家对低速机动车辆与无人机的定义，本文将地面低速无人系统定义为工作速度不大于30km/h的地面机器人、自动引导车、无人小巴、无人环卫车等。考虑到大型无人机等无人系统在非工作状态，例如飞行途中速度较高。本文重点考虑无人机在实际作业状态下的速度，例如旋翼类飞行速度不大于54km/h，固定翼类飞行速度不大于108km/h；包括消费级无人机、物流无人机(最后1km工作状态)、植保无人机、电力巡检无人机等。水面及水下的无人系统不在本文的研究范围之内。

从空间覆盖情况划分，本文所研究的定位导航包括室内定位导航、室内外无缝定位导航、室外定位导航。指标设计主要用于评估高度、速度、姿态、航向、位置、相对距离等无人系统定位导航所需的观测质量。为了评估无人系统的定位导航能力水平，本文一方面选择较为通用的功能指标，评估无人系统是否具备某一特定功能；另一方面选择通用的性能指标，评估某一特定功能的水平。此外，本文提出了通用的无人系统测试方法，利用这些通用指标进行评价。

2 通用技术指标

无人系统通常具有不同的功能设计，也会因为任务不同，设定不同的性能指标。除非应用场景和任务体系确定，否则难以用一套相同的指标及指标要求对无人系统定位导航能力进行评估。对于不需要进行定量测试的无人系统，仅需进行二值化的定性测试，即测试是否具备某项功能。对于环境感知与定位导航而言，需要进行的功能测试包括成像功能、地图输出功能、传感器标定功能、定位导航数据通信功能等。作为无人系统感知导航能力的测试评估，位姿测量、环境感知、规划控制的定量化性能测试尤为重要。

本文采用准确度来表示测量值与标定值的接近程度[20]，或者是实验值与公认参考值之间的接近程度；用精度表示最小的度量单位。将准确度和精度合称为精确度，即用最小的度量单位，重复测量多次所获得的准确度。此外，考虑到无人系统智能感知水平，本文引入了部分人工智能领域的典型指标，例如均并交比(Mean Intersection over Union， MIoU)、P-R曲线等。考虑到无人系统定位导航误差随时间漂移的特点，引入了闭环差等指标。测试方法则从功能测试与性能测试两个维度进行评估。

2.1 位姿测量

位姿测量重点评估无人系统自身空间位置姿态(通常为坐标、姿态、速度等)与其真实值之间的接近程度[21]。采用准确度来表示测量值与标定值的接近程度。本文涉及的测量对象包括与无人系统自身位姿估计相关的：距离、姿态、位置、航向、速度和高度。

1)测距精确度

测距是指测量无人系统自身到空间中某一点间连线的长度，是测量工作中最基本的任务之一。通过重复测试，比对无人系统测距结果与被标定真值，确定测距精确度。

2)定向精确度

定向精确度主要检测无人系统通过单一传感器或多传感器融合对目标相对无人系统自身朝向测量的精确程度。通过重复测试，比对无人系统测量的目标方向与被标定真值，评估测向精确度。

3)测速精确度

测速精确度主要检测无人系统通过单一传感器或多传感器融合对自身的运动速度测量的精确程度。通过重复测试，比对无人系统测量速度与被标定真值，确定测速精确度。

4)定高精确度

定高精确度主要检测待测无人系统通过单一传感器或多传感器融合对自身高度测量的精确程度。通过重复测试，比对无人系统测量高度与被标定真值，确定测高精确度。

5)定姿精确度

定姿是指是指无人系统载体坐标系与地面惯性坐标系之间的夹角，也称欧拉角，欧拉角是表达姿态的最直观的一种方式。一般定义载体的右、前、上3个方向构成右手系，欧拉角是一个三维向量，其值分别代表物体绕坐标系3个轴(x、y、z轴)的旋转角度, 包括：围绕x轴旋转的俯仰角(pitch)、围绕y轴旋转的滚转角Φ(roll)、围绕z轴旋转的偏航角(yaw)。通过重复测试，比对无人系统的姿态测量结果与被标定真值，确定姿态精确度。

6)定位精确度

无人系统定位就是确定相对于给定坐标参考系中无人系统的位置，又被称为位置估计。定位的目标是无人系统根据给定的环境感知信息和自身运动信息，确定自身在坐标参考系中的位置。定位可以分为局部定位和全局定位，重点测试：位置跟踪(position tracking)、全局定位(global location)和绑架问题(kidnapped problem)。同时定位精确度也受环境影响，环境可分为静态环境(static environments)和动态环境(dynamic environments)。通过重复试验，比对无人系统测量位置信息与被标定真值，评估定位精确度。

2.2 导航能力

导航能力是按照要求的精度,沿着预定的路线在指定的时间内正确地引导无人系统至目的地的能力[24]。其中，最为通用的导航能力包括：规划能力、控制能力、避障能力和越障能力。本文归纳为规划控制能力和障碍应对能力两类能力指标。

1)规划控制能力

规划控制能力主要是无人系统将自身导航至指定位置的能力。其中规划是指为无人系统规划合理运动路径的功能与水平。根据路径规划的范围，可分为全局的路径规划和局部的路径规划[25]。

a)全局的路径规划指在已知全局地图的情况下，从无人系统当前位置规划出一条到目的地的全局路径。

b)局部的路径规划指根据环境感知的信息(路径及障碍物信息)，在换道、转弯、躲避障碍物等情况下，实时规划出一条安全、平顺的运动路径。

控制能力则是指无人系统控制自身按照规划的全局路径或者局部路径行进的水平。

2)障碍应对能力

避障能力是指无人系统在路径规划过程中，通过传感器感知到在其规划路径上存在静态或动态障碍物时，依据局部路径规划，绕过障碍物[26]，继续执行全局路径规划的能力。越障能力主要是对无人系统(主要为无人小车)在非平坦路面上行驶时，翻越障碍物的能力。

2.3 环境感知

无人系统环境感知，是利用多种不同类型和特性的传感器对环境进行测量建模，如红外传感器、激光传感器、可见光相机、超声传感器等。与传统意义上的机器人视觉不同，无人系统环境感知更侧重于地图的构建、目标的识别与检测、场景的语义分割与理解。

1)环境地图构建

无人系统环境感知单元采集周围的环境信息，并使用几何和拓扑属性将它们表征在地图中，包括互联区域和受限区域，其目标是地图表征和地图创建。以视觉/激光即时定位与地图构建(Simulta-neous Localization and Mapping，SLAM)为例，无人系统在环境中运动，不需要任何先验知识，利用视觉或激光来感知周围环境信息，并提取稳定的图像或点云特征来表征实际物理空间，以此作为自然路标，构建环境的几何地图。同时通过与当前时刻之前所创建的环境地图(自然路标库)中的路标进行匹配，估计无人系统当前位置和姿态并更新自然路标库，从而实现同步定位与建图的过程。

2)目标检测识别

无人系统在运动或静止的条件下对指定的目标物体进行检测与识别。首先是检测，通过算法尽可能搜索图像或点云中某一区域内存在的目标，进一步地，输出目标的形状、位置、方位、速度、颜色等信息。而目标识别类似于目标分类，判断当前找到的区域内目标具体属于哪种类别，根据前面目标检测的输出信息，识别目标的类型。

3)场景语义分割

语义指的是图像或点云的内容含义，即对图像或点云意思的理解。语义分割是指对给定图像或点云中的每个像素或体素都做分类[23]，将图像或点云数据作为输入，并将它们转换为具有感兴趣区域突出显示的掩模，其中图像或点云中的每个像素或体素根据其所属的感兴趣对象被分配类别唯一标识。

3 典型试验条件

3.1 室内外测试环境条件

为了满足定位导航通用测试的需求，需要进行室内外测试。表1和表2为室内外测试环境条件的基本参数建议。

表1 室内测试环境条件

表2 室外测试环境条件

3.2 测试用设备性能指标

为了提供准确和令人信服的测试结果，需要对于室内外所使用到的测试设备的精度参数给出一定的约束，具体的设备与指标约束如表3所示。

表3 室内外测试设备精度要求

3.3 测试场条件

除了满足上述测试环境条件，且安装并配备测试用设备以外，为了更好地进行测试，建议对测试场地作出如下限定：

1)测试场地的正常地面相对平坦，通过在正常地面上设置道具模拟坡地、缝隙、沙石地、减速带等特定的道路特征；

2)通用的测试场地环境以及测试道具应避免玻璃以及反光材料，若特定的测试需要可添加相应材质的道具；

3)通用的目标物形状需选择规则性物体，目标物颜色选择识别度较高的红色、绿色、蓝色物体，若特定场景下需要不规则物体或其他颜色，则添加相应的道具。

3.4 真值获取

无人系统的相关指标测试中，测量值真值的获取尤为重要。真值表示一个物理量在一定条件下所呈现的真实数值，是一个理想化的概念。随着科学技术的进步，可供实际使用的测量参考标准可以越来越逼近而绝不能等于理想的理论真值。表4列举了几种主流的无人系统测试中的真值获取技术。

表4 高精度定位技术对比

4 通用测试方法

通用测试方法包括功能测试和性能测试。功能测试主要指的是针对待测无人系统是否具备相关功能输出进行测试，主要包括成像功能、地图输出功能、传感器标定功能、定位导航数据通信功能等。性能测试主要涵盖定位导航过程中所涉及的目标和自身的位姿、导航能力、环境感知相关的单项能力及综合能力的评估。具体指标如表5所示。

表5 功能、性能指标

下面将举例对3个测试类别的测试方法做简要介绍。

4.1 位姿测量

如图1所示，将待测无人系统置于光学运动捕捉系统的可测范围内，放置反光球设备并完成相应的设置；启动待测无人系统，完成时间同步，获取已有的地图信息，标定无人系统所在地图坐标系与光学运动捕捉系统坐标系的初始转换关系[R|T]；

1)使待测无人系统处于静止状态，记录N次定位位姿，基于下式计算静态定位位置误差值Esp和姿态误差值Esθ

(1)

(2)

(3)

(a)放置放光球的待测无人系统

(b)光学运动捕捉系统标定系统单元

(c)光学运动捕捉系统与UWB标定系统覆盖的测试场图1 测试环境Fig.1 Test environment

2)使待测无人系统处于运动状态，记录N次定位位姿，同样依据式(1)～式(3)计算动态位置误差值Edp和姿态误差值Edθ。

4.2 导航能力

1)规划控制能力

(4)

(a)规划轨迹示意图

(b)测试场景

(c)实际测试轨迹图2 规划控制能力测试场景Fig.2 Planning and control capability test scenario

基于式(5)，可估计待测系统的最终停止位姿的协方差矩阵，即漂移误差的协方差，作为可达性误差的判定标准。

(5)

除了可达性之外，对于规划能力评估，可以利用L1或L2范数等指标，对特定场景中路径的理论最优与规划路径之间的距离进行比较评估。同理，比较规划路径与实际行进路径之间的距离，可以用于评估控制能力。此外，窄道通过性可以进一步评估无人系统在狭窄路径中的精确控制水平。

2)越障能力

(6)

若因超时等原因无法到达目标点，则该段评分与后续路段的评分皆为0。被测系统的最终得分为所有路段评分之和，即

S=∑Si

(7)

3)避障能力

避障能力是无人系统通过感知周遭包含的静态、动态、已知和未知障碍物，规划最优路径，并实时跟随最优路径行进的能力。避障能力测试包括：

• 静态环境测试

图3 静态环境避障能力测试场景Fig.3 Obstacle avoidance test in static environment

(8)

重复该实验M次并记第i次实验的平均位姿误差为e(i)，记最大允许的平均位姿误差为emax，则被测系统的最终评分为

(9)

• 动态环境与静态环境混合测试

首先确定被测系统标称通过距离和最大运动速度。然后在此空间内放置静止障碍物和动态障碍物，确保任意障碍物之间的可通过距离大于被测系统的标称通过距离；动态障碍物(如无人机、无人车、行人)按照既定轨迹运动，并满足：当被测系统运动到动态障碍物附近时，任意2个动态障碍物之间、动态障碍物和静态障碍物之间的间隔距离足够被测系统从静止状态启动并穿越动态障碍物移动区域。测试期间要求被测系统与障碍物无碰撞，若未发生碰撞则记成功；若发生碰撞则终止当次测试并记为失败。

4.3 环境感知

环境感知是无人系统理解自身所处环境的重要技术之一，主要从执行时间、内存及显存占用和精确度3个方面对环境感知算法进行评估。

(10)

5 结语

目前,国内机器人、无人送货车、自动引导车、无人机等低速无人系统定位导航测评缺乏标准化测试环境和测试方法，测试指标简单，难以量化测试。虽然国内外部分研究机构具备某些单项指标的测试方法，但是对于系统性的测试缺乏标准化的测试方法和实验环境，尤其是智能无人系统在复杂环境中的环境感知、定位导航、动态规划、运动控制等技术指标与能力测评水平低、测试环境简单、标定精度不高、指标单一、定量分析困难，统一、公开、规范的测试方法仍属空白。因此，亟需制订相关标准，确定适用对象与范围，明确技术指标系统，定义测试场景，规范测试方法。本文通过从功能指标和性能指标2个方面，为各相关行业对低速无人系统的使用、评估、测试分析及要求，提供统一通用的测试分析方法。