无人系统多模态视觉感知单元测试与评估方法的研究

王 伟,刘海春,李 扬,郑国强,裴 凌,王立平

(1.北京特种车辆研究所,北京 100072)(2.上海北斗导航创新研究院,上海 201702)(3.上海交通大学上海市北斗导航与位置服务重点实验室,上海 200240)(4.32381部队,北京 100000)

随着计算机性能、传感器性能、测试技术的快速提升[1],无人驾驶技术和车载智能平台的发展取得了长足的进步[2-3]. 无人系统的底层技术主要包含[1]:环境感知[4]、定位导航[5]、人机交互[6]、运动控制[7]等. 环境感知是这些核心技术的基础. 在无人驾驶和车载智能平台领域,无人系统多模态视觉感知单元是最为常见的感知单元之一,为无人系统的发展提供了有力支撑. 但是,如何科学地测量和评估无人系统中感知单元的性能和功能,尚有待进一步研究.

目前无人系统的感知单元最大的特点之一即为多样性,但目前的测试评估往往只针对其中一种感知单元进行[8]. 文献[9]针对红外成像系统的性能评估方法,提出构建一套低成本、可重构、能够真实仿真红外成像物理过程的红外成像系统模拟器,将其用于红外成像系统的性能测试与评估,取得了不错的测试效果. 文献[10]针对视觉成像系统的性能评估,将视觉传感器所测数据与实际环境下的真实数据进行对比,给出了视觉成像系统的性能评估结果及测试用的数据集. 文献[11]提出了用于微光设备测试与性能评估的方法,通过微光成像测试平台大大提高了微光相关产品的检测效率. 文献[12]提出建立多频带阵列无源雷达的检测与评估方法,系统通过利用Digital Video Broadcasting-Terrestrial(DVB-T)和Universal Mobile Telecommunications System(UMTS)发射机来检测和跟踪运动的目标物,为无人平台的测试提供了一定的测试与评估的思路. 文献[13]提出针对Arnold Engineering Development Center(AEDC)空间传感器的测试与评估方法,使用动态模式下的近距离目标来完成任务评估,极具参考价值. 通常情况下,可以通过搭载两种及两种以上融合的感知单元提高系统的可靠性,针对无人系统多模态感知单元的测试与评估更能满足不同场景的需求.

本文针对无人系统对多模态视觉感知单元的使用测试需求,调研国内外相关行业测试标准,参考现有的测试标准[14-17],结合测试的具体参数需求,设计了针对无人系统多模态视觉感知单元的测试方法,用以测量和评估感知单元的性能和功能. 为实现评估要求,本文选择了较为通用的功能与性能指标,并相应地设计了通用的测试方法,涵盖了室内、室外不同情况、不同场景下的测试.

1 测试内容、方法及指标

针对无人系统多模态视觉感知单元测试与评估,将主要测试内容分为动态测距和复杂光照变化下测距,同时针对不同的测试内容分别在可见光和红外光不同波段下进行测试. 为有效地评估测试的结果,整个测试采用等级制,由高到低分为A、B、C、D 4个等级,根据等级高低评估被测设备的性能优劣.

1.1 动态测距测试内容、方法及指标

动态测距测试的距离分为两种:较近距离(L1)以内和较远距离(L2)以内. 根据测试距离的不同为被测设备选择相应的载体,室内与室外测试分别采用特制高速轨道和普通测试车辆作为载体.

动态测距需被测设备以5 m/s的速度进行运动,以测试与评估被测设备在运动中的测距性能. 室内的高速导轨采用定制化设备,控制精度可达毫米级,最大速度可达7.8 m/s,最大加速度可达50 m/s2,最大运行距离为7 m. 室外测试以普通车辆为载体,能够更真实地测试被测设备在真实环境下的性能. 考虑到不同的测试视野,将测试目标物的摆放位置分为正面和侧面两种,如图1所示,正面的测试角度为[-π/9,π/9],侧面的测试角度为[-π/3,-π/9)和(π/9,π/3]以内. 具体测试误差及对应等级采用统一的标准,如表1所示.

图1 目标物的摆放位置Fig.1 Location of objects

表1 动态测距误差等级评价表Table 1 Dynamic ranging error level evaluation table

1.2 复杂光照变化下测距测试内容、方法及指标

复杂光照变化下测距的测试场地在室内,测试的主要设备为可控光带,该灯光系统采用数字化编程技术,基于UDP协议进行通讯,便于控制. 同时采用网络对时策略,针对每次开闭光源,系统均能输出精确的时间戳. 测试主要分为光照瞬变测试、局部高亮测试和局部阴影测试,用于测试传感器在不同光照变化下对环境光的适应性. 具体的测试指标如表1所示.

1.2.1 光照瞬变

(1)在环境出现光照瞬变时,能在规定的较短时间内完成响应,且测距误差满足评级要求,评级为A;

(2)在环境出现光照瞬变时,能在规定的短时间内完成响应,且测距误差满足评级要求,评级为B;

(3)在环境出现光照瞬变时,不能在规定的最大响应时间内完成响应,或测距误差不满足评级要求,评级为C.

1.2.2 局部高亮

(1)在环境出现局部高亮时,能在规定的较短时间内完成响应,且测距误差满足评级要求,评级为A;

(2)在环境出现局部高亮时,能在规定的短时间内完成响应,且测距误差满足评级要求,评级为B;

(3)在环境出现局部高亮时,不能在规定的最大响应时间内完成响应,或测距误差不满足评级要求,评级为C.

1.2.3 局部阴影

(1)在环境出现局部阴影时,能在规定的较短时间内完成响应,且测距误差满足评级要求,评级为A;

(2)在环境出现局部阴影时,能在规定的短时间内完成响应,且测距误差满足评级要求,评级为B;

(3)在环境出现局部阴影时,不能在规定的最大响应时间内完成响应,或测距误差不满足评级要求,评级为C.

2 典型试验条件

2.1 室内外测试环境条件

为了满足无人系统多模态立体视觉感知单元测试与评估的需求,针对特定的测试项目,将测试的环境分为室内和室外. 表2和表3为室内和室外测试环境条件的基本参数.

表2 室内测试环境条件Table 2 Indoor test environment conditions

表3 室外测试环境条件Table 3 Outdoor test environment conditions

2.2 坐标系关联

图2为被测设备的安装示意图. 由于不同被测设备之间形状尺寸的差异,很难确定被测设备的中心. 因此,可以通过治具建立相关联的坐标系,从而满足不同设备的测试需求. 坐标系关联作用是将被测设备输出的测距结果与真值变换到同一坐标系下,便于测距和误差计算. 对于不同设备的测试,真值的获取是唯一的,测量数据为治具的坐标系原点和目标物之间的距离. 为了使真值和被测设备输出的值处于同一坐标系下,需要通过标定获取被测设备到治具原点的坐标转换,从而将测量值转换到真值坐标系下.

图2 被测设备安装示意图Fig.2 Installation diagram of tested equipment

2.3 真值获取

无人系统多模态视觉传感器测试评估的真值获取尤为重要. 绝对的真值是无法获取的,在实际的测试评估中,可通过提高测试设备的精度尽可能逼近实际的真值,从而降低测试过程的系统误差. 表4所列为几种常用的高精度定位技术的对比.

表4 高精度定位技术对比Table 4 Comparison of high precision positioning technology

在现有的真值获取技术中,光学运动捕捉系统只适合于室内环境,且其本身测距采用的是红外光,无法用于本项目的测试;高速导轨受场地限制,且测试的最大距离只有7 m,不适合做真值的输出;RTK易受环境的影响,且无法用于室内测试. 因此,本文采用激光全站仪和激光跟踪仪. 在测距测试中,首先将被测设备安装到固定治具上,治具安装到相应的测试载体上. 不需要运动的测试项目采用激光全站仪,记录目标点的位置和治具原点的位置作为真值;需要运动的测试项目采用激光跟踪仪,在运动开始前利用激光跟踪仪记录治具的原点和目标物的位置,在运动开始后使用激光跟踪仪记录整个运动过程中治具原点的实时坐标,结合两者的数据记录作为测试的真值.

2.4 时间同步

在进行测试前,需根据实际测试项目,合理分析测试所存在的固有误差. 对动态测距而言,时间同步存在的误差是无法忽略的,误差的标准至少要小于测试误差值的1/3. 时间同步的主体是测试设备的上位机和被测设备的上位机,依靠网络进行对时. 时间同步服务器依靠北斗授时,通过NTP/PTP协议与被测设备和测试设备的上位机进行时间同步,具体流程如图3所示. 本文的测试中,被测设备均能通过上位机输出带有时间戳的测量值,但不同测试设备同步方式不同. 激光全站仪自带GPS授时模块,能够矫正本机时间,输出精确时间. 激光跟踪仪无法通过GPS或上位机授时,但因其存在外触发接口,可通过构建时钟驯服系统进行校时.

图3 时间同步系统框架Fig.3 Time synchronization system framework

(1)基于网络的NTP/PTP时间同步

在测试设备和被测设备均支持网络对时的情况下,可采用基于网络的对时方案,采用NTP协议或PTP协议通过WIFI和有线网络通讯. 在实际应用中,通过网络对时的精度一般可达1 ms左右. 即便以10 ms的精度,动态测试的测速要求为5 m/s,计算可得存在的最大系统误差为5 cm. 本文动态测试15 m要求的误差为15 cm,最大系统误差为测试误差的1/3,即5 cm,故满足实际测试需求.

(2)基于硬件触发的高精度时间同步

本文为满足高精度位置跟踪的测试需求,同时避免光学运动捕捉系统主动发出的红外光对被测智能无人系统的干扰,搭建了基于激光跟踪仪的高精度位置跟踪系统. 该激光跟踪仪为美国自动精密工程公司生产的Radian激光跟踪仪,最大跟踪速度>6 m/s,最大采样频率为1 000 Hz,支持下降沿信号触发测量,可通过外部时钟触发弥补自身无法与外部设备进行时间同步的缺陷.

为实现高精度位置跟踪,还需对激光跟踪仪的内部时钟与被测设备的内部时钟进行时间同步,即获得激光跟踪仪的内部时钟与被测设备内部时钟的对应关系. 由于激光跟踪仪自身并不提供对外的时间驯服接口,不能直接使用NTP或PTP协议对其时钟进行校正,本文研发了激光跟踪仪与测试设备上位机的时钟驯服系统,其硬件结构如图4所示.

图4 时钟驯服系统硬件结构Fig.4 Hardware structure of clock taming system

图5 时间驯服系统线性回归MATLAB运行结果Fig.5 The result of MATLAB for linear regression of time acclimation system

数据经过线性回归,可拟合出tS与tR之间直线的斜率为1.000 330、截距为1 564 195 265.631 194 ms,可求出表征拟合误差的绝对残差平均值为0.001 311 ms.

3 通用测试方法

无人系统多模态视觉感知单元测试可分为可见光和红外光多波段测试. 本文以动态测距与复杂光照变化下测距为例,给出具体的测试方法及数据处理方法.

表5 测试内容Table 5 Test content

3.1 动态测距测试试验方法

(1)试验内容:测试被测立体视觉设备的动态测距性能.

(2)试验方法:将被测设备固定在治具上,将治具固定于高速导轨或车辆的运动载体上,随机挑选一种尺寸的桶状靶标作为目标物,室内测距如图6所示,室外测距如图7所示,将目标物依次置于若干预先标定过的位置上. 首先完成后端计算机及后端计算机与被测设设备上位机之间的时间同步工作;然后,测得目标物中心坐标,并跟踪移动中的被测设备获取其时间戳与该时刻下的坐标;运动载体搭载被测设备以5 m/s左右的速度进行运动,往返运动不少于3次;基于跟踪得到的真值文件及被测设备输出的测距结果文件,筛选出符合试验要求的速度与视角数据,进行真值插值计算偏差,计算动态测距误差.

图6 室内动态目标距离测量示意图Fig.6 Schematic diagram of indoor dynamic target distance measurement

图7 室外动态目标距离测量示意图Fig.7 Schematic diagram of outdoor dynamic target distance measurement

(3)试验数据处理:根据被测设备指定的治具上原点的三维坐标(xo,yo,zo),目标物的中心坐标点为(xt,yt,zt)以及圆桶半径r,基于式(1)计算得到距离真值:

(1)

由于真值和测试值获取的频率存在一定差异,其时间戳不能完全对应,需对一次运动过程中的真值点进行线性插值,并通过箱线图法过滤极端异常值.

3.2 复杂光变下测距测试试验方法

3.2.1 光照瞬变

(1)试验内容:测试被测设备对全局光照变化的适应性.

(2)试验方法:

(a)目标物为随机尺寸的桶状物;

(b)将被测设备固定于治具上;

(c)完成后端计算机及后端计算机与被测设备之间的时间同步工作;

(e)被测设备开始测量目标物距离,输出带时间戳的目标物的距离测量结果dt;

(k)将上述6次操作结果取平均值作为第i次试验的结果;

(l)移动目标物位置,重复上述操作,共计3个目标位置、6次开关操作、18次操作,最终取平均值作为该项试验结果.

(3)试验数据处理:

3.2.2 局部高亮

(1)试验内容:测试被测设备对局部高亮的适应性.

(2)试验方法:

(a)目标物为随机尺寸的桶状物,位置随机摆放;

(b)将被测设备固定于高速导轨的治具上;

(c)探照灯打光到高速导轨上,完成后端计算机及后端计算机与被测设备之间的时间同步工作;

(d)启动高速导轨,驱动被测设备慢慢趋向高亮区域,直至被测设备的视野内出现高亮区域,记该点为A,记录高亮点A坐标真值;

(f)被测设备重新返回起始点,被测设备按照1 m/s的速度到达高亮点A后停止,开始测量目标物距离,搭建如图8所示场景;

图8 局部高亮适应性试验示意图Fig.8 Schematic diagram of local highlight adaptability test

(i)将上述3次操作结果取平均值作为第i次试验的结果;

(j)移动目标物位置,重复上述操作,共计3个目标位置、3次测量操作、9次操作,最终取平均值作为该项试验结果.

(3)试验数据处理:

3.2.3 局部阴影

(1)试验内容:测试被测设备对局部阴影的适应性.

(2)试验方法:

(a)目标物为桶状物;

(b)将被测设备固定于高速导轨的治具上,目标物置于低速轨道上;

(c)完成后端计算机及后端计算机与被测设备之间的时间同步工作;

(d)将光源遮挡一部分投射到低速轨道上以产生明确的阴影边界(如图9所示,阴影边界位置随机),启动低速轨道;驱动目标物慢慢趋向阴影部分,同时观察被测设备图像输出,直至目标物上清楚地出现阴影边界,记录该点坐标,记该点为B;

图9 局部阴影适应性试验示意图Fig.9 Schematic diagram of local shadow adaptability test

(f)低速导轨上的目标物重新返回起始点,开始第i次试验,目标物按照1 m/s的速度再次到达B点;

(h)被试设备开始测量目标物距离,并输出带时间戳的目标物的距离;

(j)重复上述操作3次,最终取平均值作为该项试验结果.

(3)试验数据处理:

4 结论

针对目前多模态视觉传感器测试评估方法单一、指标缺乏的现状,将测试评估内容分为两个部分:动态测距和复杂光照变化下测距. 采用基于北斗卫星实时授时的时间同步技术,并在此基础下进行了可见光和红外光不同波段下的测试. 在动态测试测距下,给定了2种测试场景:室内高速轨道及室外移动车辆. 在复杂光变测试下,给定了3种测试场景:光照瞬变、局部高亮、局部阴影. 根据实际的应用场景,基于目标物的位置分为正面测试和侧面测试,基于目标物的距离分为近距离测试和远距离测试. 本文给定了不同测试条件下的测试指标及测试方法,为后续测试提供了参考.