无人地面车辆测评体系研究

孙扬，陈慧岩

(1.河北工程大学 机电工程学院，河北 邯郸056038;2.北京理工大学 机械与车辆学院，北京100081)

0 引言

预先制定好的测评体系可以很好地调动研究团队对无人地面车辆某些关键技术及智能行为的研究热情，明确相关技术的指标，从而引导无人地面车辆技术的快速发展。

20 世纪90年代无人地面车辆的测试和评价得到了美国军方的推动。美国国防部先进研究项目局(DARPA)在PerceptOR 项目中进行了无人地面车辆环境感知能力的评价实验［1］。此实验选择了美国6 个具有代表意义的环境展开测试，对无人地面车辆在树林、沙漠、草地、山区等多种地形下的工作性能进行评价。此后DARPA 组织了3 届无人地面车辆比赛，分别是2004年［2］、2005年的越野挑战赛［1］和2007年的城市挑战赛［3-4］，均受到了这个项目测试评价的影响，测试完全是第三方的测试，测试环境和测试内容对于参赛车队是完全未知的，比赛以完成所有规定项目所消耗时间的长短作为评价指标。2005年9月，澳大利亚在智能交通系统(ITS)领域开展了名为SmartDemo 的赛事［5］，侧重于试验近10年来涌现出来的全球在车辆主动安全领域的技术进展。2006年5月，欧洲也举办了第1 届类似于DARPA 越野挑战赛、以军方为背景的地面机器人试验(ELROB)［6］，与美国的挑战赛不同，欧洲的比赛更加强调自主性。2007年8月，欧洲又举办了面向城市环境C-ELROB 的比赛，测试环境中设计了针对城市环境的多种场景，考察无人地面车辆在未知环境中感知、导航和控制的能力，要求参赛车辆能够在指定的未知环境中自主驾驶和采集相关指定信息。此后，ELROB 比赛环境根据任务分民用和军用而不同，并每年交替进行。2011年荷兰举办车辆协同竞赛，利用车间距离等指标来评价无人地面车辆纵向控制和协作的性能［7］。比赛的目的是无人地面车辆在自主行驶的基础上加快实现无线通信的互操作性，提高合作驾驶，并着眼于实时应用，以改善交通流量，减少交通拥堵。

为了推动和促进视听觉信息认知计算模型、关键技术与验证平台研究的创新与发展，国家自然科学基金委员会相关学部与重大研究计划指导专家组举办了以阶段科研成果检查为目的的竞技比赛“中国智能车未来挑战赛”，这也是重大项目阶段性研究成果的集中体现。第1 届“中国智能车未来挑战赛”(FC2009)在中国无人地面车辆发展史上具有里程碑的意义。它是中国对于无人地面车辆首次第三方测试赛，推动了中国无人地面车辆驶出实验室、驶向实际环境。同时，它也打破了过去那种自行研发、自行测试的无人地面车辆研制模式［8］。此后连续举办了4 届“中国智能车未来挑战赛”［9］。

本课题组圆满完成了2010年、2011年、2012年、2013年“中国智能车未来挑战赛”的比赛设计及测评任务，参与了测试环境、测试内容、测试方法、评价方法、评分标准等的设计和实施工作。无人地面车辆的测评体系包括:测试内容、测试环境、测试方法、评价方法。本文从以上4 个方面介绍无人地面车辆测评体系的研究，并以2013“中国智能车未来挑战赛”为例，介绍其测评体系的设计。

1 分层次的测试内容设计

无人地面车辆的智能水平是逐步发展的，其认知能力也是分层次的，这就要求无人地面车辆的测试内容也对应有分阶段、分层次的变化，体现出从简单到复杂、由易到难的发展过程。对于无人地面车辆的基本能力测试，可设计简单的测试内容;针对无人地面车辆高级、复杂的认知能力测试，则可以设计复杂的测试内容。

基于智能行为的要求，同时考虑到测试安全，并根据自然环境感知和智能行为决策的复杂度，分5 个层次进行考核。分别为:基本车辆控制行为，基本行车行为，基本交通行为，高级行车行为，高级交通行为，如图1所示。

图1 分层次的测试内容Fig.1 Hierarchical test content

2 测试环境设计

无人地面车辆在复杂、未知环境下的智能行为测试是无人地面车辆开发过程中的一项重要任务，是实现对无人地面车辆环境感知、行为决策等关键技术研究水平进行科学公正评价的重要手段。为保证智能行为测试的科学性、可重复性、安全性，必须基于无人地面车辆智能行为测试内容研究测试环境的设计。

通过分析测试环境与无人地面车辆智能行为的相互关系，研究测试环境要素定义及分类，建立测试环境模型。结合无人地面车辆的发展趋势、测试目标和内容，分析测试环境的设计要求，设计分阶段的测试环境。测试环境设计的方法如图2所示。

2.1 建立测试环境模型

通过分析环境要素与无人地面车辆关键技术、智能行为能力之间的关系，对环境的影响因素进行分类，定义各类基本环境要素及其组成。基本环境要素可分为道路环境要素、与交通规则相关环境要素、障碍物环境要素、听觉环境要素、光照环境要素、工作条件环境要素等类型，通过组合各类环境要素，研究各种真实道路环境的建立，形成测试环境理论模型，以实现对复杂真实环境的准确模拟。测试环境理论模型构建的研究方案如图3所示。

图2 测试环境设计Fig.2 Design of test environment

2.2 分层次测试环境设计

图3 测试环境模型的构建Fig.3 Test environment model

根据无人地面车辆测试内容的层次性要求，研究测试环境的多层次(复杂度)设计方法。对于无人地面车辆的基本能力测试，设计简单的测试环境。针对无人地面车辆高级、复杂的认知能力测试，通过组合不同类型的环境要素及环境先验知识设计复杂的测试环境。针对某项测试模块设计不同层次的测试环境，逐步提高测试的难度。

如车道保持是无人地面车辆的基本能力，对应的测试环境设计只需包括单一车道线要素，为提高车道保持能力的测试难度，通过增加标线污损要素、雨天环境要素可进一步考核无人地面车辆车道保持能力的鲁棒性。

针对无人地面车辆复杂的超车能力测试，通过组合多车道线环境要素、动态车辆环境要素等设计测试环境，其中动态车辆的行驶速度应根据被测车辆的速度而确定。

针对无人地面车辆遵守交通标志通过路口的测试，通过组合交通标志详细位置、具体类型等不同先验知识设计多层次的测试环境。在测试环境中提供交通标志设置位置信息，可降低检测交通标志能力的测试要求，提供交通标志类型信息，可降低识别交通标志能力的测试要求。改变测试环境的已知先验知识，使测试环境的复杂度产生变化，逐步降低无人地面车辆遵守交通标志通过路口测试的难度，而在环境设计中增加通过路口的其他动态车辆环境要素，又可对无人地面车辆的环境感知和控制决策能力提出更高的要求。

3 测试方法

无人地面车辆的智能测试是无人地面车辆开发过程中的一项重要任务，是实现对无人地面车辆环境感知、行为决策等关键技术研究水平进行科学公正评价的重要手段。测试数据的采集需要在不限制被测试无人地面车辆的开发手段、不干扰被测试无人地面车辆行驶及其任务执行的原则下进行。

3.1 多平台多传感器融合测试技术

采用静态平台与移动平台相结合的多平台多传感器融合测试技术，如图4所示。针对无人地面车辆的考核要求，在各种道路测试环境中相应地点设置静态测试设备，各静态测试设备包括无线或有线通信装置，可将测试信息实时传输至比赛裁判区。在移动平台上安装有摄像头、激光雷达、无线通信装置等，跟随在被测无人地面车辆的后方。移动平台上的GPS/惯性导航组合定位装置用于采集移动平台的行驶轨迹，轨迹的测量精度应达到厘米级。激光雷达用于测量移动平台和前方无人地面车辆的间距及速度差，综合移动平台的行驶轨迹及移动平台和无人地面车辆的相互位置关系，推算无人地面车辆的行驶轨迹。移动车辆上的摄像头对无人地面车辆的行驶过程进行全程拍摄。无线通信装置将拍摄图像、推算的无人地面车辆行驶状态信息发送至比赛裁判区。

图4 多平台多传感器测试Fig.4 Test technology based on multiplatform and multisensor

3.2 无线图像传输系统

为了给“中国智能车未来挑战赛”比赛结果评价提供数据支持，并用于最终的比赛结果认定，以保证比赛的公正性，建立了移动的图像监控系统，对无人地面车辆测试比赛全部过程和测试点、测试路段进行实时监控，采集比赛视频图像。根据无线图像实时传输系统的建设目标和要求，需要在车与临时监控中心之间实现图像实时传输。在传输的过程中需要建立一套高效、稳定的无线移动监控图像传输网络，其中移动图像传输技术是系统建设成败的关键。

采用编码正交频分复用(COFDM)图像传输设备将现场图像通过无线信道传输到临时监控中心。利用视频网络服务器将无线图像传输设备传输的无人地面车辆的实时图像通过Internet 网络传送到客户端，客户端便可在任何地方通过上网来浏览图像。采用SV04 四路视频网络服务器，通过以太网将实时的图像进行传输。无线图像传输系统如图5所示。

3.3 应答式交互测试系统

研究车载数据采集系统，采集被测试无人地面车辆在比赛过程中与导航、环境感知、控制与决策能力有关的所有过程数据和中间输出结果。以停车线停车为例，无人地面车辆在一定距离外检测到停车线后，开始减速，然后在停车线1 m 内停住。在这一过程中，无人地面车辆检测到停车线时距停车线的距离、当时的车速、检测到的停止线图像、减速指令、车停住时距停车线的距离等关键数据及中间结果必须输出到车载数据采集系统。

图5 无线图像传输系统Fig.5 Real-time image monitoring and display system

建立统一的通信协议(如USB 接口、串口通信、TCP/IP 通信)和握手机制，保证测试的公平、公正、可操作性。当然，为了避免被测试无人地面车辆本身输出的数据有误，对于一些重要数据，需要在外部测试地点采取相配合的测试手段。如停车线停车，在无人地面车辆停止后，可由人工进行测量它与停车线的实际距离，此时，车载采集数据仅作为参考数据。

通过采用这种应答式的交互测试方法，使对无人地面车辆认知能力的测试不仅仅局限于其外在行为(如是否停车)，还可以探寻到无人地面车辆的内部(即整个停车的过程是如何实现的)，从而为科学准确的评价提供了重要依据。

4 评价方法

本课题组在无人地面车辆定量评价方面作出了一些尝试，起初采用数学方法对无人地面车辆的U 型转弯、自动泊车这两项测试内容进行了定量的评价［10］，后来提出了基于指标成本导向的无人地面车辆定量评价方法［11］和基于模糊层次分析法的无人地面车辆行为定量评价［12］。这些方法虽然实现了无人地面车辆的定量评价，但是采用的层次分析法在确定各个指标权重时还存在需要模糊判断矩阵明确化和需要一致性检验等缺点。针对上述问题，课题组提出了模糊可拓展层次分析法。各个指标权重的确定考虑了人们判断的模糊性和决策者的实践经验，而且不需要进行一致性检验。这种评价方法不仅考虑了完成任务的时间，也考虑了各级指标的完成质量。评价结果不仅考虑了所有因素的影响，而且保留了各级评价的全部信息。这就引导参赛车辆朝着高技术的方向发展。

4.1 指标评价体系建立

无人地面车辆智能行为的评价是一类多级综合评价的问题，应根据无人地面车辆自然环境感知和智能行为决策的复杂度划分成不同的评价层次。无人地面车辆智能行为的评价指标较为繁杂，根据全面性原则，初选指标允许难以操作或不可操作的指标存在，只求全而不求优，再逐步筛选优化。对于无人地面车辆的综合评价，以核心指标作为网络输出，其他指标作为网络输入，建立前向神经网络模型，通过网络来刻画出输入和输出之间的相关性。进而合理选择需要的指标变量，排除不合理的指标变量。由于无人地面车辆技术在不断发展，对于无人地面车辆智能行为的评价按照分层次的评价思路，确定一个能科学、客观且尽可能全面反映对象目标特性的评价层次，包括:评价目标、评价方面、评价因素。在车辆控制行为、基本行车行为、基本交通行为、高级行车行为、高级交通行为等5 大指标和18 个次级指标的基础上建立无人地面车辆智能行为评价指标体系和递阶层次关系。这样通过对各级指标和次级指标量化，可以直观地得出无人地面车辆哪几项指标存在不足，指出以后改进的方向。层次分析结构如图6所示。

图6 无人地面车辆智能行为评价指标Fig.6 Evaluation index system of unmanned ground vehicles

4.2 可拓层次分析法

可拓展层次分析法引入可拓展理论，用区间数代替点值数构造可拓展判断矩阵，克服了层次分析法在解决专家经验判断的模糊性问题，不需要判断矩阵的一致性，有效避免了层次分析法中的大量试算工作，更加合理地确定无人地面车辆智能行为各个评价指标权重。

4.2.1 构造可拓判断矩阵

采用美国运筹学家T. L. Saaty 提出的互反性1 ～9 标度法作为可拓区间层次分析法的标量化方法。构建可拓区间判断矩阵其中是一个可拓区间数分别为判断矩阵第i 行、第j 列可拓区间元素的下、上端点。

4.2.2 计算综合可拓判断矩阵和权重矢量

对可拓区间数判断矩阵A = (A-，A+)，其中A-为区间下端点构成的矩阵，A+为区间上端点构成的矩阵，求其满足一致性条件权重矢量的步骤如下。

步骤1 求A-、A+的最大特征值所对应的具有正分量的归一化特征矢量x-、x+.

式中:q、m 分别为满足0 ＜qx-≤mx+的全体正实数。

步骤3 判断矩阵的一致性。若0≤q≤1≤m，则说明可拓区间判断矩阵的一致性较好。

步骤4 求出

4.2.3 层次单层排序

式中:Pi表示某层上第i 个因素对上一层次上的某个因素的单排序，经归一化后得到的P = (P1，P2，…，Pn)T，表示某层上各因素对上一层次上的某个因素的单排序权重矢量;表示两个单层权重矢量可拓区间数的下、上端点。

4.2.4 层次总排序

如果k-1 层对总目标的排序权重矢量为W(k-1)=那么第k 层上全体元素对总目标的合成排序Wk由(5)式给出:

并且一般地有W(k)=P(k)P(k-1)…P(3)W(2)，这里W(2)实际上就是单项排序矢量。

4.3 模糊综合评价法

4.3.1 单因素模糊综合评价

进行单因素模糊综合评价的基本步骤如下。

步骤1 确定因素集U = {u1，u2，…，ui，…，un}.

步骤2 确定评价集V={v1，v2，…，vj，…，vl}.

步骤3 给出单因素的评判矩阵:即对单个因素ui，i=1，2，…，n，的评判，得到V 上的模糊集(ri1，ri2，…，ril)，其中ri1表示ui对v1的隶属度，则评判矩阵为

步骤4 确定权重和单因素模糊综合评价模型。

4.3.2 模糊综合评判

二级模糊综合评判模型为

式中:Wi为第i 个因素的等级权重集，Wi=(wi1，wi2，…win)，Bi为第i 个因素的二级模糊评判结果，M 为各因素之间的模糊综合评判结果。

4.3.3 计算综合评价分数

若用总分数表示综合评价结果，则根据越大越好的原则，可取评价标准的隶属度集为μ = (高，较高，一般，较低，低)并附相应分值，如μ = (1.0，0.8，0.6，0.4，0.2)，则各级指标的综合评价得分为

5 “中国智能车未来挑战赛”设计

本课题组完成了4 届“中国智能车未来挑战赛”比赛设计及评测任务，历届测试内容见表1. 交通标志的数量是逐年递增的。由识别静态交通标志到行驶中识别交通标志，由避让静态障碍物到超车、合流，难度也是逐年递增的。“中国智能车未来挑战赛”测试环境由前两届比赛的模拟交通场景到后来的真实的城区道路环境;由城区道路环境到乡村道路环境。由此可以看出“中国智能车未来挑战赛”的测试内容和测试环境的设计是结合中国无人地面车辆技术的发展水平设计的，体现出从简单到复杂、由易到难的分层次变化。

表1 “中国智能车未来挑战赛”测试内容Tab.1 The test content of FC

2013年11月2 ～4日，由国家自然科学基金委主办，常熟市人民政府承办的第5 届“中国智能车未来挑战赛”在江苏常熟市进行。课题组根据无人地面车辆测评体系的研究对比赛进行了测试内容、测试环境、测试方法和评价方法与标准的设计。比赛包括城郊道路测试(约为18 km)和城区道路测试(约为5 km)两部分，均是真实的城郊道路和城区道路。城郊道路测试包括动态干扰车、信号灯识别、施工绕行、静态障碍物识别等自主驾驶行为测试，如图7所示。城区道路测试包括躲避过街行人、U 型转弯、交通标志识别等自主驾驶行为测试，如图8所示。本课题组研制的移动测试平台-测试裁判车平台(如图9所示)搭载了视频图像信息采集系统、高精度GPS 导航系统和无线图像传输系统等，完成了参赛车辆比赛过程的实时、全方位的监测任务，客观、详细地记录了参赛车辆的自主行驶、违反交通标志标线及交通信号灯、人工干预等情况，保障了裁判工作的专业性和公正性，方便裁判记录与核定参赛车队各项成绩。

图7 城郊路段测试内容Fig.7 Test content on suburban road

图8 城市道路测试内容Fig.8 Test content on urban road

图9 移动测试平台Fig.9 Moving test platform

2013年“中国智能车未来挑战赛”的比赛测试场景见图10 ～图12，分别为:施工绕行、避让静态障碍物和动态干扰合流。无人地面车辆的评价方法按照4S(即安全性(Safety)、智能(Smartness)、平稳性(Smoothness)和速度(Speed))标准评价无人地面车辆完成测试任务情况。每辆参赛车的得分以完成任务总时间、考点得分、人工干预次数3 项成绩分别排序，按照各项排序确定单项成绩排名，最终按照3 项排序序号之和的平均值确定综合排名。综合测试了无人地面车辆的智能水平。表2是按照“中国智能车未来挑战赛”的评价规则得到的评价结果。虽然实现了无人地面车辆的定量评价，但是并未指出其中哪项指标的不足和以后需要改进的方向，不利于无人地面车辆关键技术的发展。表3是基于模糊可拓展层次分析法的无人地面车辆评价，不仅可以对无人地面车辆各级指标进行评价，并且能够对无人地面车辆进行综合评价。

图10 施工绕行Fig.10 Bypassing the road construction

图11 避让静态车辆Fig.11 Avoiding the static vehicle

现以2013年“中国智能车未来挑战赛”某车队所统计的数据为例，介绍基于模糊可拓展层次分析法评价的过程。

无人地面车辆智能水平的评价过程从末级开始逐级向更高一级进行评价。首先从“基本行车行为”评价方面车道直道保持要素开始。

车道直道保持:G21=100B21μ =92.

依次评价“限速”、“避让静态障碍”、“U 型转弯”评价因素，得到G22、G23、G24，进而对评价方面“基本行车行为”量化评价。

基本行车行为:G2=100B2μ =74.28.

各个评价方面完成评价后，得到G1、G3、G4、G5，最终实现无人地面车辆的定量评价。

综合评价:G=100Bμ =58.382.

完备的测评体系实现了对无人地面车辆的评价，找出了其中的不足，引导了无人地面车辆关键技术的快速发展。

图12 交叉路口合流Fig.12 Intersection merging

表2 FC2013 比赛结果Tab.2 The competition results of FC2013

6 总结

本文从测试内容设计、测试环境设计、测试方法和评价方法4 个方面阐述了无人地面车辆测评体系的研究。在未来比赛中需要充分考虑我国无人地面车辆技术现状，设计具有可行性的测试内容、测试环境、研究相应的测试技术及评价方法，还需要面向未来无人地面车辆技术的发展，建立相对完备的测评体系。通过在规范的测试环境中对无人地面车辆运行的安全性、可靠性、稳定性和智能性进行评测，可以科学准确地考核无人地面车辆智能水平，又可以规范无人地面车辆技术的研究，进一步调动研究人员的研究热情，促进无人地面车辆技术的快速发展，为无人地面车辆尽早跨入实用阶段创造条件。

表3 基于模糊可拓展层次分析法的无人地面车辆评价Tab.3 The evaluation of unmanned ground vehicle based on Fuzzy-EAHP method

References)

［1］Krotkov E，Fish S，Jackel L，et al. The DARPA PerceptOR evaluation experiments［J］. Auton Robot，2007，22(1):19 -35.

［2］Behringer R，Sundareswaran S，Gregory B，et al. The DARPA grand challenge-development of anautonomous vehicle［C］∥2004 IEEE Intelligent Vehicles Symposium. Parma，Italy:IEEE，2004:226 -231.

［3］Miller I，Lupashin S，Zych N. Cornell University＇s 2005 DARPA grand challenge entry ［J］. Journal of Field Robotics，2006，23(8):625 -652.

［4］Urmson C，Anhalt J，Bagnell D. Autonomous driving in urban environments:Boss and the urban challenge［J］. Journal of Field Robotics，2008，25(8):425 -466.

［5］Anon Smartdemo［EB/OL］.［2010-09-01］. http:∥www. sapro.com.au/smartdemo/smartdemo2005.htm.

［6］Wildermuth D，Wolf H. Professional ground robotic competitions from an educational perspective:a consideration using the example of the European land robot trial (ELROB)［C］∥2012 6th IEEE International Conference Intelligent Systems. Varna，Bulgaria:IEEE，2012:399 -405.

［7］Lauer M，Gerrits A. Next steps for the grand cooperative driving challenge:ITS Events［J］. IEEE Intelligent Transportation Systems Magazine，2009，1(4):24 -32.

［8］Xiong Guang-ming，Zhou Pei-yun，Zhou Sheng-yan. Autonomous driving of intelligent vehicle BIT in 2009 future challenge of China［C］∥2010 IEEE Intelligent Vehicles Symposium. San Diego，CA:IEEE，2010:1049 -1053.

［9］Gong Jian-wei，Jin Xiao-long，Jiang Yan，et al. BIT:an autonomously driving vehicle for urban environment［J］. Communications of CAA，2010，32(2):43 -51.

［10］Xiong Guang-ming，Zhao Xi-jun，Liu Hai-ou . Research on the quantitative evaluation system for unmanned ground vehicles［C］∥2010 IEEE Intelligent Vehicles Symposium (IV). San Diego，CA:IEEE，2010:523 -527.

［11］Sun Yang，Xiong Guang-ming，Chen Hui-yan. A cost functionoriented quantitative evaluation method for unmanned ground vehicles［C］∥2011 International Conference on Advanced Measurement and Test. Nanchang，China:The Intelligent Information Technology Application Research Association，2011:701 -706.

［12］Sun Yang，Tao Gang，Xiong Guang-ming，et al. The fuzzy-AHP evaluation method for unmanned ground vehicles［J］. Applied Mathematics ＆ Information Sciences，2013. 7(2):653 -658.