基于OEDR和ODC的自动驾驶汽车实际道路测试评价技术研究*

孙 航，李志军，张琳琳，陈振宇，李世龙

（1.天津大学机械工程学院，天津 300072；2.中国汽车技术研究中心有限公司标准化研究所，天津 300300）

前言

自动驾驶是人工智能与汽车深度融合的技术领域，汽车自动驾驶技术的发展过程是驾驶员驾驶操作逐渐退出的过程。自动驾驶汽车（automated driving vehicles，ADV）在我国的大规模应用势在必行，预计到2030 年，我国L4～L5 级自动驾驶新车装配率达到10%。随着发展进程的深入，驾驶员负责的“感知-决策-执行”等驾驶任务将逐渐由车辆系统替代，以指标符合性评价为核心的传统方法将不再适用于自动驾驶，而是需要面向自动驾驶特有的“智能化”属性，通过高综合性和高复杂度的场景来评价其在真实道路交通环境下的表现。因此，实际道路测试评价技术是验证ADV 安全和效率的必要手段，对自动驾驶技术的迭代和商业化具有至关重要的作用。

1 自动驾驶汽车测试评价技术现状

目前，联合国WP.29 框架下形成的“多支柱法”是被广泛接受的自动驾驶汽车测试原则，即通过仿真、封闭场地和实际道路等维度，测试ADV 在各种交通情况下的综合表现。

仿真测试用于验证自动驾驶系统在全场景和极端情况下的功能和性能，具有周期短、成本低、效率高等优点，但存在难以将真实因素（环境和车辆）完全映射到虚拟世界中的缺陷。封闭场地测试具有场景典型性和可复现性的特征，国内外封闭测试场地和测试技术不断优化，封闭场地的测试在一定程度上反映自动驾驶车辆的功能和性能表现，但由于测试场景的局限性，封闭场地测试仍然无法完全代表自动驾驶车辆在复杂和随机的真实交通流中的实际表现。

相比于仿真和场地测试，实际道路测试方法目前仍处于初步探索阶段。自动驾驶实际道路测试利用实际道路上各种目标和事件的随机化特征，可验证自动驾驶车辆：

（1）在实际道路上运行时本车及对周边交通环境的安全性影响；

（2）对各类典型目标和随机动态事件的响应是否符合预期；

（3）对整体道路交通通行效率的影响。

因此，实际道路测试是自动驾驶汽车测试及评价过程中不可或缺的环节。2017 年以来，主要汽车产业国家都开展了自动驾驶实际道路测试的探索。2018-2019 年，美国加州有36 家公司完成了563.5万km 的公共道路自动驾驶测试。德国、英国、芬兰、日本等国的汽车企业也都在本国自动驾驶相关法律法规框架下开展了大量的实际道路测试。截至2021 年10 月，我国各地已开放3 200 多km 测试道路，发放700 余张测试牌照，道路测试总里程超过530 万km，上海和北京等地相继开展了载人载物示范应用。

然而，当前国际上开展的实际道路测试普遍以改进单一车型技术方案为目的，由于自动驾驶研发技术的多样性，导致研发测试方案针对性强、测试指标与研发技术方案关联性大，此类测试评价方案不具备典型性和普适性的标准化特征。本文中提出了标准化的ADV 实际道路测试评价技术方案，主要贡献如下：

（1）提出了一种测试备选道路评估方法，该方法基于自动驾驶目标和事件探测与响应（object and event detection and response，OEDR）对实际道路进行分类，构建了基于ADV 的设计运行范围的实际道路测试元素基础模型。

（2）提出了基于ADV 设计运行条件的边界阈值实际道路测试技术和基于乘员感受的主观评价方法，确定了ADV主客观结合的测试评价体系。

（3）选取我国实际道路，开展ADV 实际道路标准化测试评价技术的验证试验，试验表明本文中提出的ADV 实际道路标准化测试评价技术的科学性和普遍适用性。

2 ADV实际道路测试评价工程框架

在实际道路开展ADV 测试评价有两项关键需求：一是开展测试的实际道路应满足被测ADV 的设计运行范围（operational design domain，ODD）且道路包含的元素能够尽可能多地测试ADV 执行动态驾驶任务（dynamic driving task，DDT）的表现；二是使用的测试评价方法应能够与ADV 的设计运行条件（operational design condition，ODC）需求匹配，能够充分、全面地测试自动驾驶功能和性能。本文中基于关键需求提出实际道路测试评价体系工程框架，如图1所示。

图1 ADV实际道路测试评价工程框架

在ADV 测试备选道路评估阶段，首先在本文提出的实际测试道路类型集中选出符合被测ADV 设计运行条件的测试道路类型，随后计算备选测试道路包含的测试元素与所属道路类型的基础元素模型的有效相似度，根据基础元素模型评估备选道路是否满足测试要求，如果满足，进入测试评价阶段。在ADV 实际道路测试评价阶段，分别对被测ADV 开展基于ODC 边界的实际道路测试和主观评价，两者的测试评价结果作为试验结果整体输出。

3 ADV测试道路符合性评估技术

3.1 基于OEDR的实际道路分类方法

OEDR 水平直接体现了ADV 执行动态驾驶任务的能力，是决定驾驶自动化程度的核心因素。ADV 实际道路测试本质上是考察ADV 的OEDR 能力，即ADV 对目标和事件的探测、识别和分类，以及对目标和事件探测结果的响应。这里的“目标”包括静态和动态道路交通参与者，“事件”包括道路交通参与者携带的静态信息或发生的动态变化。

提出一种基于OEDR 的实际道路分类方法，该方法将道路交通参与者种类和复杂度作为道路类型划分依据，用于测试验证ADV的OEDR能力。

根据目标和事件的类型不同，可将OEDR 的功能划分为、、3个维度的集合。

：探测和响应静止或动态的机动车；

：探测和响应结构化交通标志和基础设施等；

：探测和响应弱势道路使用者，例如行人、骑行者、动物等。

根据x的定义可知，x=｛0，1｝，即在式（1）中只考虑元素x在道路中是否出现过，不考虑其出现次数，y和z同理，、同理可分别由y、z计算得出。

当由0 逐渐增大，表示道路中车辆逐渐增多，车流越复杂，车辆的不可预测性越强。极端情况下，当=0 时，道路中没有车辆，或道路中的车辆与被测车辆仅有可预测（例如，无需探测即可响应）的交汇，当=1 时，说明集合中的元素全部在道路中出现。

当由0 逐渐增大，表示道路结构化程度减弱，道路中场景的复杂度增加。当=0 时，道路有完备的符合标准的交通标志，且道路基础设施呈结构化特点；当=1 时，说明集合中的非结构化元素全部在道路中出现。

由0逐渐增大的情况，同理可知。

如图2 所示，由于道路元素的多样性及其出现的随机性，任意范围的路段都可认为是OEDR 的功能三维空间中的离散点，道路（）的坐标变化反映道路的车辆、基础设施和弱势参与者的复杂程度，由确定的立方体体积越大，道路的测试复杂度越高。

图2 OEDR三维坐标系

当、、分别取不同值时，其表征的道路可映射到典型道路类型上，见表1。

表1 ADV测试典型道路表

如表1 所示，、、和类道路环境相对封闭，适用于各类功能型无人车的测试研究。类道路非结构化、机动车和弱势使用者几乎不存在，适用于农用和军用自动驾驶车辆测试研究。本文研究对象是具备自动驾驶功能的M 类、N 类、O 类汽车，、和类道路符合本文研究对象开展实际道路测试的需求和实际情况。综上所述，本文基于OEDR 将用于M 类、N 类、O 类汽车开展测试的道路分为3类，即I/II/III类道路。

Ⅰ类道路：仅可由机动车行驶，并能全部控制出入或根据需要控制出入、存在多条车道的道路。此类道路均为结构性道路，路面平整、交通设施完善，交通参与者仅为机动车且交通运行状态较为通畅。此类道路主要对应类。

Ⅱ类道路：机动车和非机动车共用，连接住宅区、经济中心或工业园区的道路。此类道路大多位于城市内部且具备交通信号灯等设施，其交通参与者包括非机动车和行人，易发生拥堵等情况更为复杂的事件。此类道路主要对应类。

Ⅲ类道路：机动车和非机动车共用，连通县或镇、乡的道路。与Ⅰ和Ⅱ类相比，此类道路交通参与者种类繁多，交通环境极为复杂。此类道路主要对应类。

3.2 基于ODD的测试道路元素基础模型构建

选择测试道路的核心是为选择测试场景，科学选择测试场景须考虑自动驾驶车辆设计运行域（ODD）因素。

德国PEGASUS 项目及起草过程中的ISO 34503分别给出了ODD 的分类模型。根据国际上广泛认可的分类方法和我国实际交通情况，将ODD 的元素归类为静态元素、动态元素和辅助元素3 大类。静态元素包括：区域元素、形态元素、路面元素、交通设施元素等；动态元素包括交通参与者元素、天气、交通运行状态等；辅助元素包括网联通信元素等，如图3所示。

图3 用于道路选择的ODD元素分类方法

为满足不同设计运行范围的ADV 测试需求，本研究通过采集分析北京、上海、天津等5 个城市的典型道路元素，提出Ⅰ～Ⅲ类道路对应的测试元素基础模型，如表2所示。

表2 不同类型道路的测试元素基础模型

3.3 基于Jaccard Similarity 有效相似度的测试道路评估方法

Jaccard Similarity 方法，又称为Jaccard 相似系数，用于比较有限样本集之间的相似性与差异性。Jaccard系数值越大，样本相似度越高。

给定两个集合A、B，Jaccard 系数定义为（A∩B）元素个数与（A∪B）元素个数的比值，定义为

式中：表示在A 中出现但未在B 中出现的元素个数；表示未在A 中出现但在B 中出现的元素个数；表示在A和B中都出现的元素个数。

本研究改进了Jaccard Similarity 方法，计算备选测试道路包含的测试元素与所属道路类型的基础元素模型的有效相似度，通过相似度计算结果评估备选测试道路是否符合测试需求。

改进的有效相似度计算公式为

式中：表示备选测试道路元素与所属道路类型元素基础模型的有效相似度；A 为所属道路类型的元素基础模型（即元素集合）；B 为备选测试道路包含元素的集合。与式（2）相比，测试道路有效相似度的计算中剔除了元素，这是由于备选道路中不属于基础元素模型，其对被测ADV 的实际道路测试没有价值，但却可能降低必要元素相似度值，因此在计算有效相似度时没有将纳入计算。

4 ADV实际道路测试评价研究

4.1 自动驾驶汽车实际道路测试评价体系

ADV 的安全性是自动驾驶技术应用不能突破的基线指标，行驶效率则反映自动驾驶车辆在准确性、及时性和顺畅性方面的表现。因此，实际道路测试需要综合考核自动驾驶系统在其设计运行条件内的安全与效率。

安全性可通过对ADV 功能和性能的定量客观测试完成，而行驶效率更适宜采用主观评价方式。主客观相结合的评价方法体系在较多的领域具备应用案例。本文中引入主观评价方法，从乘员感受出发，对ADV 在实际道路行驶的准确性、及时性和顺畅性等维度进行主观量化，结合客观测试的定量分析，建立ADV实际道路测试评价体系。

4.2 自动驾驶汽车实际道路测试评价方法

4.2.1 基于ODC边界的测试评价方法

设计运行条件是指驾驶自动化系统设计时确定的适用于其功能运行的各类条件的总称，包括设计运行范围、车辆状态、驾乘人员状态和其他必要条件。

ADV 实际道路测试重点关注测试车辆在ODC内部及进出ODC 的临界情况下的表现。如图4 所示，ODC 关注的设计运行范围、车辆状态、驾乘人员状态和其他必要条件将平面划分为3 个区域，纵轴表示测试时间，ODC 与测试时间限定了ADV 测试的时空和状态范围，其表示为图4中的柱状体。

图4 基于ODC边界的测试示意图

图中阴影边界分别对应ODD、车辆状态、驾乘人员状态和其他必要条件的边界，即车辆的接管阈值。阴影内部为车辆应自动执行DDT 的区域，外部为车辆在实际道路测试过程中未激活自动驾驶系统的区域。图中红线表示车辆测试过程中进出ODC的路径，其中P、P、P为车辆达到ODC 状态进入有效测试状态的临界点，虚线表示在ODC 内部的路径。P、P、P为车辆达到离开ODC 状态的临界点，实线为离开ODC区域的路径。

基于ODC 边界的测试评价方法具体分为4大项和39 个细项要求。其中通用要求1 项，同时测试ADV 在ODC 内执行DDT 和进出ODC 边界时的表现；系统激活与停用4 项、系统后援15 项，测试ADV进出ODC 边界时的表现；执行动态驾驶任务19 项，用于测试ADV 在ODC 内的驾驶表现。具体各测试指标示例见表3。

表3 基于ODC边界阈值的测试指标示例

4.2.2 基于乘员感受的主观评价方法

ADV 在行驶中的准确性、及时性和顺畅性主要通过特定的功能运行表现和人机界面（human machine interface，HMI）激发乘员的主观感受。因此在主观评价ADV 行驶效率时，包括了功能运行和HMI两个维度。此外，工业和信息化部《关于加强智能网联汽车生产企业及产品准入管理的意见》中提出，智能网联汽车生产企业应严格履行告知义务，因此将车辆产品说明手册是否清晰易懂也作为主观评价指标之一。具体主观评价内容见表4。

表4 ADV实际道路测试主观评价表

5 试验验证

5.1 测试道路符合性评估阶段

在市场中选取自动驾驶待测车辆V，按照其设计运行范围确定应在Ⅱ类道路开展实际道路测试。选取我国A市和B市备选道路各2条。根据式（3）计算A 市两条道路的Jaccard Similarity 有效相似度分别为71%和72%，B 市两条道路的分别为72%和74%，本文中选取有效相似度最高的B 市实际道路（=74%）开展测试，该道路地图路线如图5所示。

图5 我国B市实际测试道路地图路线

5.2 试验实施阶段与试验结果

本次测试里程为634 km，其中自动驾驶里程为614 km。测试时间总计72 h，自动驾驶系统激活实际覆盖20 h 06 min。根据4.2 节提出的方法开展测试，在客观评价方面，采用ODC 边界法得到被测车辆V 实际道路测试结果。其中通过14 项，未通过6项，不具备功能19 项。表5 列出ADV 实际道路测试执行动态驾驶任务测试项目的不符合项。

表5 ADV实际道路测试未通过项结果

本次试验的主观评价人员由3 名来自国家级第三方检测机构试验室工作人员担任。打分情况如表6所示（略去试验车辆不具备的功能）。

表6 主观评价打分汇总表

本次试验应用所提出的实际道路符合性评估方法，确定了试验道路，顺利开展对被测车辆的测试评价工作，验证了该评估方法的可行性与实用性。

应用所提出的基于ODC 边界的测试技术，有效验证了被测车辆在实际道路的行驶安全和行驶效率，暴露了被测车辆存在的问题，达到测试目的；应用所提出的基于乘员感受的主观评价方法，评价结果分数集中度较高，验证了评价指标设置的合理性，能够反映自动驾驶车辆在实际交通环境下的真实表现。

6 总结展望

提出自动驾驶实际道路测试与评价的工程框架，在该框架下基于OEDR、ODD 等自动驾驶功能特征提出道路分类及基础元素模型，通过Jaccard 有效相似度确定备选道路符合性评估方案，形成了结合ODC边界阈值实际道路测试和基于乘员感受的主客观综合测试评价体系，并选取我国实际道路进行验证试验，证明了本文提出的自动驾驶汽车实际道路标准化测试评价方案的可行性和普适性。

由于目前我国具备L3 及以上自动驾驶功能的汽车产品尚未完全成熟定型，本文中主要面向自动驾驶汽车的关键核心功能测评进行研究，侧重智能网联新技术应用的前瞻性探索和基本原理研究。后续也将推动所研究的相关成果形成技术标准，在未来自动驾驶技术和产品的发展以及标准实施中，积极汲取实践经验，持续优化和完善面向L3 及以上的自动驾驶汽车实际道路标准化测试评价体系。