多感知融合的驾校无人教学系统设计与实现

章 威，王士朋，王 军

（中电海康集团研究院，浙江 杭州 310015）

汽车已经逐渐成为大部分人的代步工具，参加驾驶培训的人越来越多，但是传统机动车驾驶培训行业一直存在很多痛点问题。对于学员来说，驾校培训费用昂贵、流程复杂、培训周期长、效率低、教练普遍素质低下、沟通困难。过多的人工教练，导致驾校运营人力成本高昂，真人教练素质水平参差不齐，培训标准无法统一，驾校品牌难以树立。政府部门也缺乏信息智能手段进行有效地长期监管，很难发现问题并推出针对性的规章制度变革[1]。针对这些问题，随着物联网技术、人工智能技术的不断发展，机动车驾驶培训实现无人化、去教练化成为可能。

文中对目前相关的研究成果进行了一些调研和总结：基于多感知融合的人工智能技术已经在无人驾驶领域得到了充分的应用[2]，包括园区内的物流小车无人配送，车路协同领域的无人驾驶货车，重要会展中心的摆渡车等，都实现了该技术的成功应用和项目落地，但是仅限于测试阶段，包括特斯拉在内，无人驾驶领域都出过交通事故，对于交通路上的情况复杂，安全性和可靠性还需要进一步的研究和测试。在机动车驾驶培训与考试领域，目前的研究方向主要集中在驾考领域，以南京多伦科技为主的高科技物联网企业，已经针对驾考领域开展了多年的技术研究，并完成了相关项目产品的落地。机动车驾驶培训由于学员处于新手阶段，操作培训复杂、场地规划繁琐、场地实时监控实现难度较大等原因，一直没有突破性的成果。针对机动车驾驶培训的多感知融合的综合无人化解决方案的实现与落地，还处于起步阶段[3]。

总结现阶段研究成果和不足，并针对目前驾培行业的痛点问题，文中提出基于多维感知技术，设计了一套多感知融合的无人教学系统。作为机动车驾驶无人教学新模式的探索，为驾驶培训行业提升培训质量与服务品质、降低人工成本提供新手段，亦为改善应试教育弊端、植入驾驶安全意识、解决监管难题提供科学的整体解决方案。

1 无人教学硬件系统设计

1.1 总体实现框架

在设计机动车驾驶培训无人教学系统时，需从驾校培训行业的实际应用场景考虑，对稳定性、可靠性、实时性等进行多角度考量。考虑到物联网系统的节点情况与服务类型，文中设计的无人教学系统技术实现架构分为4 层：感知层、控制层、网络层和应用层，整体实现框架如图1 所示。

图1 系统整体框架图

在系统逻辑架构中，负责数据采集的是感知层，该层的组成包括各种类型的传感器北斗差分定位流动站[4]、毫米波雷达、超声波雷达传感器、车辆OBD解析器和副刹车装置；控制层的主要工作是根据不同的数据传输协议，获取感知层的最原始数据，作初步的预处理，部分数据的直接处理结果采用双工通信方式反向控制感知层，其他数据会通过网络层继续上传；网络层负责把经接入控制层处理的数据通过WiFi、Ethenet 等技术准确、安全地传递至应用层，其中，云平台通过WiFi 网桥从网络交换机端获取数据，网络摄像机由于数据传输量较大，直接与网络交换机通信连接；应用层接收网络层传递的信息数据进行教学功能开发，实现针对教学的智能教学功能。

1.2 终端硬件设计

在系统网络拓扑结构中，无人教学系统的硬件终端是控制中心，传感器采集的数据都汇总到硬件终端进行处理。主控芯片选型为恩智浦的MCIMX6G1AVM05AA，具有低功耗、高性能的特点，接口包括定时器、RS485、UART、CAN 等模块，满足系统设计的功能接口要求[5]。嵌入式终端系统设计如图2 所示。

图2 嵌入式终端系统设计

系统的外部对接接口根据数据传输速率，数据传输量及通信机制的要求，对不同外接的硬件感知设备接口进行设计，如表1 所示。

表1 系统的外部接口

2 无人教学系统软件设计

无人教学系统的软件设计分为3 个部分，分别为控制端嵌入式系统、车辆轮廓模型实时定位引擎和无人化教学平台。其中，嵌入式系统是其他系统实现的基础，通过嵌入式系统，获取感知层各种需要的传感数据。车辆轮廓模型定位引擎，实现车辆轮廓的实时定位，同时将车辆实时显示在地图引擎上。无人教学系统主要基于以上两部分功能底层数据指令的支持，实现科目二教学。3 个子系统相互配合，实现驾驶培训过程的实时监控，教学过程的无人化、去教练化。

2.1 嵌入式主程序

嵌入式主程序流程图如图3 所示[6]，首先对程序进行初始化，完成各个模块的初始化工作。之后程序处于接口侦听状态，接收感知层上传的实时感知数据。通过车辆OBD 数据和雷达数据，根据嵌入式设定的阈值进行判断，若超过阈值，会调用刹车命令紧急刹车，最终将数据、定位数据和视频数据都传入应用层。

图3 嵌入式主程序流程图

2.2 车辆轮廓模型定位引擎

由于科目训练教学要求，需要精准判断车辆是否压线，则必须实现整个车轮廓的高精度定位，这是无人教学系统实现的关键。文中在分析实际科目二训练内容的基础上，基于射线碰撞检测理论，实现了车辆压线的有效检测。

2.2.1 场地项目打点测绘

科目二的训练项目较多，文中以倒车入库为例进行说明，其他训练项目打点测绘原理相同，比如倒车入库，就需要测绘8个特征点，测绘点如图4所示[7]。

图4 倒车入库测绘点

每个项目测绘完成以后，运用AutoCAD 将测绘数据输入系统，构建矢量地图，使用Mapinfo 把各测绘点连接成线，并进行图色渲染。整个场地的项目测绘完成后，经过后期的渲染生成矢量效果图，驾培车辆通过北斗高精度定位系统实时上传到主控端，由主控进行数据预处理后，发送至应用层进行实时呈现，实现每一辆考试车辆在培训场地内的实时位置都一目了然[8]。驾培场地矢量地图如图5 所示。

图5 驾培场地矢量地图

2.2.2 车身轮廓模型构建及压线检测

以上内容已经完成了驾校场地的矢量图绘制和关键点位的测绘，为了实现车辆在场地的实时定位及科目二的无人教学，还需要实现车辆车身轮廓模型的构建，并通过射线碰撞理论判断车辆是否压线。文中通过构建车身关键点位模型方程的方式实现车身位置的实时定位[7]。

1）车辆轮廓模型构建

在车辆上安装两个北斗定位模块即可构建一辆汽车轮廓的位置坐标[9]，通过对特定驾校的车型进行精确测量后生成参数文件，在实际的系统中，只要加载车辆的参数文件即可在地图上实时1∶1 地显示出车辆的外形，如图6 所示。

图6 车辆轮廓顶点

2）碰撞检测理论的压线检测实现

使用射线理论进行碰撞检测，检测碰撞的原理[10]是以车辆的北斗定位蘑菇头点为起点，向各个轮廓顶点发出射线，然后检查射线是否与其他的物体相交。如果出现了相交的情况，计算最近的一个交点与射线起点间的距离，如果这个距离比射线起点至物体轮廓顶点的距离小，则说明发生了碰撞，如图7所示。

图7 车辆压线判断原理图

在三维矢量空间中，射线用来表示方向，射线的模为1，射线的方程为：

式中，P表示射线上的某个点，P0表示射线的起点，δ表示射线的方向，P、P0、δ是三维矢量，根据应用场景，δ仅表示射线的方向，t表示射线上其他点离开射线起点的距离。距离不可能是负数，故t∈[ ]0,∞,t=0 时，P是起点，即P0。

设矢量P1是平面上的一点，矢量N表示该平面的法向量，这两个矢量确定一个平面。若给定一个点矢量（0，0，0）和一个法向量（0，1，0），则可定义一个平面，平面的方程式如下：

式中，d是原点到该平面的距离。设射线与平面相交于点P，则P必定同时满足式（1）和式（2），联合方程求解可得：

将式（3）代入式（1），得到碰撞发生的位置P。

为了降低服务器解算的压力，在保证测量效果的同时，经过多次测试，车辆选择20 个处于同一平面的轮廓顶点进行计算，并根据驾校车型，测量出起点到各个轮廓点的距离，分别记作dP0A,dP0B,dP0C,dP0D…dP0T。若下式成立，则判定车辆已压线，系统作出压线提示：

2.3 无人教学系统功能设计

2.3.1 系统功能

应用层的无人教学系统功能是直接面向驾校学员的应用层[11]，功能主要包括行车安全管理模块、基础操作教学模块和考试内容教学模块。系统功能模块如图8 所示。

图8 无人教学平台功能模块

2.3.2 系统实现架构

智能教学系统以车载Android 平板APP 软件方式呈现[12]，实现架构分为两层，底层为Native，负责对接数据和实时计算，上层为Web，负责显示和交互操作。车载Android 平板接收嵌入式主机有线传输过来的各类高频结构化数据，并进行实时显示。车载Android 平板要接收嵌入式程序计算的车辆与场景位置、边线、关键点距离及碰撞。车载Android 平板与云平台可双向通信，Android 平板可从云平台获取用户、权限等信息，可下载教学视频，可更新车载教学Android 平板上的APP 软件；车载Android 平板向云平台报送用户操作日志、状态、实时计算结果等数据。教学平板正常情况下应是与云平台通过WiFi保持通信[13]，车载Android 平板从云平台下载并储存教学视频，以播放本地视频的形式供学员使用[14]，应用层实现逻辑图如图9 所示。

图9 应用层实现逻辑图

3 试点项目验证

文中研究成果已经在浙江桐庐某驾校作为试点项目，通过结合语音、视频、文字讲解，实现侧方停车、倒车入库、坡道起步等培训教学，并对培训记录进行保存，可实时回放训练实况[15]，进行针对性改进训练。无人化教学系统的交互功能界面如图10所示。

图10 无人化教学系统交互功能界面

同时，中控大屏上的一体化监测平台可实时呈现教学的全过程[16]，进行中控指挥调度管理。中控室管理人员可通过中控室的一体化监测平台实时查看、管理驾校整个场地的学员学车训练情况，可以进行车辆行驶信息、学员学车信息、学车效率等数据的统计展示，一体化监测平台界面如图11 所示。

图11 一体化监测平台界面

试点项目的结果评估，带来以下效益：

1）驾校教练人员减少了50%，之前驾校教练的工资投入占总投入的57%，使用无人教学系统，行政工作人员比例降低近20%，每年可节约人力投入成本超过70 万元。

2）学员的学车体验明显提升，通过率和学车效率都有所提升，学员学车周期缩短一周以上，报名人数也有所增长。

3）通过信息化建设，驾校可收集海量的信息化数据，包括学员数据、训练数据、学员反馈数据等，这些数据均提供数据访问接口，公安监管部门可对接数据，系统的使用情况得到了当地公安监管部门的高度认可[17]。

4 结束语

文中结合多传感融合技术、人工智能技术研发的无人教学系统，完全契合了疫情下非接触式培训的刚性需求。对机动车驾驶培训行业规范而言，在这样的发展趋势下，未来以机器人教练、人工智能等应用为主线，联合全国驾校，共同打造一个智能化的机动车驾驶培训产业将成为现实。驾培行业无人化培训模式的研究与推广，是人整个工智能立体的、庞大的科学体系和未来产业的重要组成部分，是人工智能概念落地的一种实践。对未来人工智能产业的发展，人工智能更多项目的落地，新硬件的发展都起到积极促进，引领和凝聚共识的作用。