道面表观病害检测机器人系统研究

张力波 邵黎明 曹铁

摘要：机场道面的病害影响着飞机的安全起降，当前机场主要通过人工巡查的传统方式进行道面病害检测。鉴于此，运用自动驾驶和人工智能技术，构建了具备自动巡检能力和道面表观病害自动识别能力的道面巡检机器人系统，为实现机场道面病害检测作业的无人化提供了技术支持。

关键词：机场道面；病害检测；自动驾驶；深度学习

中图分类号：TP242    文献标志码：A    文章编号：1671-0797（2023）12-0035-04

DOI：10.19514/j.cnki.cn32-1628/tm.2023.12.010

0    引言

机场跑道病害威胁飞机起降安全，目前主要通过定期人工巡检的方式检测道面的病害。传统手段存在时效性差、效率低、精确度低等不足，难以及时对机场道面进行检测评估，存在一定的安全隱患。

近年来，人工智能以及无人驾驶等高新技术快速发展，都具备了一定的落地应用条件。在人工智能的机器视觉领域，自2012年AlexNet[1]模型取得ImageNet竞赛冠军开始，基于深度神经网络的图像识别技术快速发展，InternImage[2]和Transformer[3]两种大规模模型代表了当前图像识别的最高精度，而YOLO系列[4]以精度高、推理快以及部署容易等多种优点广泛应用于工业界。自动驾驶方面，华为、百度等技术大厂已在助力L4级自动驾驶的落地，虽然开放场景的L4级自动驾驶技术量产落地还需打磨，但高速公路、大型工业园区、矿区、港口、机场[5-6]等特定场景的自动驾驶已经具备落地条件。

本文结合无人驾驶技术和人工智能机器视觉技术，构建具备自动巡检能力和道面表观病害自动识别能力的道面巡检机器人系统，实现对道面表观数据的高效采集和常态化检测。

1    机械系统组成

如图1所示，道面巡检机器人机械系统主要由线控底盘、线阵相机、带云台的全景相机、激光雷达、差分定位天线以及控制箱等部件组成。

线控底盘选择方面，机场道面相对平整，底盘选择常用的四轮结构；为了提高巡检效率，底盘时速最高不低于25 km/h；为了更好的路况适应能力，底盘离地15 cm以上高度，且底盘可以四轮转弯以减小转弯半径。

带云台的全景相机如图2所示，360°视野使巡检机器人能从视觉上更全面地感知周边环境，不仅有利于机器人的运行安全，也有利于后台监测人员对现场的掌握。当现场出现异常情况或因特殊需求需要人为远程操作巡检机器人时，全景相机能够提供更安全的操作环境。全景相机所带的云台具备较高的放大倍率，其图像可用于确认道面病害、道面异物检测以及场面人员人脸识别。

如图3所示，线阵相机垂直于道面，通过线扫的方式不仅可以收集连续的道面图像，还可以在运动过程中得到清晰的道面图像，有利于算法对病害的准确识别。

激光雷达用于感知机器人周边的障碍物，为自动驾驶系统的避障模块提供数据支持。

定位天线选用精度高的实时动态差分（RTK）定位技术天线，配合线控底盘的惯导系统实现巡检机器人的定位。

控制箱配置有工控机、图像存储硬盘以及4G/5G网络天线。工控机主要用于部署自动驾驶算法；图像存储硬盘用于临时存储图像数据，防止图像数据直接传回后台服务器过程中因网络原因丢失；4G/5G网络天线用于通过无线方式与后台服务器进行数据交换。

2    自动驾驶系统差异化设计

一般情况下，自动驾驶系统主要由高精地图、定位模块、感知模块、预测模块、规划模块、控制模块组成。其中，定位模块和感知模块根据机场自身特点进行设计。

2.1    定位模块方面

高精地图具备厘米级地图精度，并包含道路网的三维模型及道路语义信息，在周围存在较多高楼建筑以及隧道等影响卫星定位精度的复杂环境下，激光雷达与高精地图构成的定位模块可实现厘米级定位精度。

但是，在机场这类空旷环境下，环境特征不够明显，通过激光雷达和高精地图难以准确定位；而空旷环境下卫星信号强而准确，基于卫星导航的RTK定位技术能够全程实现厘米级定位。因此，仅选择RTK与惯导的组合定位作为道面巡检机器人的定位模块。

2.2    感知模块方面

自动驾驶通常使用摄像头、激光雷达、毫米波雷达以及超声波雷达作为感知设备。其中，摄像头广泛用于物体识别和物体追踪场景，比如车道线检测、交通灯识别等；激光雷达用于障碍物位置识别、绘制地图、辅助定位等，其准确率非常高，很多方案中将激光雷达作为主传感器使用；毫米波雷达在阴雨天、雾霾天能够辅助感知获取物体的位置和速度，观测距离远但误检较多；超声波雷达作为近处高敏感传感器，常作为安全冗余设备检测车辆的碰撞等安全问题。由于机场安全要求高，感知模块选择以激光雷达为主，毫米波、超声波以及全景相机为辅的技术路线。

3    图像识别算法设计

道面巡检机器人作业过程有两个图像识别业务需求，即全景相机下的目标实时识别、线阵相机下的表观病害识别。

3.1    全景相机下的目标实时识别

因为有实时检测的需求，综合评估后，在受工业界青睐的YOLO系列算法中选择YOLOV7[7]作为该系统的目标检测算法。

所选全景相机的图像为两个分辨率为4 096×1 080的图像，两个图像分别覆盖前后180°。由于YOLO算法的图像输入尺寸为正方形，因此将全景相机某一帧的两张4 096×1 080的图像切分成8张1 080×1 080的图像，相邻切分图像之间保留部分重叠区域。将8张图像缩放为640×640的图像，并作为一个batch输入模型进行检测。然后对检测得到的结果进行合并，如图4所示，为防止重叠区域的目标重复识别，运用非极大值抑制处理（NMS）算法对识别结果进行过滤。

为了达到实时性要求，运用tensorRT[8]对训练后的YOLOV7模型进行量化以及结构优化。优化后的模型固定输入尺寸（batch，height，width）为（8，640，640），在NVIDIA Tesla V100计算卡上进行一次检测耗时约38 ms，达到了实时性要求。

3.2    线阵相机下的表观病害识别

如图5所示，常见的道面表观病害有裂纹、接缝破碎、板角剥落、补丁[9]等。道面表观病害的尺寸对评估道面的损坏状况有重要作用，因此，用实例分割模型检测道面表观病害更具意义。将YOLOV7的head由目标检测改成实例分割后进行训练，训练后模型的测试效果如图6所示。

4    结论与展望

机场道面的病害影响着飞机的安全起降，而传统的人工巡检成本高、效率低。本文结合当前的自动驾驶以及人工智能技术，构建了具备自动巡检能力和道面表观病害自动识别能力的道面巡检机器人系统，验证了机场道面巡检无人化的可行性。未来可在机场进行实地测试，通过采集更多的现场图片以及优化算法设计，不断提高各类道面病害自动识别能力，进一步推进道面巡检机器人在机场的落地应用。

[参考文献]

[1] KRIZHEVSKY A，SUTSKEVER I，HINTON G E，et al.ImageNet Classification with Deep Convolutional Neural Networks[J].Communications of the ACM， 2017，60（6）：84-90.

[2] WANG W H，DAI J F，CHEN Z，et al.InternImage： Exploring Large-scale Vision Foundation Models with Deformable Convolutions[J].arXiv：2211. 05778v4[cs.CV]，2022.

[3] LIU Z，HU H，LIN Y T，et al.Swin Transformer v2： Scaling Up Capacity and Resolution[C]// Proceedings of the IEEE/CVF conference on computer vision and pattern recognition，2022： 12009-12019.

[4] REDMON J，FARHADI A.YOLOv3：An Incremental Impr-ovement[J].arXiv：1804.02767v1[cs.CV]，2018.

[5] 嚴正罡，甄军平.巡检机器人应用综述及在机场应用前景展望[J].现代计算机，2022，28（2）：50-55.

[6] 桂仲成，钟新然，刘景泰.基于“云-边-端”架构的机场道面安全检测机器人系统[J].人工智能，2022（3）：80-89.

[7] WANG C Y，BOCHKOVSKIY A，LIAO H Y M.YOLOv7：Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[J]. arXiv：2207.02696[cs.CV]， 2022.

[8] VANHOLDER H.Efficient inference with tensorrt[C]// GPU Technology Conference，2016：2.

[9] 民用机场道面评价管理技术规范：MH/T 5024—2019[S].

收稿日期：2023-02-15

作者简介：张力波（1991—），男，四川眉山人，工程师，研究方向：机场安全。