基于无人机摄像的接触网元件状态监控

1 研究背景

对于铁路基础设施结构如接触网，必须定期进行目视检查。在目视检查时，通常需要采取线路封锁的措施，因此，为避免对列车常规运营产生影响，该工作一般在周末或夜晚进行，需要耗费大量的人力、时间和财力。而无人机摄像监控既可以减少现场人员投入，大大降低成本，也可以提高诊断质量，并缩短线路封闭的时间，因为无人机沿线路飞行一次的时间明显短于相应的人工目视检查时间，而且可以从各个角度拍摄待检元件的图像，以便全面地对该元件的状态进行诊断和监控。

德国航空航天中心（DLR）、西门子公司（Siemens）和Copting GmbH公司联合开展了一个名为SMARAGD的研究项目，旨在利用无人机拍摄的图像监控接触网元件的状态，以实现其预测性维修。德国联邦交通和数字基础设施部（BMVI）为该项目提供资金。为此，项目研究人员在多旋翼无人机上安装了具有高分辨率的摄像机系统，并在多条线路上进行了试验。为对无人机获取的图像数据进行分析处理，研究人员还开发了检测算法，利用人工智能（AI）技术自动识别、定位和监控绝缘子等元件，并研究图像和视频数据所能达到的精度。

2 研究目标和内容

该项目的研究目标是实现无人机飞行及数据评估的自动化。首先，研究人员将操控装有传感器和摄像机的无人机沿着预定的线路自动飞行，并采集接触网元件的相关数据;然后，开发适用的图像检测系统（即AI系统），自动将待检元件的信息从采集到的原始数据中分离出来，并对其缺陷和状态变化进行自动识别、定位和分类（图1）。为此，需要研究各种图片和视频分析方法，将当前拍摄的图像与过去飞行时采集的以及来自参考数据库的图像进行比较。若元件发生明显变化（如开裂、生锈等），则检测系统会自动显示比较结果，并对其进行存储。这种自动评估和可视化显示可以简化维修工作，并加速其进程。

项目中，研究人员选择了2种无人机进行试验。第1种是Copting GmbH公司为此项目专门研制的多旋翼无人机（图2），装配了具有高分辨率（42M像素）的专业摄像机系统，其采集的数据用于检验AI系统在实际条件下自动加工数据的质量。第2种是带有内置4K高清摄像机的商用多旋翼无人机（DJI Mavic），采用这种无人机是为验证未安装特殊硬件（即专业高分辨率摄像机）的商用无人机是否适用于此类检测。如果试验成功，则在今后的商业运营中就可以使用价格相对低廉的商用无人机。

本文主要涉及的接触网元件是绝缘子。

3 专业摄像机图像数据的自动化加工

上述专业摄像机系统能够在距离绝缘子20 m处实现约1 mm的物体分辨率（图3）。为在飞行拍摄期间检测尽可能多的元件，研究人员弃用了具有更大焦距并因此具有更高物体分辨率的镜头，因为现有镜头足以识别出绝缘子的状况，这是在检测对象分辨率和完整性之间作出的合理折衷。

对象检测通过现代AI技术（即神经网络）实现。本项目中的AI系统采用单目多目标检测算法，可以同时识别一个图像中的多个对象，并且在图像分辨率较高和图像中对象较大时具有良好的检测效果。在对象检测过程中，AI系统可以自动识别绝缘子所在的图像区域，因此能够自动剔除不包含绝缘子的图像，从而减少需进一步处理的数据量。为此，研究人员首先在给定的图像数据集中手动标记图中对象，生成包含待学习标记的训练数据集。然后，AI系统会对训练数据集进行独立学习，构建带有被标记对象参数的模型。该模型用于在新图像中自动识别对象。该模型中的参数决定了待检测对象在各种细节级别上的典型视觉属性，包括其原始属性（如边缘、颜色）及更复杂的形状和图案。为了能够从不同角度识别对象，研究人员在AI系统的学习阶段还让其学习扭曲失真的原始图片，总共使用了约44 000 张图片进行模型训练。

为检验所构建模型及训练方法的有效性，研究人员使用了1个包含5 000张低分辨率及243张高分辨率图片（均为无人机飞行拍摄的）的测试数据集对AI系统进行测试，表1中的数据为其测试结果。测试采用统计学中常用的分类指标——精确率和召回率作为评价标准。从测试结果可知，所有检测出的对象中只有约2%～3%不是绝缘子，精确率较高;然而，召回率较低，约有30%的绝缘子未被检出。检测中，距离越远，对象的识别效果越差。此外，图4还展现了识别对象的另一种困难，即拍摄角度的变化。图 4a中，由于图片的拍摄角度理想，因此系统能够准确检测出绝缘子;而图4b中，虽然系统接受过不同拍摄角度下的图片模型训练，而且研究人员也降低了相应的分类阈值，但仍未检测出该角度下的绝缘子。该测试结果对于之后的无人机飞行拍摄控制具有重要意义，由上例可知，无人机应采取能获取绝缘子侧面图像的飞行方式和路线，以提高绝缘子检测的精确率和召回率。

4 分辨率较低视频数据的应用

在商业运营中，使用普通商用无人机具有很大的优势，因为其价格相对低廉，可大量购买和装配。本项目采用的型号为DJI Mavic的多旋翼无人机就是此类商用无人机。该机装配了内置4K高清摄像机。由于无法拍摄具有足够精度的图像（与上述第1种专用无人机相比），因此研究人员考虑将其拍摄的视频数据用于进一步评估。在理想状态下，让无人机沿着线路贴近绝缘子飞行并拍摄视频，对于在较长的线路区段中检测绝缘子是有利的。但视频数据的主要缺点是图像分辨率较低（相比专业摄像机），且采用有损数据压缩。因此，研究人员需要从以下2方面进行研究：①视频中的多张图像能否组合到一起，形成分辨率更高的整體图像;②此方式计算出的图像能否显示结构的更多细节。为此，研究人员采用了超分辨率图像重建（Super-Resolution）方法，即从一系列有噪声、模糊、欠采样、分辨率低的子像素级别图像序列中恢复出一张高分辨率图像的方法（图5）。为此，必须精确确定子像素级别图像的重要特征。

为评估实际的分辨率增益，研究人员用DJI Mavic无人机拍摄了西门子星的视频，并从该视频的连续16 张图像中计算出一张4倍分辨率的图像（图6）。由图 可知，采用这种方法能够提高图像分辨率，但也会在图像中产生伪像（如图6b底部绿色椭圆框内）。产生伪像的原因可能是对原始图像数据进行压缩时导致信息的丢失。总体而言，这项技术的优点大于缺点。当前，研究人员正在研究进一步减少伪像并提高最终图像分辨率的方法。

5 已识别元件的自动地理配准

为实现对接触网元件的自动精确定位，研究人员对已识别元件进行自动地理配准。为此，他们利用无人机从不同角度拍摄元件的图像和视频资料，并借助摄影测量技术，获得各拍摄位置的精确相对定位，实现对元件3D位置的三角测量;利用卫星导航系统为各个图像自动分配高精度的位置数据，卫星导航系统的绝对位置误差约为0.5～1 m;还通过AI系统自动将各个元件经过地理配准的图像数据与数据库中的相应数据进行对比，从而实现对元件的自动定位和检测。

6 结语

在SMARAGD项目中，研究人员控制无人机沿着许多线路进行试验飞行，获取了大量接触网元件相关的图像和视频资料，并且采用AI技术对这些资料进行分析处理，以期实现对接触网元件的自动识别、定位和监控。试验结果证明：①图像自动化处理方法具有可行性，可以从20 m远处识别绝缘子，并检测其状态;②在良好条件下，还可以使用来自商用多旋翼无人机的视频数据代替专业摄像机拍摄的高分辨率图像数据，这证明了价格相对低廉的商用无人机在实际运营条件下的可用性，可降低基础设施的维护检修成本。

参考文献

[1]Franz Andert， Nils Kornfeld， Florian Nikodem， et al. Zustandsüberwachung von Bahnoberleitungen mit Kameradrohen[J]. Der Eisenbahn Ingenieur，2020（5）：10-14.

苏靖棋 编译

收稿日期 2020-07-17