基于影像增强技术的深度卷积网络模型在无人机航道巡查中的应用

■李鹏勋 陈智文

（福建省港航勘察科技有限公司，福州 350009）

福建省沿海主要港口是我国综合运输体系的重要枢纽和对台“三通”主要口岸，其中福州港航道地域跨度大，地形复杂，自然条件不尽相同，为了保障航道的畅通和安全，往往需要进行大量的巡检维护作业，然而这些作业面临着“点多、线长、面广”的问题，导致维护作业需要投入大量的人力、物力和财力。 而传统的巡逻艇航道巡检方式存在视程短、反应慢、无法把握整体态势、作业效率低下等弊端。利用无人机实现航道日常巡检已成为改变传统人工巡查作业方式、 提升航道巡查养护的创新模式。但常规的无人机巡航容易存在大量时空信息冗余，而这些信息通常采用人工辨识和筛选，不仅耗费大量的人力资源，而且容易出错。 特别是较大范围或复杂环境的航道，人眼对目标物和目标位置的识别误差较多，更易忽略重要信息，导致无法精确识别非正常障碍物。

如何实现无人机智能化高效巡航，实时获取航道状况重要信息，是当前的一个重要研究课题。 国内专家学者对无人机影像信息的获取、目标的识别跟踪与定位等相关方向做了大量研究。 王志强等[1]提出了一种全局图像配准的目标快速定位方法，通过对航摄影像进行小波分解，结合SIFT 检测子和角点进行特征描述，利用RANSAC 和最小二乘法优化单应性矩阵，实现图像匹配并获取定位点经纬坐标；该方法定位精度高，但实时性有待提高。 吴迪军等[2]提出了基于无人机高重叠度航摄影像的前方交会测图技术，引入最小二乘估计，提高了交会精度，但计算量大且需要较多交会航片。 李忠美等[3]提出多像空间前方交会的抗差总体最小二乘估计方法，通过建立目标点到多条同名射线距离的加权平方和作为目标函数，提高了交会精度及稳健性能，但对于无人机航片关联性未深入探讨。 由于福州港航道环境复杂，航道周边异物形态各异，无人机巡查产生的影像信息量大且数据利用率低，处理这些数据需要高效率、高精度的算法支撑，传统的图像处理技术未能满足这些需求。 为解决这些问题，本研究通过先进的无人机航拍影像处理方法结合深度卷积网络建立航道目标物识别模型， 以期实现高效、精确的航道巡查目标。

1 工程应用及实施方案

现有的福州港由原福州港和宁德港整合而来，南起兴化湾北岸，北至沙埕湾，东至平潭岛，福州港已形成“一港八区一港点”的总体发展格局，福州市域港口分为闽江口内、江阴、松下、罗源湾和平潭5 个港区，宁德市域港口分为三都澳、白马、沙埕3 个港区及三沙港点。 福州港全港（包括福州、宁德、平潭）拥有大陆海岸线1966 km，占福建省大陆海岸线（3752 km）的52.4%，沿江、沿海岸线长达2628 km，是省内岸线资源最丰富的地区。

本研究依托福州港无人机航道巡查项目，针对福州港航道特点、管理难点、巡检痛点，采用理论研究、数据模型建立及测试验证的方式开展研究工作，具体实施方案如下：（1）通过无人机拍摄航道正射影像，获得航道周遭环境和航道入侵物；再通过图像正射处理技术对图像进行矫正，这些图像将作为识别模型训练的数据来源；（2）通过无人机瞬时航飞速度的关键帧提取方法，根据无人机飞行高度、飞行速度、像元尺寸、相机焦距等参数来动态计算抽取关键帧的时间间隔，提取关键帧影像；（3）根据关键帧影像的实际情况，对其进行自适应中值滤波、图像亮度增强、去除噪声及恢复图像颜色等基本图像处理；（4）基于LBP（局部二值特征法）增强图像清晰度和纹理特征，再通过小波变换提取图像特征，将其作为深度卷积神经网络的输入；（5）利用深度卷积网络-YOLOv5 对处理后的图像进行特征提取和分类以确定每个像素点是否属于识别模型库中的目标物，以实现航道目标物识别；（6）通过精确率（Precision）、召回率（Recall）、平均精度均值（mAP）及每秒传输帧数（FPS）指标对模型的识别效果进行评估分析。

2 关键技术

2.1 基于YOLOv5 深度卷积网络的目标识别模型

YOLOv5 是一种深度卷积网络， 具有轻量化和高度灵活性的特点， 采用基于特征的识别方式，通过多尺度特征融合来实现对不同大小目标的识别；其在速度和准确性之间取得了很好的平衡，能够在实时情况下对目标进行精确识别，是航道巡查应用领域的理想选择。 该网络结构由Backbone（主干网络），Neck（颈部网络）和head（头部网络）3 部分组成，如图1 所示。

图1 YOLOv5 网络结构图

主干网络（Backbone）：负责对输入图像进行特征提取，能够在不同图像细粒度上聚合并形成图像特征。Backbone 中的Foucs 模块是YOLOv5 算法的特有模块，该模块采用了一种称为“focus”的新型卷积操作，通过图像切片的方式对图像进行下采样操作，并在尽可能减少信息丢失的情况下，提高计算效率和检测性能，以达到减少计算量和内存消耗的目的。 从无人机航道巡查的实用角度来看，由于巡查过程中所采集的视频影像每秒包含多达24 帧的连续图像，存在大量的冗余数据，极大地影响了目标的识别效率。Focus 模块能够有效降低计算成本，在最大限度地保留更多空间信息的同时，减少FLOPs 提升处理速度，能够有效提高航道巡查效率和时效性。

颈部网络（Neck）：是YOLOv5 算法的核心组件之一，其主要作用是特征融合和信息传递。 在无人机航道巡查中往往面临多种复杂的场景，如光照变化、重叠遮挡、运动模糊等。 这些因素可能导致传统方法的识别准确率下降。 而Neck 网络可以通过引入多尺度信息、增强模型的泛化能力，提高模型在不同场景下的识别性能。 一方面，Neck 网络可以融合不同尺度的特征图，增强对小目标（航标、灯桩、岸标等）及大目标（养殖区、桥梁、水葫芦等）的检测能力。 另一方面，Neck 网络可以在特征图之间进行信息传递，这有助于模型更好地理解目标的上下文信息。 在航道巡查中，船只、桥梁等物体可能会产生大面积的阴影或遮挡，会导致目标被错误地检测为背景或无法检测。Neck 网络可以通过多尺度信息学习物体之间的遮挡关系来预测被遮挡物体的位置和形状， 以增强对这些遮挡和背景物体的鲁棒性，从而提高目标检测的准确性和泛用性。

头部网络（Head）：是目标检测模块的最后一层，负责将卷积层和池化层提取的特征图转化为具有空间坐标信息的物体边界框以及对应的类别概率，可以实现高精度的目标识别和多类别目标分类。 这可以有效提高航道巡查的精度，减少误判和漏检的情况。 同时，由于加入了全局平均池化层，降低了计算复杂度和过拟合风险，增加了对图像中物体位置和尺度的鲁棒性，以此提高航道巡查的时效性。

2.2 图像特征增强处理技术

由于福州港航道水域地形复杂多变、识别要素众多，影响识别模型提取目标特征的效果，导致模型难以准确、快速地提取出所需的目标特征信息。 为了解决该难点，本研究采用以下图像增强处理技术来提高目标特征提取的精度和速度，实现步骤如下。

（1）动态提取关键帧影像

通过对无人机采集的视频影像信息进行预处理，提取视频影像中无人机瞬时飞行速度、飞行航高等信息，再基于图像像素精度、无人机飞行瞬时速度及识别精度等相关信息进行加权化处理并结合相机参数进行计算，获得抽取关键帧所需的动态间隔，进而对关键帧时间间隔进行加权和阈值约束处理，提取出关键帧的动态时差，最终获取关键帧影像信息。

（2）图像正射处理

通过对提取的关键帧影像进行正射投影图像校正，以消除相机倾斜摄影造成的水面区域像元空间分辨率不同的问题。 根据单目视觉原理，在已知相机内参数矩阵K 和外参数矩阵（旋转矩阵R，平移矩阵T） 以齐次坐标的形式定义空间点为Pw（X，Y，Z，1），其在像平面成像点坐标为P（x，y，1），则可知单相机的投影方程为：

其中，k 为比例系数，K 和R 为3×3 矩阵，T 为3×1 矩阵，该方程可进一步展开为

其中，m 是由相机内外参数矩阵相乘后的系数。同时，定义正射投影网格的函数为Z= f（X， Y），由联立式（2）知：

由此，像素坐标（x，y） 转换为实际的世界坐标（X，Y，Z），根据所有像素点对应的（X，Y）及其RGB值，可以插值出正射投影图像I（x， y），图像尺寸由用户预定义的图像横纵轴空间分辨率λx和λy（pixels/m）决定。 正射处理效果图如图2～3 所示。

图2 航道原始图像

图3 正射投影校正后图像

（3）通过LBP 和小波变换提取图像特征

本文基于LBP 算法增强无人机航拍影像的清晰度和纹理特征，通过小波变换提取图像特征，实现方法如下：①通过LBP 算子对每个像素点，根据其邻居的像素点分类结果计算出该点的特征向量。 通过SIFT 特征点选择法从之前提取的LBP 特征图中选择一些具有较高区分度的关键点作为目标物的特征点。 再使用FLANN 匹配算法对这些关键点进行匹配，以确定它们之间的相似性关系，FLANN 算法的核心是使用欧式距离来寻找与实例点最邻近的点，匹配成功的关键点可以用于后续的目标物识别任务，欧式距离的定义如式（4）所示：

式中D 值越小就代表这些特征点间的距离越近，即相似度越高。

②通过Daubechies 小波函数将图像从低到高逐层进行小波变换，得到每个层次的近似系数和细节系数。 这些系数包含了图像的不同特征信息，如边缘、角点、纹理等。 通过分析和筛选这些系数，得到最具有代表性的特征向量，再将提取的图像特征向量转换为适合深度学习模型的输入格式，用于后续的深度学习模型训练和识别。

3 试验结果及分析

根据福州港航道分布设置无人机飞行轨迹，使用大疆M300RTK 无人机对该航道进行巡航拍摄，针对航道内的通航基础设施如浮标、灯桩、岸标及影响航道通航、生态环境的常见河道异物（违规排污口和水葫芦）共计5 类目标进行采样。 累计采集超4000 张图像，最终筛选出705 张特征明显的目标图像作为样本训练识别模型，测试环境配置见表1。

表1 测试环境配置

3.1 识别模型评价指标

在目标识别领域中，算法性能的评估通常依赖于一系列用于衡量其特性、效率和精度的指标。 这些指标不仅定性描述了算法的性能，还可以通过数据、公式和图像等手段进行定量表达。 为了验证目标识别模型的识别精度和效率， 本研究将精确率（Precision）、召回率（Recall）、平均精度均值（mAP）及每秒传输帧数（FPS）作为识别模型的评估指标。

3.2 识别效果分析

本研究通过提取灯桩、水葫芦、排污口、岸标和浮标这5 类目标样本的识别精确率、 召回率、FPS和mAP 指标进行对比分析以验证图像增强处理技术对识别模型的优化效果，分析结果如下：（1）通过对比这5 类目标样本的识别精确度和召回率得出，经过图像增强处理的识别模型相对于未处理的模型在识别精确度和召回率上都有所提高。 这意味着处理后的模型能更准确地检测到目标样本特征，能有效减少目标误检率和漏检率。 （2）FPS 是衡量模型时效性的重要指标，从表2 中可以看出经过图像增强处理后的识别模型FPS 值也得到了提高，能够更快地检测到目标样本。 这表明对于实际应用中需要快速响应的目标识别任务，经过图像增强的模型能够更好地满足其需求。 （3）mAP 是评估模型泛化性能的重要指标，由表2 可知经过图像增强的模型，其mAP 值得到了进一步的提高， 对于各种尺度和形状的识别目标样本具有更强的泛化能力。 这代表处理后的模型在面对实际应用中的复杂环境和多种目标类型时，具有更好的泛化性和稳定性。 综上所述， 通过对比分析各类目标样本的识别指标，证实了图像增强处理技术对目标识别模型的优化效果，经过图像增强处理后的识别模型，其各项精度指标均有明显提升，具体比对结果见表2。

表2 图像增强前后5 类目标物的识别效果对比

为了验证经图像增强处理后模型对航道目标物的识别效果，对无人机拍摄的超过4000 张航道影像进行对比分析，旨在全面评估优化后的模型性能，以便更好地了解图像增强处理对目标识别的改进效果，图4～8 为部分识别效果对比图。

图4 灯桩识别效果对比

图5 水葫芦识别效果对比

图6 排污口识别效果对比

图7 岸标识别效果对比

图8 浮标识别效果对比

4 结论

本研究利用无人机获取福州港航道影像，基于YOLOv5 搭建航道目标识别模型， 通过图像增强技术对无人机图像进行预处理，提升了模型的识别精度与效率，得出结论如下：（1）研究利用YOLOv5 构建了航道目标识别模型，该模型经过大量航道影像的训练和学习， 已具备较强的目标识别和分类能力；（2）为了进一步提高模型的识别效果，采用图像增强技术对无人机图像进行预处理并对比分析了优化效果，结果显示经过图像增强处理后的模型不仅提高了目标物的识别精度，还提升了识别速度；（3）研究结果表明通过应用图像增强处理技术的YOLOv5 模型，可以有效识别航道内的5 类目标物。这不仅丰富了航道目标物识别的理论和方法，也为实际应用提供了重要的技术支持和参考。