基于海陆分割的航拍海岸图像拼接算法

摘 要：海岸无人机航拍图像拼接时存在特征点分布不均引起拼接结果失真扭曲的问题。针对此问题，提出了一种基于海陆分割的海岸无人机航拍图像拼接算法。首先，提出了一种基于U-Net的海陆分割改进算法，解决了特征匹配时难以统一调参的问题。其次，提出了一种基于邻域的外点去除算法，用于去除特征匹配后的误匹配点。最后，在网格变换中充分结合海岸图像的特点，加入了基于海岸线的自然项约束，对图像的扭曲进行限制。与目前主流的图像拼接算法相比，所提算法在视觉效果上消除了传统算法中的重影现象，提高了拼接结果的自然度，并通过定量评价标准的对比分析，验证了所提算法的卓越性能，为海岸线的研究工作提供了可靠的全景图像。

关键词：图像拼接；特征匹配；图像分割；网格变换；无人机；图像配准

中图分类号：TP751.1 文献标识码：A 文章编号：2095-1302（2025）04-0-05

0 引 言

海岸区域作为陆地与海洋的交界处，其提供的宝贵信息在潮滩变化监测[1]及近海船舶检测中具有重要作用。为了获取海岸区域的详细信息，通常使用卫星遥感、无人机航拍采集海岸图像。相比于卫星遥感，无人机拍摄可以捕捉到更多细节[2]。然而，单张航拍图像只能捕捉到有限的海岸视野，因此需要进行图像拼接，以获取广阔视野的高分辨率海岸全景图像。图像拼接过程包括特征提取与匹配、图像配准和图像融合[3]。其中，图像配准是至关重要的一步，如果图像配准无法准确完成，会导致拼接结果出现失真扭曲等问题。

为了能够使图像更好地对齐以提高图像配准的精度，文献[4]提出了尽可能投影（as-Projective-as-Possible， APAP）算法，使用移动直接线性变换（Direct Linear Transformation， DLT）实现尽可能接近透视变换的图像拼接，从而提高图像拼接的逼真度和连续性。文献[5]从特征提取方面入手，通过改进加速稳健特征（Speeded up Robust Feature， SURF），提高特征匹配的速度与精度。文献[6]通过引入光流场来定义图像像素颜色域的能量代价函数，实现图像的无缝拼接。近年来，一些拼接方法更倾向于结合更多的特征联合对单应性进行约束。例如基于点线特征单视角扭曲（Single-Perspective Warps， SPW）[7]以及利用点线一致性（Line-Point Consistency， LPC）[8]来保留宽视差的图像拼接，这些算法利用点线双特征对图像的扭曲加以约束，可以应对大多数传统的图像拼接场景。然而，大多算法在进行图像拼接时，高度依赖于大量均匀分布的特征数据。在特定的海岸场景下，面对海陆特征点分布不均等带来的挑战，上述算法无法出色地完成海岸图像的拼接任务。

针对上述问题，本文提出了一种基于海陆分割的海岸无人机航拍图像拼接算法。考虑到无人机航拍海岸图像中海陆差异大、特征点分布不均匀的问题，在图像预处理过程中提出基于U-Net的海陆分割改进算法[9]，将图像分割成海面与陆地两部分。将分割后的图像分别进行特征匹配，解决了海陆差异带来的特征匹配调参困难的问题。对于特征匹配后出现的误匹配点对问题，提出基于邻域的外点去除算法，通过对该点邻域内匹配点对数量的分析，进一步提高特征匹配的质量。为了提高图像整体的自然度，引入网格变换，并结合海岸场景的特点提出基于海岸线的自然项，有效解决了图像扭曲失真的问题。将所提算法进行实验验证，并通过定量指标对比，证明了本文所提算法的有效性。

1 海岸图像拼接算法

为了准确快速地获取海岸全景图像，本文使用无人机航拍采集低空高分辨率图像，结合海岸场景的特点提出了一种基于海陆分割的海岸图像拼接算法，具体的算法流程如

图1所示。首先，通过基于U-Net的海陆分割改进算法有效将海洋与陆地进行分割。其次，分别对海洋和陆地进行特征匹配。为了进一步精炼匹配结果，提出基于邻域的外点去除算法有效剔除误匹配的特征点。最后，引入网格变换并提出基于海岸线的自然项约束变形，通过计算单应性矩阵将目标图像进行扭曲融合，完成拼接任务。

1.1 基于U-Net的海陆分割改进算法

对于图像的预处理，本文需要对输入图像进行海陆分割。传统算法中有许多关于图像分割的算法，比如分水岭算法[10]和基于K-means的图像分割算法[11]等，然而由于海上场景的多变性，它们并不能在海岸场景下出色地完成分割任务。对此，本文提出了一种基于U-Net的海陆分割算法。

U-Net是最流行的卷积神经网络[12]（Convolutional Neural Networks， CNN）之一。U-Net的网络结构形似一个“U”形，因此得名。本文使用标准的U-Net网络进行训练，并在预测输出后加入了噪点去除模块，用于去除分割后的噪声，便于后续图像配准。基于U-Net的海陆分割改进算法流程如图2所示。

首先，输入图像通过U-Net网络进行图像分割处理，再将得到的分割图像进行边缘检测，找到图像中每一块的边缘。然后进行连通区域分析，通过分析每一个区域的大小判断其是否由噪点引起。最后将噪点区域进行填充得到修复后的结果。

1.2 特征匹配

在完成海陆分割后，将分割图像中的海面与陆地的特征点进行分组，然后对两组特征点分别利用局部单应性矩阵进行特征点初匹配。由于海面部分受到反光等影响会出现误匹配点，因此，本文提出基于邻域的外点去除算法。详细算法过程如下：

（1）对于一组匹配点对{pi， p'i|i=1， 2， ...， n}，遍历所有的点，计算它们与该点的距离，计算如下所示：

（1）

式中：I、I'分别表示目标图像与参考图像，其中p∈I，p'∈I'；dispi， j表示点pi与点pj之间的距离。

（2）每当有一个点满足式（1）时，点pi的邻域匹配点数量加1；

（3）当遍历完所有的点后，判断点pi的邻域中匹配点个数是否小于阈值n，若小于n，则将该点视为错误匹配并删除；

（4）I、I'中所有的匹配点需完成上述流程。

通过上述算法，能够筛选出初匹配的特征点，进一步提升特征匹配的准确性。

1.3 网格变换

为了实现良好的对齐和自然度，本文引入网格变换。在完成特征匹配后，为所有图像构建规则的网格，并将控制顶点索引为1到m，然后将它们的坐标放入一个2m维度的向量中。设I和I'分别表示目标图像和参考图像，对于目标图像中的顶点表示如下：

（2）

网格变形后（如图3所示）对应的m个顶点表示如下：

（3）

图3为网格扭曲变换前后示意图。图3（a）表示原始网格顶点和特征点，图3（b）表示扭曲后的顶点和特征点。对于I中的任意一个点p，都可以使用式（4）的形式表示为双线性插值：

（4）

插值系数wi利用式（5）计算：

（5）

假定系数是固定的，即假设每个网格都经过了仿射变换，那么该假设[7]在经典的全景场景中是合理的。变换后的对应点p*的双线性插值可以用式（6）表示：

（6）

引入网格约束的目的在于可以将所有对于点的约束转化为对于网格顶点的约束。在SPW[7]中，提出了一种基于网格的扭曲，它将对齐、自然度、扭曲等问题视为不同的能量项，然后最小化总能量函数以获得所需的单视角扭曲。本文在此基础上提出了基于海岸线的自然项，针对网格的能量函数公式见式（7）：

（7）

式中：Es（V）代表SPW中的约束项。本文结合海岸场景提出了基于海岸线的自然约束项Ec（V），来保证拼接结果的自然度，见式（8）：

（8）

式中：I、I'为一组待拼接图像；海岸线邻域内的匹配点集为（pj， p'j）Ncj=1，其中pj是目标图像中的特征点，p'j为参考图像中与之对应的特征点，Nc表示海岸线所在网格中的所有匹配点数量。本文对于海岸线邻域的判定为：遍历每个网格，如果某个网格中存在海岸线区域，则将该网格定义为海岸线邻域，并将其中的匹配点添加到海岸线邻域匹配点集中。

通过上述算法流程，能够将待拼接的海岸图像进行精准的特征对齐，保证了图像配准的准确性。利用网格变换将所有的限制条件转化为一个线性求解问题，通过求解最小化E（V）得到目标图像的扭曲结果，最后将扭曲后的目标图像与参考图像进行图像融合得到拼接结果。

2 实验分析

2.1 实验准备

本文的实验环境为Intel i7 2.3 GHz CPU，内存为16 GB，实验数据来源于MOBDrone[13]。从该数据集中视频中筛选出海岸视频，并对视频进行抽帧得到海岸无人机航拍待拼接图像数据集。

本章主要对所提算法与主流图像拼接算法进行测试比较，通过可视化评价和客观指标评价算法优劣。为验证所提算法的效果，本章通过详细的测试实验和对比分析进行了有效性评估。主要在以下两个方面证明了所提算法的有效性：首先，将本文所提的拼接算法与APAP、SPW和LPC[4， 7-8]进行可视化比较；然后，对拼接结果进行定量评估，将本文所提出的拼接算法与同样使用网格扭曲的SPW、LPC算法通过客观评估指标进行比较。

2.2 可视化对比试验

图像拼接在可视化方面的评价至关重要，评价主要基于人眼系统的主观感受，分别从整体和局部细节两个方面对图像拼接后的全景图进行评估。整体的评价能够宏观地展现拼接的整体质量，而局部细节的评价则能够微观地揭示拼接结果存在的瑕疵或不足。一般来说，可以根据以下几点进行评价：首先，判断图像整体是否自然、大小是否正常，有无形变和色彩偏差；其次，观察重叠区域是否具有重影现象，像素过渡区域是否自然；最后，分析图中的形状是否变形，边界是否弯曲等。

本文提出的算法可以对航拍海岸图像进行拼接，为了使实验具有参照对象，在提取特征时均使用尺度不变特征（Scale Invariant Feature Transform， SIFT），设置参数时均将峰值阈值设置为0，边界阈值设置为500，以此保证所有算法提取的初始特征点一致。

图4所示为一组待拼接图像，其中图4（a）为参考图像，图4（b）为目标图像。图像拼接的过程就是将参考图像作为一个模板，将目标图像进行扭曲变换后与参考图像进行对齐配准，最终将扭曲变换后的目标图像与参考图像进行融合，得到最终的拼接结果，拼接结果如图5所示。

图5为不同算法的拼接结果。图5（a）为使用APAP算法的拼接结果，在图中可以看出船有很明显的重影现象，而且在图像的过渡区域部分色彩差距较大，过渡不够平滑。

图5（b）为使用SPW算法的拼接结果，从图中可以看出，船的重影现象没有减弱，且在左下角的区域有明显的向内扭曲，使得拼接结果整体看起来不够自然。图5（c）为使用LPC算法得到的拼接结果，船的重影问题得到了解决，但是在下边界处出现了明显的向外扭曲，使图像边界结构失真。图5（d）为使用本文所提算法得到的拼接结果，通过观察可以看出，由于在图像配准方面进行了优化，使得船的重影现象得到明显改善，并实现了重叠区域的平滑过渡。同时，通过针对基于海岸线自然项对图像的限制，成功解决了边界处的扭曲失真问题。这表明本文所提算法在海岸图像场景下相比其他算法能够更为出色地完成拼接任务。

2.3 定量评估指标

为了进行客观评价，通常使用一些定量的评估指标。对于定量评价标准，本文选择均方根误差（Root Mean Square Error， RMSE）、峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）以及结构相似度（Structural Similarity Index， SSIM）。由于本文引入了网格扭曲，所以与同样引入了网格扭曲的SPW以及LPC进行对比。

RMSE用于计算待评价图像与原始图像之间的差异。对于拼接图像而言，RMSE值越小，表示图像质量越好；PSNR用于衡量图像失真程度，PSNR值越大，代表失真程度越小，即图像质量越好；SSIM是一种衡量两幅图像相似度的指标，用于评估扭曲后的目标图像与参考图像在重叠区域的相似程度。与RMSE和PSNR不同，SSIM是一种感知模型，更符合人眼的直观感受。SSIM的取值范围为0～1，SSIM值越大且越接近1，表示配准变换后的目标图像与参考图像的相似度越高，拼接效果越好。实验结果见表1。

由表1可知，与其他方法相比，使用本文方法得到的拼接图像均方根误差明显降低，因为本文所提算法分别匹配了海面与陆地的特征点，并通过外点去除模块进一步提升了特征匹配的准确性。同时，峰值信噪比与结构相似度都有不同程度的提升，这是因为本文在网格变换中加入了基于海岸线的自然项，能够限制图像不会过度扭曲，使得拼接结果看起来更加自然。

根据主观和客观指标评价，可以看出本文方法的拼接质量较高，提高了拼接后图像的清晰度和融合效果，并很好地解决了扭曲和重影问题。

3 结 语

本文针对海岸图像的特殊性，提出了一种基于海陆分割的图像拼接算法，能够有效地解决由于海陆差异带来的特征点匹配失误的问题。首先，本文使用基于U-Net的海陆分割算法将海面与陆地进行分割并分别进行特征匹配。其次，为了进一步去除误匹配的外点，提出了一种基于邻域的外点去除算法，有效去除了错误的特征匹配点。最后，本文引入基于网格的约束算法，将所有对特征点的限制转化为了对于网格顶点的限制，并且在此基础上提出了基于海岸线的自然项，有效解决了失真扭曲等问题。通过将提出算法与一些先进的算法进行可视化对比能够清晰地看到，不管是在重影去除还是在扭曲、自然度等方面，本文所提算法在海岸图像拼接场景中都优于其他算法。通过定量指标的客观综合评估，证明了本文所提算法在抑制失真与扭曲变换方面均优于其余算法。

注：本文通讯作者为李世宝。

参考文献

[1]裘诚，王岳峰，方略任，等.基于无人机技术的潮滩动态监测研究[J].海洋开发与管理，2022，39（11）：114-120.

[2]理晨，冯磊，暴景阳，等.一种无人机倾斜摄影的海岸线提取方法[J].测绘地理信息，2020，45（5）：165-168.

[3] SZELISKI R. Image alignment and stitching： a tutorial [Z]. 2006.

[4] ZARAGOZA J H， CHIN T J， TRAN Q H， et al. As-Projective-As-Possible image stitching with moving DLT [J]. IEEE transactions on pattern analysis and machine intelligence， 2014： 1285-1298.

[5]夏磊，胡欣宇，岳亚伟，等.基于改进SURF算法的红外图像拼接[J].物联网技术，2020，10（6）：48-51.

[6]覃江颖，明飞雄，李明.一种基于颜色域的低空无人机图像拼接算法[J].地理空间信息，2023，21（10）：1-4.

[7] LIAO T， LI N. Single-Perspective warps in natural image stitching [J]. IEEE transactions on image processing， 2020： 724-735.

[8] JIA Q， LI Z， FAN X， et al. Leveraging line-point consistence to preserve structures for wide parallax image stitching [C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville， TN， USA： IEEE， 2021.

[9] RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation [M]// Lecture Notes in Computer Science，Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015. [S.l.]： [s.n.]， 2015： 234-241.

[10]周文一，李林升，陶怡帆，等.基于Gabor滤波与分水岭算法的锂电池极片缺陷检测方法[J].机械设计与研究，2023，39（5）：147-151.

[11]董志民，乔栋，朱守健，等.蜣螂算法优化k-means在煤矸石图像分割的应用[J].山西焦煤科技，2023，47（12）：23-26.

[12]王瑜佳.基于卷积神经网络的图片风格转换系统[J].物联网技术，2022，12（7）：68-70.

[13] CAFARELLI D， CIAMPI L， VADICAMO L， et al. MOBDrone： a drone video dataset for man overboard rescue [EB/OL]. https： //link.springer.com/chapter/10.1007/978-3-031-06430-2_53/cover.