河湖“清四乱”调查中无人机影像的快速分类研究

李丰翔 赵 岩

（山东省国土测绘院，山东 济南 250013）

无人机采集影像具有机动灵活、便捷高效的特点，能够在河湖调查中及时准确地发现问题，极大地节省人力、物力，有效地提升外业巡查和执法效率，且附带地理定位信息的视频、照片收集功能，为后续处理与分析工作提供便利，广泛应用于地理信息数据获取、灾情预报、实时监测等多个方面[1-2]。随着水利部推进河湖“清四乱”专项行动，无人机获取正射影像具有数据获取周期短、可量算及定位、影像分辨率高、地面信息丰富、易于读取、问题全覆盖等优势[3]。

同一工作日内，应用无人机进行多区域、复杂地形等的侵占破坏河湖问题调查时，结合自动飞行和手动飞行模式，存在作业范围广、影像数据量大且散乱、后期分类工作较烦琐等问题，不利于工作的自动化、智能化。因此，寻找合适、快速的无人机影像数据分类方法具有良好的应用价值。

1 基于无人机的河湖“清四乱”调查

1.1 作业流程

河湖长制是水利发展改革的总基调和城市智慧管理的关键点。基于无人机的“清四乱”调查需要获取高分辨率、强现势性的正射或倾斜影像数据，与前期设计方案、历史数据等进行对比分析，全面掌控建成河湖建设地理及生态情况，为相关智能决策提供重要数据支撑。

作业时，其流程包括明确调查范围及作业顺序；根据调查区域及周边高大树木、建筑物、高压线、电力塔等确定无人机的飞行高度；选用空旷地区作为无人机起降点，连接设备并依据实际需求设置无人机航摄的速度、航向及旁向重叠等参数，科学合理规划航线；将航飞计划上传平台，按照设计飞行；更换测区，对其他待调区域进行航飞；利用Pix4Dmapper、大疆智图、Context Capture等进行内业数据处理，完成影像成果的生产。

1.2 设备概况

大疆公司生产的精灵PHANTOM 4 RTK设备是一款小型多旋翼高精度航测无人机，主要用于低空摄影测量，具备厘米级导航定位系统和高性能成像系统，支持实时RTK、PPK数据并记录精确位置及姿态。无人机飞行高度为182 m时，地面采样距离GSD约为5 cm/pixel，单次飞行最大作业面积约1 km2，能够很好地应用于“清四乱”调查。针对该设备的数据展开研究，对其他无人机的数据处理具有一定参考意义。

2 系统设计及技术实现

2.1 系统设计

依据获取影像时的三类时间信息（访问时间、创建时间、修改时间）及内嵌的坐标信息（经纬度及高程），分析无人机影像数据的分类问题。设计时，系统应遍历用户指定文件夹下的全部文件，并获取每个文件的详尽信息，包括绝对路径、文件名、访问时间、创建时间、修改时间、纬度、经度、高程、文件大小。系统应提供基于时间信息和基于坐标信息的两大分类工具。其中，基于时间信息的分类应支持3种类型时间及任意的文件排序；基于坐标信息的分类应支持全自动或半自动的分类方式，考虑实际作业的复杂性，选用K-means聚类方法。

系统应以图形实时显示分类结果。为了顾及完整性及用户的交互式体验，系统还应当具备任意影像和多张影像的显示功能，更加全面地进行人工分析编辑。系统应支持分类结果的导出及相关操作的必要提醒功能。

无人机影像快速分类系统结构如图1所示。

图1 无人机影像快速分类系统结构

2.2 开发平台选择

考虑系统的可移植及可扩展性，选用可视化软件QT Designer设计系统界面，采用python编程语言，在PyCharm环境下进行系统的开发及编译。

2.3 关键技术及实现

（1）文件时间信息获取。

利用os.path模块获取文件的三类时间信息，通过os.path.getatime、os.path.getctime、os.path.getmtime函数获取访问时间、创建时间及修改时间；利用time.localtime将其转换为结构类的time.struct_time类型对象，便于后期组织自定义的由年、月、日、时、分、秒构成的时间字段，20211120091536代表2021年11月20日9时15分36秒。固定长度的字符可以为系统文件的准确排序提供依据和保证，利于时间差值的计算。

（2）文件坐标信息获取。

无人机获取的影像数据包含设备同时写入的影像瞬时位置信息，用户可以在笔记本上右击查看。单张的位置信息不具备参考价值，采用程序批量逐个提取全部影像的坐标信息，利用空间聚类法实现影像文件分类。影像的坐标信息主要由Exif（Exchangeable image file format，可交换图像文件格式）保存，利用exifread.process_file函数读取文件的Exif信息并将其存储至数据字典中，分别提取对应纬度、经度、高程3个字段“GPS GPSLatitude”“GPS GPSLongitude”及“GPS GPSAltitude”的值，获取影像的位置信息。影像的位置信息为空时，将其对应值设为[0，0，0]。

（3）K-means聚类及实现。

聚类分析计算方法包括层次法、密度法、图论聚类法、网格算法、模型算法以及划分法等。K-means算法是应用最广泛的划分聚类算法之一，是一种典型的逐点修改迭代的动态聚类无监督算法。其中，K代表类别的个数[4]。K-means算法采用距离作为相似性的评价指标，两个对象的距离越近，其相似度越大。K-means算法认为类簇由距离相近的对象组成，将得到紧凑且独立的簇作为最终目标。给定样本集D={x1，x2，…，xm}，K-means算法针对聚类所得到的簇为C={C1，C2，…，CK}，划分最小化平方误差：

E值越小表示数据集样本中相似度越高。

K-means算法流程如图2所示。

图2 K-means算法流程

系统主要利用sklearn.cluster中的Kmeans函数实现影像坐标点分类，类别的个数K值由用户依据调查的地点个数设定。

（4）分析结果显示。

分析结果显示主要涉及两部分内容，分别为目录下的任意影像数据和影像坐标信息及分类预览。在QT Designer中，利用graphicsView控件调用OpenCV计算机视觉库cv2进行影像数据显示；利用数据可视化软件包Matplotlib实现影像坐标信息的相关显示。

（5）分析报告导出。

系统分析报告主要服务用户的浏览及下一步作为参数文件用于影像数据的移动整理。分类形成的figure图像在显示时可以直接保存为.jpg或.pdf等格式；文件名称、时间信息、坐标信息、分类类别等信息分别利用file.write或xlwt模块输出。

（6）文件移动整理。

分类形成的分类参数文件支持.txt和.xls格式，描述每张影像的绝对路径和分类类别，可以便捷地进行指定类别的文件整理（移动或剪切），利用shutil库中的copy和move函数完成文件的复制或移动。处理时，系统利用可访问操作系统相关功能的模块os，利用os.path.exists函数提前判断目标文件夹中是否存在目标文件，避免因数据覆盖造成数据丢失。

3 开发与测试

3.1 系统主界面

系统运行主界面如图3所示。

图3 系统运行主界面

菜单栏集成系统的全部功能，可以自由控制各个视图及工具栏的可见性；工具栏将常用功能以图标的形式展示，便于用户操作；数据显示窗口主要显示指定目录下的文件，如2.1节中设计的信息，包括表征序号的ID列、动态更新的时间差值Gap-time列、依据时间的分类标识flagByTime列、依据坐标的分类标识flagByCoord列，针对任一选中文件，用户可以在资源管理器或设计视图中进行浏览；数据显示窗的右侧为Dock类的视图显示窗，支持用户的任意移动；主要功能区通过有序的命令按钮进行系统操作；日志窗口实时地记录用户的每一次操作及一些必要的提醒，用户可以按需随时导出系统日志，避免一些潜在风险或用于规范化数据处理工作。

3.2 系统分类工具

指定目录后，系统将自动提取全部影像数据的信息并在数据显示区进行展示。用户可以使用“智能分析”按钮进行影像分类操作。系统支持基于时间及基于坐标的两种分类方法。其中，基于时间信息的分类将直接更新数据显示窗中的Gap-time列和flagByTime列；基于坐标信息的分类将更新flagByCoord列，以新视图的方式显示分类结果等信息，供用户决策。

基于坐标信息分类的部分图示如图4所示。

图4 基于坐标信息分类的部分图示

3.3 运行测试

依托实际项目对系统进行测试。结果表明，在数据提取方面，系统能够完整遍历指定目录下的全部文件，对各文件的三类时间信息以及坐标信息进行正确提取；在数据分析方面，基于时间信息以及基于坐标信息的分类功能运行良好，基于坐标信息的分类中，K-means算法表现稳定，通过用户预先设定K值的方式能够完全满足实际需求；在数据显示方面，设计的视图及日志显示窗口具有较强的实用性，分类时用于浏览的各图示仅停留在“查看”层面，更深层的交互编辑功能不足，限制人工选点分类。

4 结语

河湖长制过程中，利用无人机进行河湖“清四乱”调查持续发挥关键作用，其影像数据的快速、自动化分类具有重要性。依据访问、创建及修改的三类时间信息在时序数据文件的区分时是最基本、最重要的技术方法之一，河湖“清四乱”调查过程中的无人机影像数据具备的地理位置信息对于在空间上将影像进行分类具有参考价值。本文结合时间信息及坐标信息，对河湖调查无人机影像数据的分类进行深入研究，开发具有针对性的无人机影像快速分类系统，经实际项目测试验证，该方法及系统具有可行性、实用性及科学性。此外，尝试将该系统应用在城市车载全景移动测量中的影像丢漏片查找中，发现其具有一定的实用价值，后期将进一步展开研究。