基于航拍图像的矿石货场智能调度管理系统

孙璐阳 王全秀

近年来，中国经济的不断发展，进出口贸易量日益增长，其中矿石类货物在我国港口外贸进口货物吞吐量中高居首位。矿石码头货场作为矿石卸载、中转的重要基础设施，目前仍依赖于传统的人工管理作业模式，存在着数据采集速度慢、数据误差大、货物跟踪难、场地分配调度难等问题，难以满足货场管理的快速、准确要求，严重影响了货场的运行工作效率。为了解决上述问题，提高矿石货场的工作效率，促进矿石货场的智能化管理，设计开发了基于航拍图像的矿石货场智能调度管理系统。

针对数据采集速度慢的问题，系统采用无人机代替人工巡逻，利用无人机航拍，使数据采集更加智能、快速、精准。针对数据误差大的问题，使用图像识别和三维模型建立的方法使数据量化计算，更加精确。针对货物跟踪难的问题，将矿场全景图在显示设备上显示，实现货物可视化跟踪。针对场地分配调度难的问题，借鉴计算机内存分配算法思想，实现对货场区域的合理分配和调度，从而提高货场的管理效率和使用效率。

一、系统整体架构

整个系统划分为6个模块。分别是图像管理，矿堆检测及标注，模型建立与计算，场地智能分配及调度，数据库设计，用户管理。每个主要模块下面又分别含有子模块。系统结构图如下：

在本系统中，图像采集模块由无人机，高清摄像头，图像存储传输设备构成，无人机在高空飞行，向下拍摄地面图片，同时采集成像时的经纬度高度信息；图像拼接模块利用拼接算法实现图像的拼接，将无人机拍摄的图片拼接成一张货场全景大图；图像存储采用专门设计的文件系统，保存不同用途的图片；矿堆检测模块采用深度学习和图像处理相结合的方法，实现矿石堆的自动标注，同时为防止出错，添加人工辅助标注的功能；计算模块由货场空闲场地区域计算出可存储的矿石重量；调度模块结合物流系统和计算模块，运用科学的方法进行场地分配与货物调度；数据库模块存储矿石货场相关数据，实现数据库的增、删、改、查等功能。

二、系统详细设计

（一）图像管理

本系统运行过程中需要对大量的图片进行处理，图片的用途不一，后序处理过程也不同，为此，系统专门设计了图像管理模块，主要分为图像采集、图像存储和图像拼接三部分。

系统以无人机作为采集图片的主要方式。无人机准备就绪之后即可升空拍照，拍照时保持在同一水平高度，且保存照片的高度和经纬度信息，拍照结束，回收无人机，将照片导入图像存储部分。在采集用于拼接全景图的图片时，无人机按照特定的轨迹进行拍摄，可以降低拼接的难度，提高效率。

系统在资源文件夹下，新建三个文件夹分别存储货场局部图、货场全景图和供深度学习训练的图片。系统运行时，利用文件操作，从相应的文件夹中读取图片。

系统借助对图像的预处理操作和图像拼接的方式来得到矿石货场的全景图。该模块通过对无人机采集的图像集合进行图像的预处理，读取并存取图像的经纬度等信息，获取图像的大小并适当图像的大小。借助opencv中的拼接功能并加以改进来对图像集合进行拼接，得到矿石货场的全景图。

（二）矿堆检测及标注

1.自动检测

自动检测又分为深度学习检测矿石堆模块和OpenCv细节处理模块。本系统基于Tensorflow框架进行深度学习可以较准确的检测到货堆，但是不能得到货堆的准确轮廓，Opencv可以货堆的轮廓精确化，所以系统首先调用深度学习模块，输入为处理之后的矿场航拍图像，输出为带标记的航拍图像，以及检测到的每个货堆的坐标位置（矩形的左上角和右下角顶点）；Opencv模块获取深度学习模块的输出作为自己的输入，在每一个矩形区域内对货堆轮廓缩进精确化，从而得到较为准确的货堆区域。

（1）深度学习检测模块

准备阶段主要包括：矿场图片数据集收集、标准VOC数据集制作、VOC转TFRecord格式、选择预训练模型、模型训练。系统运行阶段主要包括：调用训练好的模型文件、得到货堆的坐标并标注。

本系统选用的是SSD物体检测模型。SSD物体检测模型在预测期间，网络针对每个默认框中的每个存在对象类别生成分数，并且对框进行调整以更好地匹配对象形状，之后，对分数进行非极大值抑制得到最终的预测结果。

（2）Opencv模块

图中蓝色矩形的四角坐标已知，可以得到蓝色的轮廓。再用主动轮廓线算法在蓝色区域内对矿堆进行提取和跟踪，就可以得到红色的矿石堆轮廓。

主动轮廓线模型，又叫做Snake模型。它对噪声和对比度不敏感，能够将矿堆从具有复杂车辙等噪声的地面背景中提取出来。Snake的能量函数分为内部能量函数和外部能量函数，其中内部能量控制轮廓的平滑和连续。外部能量控制着收敛。

Snake模型的能量函数的具体表达式为：

通过求解上式的最小值，使轮廓曲线收敛在图像的最大梯度点，而图像的最大梯度一般在目标的边缘处取得，也即检测出了目标的边缘。

2.手动标注

本作品需要准确标注矿石堆，为了保证标记的准确性，就添加了手动标注模块，自动标注后用户可以进行手动标注来减少误差。