基于Agisoft Metashape图像拼接的无人机环境热像监测应用研究

徐 旭，康 青，陈善静，王正刚，茅 雷

基于Agisoft Metashape图像拼接的无人机环境热像监测应用研究

徐 旭1,2，康 青1，陈善静1，王正刚1，茅 雷1

（1. 陆军勤务学院，重庆 401311，2. 中国人民解放军93055部队，沈阳 110020）

为实现大面积区域的环境热像监测，本文以重庆某高校训练场为例，研究了一种无人机区域环境热像监测技术。通过无人机采集环境热像，使用Agisoft Metashape软件进行无人机热红外影像拼接处理，并利用处理后的热红外影像进行环境热像监测与目标分析。研究表明，利用该技术可实现区域热红外影像的快速处理，并且处理成果可以为环境热像监测与目标热像分析提供有效参考与基础资料。

Agisoft Metashape；影像拼接；环境监测；热像分析

0 引言

随着红外遥感、图像处理和计算机技术的发展，红外热像仪以其全天时的工作能力以及对热辐射敏感的优势[1]，被广泛应用到森林防火、污染检测、环境安全等领域[2]，但目前受热成像结构和成像原理的影响，热像仪存在拍摄视角范围不大，其分辨率比可见光成像系统低等问题。在被测目标相对较大的情况下，需要在远距离对目标进行拍摄采样，导致目标的细节信息丢失[3]，对实现大面积的热像环境监测与勘察造成了不利影响，因而需要运用热红外图像拼接技术进行影像处理以获取较广阔的视场。

常用的航拍处理软件有俄罗斯的Agisoft Metashape、瑞士的Pix4d、荷兰的PTGUI以及中国的大疆智图。其中Agisoft Metashape在影像自动拼接、正射影像图（Digital Orthophoto Map）、三维地表模型（Digital Surface Model）生成等方面有着强大功能，并且在国内外不同领域有着广泛的工程实际应用与研究成果。Jebur Ahmed[4]等评估了其三维建模处理的数据准确性，Barbasiewicz A[5]等比较了该软件与瑞士的Pix4d两款软件在数据处理上的准确性，以实现精准建模。代婷婷[6]利用该软件进行影像拼接处理，并结合ArcGIS和ENVI等软件进行空间信息量化分析，为大尺度风景园林规划设计提供前期分析资料。李秀全[7]等将Agisoft Metashape拼接技术应用到新农村规划当中，为新农村用地规划的前期测量提供了便利。以上研究成果主要是基于Agisoft Metashape软件在可见光影像拼接以及三维建模生成的应用，但对于其在热红外图像处理方面的研究、效果分析以及拼接成果应用，目前仍有待进一步研究。

基于以上问题，本文选取重庆某高校的综合训练场作为试验区域，通过无人机平台采集该区域的热红外影像，并使用Agisoft Metashape软件对区域热红外影像进行拼接试验，对影像拼接的操作步骤进行优化，以实现目标环境区域内全景热红外影像的快速拼接。并利用该区域的可见光航拍影像与热红外影像进行比对，分析该区域不同对象在夜间的热像特征，为环境监测与分析提供参考。

1 基于Agisoft Metashape的热红外影像处理概述

自然界中一切温度高于绝对零度（－273℃）的物体，都辐射出载有物体特征信息的红外线，利用探测器测定目标本身和背景之间的红外辐射差，可以得到热红外图像[8]。在红外图像的采集过程中，图像信号的获取和传输要受到设备元件、外界环境等各因素的影响[9]，使得红外图像相比于可见光照片具有对比度低、分辨率低[10]、亮度低、信噪比低、目标物体纹理和边缘表现较差等缺陷[11]。

基于以上特征，热红外影像在拼接处理过程中对于软件的图像识别能力与处理能力有着较高的要求。Agisoft Metashape软件（原Agisoft Photoscan软件在1.5.0版本之后，改名为Agisoft Metashape）是俄罗斯Agisoft公司研发的一款基于影像自动生成高质量三维模型的优秀软件，它根据最新的多视图三维重建技术，可对具有一定重叠率的数码相片进行处理[12]。相比于其他同类软件，Agisoft Metashape软件在影像处理过程中，对图像的特征识别能力更强，对于低质量影像及错误数据的修正处理功能更为智能、强大，无论是具有位置信息的航拍影像还是普通高分辨率数码相机拍摄的影像均可对其进行正射影像的拼接处理与三维模型的重建。因此在热红外影像拼接方面，Agisoft Metashap能够与热红外影像的特点相适应，具有操作简洁、过程高效、效果精细的优点。

2 无人机影像数据采集

2.1 某试验区域概况

本次试验区域选取某高校的综合训练场，区域内设置有人工湖景观、文化广场以及多种科目的技能训练场等设施，生态环境优美，野生动植物种类繁多，是户外课程教学实践、师生课后休闲的主要场所。目前该训练场正在建设过程中，施工单位仍在该区域作业及生活，同时由于校园封闭性差、灯光道路设施尚未建成，周边居民以及场内施工人员成分复杂，导致该区域夜间偷猎、捕鱼、倾倒垃圾污水的现象时常发生，对环境安全造成了严重威胁，因而具备环境监测与研究的实际意义。

2.2 热像监测设备

无人机UAV（Unmanned Aerial Vehicle）是一种机上无人驾驶的航空器，具有动力装置和导航模块，在一定范围内靠无线电遥控设备或计算机预编程序自主控制飞行[13]。近年来，随着我国无人机技术研究及无人机产业化高度发展，使得无人机的功能逐步丰富、性能不断提高、成本更低，已被广泛应用到各行业。

本次研究通过大疆M600pro行业级多旋翼无人机搭载禅思XT2云台相机进行影像采集（图1）。多旋翼无人机具有定点悬停、垂直起降、超低空飞行以及贴近建（构）筑物等地表物体绕飞的飞行能力[14]，在此基础上大疆M600pro具备多种功能接口，可搭载不同的航拍镜头及功能模块，支持通过大疆PRO飞行控制软件可进行区域航线规划与自动航拍，推荐最大起飞重量15.5kg，允许飞行高度500m，最大可承受风速8m/s，满足《低空数字航摄与数据处理规范》（GB/T 39612-2020）[15]对于航空拍摄设备的要求。禅思XT2是由大疆与美国FLIR公司联合打造的一款热成像与4K可见光传感器结合的双光热成像相机，由非制冷氧化钒微测热辐射热成像相机与可见光相机组成（技术参数见表1），支持可见光和热红外影像的同步获取，照片包含坐标、海拔等位置信息以及温度信息，便于影像处理与分析。

图1 搭载XT2热成像镜头的M600无人机

2.3 无人机航拍参数设定与影像采集

本次研究区域面积约236221m2，影像采集时间为晚间20时，多云天气，气温10℃。通过DJI Pilot软件进行拍摄航线规划设定，总航线长度为8560m，飞行高度350m，飞行速度3.6m/s，GSD（Ground Sampling Distance）分辨率7.42cm/pixel，旁向重叠率70%、航向重叠率80%。设定完成后无人机将按规划航线自动进行航拍，本次影像采集总耗时40min，共拍摄热红外影像273张。

表1 禅思XT2技术参数

3 无人机热红外影像处理步骤

Agisoft Metashape在进行热红外影像拼接处理时，具有操作简单、步骤清晰的特点，其主要操作步骤均集中在操作界面上方选项栏中的工作流程选项内，可按工作流程菜单内的顺序进行图像拼接操作，主要操作包括照片导入、对齐照片、生成网格、生成正射影像、成果导出。

3.1 导入照片

运行Agisoft Metashape，在上方选项栏中的“工作流程”选项下，选择“导入照片”，将筛选后的热红外影像导入后，系统会自动提取影像中的位置信息，显示出影像拍摄时的相机位置及拍摄航线（图2）。

3.2 照片对齐

完成照片导入后，选择“对齐照片”选项，根据研究需要可对图像的拼接精度、配对模式预选以及其他高级选项进行设置。本次研究的拼接精度设置为“高”，配对模式为“通用预选”＋“参考预选”。确认设置后，软件将自动对齐照片，对每张影像进行估算，分析影像中的重叠部分并生成匹配点，建立稀疏点云模型（图3），蓝色正方形代表每张影像的照相机位置。

3.3 网格生成

生成网格是指通过对于密集点云进行计算，程序基于密集点云分布生成多边形网格模型，通过多边形网格模型在各点之间构建出目标的表面。选择“生成网格”选项，对网格的源数据、表面类型以及生成面数进行设置，本次试验源数据选择“疏点云”（即对齐照片后程序生成的稀疏点云），表面类型选择“Arbitrary 3D”，面数选择“高”，确认设置后程序将自动生成网格，处理完毕后在界面将会显示由18121个网格面构建的3D模型（图4），此时热红外影像拼接处理基本完成，该模型即可用于生成拼接后的热红外正射影像。

图2 照片导入后效果

图3 对齐照片后生成的疏点云

Fig.3 Sparse point cloud generated after aligning photos

图4 生成网格后的模型

3.4 区域热红外影像生成与导出

在工作流程中找到“Build Orthomosaic”选项进行正射影像的生成。在设置页面中可以对生成正射影像的投影类型、坐标系、分辨率、区域边界等参数进行设置，设置完成后即可生成热红外影像拼接后的正射影像。在上部“文件”选项中的导出功能中找到“Expoort Orthomosaic”，选择需要的文件格式后即可将影像拼接结果导出（图5）。

3.5 区域可见光影像的生成

热红外影像是反映物体热辐射的图像，因而在确认影像中目标的种类以及实际所处环境情况时，需要借助可见光影像进行对比参考。鉴于目前利用Agisoft Metashape进行可见光影像拼接的研究已较为成熟，且与热红外图像拼接的步骤差异不大，在此不做深入探讨，仅作为该区域环境热像分析参考（图6）。

4 热红外图像优化处理

在利用Agisoft Metashape进行热红外影像处理的研究过程中，暴露出许多常见的技术问题，经过研究与试验，总结出以下优化处理方法。

4.1 影像筛选

通过对多次拼接结果进行分析发现，热红外影像拼接后局部易出现扭曲、失真甚至缺失的现象，其主要原因在于热红外影像的颜色、轮廓特征不明显、加之部分照片的拍摄质量不高、重叠度不足，导致程序计算出现问题。因此在进行拼接处理前，需要对影像进行筛选，剔除在自动拍摄和航线自动飞行过程中因飞行器转向、雾天遮挡、气流干扰等不良因素产生的低质量影像。

根据《低空数字航摄与数据处理规范》[15]对于飞行质量和影像质量的要求，航向重叠度一般应为60%～80%，最小不应小于53%；旁向重叠度一般应为15%～60%，最小不应小于8%。因而在照片选取后，需要对缺少的影像进行补拍，以满足影像之间的重叠度，保证整体拼接质量。可采取在实际航拍参数设置时适当增加重叠度，或采用目标区域边缘向外扩展1～2条航线的方法，确保目标区域在剔除部分低质量影像后仍满足重叠度标准，从而避免重复拍摄。

图5 区域热红外影像处理后效果

图6 某试验区域可见光影像

4.2 照片对齐精度选择

在进行照片对齐步骤中，需要就对齐精度进行设定，处理精度越高，其拼接效果越好，对于计算机的配置要求以及处理时间也随之提高。热红外图像相比于可见光照片的分辨率较低、色彩较为单一、轮廓特征不够显著，需要较高的拼接精度来保证程序对影像特征的准确识别，因此在进行热红外照片的对齐时，应选择中等及以上的精度进行对齐，反之选择低、极低的对齐精度将导致大部分影像不能被识别、疏点云无法生成（图7）。因而在充分考虑计算机硬件配置及拼接处理时间的前提下，在选择对齐精度时应选择高质量选项以保证影像拼接质量。

4.3 处理操作步骤简化

现有许多利用Agisoft Metashape进行可见光正射影像拼接的研究中，除以上技术流程外，还进行了建立密集点云、生成纹理的操作，在完成全部3维模型的构建操作后再生成正射影像，增加了工作量。通过在研究中多次试验比对发现，在对热红外影像进行拼接时，以密集点云作为源数据得到的正射影像与利用稀疏点云为源数据进行生成网格操作得到的正射影像，二者的图像分辨率与局部图像细节并无明显差别（图8），因此在无生成3D模型需求的情况下，采用上文所述技术流程即可满足热红外影像的拼接，并可节省大量的运算处理时间。

图7 疏点云生成失败

5 无人机环境热像监测应用

5.1 环境目标热像监测

根据玻尔兹曼定律：＝4，其中为辐射强度；为物体发射率；为玻尔兹曼常数；为热力学温度，玻尔兹曼定律表明物体温度与热辐射强度呈正相关[16]，热像仪将物体的热辐射转化为温度信息，并以不同的亮度反映到热红外图影像上。因而通过对热红外影像进行分析，可以得到不同目标的热辐射特征。

通过对生成的热红外区域图像进行分析，筛选出热红外图像中显著于周边环境的高亮度目标作为重点监测与分析对象（图9），包括可以从热像图直接识别出的施工单位生活区，以及不易被识别的人工湖岸边热异常区域和训练场南侧的不规则区域热源。

进而结合该区域可见光航拍影像与实地调查目标进行识别与确认，确定人工湖岸边的高热区域为施工单位生产生活污水的违规排放导致，训练场南侧的高热区域则可能是由于附近居民的生活垃圾及场内施工作业的建筑垃圾堆积发酵产生（图10）。

5.2 环境污染物温度分析

在确定污染物堆积处主要位置及类型后，将垃圾堆积区的热红外影像导入FLIR Tools专用软件，对污染物的热辐射及温度特征进行分析。利用FLIR Tools软件，结合可见光图像对垃圾堆积区热红外影像上的树木、碎石土道路、白色垃圾、黑色袋装生活垃圾、废旧金属屋顶以及工程防尘网覆盖处设置多个测温点（图11），并得到各点温度信息（表2）。通过分析各点温度发现，在测温区内，最高温度15.3℃，为黑色袋装生活垃圾产生，且黑色袋装生活垃圾的平均温度最高，由此推断在夜间黑色袋装生活垃圾相比于周边植物、碎石土路、废旧金属等物质具有较高的热辐射。除此之外，被工程防尘网所遮盖的垃圾以及碎石土路，其温度显示显著降低，推断出工程防尘网的遮盖对于物体夜间的热辐射有遮盖作用，降低了目标在热像监测中的显著性。

5.3 测温分辨率与误差分析

试验中采用了大疆XT2热成像相机进行目标的遥感测温，其最小可分辨温差小于0.05K。但对于环境目标的绝对温度测试需要考虑大气衰减的校正，目标表面发射率的修正，地面环境目标热惯性的昼夜温差影响，以及背景红外辐射在目标表面反射因素的剔除等。因此本文仅通过热红外影像的灰度差别以及测量温度，定性测试了环境目标的温度异常，对温度数据的绝对测试分析还需进一步校正与细化研究。

图8 两种源数据的处理结果无明显差异

图9 需要重点关注与监测的显著热目标

图10 污染物堆积处的可见光影像

表2 测温区内各测温点温度信息

6 结论

1）本文以重庆某高校训练场为例，研究了一种无人机环境热像监测技术。首先通过无人机进行环境热像采集，并利用Agisoft Metashape软件进行无人机热红外影像拼接热像处理，最后对处理后的热红外影像进行环境热像监测与目标分析，获取了环境的图像信息与温度异常。

2）基于Agisoft Metashape进行区域热像拼接处理的无人机环境监测技术，具备操作简单，处理速度快，生成图像质量高的特点。显著提高了区域环境热像监测的工作效率，节约了工作量，可以作为常规性环境监测以及环境热像数据采集的一种有效手段。

3）通过环境热像监测分析，可在夜间有效定位包括污水排放与生活垃圾堆积等环境污染物及其他环境目标。

4）通过温度分析软件发现，生活垃圾在夜间的热像特征最为显著，但通过工程防尘网的覆盖，使被遮挡区域污染物无法被环境热像监测定位与识别。本研究为环境热异常监测提供了一种方法手段。

[1] 孙新博, 孙芹芹, 李英成, 等. 无人机红外影像拼接方法研究[J]. 测绘科学, 2021, 46(6): 109-113, 120.

SUN Xinbo, SUN Qinqin, LI Yingcheng, et al. Research on UAV infrared image mosaic method [J].e, 2021, 46(6): 109-113, 120.

[2] 赵国顺. 浅析红外热成像技术的发展与应用[J]. 中国安防, 2016(4): 38-40.

ZHAO Guoshun. Analyze the development and application of infrared thermal imaging technology[J]., 2016(4): 38-40.

[3] 杜静涵. 红外热图像拼接技术的研究与应用[D]. 南京: 南京理工大学, 2017.

DU Jinghan. Research and application of infrared thermal image stitching technology[D]. Nanjing: Nanjing University of Science and Technology, 2017.

[4] Jebur A, Abed F, Mohammed M. Assessing the performance of commercial Agisoft PhotoScan software to deliver reliable data for accurate3D modelling[J]., 2018, 162: 03022.

[5] Barbasiewicz A, Widerski T, Daliga K. The analysis of the accuracy of spatial models using photogrammetric software: Agisoft Photoscan and Pix4D[J]., 2018, 26: 12.

[6] 代婷婷, 马骏, 徐雁南. 基于Agisoft PhotoScan的无人机影像自动拼接在风景园林规划中的应用[J]. 南京林业大学学报: 自然科学版, 2018, 42(4):165-170.

DAI Tingting, MA Jun, XU Yannan. Application of UAV image automatic stitching based on Agisoft PhotoScan in landscape architecture planning[J].: Natural Science Edition, 2018, 42(4): 165-170.

[7] 李秀全, 陈竹安, 张立亭. 基于Agisoft PhotoScan的无人机影像快速拼接在新农村规划中的应用[J]. 湖北农业科学, 2016, 55(3): 743-745.

LI Xiuquan, CHEN Zhuan, ZHANG Liting. Application of UAV image rapid stitching based on Agisoft PhotoScan in new rural planning [J]., 2016, 55(3): 743-745.

[8] 马代健. 无人机热红外图像采集系统开发与应用[D]. 杨凌: 西北农林科技大学, 2018.

MA Daijian. Development and Application of UAV Thermal Infrared Image Acquisition System[D]. Yangling: Northwest A & F University, 2018.

[9] 姚俐. 红外全景图像拼接方法的研究[D]. 重庆: 重庆邮电大学, 2020.

YAO Li. Research on Infrared Panoramic Image Stitching Method[D]. Chongqing: Chongqing University of Posts and Telecommunications, 2020.

[10] LIU Jinsong, DAI Shaosheng, GUO Zhongyuan, et al. An improved POCS super-resolution infrared image reconstruction algorithm based on visual mechanism[J]., 2016, 78:92-98

[11] 张晓宇. 基于特征的图像拼接技术研究[D]. 西安: 西安理工大学, 2010.

ZHANG Xiaoyu. Research on Feature-Based Image Mosaic Technology [D]. Xi 'an : Xi 'an Polytechnic University, 2010.

[12] 邵万里. Agisoft PhotoScan在立面测量中的应用[J]. 城市勘测, 2019(2): 74-76.

SHAO Wanli. Application of Agisoft PhotoScan in facade measurement [J]., 2019(2): 74-76.

[13] 李德仁, 李明. 无人机遥感系统的研究进展与应用前景[J]. 武汉大学学报: 信息科学版, 2014, 39(5): 505-513, 540.

LI Deren, LI Ming. Research progress and application prospect of UAV remote sensing system[J].: Information Science Edition, 2014, 39(5) : 505-513,540.

[14] 张继贤, 刘飞, 王坚. 轻小型无人机测绘遥感系统研究进展[J]. 遥感学报, 2021, 25(3): 708-724.

ZHANG Jixian, LIU Fei, WANG Jian. Research progress of light and small UAV surveying and mapping remote sensing system[J]., 2021, 25(3) : 708-724.

[15] 李英成, 薛艳丽, 丁晓波. 低空数字航摄与数据处理规范[S]. GB/T 39612-2020, 2022: 2-4.

LI Yingcheng, XUE Yanli, DING Xiaobo. Low altitude digital aerial photography and data processing specification[S]. GB/T 39612-2020, 2022: 2-4.

[16] 周若冲, 康青, 沈志强, 等. 工程装备停车场热图像特征及防护研究[J]. 重庆建筑, 2019(6): 22-24.

ZHOU Ruochong, KANG Qing, SHEN Zhiqiang, et al. Study on thermal image characteristics and protection of engineering equipment parking lot[J]., 2019(6): 22-24.

Application of UAV Environmental Thermography Monitoring Based on Agisoft Metashape Image Mosaic

XU Xu1,2，KANG Qing1，CHEN Shanjing1，WANG Zhenggang1，MAO Lei1

(1. Army Logistics University, Chongqing 401311, China; 2.93055 Unit, PLA, Shenyang 110020, China)

To realize environmental thermal image monitoring in a large area, this study took a university training field in Chongqing as an example to investigate UAV regional environmental thermal image monitoring technology. First, the UAV was used for environmental thermal image acquisition, and the Agisoft Metashape software was used for UAV thermal infrared mosaic thermal image processing. The processed thermal infrared images were used for environmental thermal image monitoring and target analysis. Experiments showed that the technology can realize fast processing of regional thermal infrared images, and the processing results can provide an effective reference and basic data for environmental thermal image monitoring and target thermal image analysis.

Agisoft Metashape, image stitching, environmental monitoring, thermal image analysis

TN219

A

1001-8891(2023)01-0049-07

2021-12-30；

2022-04-11.

徐旭（1993-），男，辽宁沈阳人，助理工程师，硕士研究生，研究方向为军事建筑安全与技术。E-mail: 526668372@qq.com。

重庆市自然科学基金项目（CSTC2020JCYJ-KSXMX0156）；重庆市教发科学技术研究项目（KJQN201912905）。