一种无人机动态监测遥感数据快速处理方法

张春晓，文高进，王洪民，尚志鸣

(北京空间机电研究所，北京 100191)

Fast Aerial Image Processing for UAV Dynamic Monitoring

ZHANG Chunxiao，WEN Gaojin，WANG Hongmin，SHANG Zhiming



一种无人机动态监测遥感数据快速处理方法

张春晓，文高进，王洪民，尚志鸣

(北京空间机电研究所，北京 100191)

Fast Aerial Image Processing for UAV Dynamic Monitoring

ZHANG Chunxiao，WEN Gaojin，WANG Hongmin，SHANG Zhiming

摘要：针对无人机遥感平台进行动态监测要求快速检索、快速处理航拍图片的需求特点，提出了一种快速处理策略。通过对下传实时视频的内容理解在航拍图片采集时执行分类标记，并由此进行筛选分类，从而在时间轴上实现了待处理航拍图片的快速索引；通过构建拼接压缩图和原始航拍图的关系，对低分辨率拼接图上的任意区域均可关联到包含该区域的高分辨率原始图片，从而兼顾拼接图概貌展示处理的快速性和原有信息的细节展示性。依据该策略设计了一套低失真、快速地面信息处理流程，解决了海量数据检索盲目性和大数据处理复杂性问题，符合无人机动态监测的应用需求，具有广阔应用前景。

关键词：无人机；动态监测；遥感图像；快速处理

一、引言

无人机作为一种新型遥感平台，具有体积小、重量轻、造价低、适应危险环境、避免机载人员伤亡等优点，在情报、侦察、监视等领域有广泛的应用价值[1-3]。无人机动态监测要求数据显示、存储的快速性和处理的时效性，以支持快速决策和及时响应[4-5]。动态监测数据处理基本可以分成两类：视频信号的实时处理和航拍运动图片的事后处理。视频信号经无线传输至地面基站，进行实时显示，甚至目标跟踪等视频处理；航拍运动图片在飞行任务结束后从存储器中导入工作站，进行常规的拼接、定位等操作[6]。由于航拍运动图片相对视频有更高的地面分辨率，往往包含更多的目标信息，在航空侦察领域应用更为广泛[7-9]。

对航拍运动图片快速处理体现在快速检索和快速处理两个方面，数据存储器读取速度的提升只能有限程度地加快检索，从存储器中读取海量数据、分类筛选有用信息仍是非常耗时的工作。由于数据采集和数据处理两个过程互不相干，采集过程不能为航拍图片的事后处理提供任何检索信息，这种完全隔离的处理模式不利于数据的快速检索；但若在飞行任务执行时完成数据处理，又大大增加了机载数据快速处理的软硬件实现难度，对无人机有限容量也提出了极大挑战。

实现快速处理(如图像拼接)通常采用高性能的服务器集群并行运算，造成了资源的过度浪费[10]。动态监测中的拼接不是为了生成测绘产品，而是提供整个测区的概貌，无须在原始分辨率上进行精细操作，但对于感兴趣的区域却要支持原始分辨率的观察。因此，在降低分辨率加快拼接速度的同时，要保证不损失原有细节信息，从而用较少的计算资源实现态势观察与局部详察的自如切换。

针对上述问题，本文设计了一套无人机动态监测遥感数据快速处理策略，具体包括：在数据采集过程中引入检索信息，以加快数据筛选分类；在拼接过程中构建原始图片和降分辨率拼接图的相互关系，以兼顾数据压缩处理快速性和原有信息的细节展示性。本文第2章介绍用于获取遥感数据的无人机动态监测系统的组成及作业流程，这里以快速拼接为作业目的；第3章阐述快速处理策略的信息处理流程；第4章结合Qt开发平台展示了软件实现界面。

二、系统组成及作业流程

为了在数据采集时引入分类信息，考虑到实时视频和数据采集是同步进行的，可以通过对下传实时视频的内容理解执行分类标记，依据标记信息，在时间轴上索引航拍图片进行筛选分类。因此，在进行动态监视时，同时执行视频采集和航拍图片的拍摄。整个系统组成如图1所示。

图1　无人机动态监测系统组成示意图

图2　工作流程图

无人机动态监测系统主要分为空中和地面两大部分。空中部分由机载调频电台接收地面发送的飞机导航指令和云台角度控制指令，将其传送到相应的控制电路，同时在机载主控电路的管理下，将每帧航拍时的飞机、云台位姿信息通过电台下传至地面；机载主控控制光学遥感器按照指定方式拍照，并导入大容量存储器，而取景器中的视频经实时采集由机载视频发射电台发送至地面。地面部分通过地面调频电台接收无人机、云台的状态信息到飞控计算机，不仅用于实时监视飞机、云台状态，而且也帮助生成分类标记中的部分信息，飞控计算机将飞控指令和手柄对云台的控制指令传至无人机；地面视频接收电台将下传的视频接收并传至显示器，地面操作人员可以观看视频，并对感兴趣的内容作标记，帮助生成分类标记中的另一部分信息；对于每帧航拍图片飞控计算机都记录了一个分类标记信息，包括拍照时刻的飞机、云台状态，以及内容理解信息，当飞行任务结束后，仅通过分类标记信息即可对航拍图片进行快速分类，图像处理工作站依据分类检索出待处理的图片进行拼接等事后处理，并将其中重要的结果通过电台发送至指挥大楼。整个作业流程如图2所示。

三、系统信息处理流程

上述系统对应的地面数据处理分成了飞行任务执行时的视频显示与分类标记软件和事后分析的航拍图像快速浏览与拼接软件。视频显示与分类标记软件是与飞机飞行同步的实时处理软件，以视频流、位姿数据流为输入，通过人工交互实现对兴趣图片的内容标记，并生成标记文件，以便于飞行结束后对航拍图片快速检索。快速浏览与拼接软件是完成飞行任务即拿到所有拍摄航拍图片后执行快速浏览和拼接的软件，以航拍原始图像数据和标记文件为输入，以拼接文件为输出，并可支持对拼接文件的读入与显示。两个软件均需用户界面的人工交互，可以独立使用，也可捆绑在一起完成一个处理流程。

1. 视频显示与分类标记信号处理流程

视频显示与分类标记的信号流程如图3所示。从图传电台输出的模拟视频信号经过图像采集卡变成数字信号，调用采集卡开发包的函数可以方便地将视频图像显示在软件的视频显示窗口。从数传电台得到的位置、姿态数据经串口读入，将实时更新云台拍摄示意图窗口、地图显示窗口，以及分类标记文件写入模块。云台拍摄示意图窗口实时反映了在三维空间下云台的拍摄角度。地图显示窗口将更新当前位置在地图上的显示。标记文件写入模块负责位置、姿态数据的记录和兴趣模式标识。机载主控在拍摄并存储每帧图片时就此时飞机、云台的位姿信息及拍照时刻信息打包为一个单元，通过电台下传并写入标记文件。由于机载存储器可以按存储时间进行数据管理，即使无线链路由于某种不明原因中断，也不会出现标记文件和图片对不上的情况。

图3　视频显示与分类标记信号流程

标记文件内容组成如图4所示。当用户在视频显示窗口观察到感兴趣图片时，打开感兴趣内容标记窗口，可以选择一个或多个感兴趣模式，然后标记文件的“兴趣标识模式”随之更新。当完成整个飞行任务时，标识文件完成写入，自动生成后缀为MARK的文件。

图4　分类标记单元内容组成

2. 快速浏览与拼接信号处理流程

快速浏览与拼接软件是完成飞行任务后，即拿到所有航拍图片后执行快速浏览和拼接的软件，图5为快速浏览与拼接信号处理流程。这里支持两种监视模式下的图像浏览与拼接，分别是定点悬停全景拍摄模式的拼接和固定视场角以一定速度推进的巡航拍摄模式的拼接。除了拼接图片外，还记录了生成拼接图的原图图号、尺寸压缩比、拼接过程中间处理结果(如计算得到的原图之间相对位置关系，各原图4个角点在拼接图上的位置)。

图5　快速浏览与拼接流程

完成飞行任务后，读入分类标记文件，根据记录内容的“兴趣标识模式”和“监视模式”，以及它们的时空连续性，将所有的航拍图片按时间顺序和兴趣内容分成若干处理群，如巡航拼接处理群和全景拼接处理群。由标记文件中的拍摄时刻信息可以快速检索到待处理的航拍图片，并开辟足够的内存空间。为了满足快速响应的要求，高分辨率航拍图片先按一定的尺寸比例进行缩小，再进行拼接处理。快速浏览实现了缩小图片的缩略图显示，双击选中某张缩略图也可显示对应的原始图片。

拼接过程采用成熟的航拍图片拼接方法和全景图拼接方法，求解各图片间的相互位置关系，并得到各图片4个角点在拼接图中的位置，从而可以确定是哪些图片确定了拼接图中某个像素。用户选择拼接图片上任意一点，会显示生成该点的所有相关图片，选择某张原始图片进行显示，以观察局部细节。

四、软件实现界面

在Qt开发平台上实现上述信息处理过程，图6是视频显示与分类标记软件界面。标记文件经内部归类后，若要实现某处的全景拼接，该处所有航拍图片被快速检索出来，可以进行缩略图浏览，低分辨率的拼接图片和拼接过程文件可一起保存下来。点击拼接图片的任意一点，可索引到包含该区域的原始图片，如图7所示，选择感兴趣的一张进行细节显示。

图6　视频显示与标记软件界面

图7　快速浏览与拼接软件界面

五、结束语

本文提出了一种无人机航拍图片快速处理流程，可有效解决无人机遥感平台用于动态监测面临的海量数据检索人工量巨大，大数据处理计算复杂、耗时长的问题。将飞行时的数据采集过程和飞行后的数据处理过程通过分类标识关联起来，极大地方便了航拍数据的快速检索；同时，通过构建高分辨率航拍图片和低分辨率拼接图片的相互关系，既保证了拼接处理的快速性，又保留了原有细节信息。整个信号处理流程满足无人机动态监测数据快速处理的需求，可应用于安全维稳、防灾减灾、环境监测、特殊行业巡检等相关领域，具有广阔的市场前景。

参考文献：

[1]FAN B J, DU Y K, ZHU L L, et al. The Registration of UAV Down-loking Aerial Images to Satellite Images with Image Entropy and Edges[C]∥Proceedings of ICIRA 2010, Part I, LNAI 6424. Berlin:Springer,2010: 609-617.

[2]金伟，葛宏立，杜华强等. 无人机遥感发展与应用概况[J]. 遥感信息，2009，88(1)：88-92.

[3]韩杰，王争.无人机遥感国土资源快速监察系统关键技术研究[J].测绘通报，2008(2)：4-6.

[4]刘刚，许宏健，马海涛,等. 无人机航测系统在应急服务保障中的应用与前景[J]. 测绘与空间地理信息，2011， 34(4)：177-179.

[5]许辉熙，敬小东. 基于无人机遥感和GIS技术的土地利用快速详查方法研究[J]. 测绘与空间地理信息，2013， 36(9)：11-14.

[6]崔红霞，林宗坚，孙杰. 无人机遥感监测系统研究[J]. 测绘通报，2005(5)：11-14.

[7]王洛飞. 无人机低空摄影测量在城市测绘保障中的应用前景[J]. 测绘与空间地理信息，2014，37(2)：217-222.

[8]王国洲. 无人机航摄系统在贵州地质灾害应急中的应用[J]. 地理空间信息，2010，8(5)：1-3.

[9]李建华，边馥苓，马敏. 空间数据存储管理中间件并行控制研究[J]. 测绘通报，2004(11)：8-11.

[10]刘红漫，晋燕利. 国外军用无人机任务系统及其发展研究[C]∥尖兵之翼-2006中国无人机大会论文集. 北京：中国航空学会，2006:467-473.

作者简介：张春晓(1984—)，女，博士，工程师，主要从事遥感器总体、遥感图像处理及应用方面的研究。E-mail: chunxiaozhang@163.com

基金项目：国家自然科学基金(41401522)

收稿日期：2014-07-24

中图分类号：P237

文献标识码：B

文章编号：0494-0911(2015)01-0050-05