基于运动估计的无人机视频与遥测同步方法

，， ，

(1.国家海洋技术中心，天津 300112； 2.天津航天中为数据系统科技有限公司，天津 300301)

基于运动估计的无人机视频与遥测同步方法

赵恩伟2，王厚军1，韩蓉2，丁宁1

(1.国家海洋技术中心，天津300112； 2.天津航天中为数据系统科技有限公司，天津300301)

针对无人机遥测数据和视频由于通讯延迟、链路不稳等因素，视频和遥测数据无法一一对应起来，需要对其进行同步处理的技术需求，提出了基于运动估计的视频与遥测同步方法;对于无人机飞行获取的遥测数据进行载荷和无人机的数据解析，计算载荷和无人机的运动编码，再根据无人机运动规律将无人机和载荷的运动编码映射到视频的运动编码;对于视频进行基于灰度投影的运动估计得到运动编码，然后基于遥测计算和视频运动估计得到的两种运动编码进行匹配，进而根据匹配结果，对遥测数据进行插值处理，实现遥测与视频的同步;通过灰度投影的方法进行运动估计以完成视频的运动编码，大大提高了视频运动估计的效率和速度，最终实现视频与遥测的同步;实现对遥测数据的高精度匹配和插值，提高同步的精度。

无人机；运动估计；视频；遥测；离线同步

0 引言

无人机具有机动、灵活、生存力强、使用方便等特点，在多种行业的应用越来越广泛。在无人机飞行过程中，视频图像数据与遥测数据是分别记录和存储的(视频图像数据是无人机载荷产生与存储，遥测数据是飞控系统产生与存储)，并在飞行结束后生成视频和遥测文件。随着无人机应用的推广，对无人机数据的分析以及进一步的深化和细化，需要对无人机遥测数据和视频进行同步处理，由于通讯延迟、链路不稳等因素，视频和遥测数据无法准确对应起来，需要人工根据无人机位置所在的区域的地貌或景物情况和视频内容进行对比与同步，费时费力，且同步结果也不够理想，同步的效果完全凭人工主观判断为依据，可靠性和可重复性不高。为了满足后续视频数据处理，如视频拼接，视频中目标物定位等，需要降低人工操作的复杂，并提高视频与遥测的同步准确性和可靠性。

为解决视频和遥测数据的自动同步的准确性、可靠度以及效率问题，现有的一种做法是采用人工方式根据无人机位置和视频内容进行对比与同步，这种方式不仅费时费力，而且由于人工处理的局限性导致同步结果也不理想。另一种做法是利用SIFT或光流法等图像匹配方法对相邻的视频帧进行图像匹配，根据匹配结果来计算相邻帧的相对位置关系，从而得到视频的相对运动情况，再根据视频的相对运动情况与遥测定位技术结合，实现视频与遥测的同步，但在视频相邻帧匹配过程中，由于图像匹配算法的计算量大、效率低，消耗的计算资源与时间过多，无法有效地应用在实际的视频处理中。

视频编码的关键技术之一就是基于块的运动估计[1-4]，它能够去除图像帧之间的冗余。将相邻视频图像帧分成若干块，找出每个块在相邻图像帧的位置，得出的图像帧间的相对偏移量即是运动矢量，得到运动矢量的过程称为运动估计。灰度投影算法能够充分利用视频图像序列灰度变化的特点，对图像序列的行列灰度投影曲线作一次相关运算，就可以准确地获取图像运动矢量[5-7]。

综上，目前亟需一种更为有效的遥测数据和视频图像数据的离线同步方法，在实现遥测数据与视频图像数据的离线同步的基础上，提高数据同步的效率和准确性。

1 视频与遥测同步算法实现

算法主要可以分为如下3个阶段:

1)基于无人机遥测协议对遥测数据进行解析获得无人机的经度，维度，高度，横滚，俯仰，偏航等实时数据再计算出相对运动幅度和方向并根据无人机及载荷的运动规律计算遥测信息的运动编码。

2)基于灰度投影算法来估算视频帧间相对运动的幅度和方向再根据无人机以及载荷的运动特性计算视频运动编码，根据载荷和无人机本身运动特性按照时间维度对载荷和视频相对运动数据进行分类，从而获取遥测和视频的运动编码。

3)对视频和遥测的运动编码进行数据归一化预处理，并根据运动编码的分布特征对运动编码进行匹配。

4)根据匹配结果对遥测数据进行插值处理。通过匹配和插值处理后，可得到与视频图像数据中的图像帧对应的遥测数据。

基于运动估计的视频与遥测离线同步方法的整体流程如图1所示。

图1 视频与遥测同步流程图

采用灰度投影法进行视频运动估计，大大提高了运动估计的效率，进而从整体上提高了数据同步的效率。下面将分别就遥测数据分析算法，视频数据分析算法，运动数据预处理和匹配算法以及遥测数据插值算法进行讨论。

1.1 无人机及载荷运动与视频运动的关系

在一般作业活动中拍摄视频中的运动现象是由于无人机以及载荷的复合运动造成的。下面将分析造成无人机拍摄视频的运动特点以及原因，从而建立起无人机以及载荷运动与视频运动的映射关系，从而能将遥测数据与视频数据关联起来。

无人机本身的运动对视频造成的影响可以分为五类：平缓飞行、转弯、机身震动、起飞以及降落。对于视频的影响如下所示。

1)无人机的平缓飞行运动一般会造成视频出现小幅度的向着固定方向的持续移动；

2)无人机转弯运动由于机身姿态的剧烈变化会造成视频出现大幅度的向着固定方向的持续移动；

3)机身震动则会造成视频出现小幅度的无规则的振荡运动；

4)无人机起飞或降落会造成视频的大幅度无规则振荡运动。

载荷的运动主要是由载荷操作人员的控制决定，操作人员的控制一般都会造成载荷视角的大范围的移动，反映在视频上就会造成大幅度向着固定方向的持续的移动，特别的若操作人员改变载荷的焦距则一般只是视频范围的放大或缩小并不会造成视频的运动。

按照上面分析的视频运动规律可以将在一段时间内无人机视频的运动分为大幅单向运动、小幅单向运动、大幅震荡运动以及小幅震荡运动这4种类型，运动类型和无人机及载荷运动情况如表1所示。

表1 视频运动类型与无人机及载荷运动的关系

根据上面分析可得到的无人机及载荷的运动与视频运动的映射关系。

1.2 遥测数据分析算法

本节讲着重讨论遥测数据分析算法，通过遥测数据分析的主要过程是将遥测数据解析并转换为无人机及载荷的运动编码，再根据无人机及载荷的运动而映射为视频运动编码分布。

遥测数据分析算法主要流程如图2所示。

图2 遥测数据分析流程图

算法主要步骤如下所示：

1)解析无人机实时状态参数。

根据无人机遥测协议对遥测数据进行解析，得到经度、纬度、高度、俯仰、横滚、偏航等无人机状态参数；

2)解析载荷实时状态参数。

根据载荷遥测协议对载荷的遥测数据进行解析，得到载荷的姿态以及焦距等状态参数；

3)对无人机及载荷的状态参数计算无人机及载荷的运动参数。

根据解析得到的无人机状态参数、载荷状态参数，根据遥测数据以时间为轴进无人机以及载荷的运动模式编码，即将按照时间维度将无人机的运动划分为上升U、下降D、转弯R、一般飞行F以及载荷运动L阶段。划分依据如下所示：

a)若无人机的高度参数在一段时间内连续的增大则被判定为上升阶段U；

b)若无人机的高度参数在一段时间内连续的降低则被判定为下降阶段D；

c)若无人机的位置(经度和纬度)在一段时间内连续的平缓的变化则判定为飞行阶段F；

d)若无人机的姿态(横滚，俯仰，偏航等参数)在一定时间内剧烈变化则判定为转弯R阶段；

e)若载荷的姿态数据在一定时间内持续变化则被判定为载荷运动阶段L；

f)各阶段的优先级顺序为上升U=下降D>载荷运动L>转弯R>飞行F。

无人机运动分布图如图3所示。

图3 无人机运动编码分布图

4)将无人机及载荷的运动参数转换为视频运动编码。

根据表1所示的无人机及载荷运动以及视频运动的关系，将无人机及载荷运动转换为视频运动模式，即大幅单向运动BS，小幅单向运动SS，大幅震荡运动BV以及小幅震荡SV运动。映射后的视频运动分布如图4所示。

图4 视频运动编码分布图

1.3 视频图像数据分析算法

通过视频图像数据分析算法对视频图像数据进行处理，流程如图5所示。

图5 视频数据分析流程图

采用如下式所示灰度投影算法计算视频图像相邻帧之间的相互运动[5]：

式中,Gk(j)，Gk(i)分别为第k帧图像中第j列和第i行的灰度投影值；Gk(i,j)为(i,j)位置处像素灰度值。

灰度投影算法主要思路是将第k帧图像的行、列灰度投影曲线做互相关运算，根据两条相关曲线的波谷值即可确定当前帧图像相对参考帧图像的行、列位移矢量。再根据行列位移矢量就可以计算相邻两帧运动的大小和方向。

利用灰度投算法对整个视频序列进行视频运动幅度和方向的计算。根据视频相邻帧之间的相对运动情况对视频序列进行划分，即对一组连续的视频帧进行运动模式的分类，分为大幅单向运动BS，小幅单向运动SS，大幅震荡运动BV以及小幅震荡SV运动。从而得到基于运动估计的视频运动编码。

1.4 视频与遥测同步算法

视频与遥测同步算法主要步骤如下：

1)为了解决视频帧数和遥测帧数相差较大的问题，需要将视频和遥测数据的运动编码进行归一化处理。具体实现为对运动编码的纵坐标数值进行归一化，并再将横坐标数据归一化到0至1000内；

2)通过对视频运动编码进行拉伸和平移，再计算与遥测运动编码的符合程度来实现视频运动编码和遥测运动编码的匹配从而实现视频和遥测的同步；规定视频运动编码为f(x)，遥测运动编码为g(x)，f(x)的拉伸和平移可以变现为f(ax+b)，a表示拉伸，b表示平移距离，即同视频和遥测编码匹配的过程可以理解为对能量函数E=∑(f(ax+b)*g(x))的优化过程，即找到合适的a和b使E最大；

3)通过梯度下降最大法来搜索E最大时对应的a和b为视频和遥测的匹配结果。

4)根据匹配结果，采用二项式拟合公式对遥测运动编码进行插值，即可得到与视频同步的遥测数据。

算法流程图如图6所示。

图6 视频与遥测同步流程图

2 实验与分析

针对本文提出的基于运动估计的视频与遥测同步方法，采用如下数据进行验证，采用无人机MD4-1000在三亚凤凰岛进行飞行验证，对无人机采集的视频与遥测数据进行同步处理，通过对比人工和算法处理结果来验证算法的有效性。

图7 三亚凤凰岛视频与遥测数据同步结果

无人机采集的视频总长度12分28秒，实际飞行长度12分27秒。

视频数据是无人机载荷产生，但是由于通讯延迟、链路不稳等因素，信息本身在一定程度上是粗糙模糊的，所以处理起来难度很大。只能通过初步观察确定：在无人机起飞和降落时，视频随之出现连续的高强度的无规律运动；而在飞机姿态存在较大的波动时，视频也都对应着较大的相对运动。表2即为三亚凤凰岛视频变化记录。

根据人工观察的视频变化情况对比根据载荷与无人机协议解析的载荷及无人机位置姿态数据变化情况，视频与无人机及载荷的运动关系是符合1.1节中描述的情况的。

基于遥测和视频数据分析得到的运动编码数据，如图7(a)为基于视频数据得到的视频运动编码，如图7(b)基于遥测数据得到的遥测运动编码。根据视频与遥测运动编码，通过1.4中的同步方法，计算出视频与遥测匹配成功的点位，点位在图7中如a1与b1， a2与b2，最终基于匹配结果对遥测运动编码进行二项式拟合插值，完成了视频与遥测的同步。

根据飞机飞行高度来限定平移的范围，获取在飞机平稳飞行阶段的数据，从而缩小计算范围，提高计算效率。

3 结论

本文提出了一种基于运动估计编码的无人机视频与遥测离线同步技术，该技术具有如下优势：

1)本文利用无人机与载荷运动与视频的运动关系，将遥测数据所反映的无人机运动变化情况映射为视频的运动变化情况，实现了了视频与遥测的自动化匹配。

2)利用灰度投影算法大大提高了视频运动估计的效率和速度；

3)实现对遥测数据的高精度匹配和插值，提高了同步的精度。

本文完成了离线视频与遥测的同步处理，目前仅在实验环境中验证了方法，具体深入应用还需要进一步探索。

综上所述，本文采用的方法在无人机遥测数据和视频离线同步处理的领域将会得到更加广泛的应用。

表2 三亚凤凰岛视频变化记录

[1] 沈 秋,李小凡,孔繁锵,等. 于仿射模型的无人机视频实时压缩算法[J].电子与信息学报,2014,36(12):2355-2360.

[2] 谭 熊,余旭初,刘景正,等. 基于无人机视频的运动目标快速跟踪[J].测绘通报,2011(9):32-34.

[3] 吴晓军,白世军,卢文涛. 基于H.264视频编码的运动估计算法优化[J].电子学报,2009,37(11):2541-2545.

[4] 吴银花,金龙旭,张 宁,等. 针对H.264改进的快速整像素运动估计算法[J].光学精密工程,2013,21(4):1017-1024.

[5] 任 航,张 涛. 基于灰度投影法运动估计的成像CCD平移补偿法[J].应用光学,2009,30(3):417-421.

[6] 杨光宇,朱 丹,佟新鑫,等.基于灰度投影法的电子稳像平台设计与实现[J]. 电视技术,2011,35(19):115-118.

[7] 吴 浩,邓宏彬.一种基于分块灰度投影运动估计的视频稳像方法[J]. 兵工学报,2013,34(4):406-411.

SynchronizationMethodofUAVVideoandTelemetryBasedonMotionEstimation

Zhao Enwei2，Wang Houjun1，Han Rong2，Ding Ning1

(1.National Ocean Technology Center, Tianjin 300112, China; 2.Tianjin Zhong Wei Aerospace Data System Technology Co.,Ltd., Tianjin 300301, China)

Aiming at the technical requirement of UAV telemetry data and video synchronization, video and telemetry data can not be matched one by one because of communication delay and link instability. The video and telemetry synchronization method based on motion estimation is proposed. For UAV flight for telemetry data and video data, respectively for motion estimation, get the exercise based on remote sensing data coding and based on video data movement, and then based on the analysis of motion coding matching, and then according to the result of the match, the telemetry data interpolation processing, to realize the synchronization of telemetry and video. By matching the overall motion pattern, the video and the telemetry are synchronized according to the motion pattern even if the content of UAV telemetry or the load telemetry protocol is unknown. The motion estimation of the video is completed by the gray projection method, which greatly improves the efficiency and speed of the video motion estimation, and finally synchronizes the video and telemetry.The method realized high accuracy matching and interpolation of the telemetry data, improved the accuracy of synchronization.

unmanned aerial vehicle (UAV); motion estimation; video; telemetry; offline synchronization

2017-03-13；

2017-05-15。

海洋公益性行业科研专项经费项目(201405028)。

赵恩伟(1986-)，男，天津市人，硕士研究生，工程师，主要从事图像处理，模式识别、软件工程方向的研究。

丁 宁(1984-)，女，硕士研究生，工程师，主要从事海洋开发管理及海域动态监测方向的研究。

1671-4598(2017)11-0111-04

10.16526/j.cnki.11-4762/tp.2017.11.029

TP399

A