基于特征光流信息的空间非合作目标相对位姿估计

程文华，姚 红，张雅声

（装备学院，北京 101416）

0 引言

1 光流计算基本原理

观察物体运动时，物体在人眼视网膜上形成一系列连续变化的图像信息称为光流［13］。本文定义光流为空间运动物体在观测成像面上的像素运动的瞬时速度，反映图像灰度在时间上的变化与景物中物体结构及其运动的关系。

假设时刻t，图像上（x，y）点处的灰度值为I（x，y，t）。在时刻t＋Δt，这点运动到（x＋Δx，y＋Δy）处，灰度值为I（x＋Δx，y＋Δy，t＋Δt）。由灰度一致性假设，有

对式（1）右边进行泰勒展开，得

在之前的几个月里，S2一直在惴惴不安地奔向它距银河系中心最近的位置。这一过程让我们重新认识了极端环境下的引力行为，也为我们研究银河系大本营中的这个不可见怪兽的性质提供了线索。

式（3）中未知数有2个，方程1个，为求解光流信息，还须引入新的约束条件，由此产生了光流的两种计算方法：H-S方法和L-K方法。

H-S方法强调光流的全局平滑性，引入平滑项约束，构造了欧拉－拉格朗日方程，并用高斯－塞德尔方法求解得到光流计算的迭代公式为

L-K方法强调局部的光流约束，引入一个权重矩阵W（i，j），求解得到光流为

本文以H-S方法为基础，研究结合特征信息的相对位姿估计算法可行性。

2 光流信息的相对位姿估计算法

本文相机透视模型如图1所示。图1中：OC－XCYCZC为相机坐标系；OP－XPYP为图像物理坐标系；OS－XSYS为图像像素坐标系；OT－XTYTZT为目标坐标系。

图1 相机透视模型与坐标系Fig.1 Camera model and its coordinate system

设目标飞行器上一点P＝［XYZ］T经透视模型所成的像p在图像物理坐标系中的坐标为（xp，yp）；f为相机焦距，则由投影关系得

将式（6）转换到齐次坐标系中，有

设目标坐标系相对OC－XCYCZC系的线速度和角速度分别为

则OC－XCYCZC系相对OT－XTYTZT系的线速度和角速度分别为－V，－W。由力学可得点P在OC－XCYCZC系中的速度为

展开有

式（7）两端求导，可得

联立式（10）、（11），整理得

式（12）反映了图像光流信息、相对线速度和角速度间的关系。展开式（12）可得

式中：k1＝ωxvx；k2＝ωyvy；k3＝ωzvz；k4＝ωxvy＋ωyvx；k5＝ωxvz＋ωzvx；k6＝ωyvz＋ωzvy。

称式（13）为光流方程，ki（i＝1，2，…，6）为光流系数。可发现，式（13）中有vx，vy，vz，ωx，ωy，ωz共6个未知数。但从光流方程来看，发现方程对vx，vy，vz是线性齐次的，即用光流方程只能求出相对运动线速度方向而不能确定相对线速度大小。因此，所求未知数实际只有5个。求解5个未知数需要5个独立方程，至少需要5个点的光流信息，就可求得相对运动的角速度和线速度方向。

若目标相对相机只有平移无旋转，即线速度不为零，角速度为零，则式（13）变为

由上述分析，只需两个点的光流信息就能确定相对速度的方向。

若目标相对相机只有旋转，则式（13）可写成

易知，1个点的光流信息对应2个方程，2个点的光流信息有4个方程，足以确定目标相对相机的角速度。

求出相对运动和相对角速度后，还可估计同样以k9为比例因子的相对深度

结合式（1）可得比例相对位置

3 仿真验证

3.1 图像序列算例

用Pov-Ray软件生成一组目标飞行器图像，像素大小为300×300，相机焦距f＝0.012mm。取其中两张，对其进行光流分析，如图2所示。图2（a）、（b）为原图，图2（c）为由两张图像得到的光流信息（图中的黑色矢量）。由图2可知：得到的光流信息显然足够。为更好地利用光流信息，本文用特征点的光流信息求解光流方程，取Harris角点作为特征点。

图2 目标飞行器图像序列及其光流场Fig.2 Image sequences of the target vehicle and its optical flow

对原始图像进行Harris角点提取，如图3所示。忽略边界点，所求角点二维信息见表1。

图3 飞行器角点检测结果Fig.3 Features of vehicle

将角点光流信息代入光流方程，解得相对角速度和相对比例线速度为：ωx＝29.251像素／帧；ωy＝33.505像素／帧；ωz＝1.766像素／帧；vx／vz＝0.077 4；vy／vz＝－0.068 6。将所求光流系数代入得角点的相对位置信息见表2。对角点的重构如图4所示。

由此可见，基于光流信息不仅可获取目标飞行器的相对角速度和比例相对位置，而且还能用于比例三维重构，有利于获知目标结构特征，进而分析其载荷类型及功能。

表1 角点二维信息Tab.1 2-D information of features

表2 角点三维相对位置信息Tab.2 3-D relative pose of features

图4 角点结构三维重建Fig.4 Structure rebuilding of features

3.2 单目视频算例

基于单目特征光流信息的相对位姿估计过程如图5所示。

图5 基于特征光流信息的相对位姿估计过程Fig.5 Pose and altitude estimation based on feature optical flow

用STK场景生成飞行器的旋转模型，并进行视频采集，如图6所示。设定角速度为1（°）／s，频率为30帧／秒，f为0.012mm，像素大小为1 616×794。利用上述算法，对视频进行分帧处理，得到分帧图像，如图7所示。

图6 STK飞行器旋转视频图像Fig.6 Circumrotate vehicle by STK

对相邻的每两帧进行光流计算和位姿估计，结果如图8所示。将每相邻两帧的图像处理后，可得实时的相对位姿如图9、10所示。

由图9、10可知：相对角速度大小维持在0.6×10－3rad／frame左右，换算可得相对角速度为1.031（°）／s，与理论值相近，在设定的角速度值附近振荡，振荡的原因主要是光流计算的全域性光滑约束会使某些点（像边界附近）数据出现偏差，反映到方程中就会影响求解的精度，但误差不大；相对比例速度分别保持在－0.4，0.3附近，其间出现了许多跳跃点，这同样是由于存在某些点数据出现偏差。由此可见，利用单目视觉的特征光流信息可实时获取目标飞行器的相对位姿信息，为后续的自主导航与控制提供支持。

4 结束语

图7 单目视频部分分帧图像Fig.7 Images of single camera vedio

图8 分帧图像处理Fig.8 Processing of image

图9 目标飞行器的相对位姿1Fig.9 Relative pose and altitude 1of target vehicle

图10 目标飞行器的相对位姿2Fig.10 Relative pose and altitude 2of target vehicle

本文根据光流法基本原理，推导了光流法求解空间非合作目标相对位姿的模型。经仿真验证，基于特征光流信息可实时获取目标的相对位姿信息，拓展了光流法的应用领域，同时也为非合作目标相对位姿估计提供了新思路和解法。

［1］ Committee on the Assessment of Options for Extending the Life of the Hubble Space Telescope，National Research Council.Assessment of options for extending the life of the hubble space telescope：final report［M］.Washington：National Academies Press，2005：8-19.

［2］ 陈 震.图像序列光流计算技术及其应用［M］.北京：电子工业出版社，2012.

［3］ GIBSON J J.The perception of the visual world［M］.Boston：Houghton Mifflin，1950.

［4］ ULLMAN S.The interpretation of structure from motion［M］.London：Proc R Soc Lond，1979：405-426.

［5］ HORN B，SCHUNCK B.Determining optical flow［J］.Artificial Intelligence，1981：185-203.

［6］ LUCAS B D，KANADE T.An iterative image registration technique with an application to stereo vision：Proceedings of Image Understanding Workshop［C］.1981：121-130.

［7］ 陈王丽，李 涛，陈 喆，等.利用光流配准进行嫦娥一号CCD多视影像超分辨率重建［J］.武汉大学学报（信息科学版），2014，39（9）：1103-1107.

［8］ 介 鸣，黄显林，卢鸿谦.使用多尺度光流法进行探月飞行器自主视觉导航［J］.传感技术学报，2007，20（11）：2508-2512.

［9］ 黄 岚，宋建梅，陈晋华，等.基于光流的无人机视觉导航：Proceedings of the 33rdChinese Control Conference［C］.2014：816-821.

［10］ 吕 强，倪佩佩，王国胜，等.基于光流传感器的四旋翼飞行器悬停校正［J］.装甲兵工程学院学报，2014，28（3）：68-72.

［11］ 孙 正，郁道银，陈晓冬，等.基于光流法的冠状动脉造影图像序列中血管运动的估计［J］.工程图学学报，2003，24（3）：83-88.

［12］ 胡觉晖，李一民，潘晓露.改进的光流法用于车辆识别与跟踪［J］.科学技术与工程，2010，23（10）：5814-5817.

［13］ MITICHE A，AGGARWAL J K.Computer vision analysis of image motion by variational methods［M］.Berlin：Springer International Publishing，2014.