基于序列图像的无人机进近着陆跑道识别与跟踪研究

张 琴,庄丽葵,曹云峰,王 彪

(1.南京航空航天大学 自动化学院，江苏 南京 210016；2.南京航空航天大学 高新技术研究院,江苏 南京 210016)

进近着陆阶段是指飞机下降时对准跑道飞行阶段，是飞机安全飞行的重要环节.对于基于视觉的固定翼无人机进近着陆过程，其跑道的准确提取显得非常重要，它是无人机能够正确并安全降落在跑道范围内的关键.

法国达索飞机公司的PEGASE项目进行了对基于视觉的直升机和固定翼飞机自主着陆的研究.针对着陆场的识别，提出改进的特征点匹配方法及利用轮廓和形状信息进行识别的方法，加快了计算速度并大大减少内存使用量[1].而针对着陆场跟踪，采用改进的主动轮廓的跑道边界跟踪方法[2]，以及基于快速图像配准并使用有效二阶最小化方法(ESM)实现区域跟踪[3]，均能实现与实际相符的跟踪效果，并能提供较好的定位及姿态信息.但以上方法均处于仿真验证阶段.纵观国内外目前针对固定翼无人机着陆研究重点还在于对相关算法的理论研究，而通过半物理、仿真实验或者针对真实场景来验证算法可行性的研究机构更是少之又少[4].

而本文工作正在围绕以上需求展开的，为了最终实现基于视觉的无人机进近着陆跑道识别与跟踪，首先对跑道的识别与跟踪算法进行研究，设计了结合四旋翼平台、无线摄像头及基于DSP视觉系统的初步验证平台，对该算法进行验证并模拟无人机着陆真实情况.

1 跑道识别与跟踪算法研究

由于固定翼无人机着陆时速度较快，直接使用固定翼无人机着陆序列图像进行研究难度太大，考虑先用四旋翼模拟其着陆飞行状态，对设计的算法进行初步验证.将无线摄像头固定于四旋翼平台上，模拟固定翼无人机进行着陆，通过该单目摄像机拍摄进近着陆的真实场景，当跑道已较清晰地出现于图像中后，对第1帧图像通过边缘检测、直线提取等算法的处理，获取2条跑道边缘直线.而跑道边缘线具有不变矩的特性，即具有平移、旋转、伸缩等特征不变性，在图像中始终表现为直线，即使跑道边缘直线随着无人机的运动在不断变化，但前后2帧之间的变化在较小的范围之内.所以可以通过前一帧图像获取的跑道边缘线划定感兴趣区域，作为后一帧图像处理的输入信息，由此对该帧图像检测中非跑道的边缘点及图像内边缘点数量均大大减少，从而降低背景中其它干扰线的影响，减少Hough变换的计算量，即总的减小后一帧图像处理的计算量，提高了算法实时性，算法流程图见图1.

1.1 图像预处理

根据机场图像信息可知，跑道和背景亮度存在明显差异，而在颜色方面却没有明显的区别，处理时利用YCbCr图像中的亮度分量作为处理图像时用到的灰度信息.而亮度分量所在空间和传统意义上的灰度空间在范围上不同，需要对其进行线性变换，线性变换公式为：

g=1.164f-18.630.

(1)

其中g即为传统意义下的灰度图像，f为YCbCr 空间的亮度分量构成的灰度图像,将(1)式得到的亮度分量图代替灰度图作为跑道识别与跟踪的基本数据来源.

1.2 边缘检测

虽然Canny算子比常见的Sobel等算子检测效果好，但传统的Canny算子在经过高斯滤波后会使图像过度平滑，丢失丰富的边缘信息，导致噪声点去除不够彻底.一阶算子是以绝对亮度差为基础的, 它的局限是在景物照射变化的条件下不可能一致地确定物体边界.而二阶算子由于对图象灰度一阶导数的极大值敏感, 能对图象暗区的微弱边缘和亮区一样作出响应.因此, 通常采用二阶算子来检测噪声图象的边缘信息.文献[5]中提出方向能量为特定方向上的能量，与相位一致信息正相关，可以检测到更为复杂的组合边缘信息，但仍采用同一对高低阈值，对于边缘信息丰富区域无法检测到细节边缘.

本文实现的边缘检测算法先将图像进行自适应的区域划分，分别在文献[5]方法基础上，并采用二次滤波对其处理，使有较大灰度跳变的边缘部分仍保持较大的灰度差, 而有较小灰度跳变的真实边缘点附近的伪边缘点的跳变变小.由于边缘点上滤波器输出能量方程值最大，其方向平行于该边缘，则提取出分块图形中的边缘直线信息，而后进行分区图像合成，最后得到完整图形边缘检测后的图像.图2是对同一图像不同边缘检测方法的处理效果.具体算法如下：

Step1：对原图像进行自适应的区域划分，进行图像分块处理；

Step2：对分块处理后的图像计算每块区域内能量方程；

Step3：将以上结果经过二次滤波处理输出能量方程最大值，得到不同灰度变换下的边缘点；

Step4：最后将各分区图像合成，得到完整的边缘检测图像.

从图2可以看出，本文中使用的边缘检测方法可以较好地检测出图中的直线信息，并能够滤去大量干扰线，为下一步进行边缘直线提取带来便利.

1.3 边缘直线提取

目前的直线提取方法主要是利用Hough变换进行处理，其优点是受直线中缺口和噪声影响小.但传统的Hough变换计算量大，不能满足实时性的要求.

本文所研究的着陆图像具有一定的先验知识，即跑道边缘线为图像中最长的2条线，且2条直线具有梯度方向上的差异，从而可以利用边缘点梯度方向来缩小Hough变换计算量，并确定提取出的2条最长直线为所需的跑道边缘直线.

文献[6]利用梯度方向信息，同时获取地平线信息，并仅对地平线以下区域利用基于相位编组的Hough变换实现对跑道边缘直线的提取，以此来解决Hough变换计算量的问题，但该方法仍不能满足固定翼无人机着陆实时性要求，本文提出的边缘直线提取方法主要从跑道跟踪方面入手改进其运算量，进而提高其直线提取的运行速度，算法中引入预设的先验知识，在对第1帧图像进行处理时对跑道边缘线进行较为准确的定位和识别，将2条边缘线附近感兴趣区域作为下一帧图像直线提取区域，大大减小了整个算法处理计算量.通过对真实着陆序列图像的分析，将该感兴趣区域划分为2条跑道边缘线周围8个像素以内，提取直线时可根据不同的图像，调节最短直线长度和直线之间间隔距离.具体算法如下：

Step1：在第n帧图像中利用上述边缘检测方法计算整个区域中所含像素点的梯度方向和幅值；

Step2：利用梯度空间的不同，划分全部像素点至8个等间隔的相位组，并根据各边缘点的梯度方向，划分各自所属的相位组；

Step3：确定跑道边缘线上边缘点所属的相位组，并剔除其他区域内的非期望相位组边缘点；

Step4：在跑道边缘线各自所属的图像区域中，依据相位编组并利用Hough变换提取直线；

Step5：在所提取边缘直线附近8个像素内划定感兴趣范围，作为第n+1帧图像处理区域；

图3是对图像进行Hough变换的结果，其中图3(b)是对图像中直线的提取过程(绿色线即为提取出的图像中可能为跑道的直线)，图3(c)为最终提取出的跑道直线(即Hough变换提取出的直线中最长的2条).

2 视觉系统硬件设计

视觉系统用于处理视觉传感器获取的实时着陆序列图像信息，能够准确地进行跑道识别与跟踪功能的实现.整个硬件系统分为3大模块[7]：图像采集模块、图像存储模块、图像显示模块，如图4所示.

该系统的核心处理器TMS320DM642是一款高性能多媒体DSP芯片，当上电复位完成处理器自身及设备的初始化后，启动图像采集模块进行视频信号的A/D采样工作；在完成一帧图像的采集工作后,将通过增强型直接内存存取方式将图像数据传送到经由外部存储器端口扩展的外部SDRAM中存放；并将SDRAM中的图像数据读入DM642的片上Cache中，对其进行图像处理；当一帧图像处理结束后，通过显示模块实时监测图像算法的处理效果.

2.1 图像采集模块

该模块采用视频解码芯片SAA7113与DM642的视频采集端口VP0D连接来完成图像的采集工作,硬件连接如图5.

2.2 图像存储模块

利用DM642构成视觉系统时，仅仅利用片上存储空间不能满足设计要求，需要使用到EMIF扩展外部存储器.该系统的外部扩展存储模块，由高性能低功耗的MT48LC4M32同步随机存储器和DM642的EMIF端口连接构成.

2.3 图像显示模块

系统的图像显示模块，主要用于实时观测跑道识别跟踪算法的动态处理效果，从而能够对算法进行及时改进和完善，该模块采用视频编码芯片SAA7121与DM642的视频采集端口VP1D连接来实现对处理后序列图像的显示,具体连接如图6.

3 实验结果

为了对算法及整套系统进行验证，在室外环境中利用某道路模拟机场跑道，手动操作四旋翼飞行器模拟固定翼着陆飞行，通过固定于四旋翼飞行器(如图7)下的无线摄像机实时获取当前道路图像，并将该图像及时传输给已设计好的视觉处理系统(如图8)进行图像处理，完成跑道的识别，实现跑道边缘直线信息提取与跑道的跟踪.

针对同一跑道在不同的外界环境条件，机载摄像机随着四旋翼无人机的移动，从不同角度对该道路进行实时边缘直线提取本系统能够较快地取得较好的效果，如图9所示.

由图9可以看出，本文设计的跑道识别与跟踪算法以及视觉系统针对不同的外部环境，以及随着无人机移动造成不同角度的跑道都能够较好地完成跑道识别跟踪，并能满足一定的实时性.该方法对1帧图像的整个处理过程所需的平均时间为120 ms.

4 结语

本文主要研究基于视觉的固定翼无人机进近着陆问题.设计相关的跑道识别与跟踪算法以及视觉处理系统，并结合四旋翼平台对其进行初步验证.该实验针对真实的室外道路模拟的跑道，所设计的视觉处理系统及相应算法能够实时准确识别跑道，并提取跑道边缘线，满足无人机自主着陆时跑道直线识别与跟踪的有效性和实时性.但该算法目前针对的不是真实的固定翼无人机着陆跑道，而算法的验证平台为四旋翼，且仅将无线摄像机安装于无人机上，下一步考虑将整套系统包括无线摄像头及相应的视觉处理系统安装于固定翼无人机上，在真实的固定翼着陆跑道中实现跑道识别与跟踪功能.最终解决基于视觉的固定翼无人机自主着陆问题.

参考文献:

[1] CALONDER M, LEPETIT V, FUA P, et al. Compact signatures for high-speed interest point description and matching[C]//Computer Vision, 2009 IEEE 12th International Conference on. IEEE,2009：357-364.

[2] BARAT C, LAGADEC B. A corner tracker snake approach to segment irregular object shape in video image[C]// IEEE International Conference on Acoustics, Speech and Signal Processing, 2008. IEEE，2008：717-720.

[3] GONCALVES T F, AZINHEIRA J R, RIVES P. Vision-based autonomous approach and landing for an aircraft using a direct visual tracking method[C]//ICINCO-RA. 2009: 94-101.

[4] 檀建鹏.基于DSP的UAV视觉着陆机场图像特征提取方法研究[D].南京：南京航空航天大学,2011.

[5] PERONA P, MALIK J. Detecting and localizing edges composed of steps, peaks and roofs[C]//Computer Vision, 1990. Proceedings, Third International Conference on. IEEE, 1990: 52-57.

[6] 姜恒,高润智,苏红旗.基于分区的自适应Canny边缘检测[J].科技创新导报,2011,28(10):10-11.

[7] 韩亚东,王彪，曹云峰.无人机机载单目视觉位姿估计系统[C]//中国制导、导航与控制会议.北京航空航天大学,2012: 1142-1147.