基于立体视觉的大型客机障碍物探测

史 杰 / SHI Jie

(上海飞机设计研究院，上海 201210)



基于立体视觉的大型客机障碍物探测

史 杰 / SHI Jie

(上海飞机设计研究院，上海 201210)

为了提高大型客机在低能见度天气下场面滑行时的安全性，提出了一种采用热成像仪进行障碍物探测和识别的系统。对客机前方景物进行热成像，用改进的机器立体视觉算法计算目标距离，使用模糊逻辑融合位置信息识别障碍物。实验表明提出的系统能探测和识别场面上的主要障碍物。

立体视觉；热成像；障碍物探测

0 引言

低能见度天气诸如大雾是客机在地面滑行时的不利因素，为了滑行安全，会降低滑行速度，增加与前方飞机的间隔，同时使用场面活动监视系统(如场面监视雷达、场面多点定位和广播式自动相关监视系统)对场面上的车辆和飞行器进行定位和引导。然而，前者会导致机场派遣效率降低，而后者又依赖于机场设施，作为滑行主体的客机缺少独立探测的能力，而是被动告知其他飞机或车辆的位置。

热成像仪能减小低能见度天气带来的不利影响[1]，而机器双目视觉以一种主动探测的方式作为现有系统的补充，为飞行员能提供前方景物的图像和位置信息，有助于在低能见度天气下提高飞行员对周围环境的感知度，帮助飞行员第一时间对突发状况做出反应，从而提高滑行安全。

1 立体视觉

立体视觉在道路障碍物探测[2]、铁路电缆障碍物探测[3]和机场障碍物探测[4]中的应用被广泛研究。一般的，采用两个摄像头拍摄图像就可进行深度图的计算，但为了提高精度与探测距离，也可使用两个以上摄像头进行成像。立体视觉采用三角测距原理，图1是立体视觉测距原理示意图。在理想情况下，两个摄像头的光轴相互平行，从不同位置捕获同一物体，已知焦距f，两个摄像头距离T，物体在左右两幅图像中的位置差xl-xr，距离Z可以通过式(1)计算得出。通过寻找并匹配左右两幅图像中每个像素点的视差，可计算得到成像景物的深度图。如图2、图3所示。

图1 立体视觉三角测距原理

2 算法流程

由于热成像仪拍摄的图像不同于普通光学摄像头，在算法流程上根据温度图像的特点进行改进，增加背景消除算法，并对深度图进行滤波，整个算法流程如图2所示。

图2 算法流程图

背景消除是根据图像中各类物体的温度差异，过滤图像中不关心的背景。认为在跑道和滑行道上的障碍物主要为地勤工作人员、地勤车辆和其他飞机三大类。而图像中的地面和机场建筑物则视为背景，需要进行滤除。需要事先在机场中测得所述三类主要障碍物的温度范围，而后对图像进行背景消除。

深度图滤波是在计算得到深度图后，计算图像中物体轮廓的面积，而后依据投影原理计算物体的大小。设定障碍物的大小范围，可滤除尺寸过大或者过小的物体轮廓。假设物体在图像中轮廓的面积为s，物体真实面积为S，镜头焦距为f，深度图中物体距离为D，则它们的关系为：

经过背景消除和滤波后的深度图与原始深度图的对比如图3所示，由图中可见，深度图经过处理后过滤了大部分背景物体。

图3 过滤前与过滤后的深度图

3 障碍物识别

使用模糊逻辑算法，通过温度和位置信息对三类主要的障碍物(飞机、地勤车与地勤人员)进行识别。根据机场实测三类主要障碍物的温度分布，建立各自的模糊逻辑隶属函数。实测数据表明，喷气飞机尾气温度相对最高，小型活塞式飞机其次，地勤车的温度分布则与地勤人员和小型飞机有重叠。因此在分类时引入飞机的位置信息(停机坪、滑行道和跑道)对三类主要障碍物的隶属函数进行选择，不同的位置选用不同的隶属函数组合，识别算法流程图如图4所示。

图4 识别算法流程图

4 实地测试

把人员作为探测目标，对系统进行实地测试，测试系统距离探测的精度。测试人员以5m为一个梯度，在距成像仪10m～60m的距离上依次被拍摄，测试现场如图5所示。

图5 实地测试现场

测试距离与实际距离如图6所示。从图中可见系统的测试距离和实际距离曲线基本重合。

图6 测式距离与实际距离

在某机场对随机出现在机场上的地勤人员、地勤车、小型活塞飞机以及大型喷气飞机进行拍摄，共拍摄426幅照片，系统对障碍物分类的准确率如图7所示。

由图7可见，大型飞机的识别率在上述三种场地上保持高识别率。在停机坪处对地勤车的识别率偏低，为20%，在滑行道提高到65%左右。而小型飞机无论在停机坪还是在滑行道都维持75%左右的识别率，在跑道提高至100%。实测地勤车的温度分布和地勤人员以及小型飞机有重叠，导致地勤车识别率较低，而在滑行道上排除了把地勤车认为是地勤人员的可能，使识别率有所提升。同理，

在跑道上排除了把小型飞机认为是地勤车的可能，也使识别率有所提高。

图7 障碍物识别准确率

5 结论

为了提高大型客机在低能见度天气下场面滑行时的安全性，提出了一种障碍物识别系统。通过热成像仪获取障碍物图像，针对热图像的特点改进机器立体视觉算法计算障碍物距离，使用模糊逻辑融合位置信息对障碍物进行分类。

实际测试表明，在60m的探测距离内，系统能探测和识别障碍物。而对障碍物进行识别时，不同障碍物的温度分布如果有重叠，会影响系统识别率，而融合位置信息在一定程度上能提高识别率。因此，在低能见度天气下，该系统有助于帮助飞行员对周围环境的感知，提高滑行安全，有一定的工程应用价值。

[1] I. R. C. Performance, “Seeing through fog and rain with a thermal imaging camera.”

[2] T. A. Williamson, “A High-Performance Stereo Vision System for Obstacle Detection,” 1998.

[3] B. Hulin and S. Schüßler, “Concepts for Day-Night Stereo Obstacle Detection in the Pantograph Gauge,” vol. 49, no. 0, pp. 449-454, 2007.

[4] J. Gauci, “Obstacle Detection around Aircraft on Ramps and Taxiways through the use of Computer Vision,” no. August, pp. 1-23, 2009.

Obstacle Detection Based on Stereo Vision for Large Aircraft

(Shanghai Aircraft Design and Research Institute，Shanghai 201210，China)

In order to improve taxing safety of large aircraft under poor weather, an obstacle detection and recognition system were proposed. An infrared camera is employed to capture heat image of obstacles. Distances of obstacles are estimated by improved stereo vision algorithm. Types of obstacle are recognized by fuzzy logic and fusion of position information. The field test indicates that the proposed system can be used to detect and recognize obstacles in the field.

stereo vision; infrared camera; obstacle detection

10.19416/j.cnki.1674-9804.2016.03.021

V249.32

A