成 威,胡绍海,赵帅锋,刘帅奇
(北京交通大学计算机与信息技术学院,北京100044)
机场跑道异物(Foreign Object Debris,FOD)指异常出现在机场跑道上并威胁飞行安全的外来物体[1]。由于飞机极大的引擎吸力和极快的起降速度,即使微小的跑道异物也会造成严重隐患,跑道异物检测日益成为大众关注的热点。
在跑道异物检测系统研制方面,国外已出现了一些技术比较成熟、使用比较广泛的跑道安全系统,比较著名的有英国的Tarsier,以色列的 FODDetect,美国的 FODFinder,以及新加坡的iFerret等。而在国内,虽然相关研究也已起步,但技术还不成熟,产品还不完善,制约着我国航空业的发展[2]。国内的很多异物检测系统基于摄像机等光学设备,受到天气状况的严重影响;为数不多的雷达异物检测系统,通常采用雷达杂波图进行检测,并配合视觉设备配合查看异物,因而系统不够独立,而且造价高昂。
为了改善上述状况,本文提出了一种基于雷达图像处理的跑道异物检测方法。首先基于高斯混合模型思想对雷达图像进行去噪,大幅改善图像质量;接着使用改进的背景减法获得经过局部增强或弱化的差值图像,并进行二值化和中值滤波;然后通过数学形态学中的闭运算对异物进行整合;最后使用漫水填充算法准确检测图像中的异物,获得异物的大小和位置等信息。
高斯混合模型(Gaussian Mixture Model)是近年来备受瞩目的模型方法。高斯混合模型的基本思想是:任何一种概率密度分布都可以由若干高斯密度函数的线性组合来逼近[3]。高斯分布不仅能反映自然界中大多数事物的分布规律,而且有着优良的数学性能,故深受青睐。高斯混合模型已在语音识别中获得了不错的成果,并且在图像领域也有广泛的应用[4]。
本文获得的原始数据是大量包含角度、距离和灰度值的雷达扫描线,通过极坐标到直角坐标的转换可以获得直观的直角坐标图像。由于原始的扫描线数据中存在系统噪声,导致转换后的直角坐标图像中有弧形的波纹状噪声,对图像质量造成显著污染,严重影响图像的后续处理。本文使用了基于高斯混合模型思想的去噪方法,通过几个一维高斯分布的叠加来模拟一条扫描线上系统噪声的分布,并通过减法大幅削弱系统噪声,获得了良好的去噪效果。
首先对如图1a所示的雷达空载时的以每条扫描线为一列排列成的扫描线图像进行统计,求取所有列的均值,得到扫描线上的噪声分布曲线,如图1b中实线所示。然后通过若干个高斯分布来拟合噪声分布曲线。设噪声的概率密度函数为p(x),则
式中:N为高斯模型的个数;μi和σi分别为第i个高斯模型的期望和标准差;wi为第i个高斯模型的权值。
图1 噪声图像及曲线(截图)
高斯混合模型由其中每个高斯模型的期望、标准差以及多个模型组合时的权重来确定。由于噪声分布比较固定,故并未使用高斯混合模型常用的期望最大化(Expectation Maximization)算法,而是直接通过初始设置来确定N,μi,σi和wi等模型参数,获得与噪声分布曲线非常接近的拟合曲线,如图1b中虚线所示。最后每条扫描线减去调整后的拟合曲线,得到去噪后的扫描线,即可进行坐标转换等后续处理。
对于图像序列中的运动目标检测,比较流行的方法有帧差法、光流法、背景减法等[5]。帧差法虽然有良好的自适应性,但由于获得背景并不纯净,故精确性不高;光流法运算复杂,耗时很多,不适合对实时性要求较高的系统;而背景减法简单易行,并且可以获得可观的检测效果。传统的背景减法只是求取输入图像与背景图像对应像素值的差的绝对值。本文的背景减法在减法同时对一些区域内的像素进行了增强,另一些区域内的像素进行了弱化,使后续处理更加有效。
背景减法需要2个条件:配准图像和获得背景图像。对于前者,由于系统提供的极坐标非常精确,而坐标转换时将扫描线上的像素点投影到直角坐标系的像素中,排除了简单像素排列造成的位置偏差,可以认为图像已配准;对于后者,由于现场同一位置在各次雷达扫描时反射强度略有浮动,故背景图像并未选择一幅扫描图像而是通过对若干次无异物扫描图像取均值来获得。
机场雷达图像的主体内容是跑道及旁边的大片草坪。由于草坪表面粗糙,对雷达波的反射较强,且每次反射的强度波动较大,在背景减法后容易保留大量亮点,严重影响检测结果,而跑道路面上的异物才是检测重点。故本文使用了简单的判定方法来排除草坪的干扰:求背景图像中每个像素8邻域灰度值的和,若大于阈值则认为是草坪位置,将输出图像的该位置灰度值置零;若不大于阈值则认为是路面位置,进行运算。运算公式为
式中:Vin,Vbk,Vout分别为输入图像、背景图像、输出图像对应位置的像素灰度值,式(2)依据实验结果确定,不仅实现了有效的增强,即增强后的灰度值超过二值化的阈值64,同时保证了运算的灰度值始终在0~255范围之内。
背景减法可有效保留图像中的异物信息,而背景信息被大幅削弱,再经过阈值为64的二值化及轻度中值滤波即可获得效果较好、适于异物检测的雷达图像。
数学形态学是一种以形态结构元素为基础对图像进行分析的数学工具[6]。它运算速度快,并且易于硬件实现,可以应用在噪声抑制、特征提取、边缘检测、图像分割、纹理分析、形状识别等方面,是一种非常有效的图像处理方法。
由于一个较大异物各部分对雷达波反射强度不一致,它在经过处理后的雷达图像中的像素可能不连续。为了减少如此造成的异物重复上报,本文使用了数学形态学中的闭运算来处理图像,以达到填充图像中异物内部细小空洞、连接临近异物、平滑异物边缘的效果。
闭运算包含2个过程:膨胀和腐蚀。它们都是数学形态学的基本操作,基本原理是图像与核进行卷积。通过调整卷积核的大小可以控制膨胀和腐蚀的强度,通过设定卷积核中参考点的位置可以控制腐蚀膨胀的方向。本文使用大小为7×7像素并且参考点位于中心的方形卷积核,以获得合适的形态学处理效果。膨胀的实质是求取核覆盖图像区域内的最大值并赋值给参考点对应像素,对于二值图像这一过程可以进一步简化,即只要核覆盖区域内有白点,参考点对应像素为白,否则为黑。腐蚀与膨胀相反,是求取核覆盖图像区域内的最小值并赋值给参考点对应像素,对于二值图像,只要核覆盖区域内有黑点,参考点对应像素为黑,否则为白。对图像先膨胀后腐蚀,即完成一次闭运算。闭运算的效果如图2所示,图2a为原始图像,图2b为膨胀操作后的图像,图2c为腐蚀操作后的图像,经过闭运算后两片白色区域被连接。
图2 二值图像的闭运算(截图)
漫水填充(Floodfill)是一种常用的区域填充法,适用于填充内部像素灰度值相近而外部像素灰度值与之区别较大的区域[7]。漫水填充算法的基本原理是,按照一定规则选取种子点,判断种子点的邻域像素是否与之构成连通,从而判定是否对其填充,直至找到区域内所有像素或到达图像边界。漫水填充算法已被用在目标区域的提取和直接的目标识别等方面[8]。经过形态学处理后的图像已适合进行直接的异物检测,很多文献中使用边缘检测来实现,而本文使用了漫水填充算法来快速准确地检测异物,获得异物相关数据。
具体方法是通过漫水填充在二值图像中分割出灰度值为255的连续区域。按照从左到右、从上到下的顺序选取种子点,找到一个灰度值为255的像素作为种子点后,考查其邻域像素的灰度值;若邻域有灰度值为255的像素,则再考查该像素的邻域;如此直到所有连续的灰度值为255的像素都被选中;计算选中区域的最左端、最右端、最上端、最下端以及中心的位置,并计算区域的面积;计算完成后,将整个区域填充为灰度值240的颜色,并在其周围用灰度值为128的矩形框进行标注;重新选择种子点,进行新的填充,直到所有灰度值为255的区域全部被检测和标注。
本文方法最终将应用于安装在机场的雷达检测系统中,但为避免对机场造成安全隐患,在实验阶段整个系统并未在真实机场,而在一片类似机场的空地进行测试。实验场地主要包含水泥路面以及草坪,模拟机场的基本环境,条件却比机场更加复杂,可以考验本文方法的鲁棒性。本文使用的异物主要是若干底面直径和高均为2 cm的金属圆柱,按照适当间隔摆放在水泥路面上,此外放置圆柱的人也出现在扫描图像中成为异物。
从雷达设备获取到的扫描线数据按列组成的图像如图3所示,图像中可观察到明显的系统噪声。不去噪直接进行坐标转换得到的直角坐标图像如图4a所示,经过基于高斯混合模型思想去噪后的再进行坐标转换的图像如图4b所示。对比可见,本文使用的去噪方法对图像中的系统噪声有很强的抑制作用,去噪后的图像质量有显著改善。
图3 原始扫描线图像
图4 图像去噪(截图)
为减少冗余运算,提升实时性能,在进行后续处理之前先根据雷达安装信息对图像进行裁剪,只保留有效区域,如图5a所示。本文中裁剪后的图像仍保留了用于模拟跑道的水泥路面,即图中较暗的区域,以及草坪,即图中较亮的区域。在无异物状态下进行若干次扫描,将扫描图像叠加再取均值,获得背景图像如图5b所示。传统的简单像素值相减得到的结果如图5c所示,使用本文所提的背景减法的结果如图5d所示。前者仍保留了大量的密集亮点,这些难以滤除的亮点会使检测结果中存在大量误报;后者除了保留目标之外,只剩下少许孤立的噪点,很容易通过滤波消除。
对背景减法后的图像,首先进行了以灰度值64为阈值的二值化,如图6a所示。然后用3×1邻域的中值滤波来消除孤立噪点,如图6b所示。
图5 背景减法(截图)
图6 二值化和中值滤波(截图)
对经过滤波后的图像进行数学形态学闭运算,首先是膨胀过程,白色区域根据卷积核的大小进行扩张,内部小空洞被挤占,邻近区域连通,如图7a所示;然后是腐蚀运算,白色区域收缩回原始大小,但是边缘变得平滑,填补的空洞不会复现,连通的区域也不会断开,如图7b所示。
图7 形态学处理(截图)
图像经过数学形态学处理后通过漫水填充算法进行异物检测,获得目标区域的位置和大小,并用矩形框进行标注,结果如图8所示。
图8 异物检测标注结果(截图)
本文提出的基于雷达图像处理的跑道异物检测方法,依托于雷达设备,通过基于高斯混合模型思想的去噪、背景减法、数学形态学运算和漫水填充等一系列图像算法,对雷达图像进行有效处理,准确检测跑道异物。但是,本文致力于对特定系统提供高效检测方法,不可避免地受到具体条件的局限,如何使本文的方法具有更普遍的适用性,需要进一步的研究。
[1] PATTERSON J.Foreign Object Debris(FOD)detection research[EB/OL].[2013 -05 -10].http://zhou24388.blog.163.com/blog/static/5974632720113271140217/.
[2]李煜,肖刚.机场跑道异物检测系统设计与研究[J].激光与红外,2011,41(8):909-915.
[3]王书诏.基于高斯混合模型的说话人识别系统的研究[D].大连:大连理工大学,2006.
[4]向日华,王润生.一种基于高斯混合模型的距离图像分割算法[J].软件学报,2003,14(7):1250-1257.
[5]万缨,韩毅,卢汉清.运动目标检测算法的探讨[J].计算机仿真,2006,23(10):221-226.
[6]王树文,闫成新,张天序,等.数学形态学在图像处理中的应用[J].计算机工程与应用,2004(32):89-92.
[7]冉冉,杨唐文,阮秋琦.基于Floodfill种子填充的快速目标物体识别[EB/OL].[2013-05-10].http://www.docin.com/p-297963018.html.
[8]陈佳鑫,贾英民.一种基于漫水填充法的实时彩色目标识别方法[J].计算机仿真,2012,29(3):4-6.