基于RCA与相邻梯度融合的天际线检测算法研究

涂　兵　潘建武　雷霜霜　匡文兰　夏旭承

1(湖南理工学院信息与通信工程学院　湖南 岳阳 414006)2(湖南理工学院复杂系统优化与控制湖南省普通高等学校重点实验室　湖南 岳阳 414006)3(湖南理工学院IIP创新实验室　湖南 岳阳 414006)



基于RCA与相邻梯度融合的天际线检测算法研究

涂兵1,2,3潘建武1,2,3雷霜霜1,3匡文兰1,3夏旭承1,3

1(湖南理工学院信息与通信工程学院湖南 岳阳 414006)2(湖南理工学院复杂系统优化与控制湖南省普通高等学校重点实验室湖南 岳阳 414006)3(湖南理工学院IIP创新实验室湖南 岳阳 414006)

天际线检测在机器视觉导航、地理位置定位、船只检测和港口安全、森林防护中有重要的作用。首先采用区域协方差算法RCA(Regional Covariance Algorithm)将图像分割成天空与非天空区域，实现天际线检测区域的粗提取；接着提出一种基于分割粗区域全局梯度均值与局部梯度均值融合算法在训练样本上确定梯度阈值，并以此算法检测出天空与非天空区域的起始点；然后以起始点开始在分割的非天空区域采用相邻梯度极大值AGM(Adjacent Gradient Maxima)算法搜索最大可能天际线存在的像素点位置坐标，最终达到检测出输入图像中的天际线。该算法在内华达大学机器视觉实验室Web Set数据集进行了测试，实验结果表明：该算法能有效地检测出天空与非天空区域的分界线，具有良好的有效性和时效性。

天际线视觉导航区域协方差相邻梯度

0　引　言

天际线检测是在给出的灰度或彩色图像中对天空和非天空区域(地面、水或者山脉)的分界线进行提取。目前，随着智能信息技术的发展，天际线检测在无人机和微型飞行器的自动导航[1-5]、计算机视觉地理定位、山脉和沙漠图像标记、港口安全、森林防火等领域都有重要的应用[6,7]。针对天空与非天空区域中相似的颜色，如云、雪或者河流等可能影响颜色分割等因素，Ettinger等[2]提出一种基于区域协方差算法(RCA)检测出天际线，并将此算法应用到了微型飞行器的导航上，在天空与非天空区域的分界线是直线的条件下，能有效检测出相应的天际线；Hung等[8-11]对天空与山区图片在不同的季节、不同气候等环境复杂多变的条件下，通过提取颜色、状态特征和边缘位置信息特征，采用支持向量机SVM算法来对天空与山区区域的分界线区域中关键点周围像素点训练一个分类器，然后将该分类器应用到天空与山区区域进行天际线的提取；Kim等[12]采样多级边缘滤波算法MEF(Multistage edge filtering)检测出图像中的天际线，首先对训练样本图像的特征信息进行定义域分类，然后通过MEF算法对存在的噪声边缘信息进行去噪，最后通过边缘检测算法来检测出天际线；Ahmad等[13]对训练样本图像中天际线边缘的关键点信息进行训练，使用关键点信息的SIFT特征对天空与非天空的结合区域进行天际线的检测；李寿涛等[6,14]提出一种基于Mumford-Shah泛函模型和曲线演化原理的天际线识别算法，并将其应用到森林烟火识别系统、无人机的天际线识别上，通过基于梯度和区域混合开闭曲线模型约束下精确识别天际线，并由此估计无人机滚动和俯仰姿态角；刘松涛等[15]对利用边缘检测、形态学滤波和Hough变换的方法识别红外图像下的海天线，用于可见光图像和红外图像配准；吕俊伟等[16]利用分形和Hough变换来识别红外环境下的天际线，用于导弹末端制导；杨家红等[17]利用海天线区域在背景灰度上的渐变特性，提出了一种海天线定位方法；桂阳等[18]提出了一种基于相位编组和灰度统计的新方法来检测出正确的海天线。

目前，天际线检测一般方法主要有：① 采用机器学习对天空与非天空区域关键特征进行训练，建立相应的分类器，从而达到识别天际线的目的；② 采用边缘信息检测达到天际线的检测；③ 采用颜色分割和边缘提取融合算法。这些算法在“存在一条连续不断的边缘边界分割天空与非天空区域”的假设条件下能达到比较好的效果。但是在天空与非天空区域背景较复杂的情况下对天际线的检测效果有限，如：低对比度、烟或雾气、阴影、光线、地表情况等因素。并在天际线是曲线(非直线、斜线)的情况下，这些算法对天际线是曲线的检测效果有限。本文在RCA算法检测天际线的基础上，提出一种天际线起始点位置坐标检测算法，并以该起始点位置坐标进行天际线的搜索，将相邻邻域内梯度极大值算法应用到天际线的检测上。该算法对天际线有边缘与无边缘检测都有比较好的效果，不需要对图像进行边缘信息的提取，从而能快速有效地检测出图像中的天际线，尤其是对曲线(非直线、斜线)情况下天际线检测的效果尤为突出，并在同等硬件环境下计算速度更快。

1　天际线检测算法流程

先对要检测的原始图像I(i，j)进行RCA图像分割，把图像初步分割成天空与非天空区域，存储初分割的天空与非天空区域的分界线坐标；在此基础上提出一种基于分割区域全局梯度均值与局部梯度均值相融合的算法检测出天际线起始点坐标P1(i，1)；在确定出P1点坐标后，在图像分割的非天空区域内将三邻域梯度极大值算法应用到图像的天际线检测上。天际线检测算法流程图如图1所示。

图1　天际线提取示意流程图

2　天际线检测算法研究

2.1基于RCA的天际线检测算法

图2　RCA天际线遍历示意图

对每次遍历过程分别计算天空与非天空的协方差矩阵，计算表达式如式(1)和式(2)所示：

(1)

(2)

其中，μs与μg分别为天空与陆地的平均RGB分量值，μs与μg计算表达式如式(3)和式(4)所示：

(3)

(4)

接着采用式(5)计算最大J值，其中，det()为协方差矩阵Λs跟Λg的行列式值，trace()为协方差矩阵Λs跟的迹。

(5)

对式(5)进行优化可得到式(6)，其中var()为方差值，Ys跟Yg分别代表天空与非天空的亮度值。对式(6)进行简化运算得到式(7)，通过式(7)计算最大的J值从而得到输入图像的天际线坐标值[2,19]。

(6)

(7)

2.2天际线检测起始点坐标提取算法

输入图像I(i，j)采用RCA算法进行初分割，对分割区域分别计算天空与非天空区域的平均梯度值大小。天空区域的平均梯度值记为Sav，非天空区域的平均梯度值记为Gav、Sav与Gav的计算公式为：

(8)

(9)

其中m、n分别表示图像I(i，j)的行、列值，M1到Mn为RCA算法提取的天际线坐标值。P(i,j)表示图像中对应的像素点坐标(i,j)RGB值。天空区域图像的首列计算平均梯度值Gfav大小。计算公式为：

(10)

接着采用式(11)来计算梯度阈值大小，k1、k2、k3分别为阈值参数，对训练样本图片通过实验方法确定阈值参数，达到最优的阈值r。

r=k1×Sav+k2×Gav+k3×Gfav

(11)

在确定阈值大小后，天际线起始点位置坐标的确定通过式(12)来计算，在RCA算法分割的图像非天空区域首列进行搜索，如果存在G1>r，G2>r，G3>r，则确定P1(i，1)是天际线起始点坐标。

G1=P1(i,1)-P1(i+1,1)G2=P1(i,1)-P1(i+2,1)G3=P1(i,1)-P1(i+3,1)

(12)

图3为采用分割区域平均梯度值跟局部梯度平均值进行天际线起始点检测示意图。

图3　天际线起始点检测示意图

2.3AGM天际线检测算法

在天际线的起始点P1坐标提取后，如图4中P1点坐标，在图4中RCA图像分割后的非天空区域以P1点坐标为起始坐标，采用基于三邻域内梯度极大值搜索天际线位置点坐标。

图4　三邻域内梯度极大值天际线检测示意图

相邻三邻域内的梯度计算如式(13)所示：

(13)

分别计算三邻域内的各梯度值大小，接着采用式(14)得到最大的梯度值，最后通过式(15)检测天际线的坐标位置Pj点，检测出坐标位置Pj点后计算对应的坐标点位置并存储。

(14)

(15)

3　天际线检测与实验对比分析

3.1天际线检测步骤

提出的天际线检测算法 检测步骤如下所示：

① 采用RCA算法对图像I进行初分割，把图像粗分割成天空与非天空区域；图5为选取在内华达大学机器视觉实验室Web set图片集中Img001～Img012的图像运行RCA算法的结果图。Web set数据集上图片大小为1388×519。

图5　基于RCA算法的天际线检测结果

② 采用基于分割区域平均梯度值与局部梯度平均值算法来提取天际线起始位置坐标点；通过对Web set训练样本采用式(11)来确定阈值，实验发现当k1、k2、k3分别取1、1、10时效果最佳。表1是图5中起始点提取的起始点坐标值。

表1　图5中图片起始点位置点

③ 在第2步确定天际线的起始点坐标后，以此坐标点采用三邻域内梯度极大值算法检测天际线，选取内华达大学机器视觉实验室Web set图片集中Img001至Img012图片检测结果如图6所示。

图6　AGM天际线检测结果

3.2算法计算误差对比

本算法在Web set图片测试集上进行了测试，总共有80张图片，分别运行文献中的四种算法对检测的天际线结果进行量化对比分析。对比参数主要从平均误差、误差最大值、误差最小值进行定量分析。图7为运行提出的算法在测试集上平均误差值的大小，平均误差分析采用欧式距离进行计算，如式(16)所示：X1为本文提出的算法中检测出的天际线坐标向量，X为测试集标准天际线坐标向量。

(16)

图7　测试集误差大小值

对比文献中的的三种天际线检测算法，各项测试数据如表2所示。

表2　四种检测算法在Web set测试数据结果对比

3.3算法计算时间结果对比

将提出的算法与另外三种天际线检测算法在Matlab2013a进行了算法仿真实验，算法运行的计算机硬件环境为CPU T7700，内存4 GB。统计80张测试样本图片的运行时间，得到每张图片的平均计算时间，计算结果如图8所示，从图8中可以看出本文算法计算速度优于其他三种算法。

图8　平均每张图片计算时间

3.4算法结果讨论

通过表2可以看出基于RCA算法和相邻梯度极大值融合算法对天际线的检测有较好的检测效果。在测试样本数据库上误差最大值均优于文献中其他三种方法，平均误差略高于文献[11]中提到的算法。由于采用的检测算法是以当前确定的天际线像素点坐标进行三邻域内下一个天际线像素点位置坐标的搜索，如存在非天空过渡区域的三邻域内的梯度值大于真实天际线之间的梯度值容易导致检测误差的增加。如图9所示为由于非天空区域中石头的背景颜色较深导致天际线像素点坐标的错误检测。

图9　非天空区域梯度较大的图片

若存在天空与非天空区域之间的过渡区域的背景色彩相似性较大，如图10所示为天空与非天空区域之间的过渡区域背景非常相近，导致天际线像素点位置坐标存在错误的检测。从而导致平均误差比文献[11]中的误差要大0.1739。

图10　天空与非天空过渡区域背景颜色近似的图片

4　结　语

本文针对图像中天际线的提取问题，特别是曲线情况下的天际线，在常用天际线检测算法的基础上，将RCA算法应用到图像的分割上。首先将图像分割成天空区域与非天空区域，同时提出一种基于分割区域梯度平均值与局部梯度平均值算法来设定阈值。通过实验分析的方法确定阈值参数，接着提出一种基于邻域极大值算法来搜索天际线。最后通过对比实验采用的四种天际线检测算法结果进行定量分析，结果表明，该算法对天际线的提取准确度较高，计算时间较快，对天际线线为曲线的检测尤为突出，并无需对图像的边缘信息进行提取。

[1] Croon G C H E d,Remes B D W,Waszak C D,et al.Sky Segmentation Approach to Obstacle Avoidance[C]//IEEE Aerospace Conference,2011:1-16.

[2] Ettinger S M,Nechyba M C,Ifju P G,et al.Vision-guided flight stability and control for micro air vehicles[J].Advanced Robotics,2002,3(7):2134-2140.

[3] McGee T G,Sengupta R,Hedrick K.Obstacle Detection for Small Autonomous Aircraft Using Sky Segmentation[C]//IEEE International Conference on Robotics and Automation,2005:4679-4684.

[4] Todorovic S,Nechyba M C,Ifju P G.Sky/ground modeling for autonomous MAV flight[C]//IEEE International Conference on Robotics and Automation,2003,1(1):1422-1427.

[5] Thurrowgood S,Soccol D,Moore R J D,et al.A vision based system for attitude estimation of UAVs[C]//IEEE-RSJ International Conference on Intelligent Robots and Systems,2009:5725-5730.

[6] 李寿涛,李小毛,唐延东.天际线识别在森林烟火识别中的应用[J].红外与激光工程,2006,35(4):414-418.

[7] Fefilatyev S,Smarodzinava V,Hall L O,et al.Horizon Detection Using Machine Learning Techniques[C]//International Conference on Machine Learning and Applications,2006:17-21.[8] Hung Y,Su C,Chang Y,et al.Skyline localization for mountain images[C]//IEEE International Conference on Multimedia and Expo,2013:1-6.

[9] Lie W,Lin T C I,Lin T,et al.A robust dynamic programming algorithm to extract skyline in images for navigation[J].Pattern Recognition Letters,2005,26(2):221-230.

[10] Verbickas R,Whitehead A.Sky and Ground Detection Using Convolutional Neural Networks[C]//International Conference on Machine Vision and Machine Learning,2014,64(4):1-10.

[11] Yazdanpanah A P,Regentova E E,Mandava A K,et al.Sky Segmentation by Fusing Clustering with Neural Networks[J].Lecture Notes in Computer Science,2013,8034:663-672.

[12] Kim B,Shin J,Nam H,et al.Skyline Extraction using a Multistage Edge Filtering[J].International Scholarly and Scientific Research and Innovation,2011,5(7):787-79.

[13] Ahmad T,Bebis G,Regentova E,et al.A Machine Learning Approach to Horizon Line Detection Using Local Features[J].Springer Berlin Heidelberg,2013,8033:181-193.

[14] 丛杨,李小毛,田建东,等.基于天际线识别的无人机实时姿态角估计[J].仪器仪表学报,2009,30(5):938-943.

[15] 刘松涛,周晓东,王成刚.复杂海空背景下鲁棒的海天线检测算法研究[J].光电工程,2006,33(8):5-10.

[16] 吕俊伟,王成刚,周晓东,等.基于分型特征和Hough变换的海天线检测算法[J].海军航空工程学院学报,2006,21(5):545-548.

[17] 杨家红,李翠红,危德益,等.基于复杂海空背景行均值曲线的还天线定位算法[J].激光与红外,2012,42(12):1346-1350.

[18] 桂阳,李立春,王鲲鹏,等.基于区域方差和RANSAC的海天线检测新方法[J].激光与红外,2008,38(4):638-641.

[19] Gershikov E,Libe T,Kosolapov S.Horizon Line Detection in Marine Images Which Method to Choose[J].International Journal on Advances in Intelligent Systems,2015,6(1 and 2):79-88.

REASERCH ON SKYLINE DETECTION ALGORITHM BASED ON RCA AND ADJACENT GRADIENT

Tu Bing1,2,3Pan Jianwu1,2,3Lei Shuangshuang1,3Kuang Wenlan1,3Xia Xucheng1,3

1(School of Information and Communication Engineering,Hunan Institute of Science and Technology,Yueyang 414006,Hunan,China)2(KeyLaboratoryofOptimizationandControlforComplexSystems,CollegeofHunanProvince,Yueyang414006,Hunan,China)3(LaboratoryofIntelligent-ImageInformationProcessing,HunanInstituteofScienceandTechnology,Yueyang414006,Hunan,China)

Skyline detection plays an important role in machine visual navigation, geographical position location, ship detection and port security and forest protection. Firstly, the regional covariance algorithm (RCA) is used to divide the image into the sky and the non-sky regions. Then, a new method based on the combination of the global gradient mean and the local gradient mean value is proposed to determine the starting point of the sky and the non-sky regions. And then, from the starting point, the maximum possible skyline is detected by using the adjacent gradient maxima(AGM) algorithm in the segmentation of the non-sky regions. The proposed algorithm is tested on the Web Set data set in University of Nevada’s Machine Vision Laboratory.The experimental results show that the algorithm can effectively detect the boundary between the sky and the non-sky regions, and has good validity and timeliness.

SkylineVisual navigationRegional covarianceAdjacent gradient

2016-01-15。国家自然科学基金项目(61201435)；湖南省高校科技创新团队支持项目(湘教通[2012]318号)。涂兵，讲师，主研领域：图像处理，计算机视觉，智能信息处理。潘建武，硕士生。雷霜霜，硕士生。匡文兰，硕士生。夏旭承，硕士生。

TP391

A

10.3969/j.issn.1000-386x.2016.09.042