邢坤 岳春宇 周楠 张炳先 曹世翔 何红艳
基于U形结构提取的港口目标检测研究
邢坤 岳春宇 周楠 张炳先 曹世翔 何红艳
(北京空间机电研究所,北京 100094)
遥感图像中港口目标的检测是目标识别研究的重要方面,准确、高效地自动提取港口目标对于提高遥感图像自动解译能力具有重大意义。文章提出一种基于U形结构单元提取的遥感图像港口目标检测的方法。首先利用梯度算子和灰度相似性聚类分割海洋和陆地区域并提取粗略海岸线,再根据内港区域的封闭特性提取疑似区域,在分析内港区域结构的基础上,引入U形结构元的概念以及提取算法来对疑似区域进行确认。试验表明,该方法检测的港口目标准确率较高,速度较快,能够满足民用和军事识别的需求。
遥感图像 港口目标 内港区域 U形结构 卫星应用
港口是一种结构非常复杂的目标,形态多样,背景中存在大量其它设施,比如一些大型的油库、货场等建筑,受到水文地质等因素的影响;每个港口的相关设施都有其特殊的结构和布局,导致港口形状特殊,给检测技术带来很大挑战性。虽然目前针对遥感图像中港口检测的研究取得了一些进展,但是真正能够应用于复杂背景下的港口目标检测技术还有许多工作要做。
早期国外有一些文献是根据港口的结构设计并基于专家知识和黑板框架的模型来检测港口[1-2],但近几年文献较少。在国内,检测与识别技术是从较简单的模型发展起来的。文献[3]通过检测轮廓线的角点,进而识别港口轮廓基元来达到检测港口的目的,但算法依赖于轮廓的提取。文献[4]针对港口自身的结构特点并融合专家知识,采用结构化分析方法,提出了基于黑板结构的产生式网港口模型。文献[5]根据港口目标类型的不同设计了两类港口候选区域的快速提取方法,采用EM算法估计最小错误率门限阈值的方法进行海洋和陆地分割,利用港口的半封闭区域特性实现港口的检测,检测方法中海陆分割的阈值需要迭代推导,比较耗时,而且对半封闭区域的分析不够深入。文献[6]将港口轮廓以模板的形式预先存储,通过地理坐标的匹配判定港口存在的位置,但未作进一步识别分析。
随着目标识别技术的发展,国内出现了一些新的方法。文献[7,8]采用提取轮廓的方法识别港口;文献[9]采用SIFT特征匹配方法定位大幅面遥感图像中的特定港口目标;文献[10]提出一种基于内港岸线特征谱的港口识别方法,根据特征谱的匹配相似度实现港口识别;文献[11]提出了一种基于多级感知编组的港口提取方法;文献[12,13]通过识别港口防波堤来判断遥感图像中是否存在港口目标;文献[14,15]针对港口舰船目标变化检测进行了研究。这些方法仅实现了特定港口目标的识别,不具有通用性,但对本文方法提供了思路。
综合分析,港口目标自动检测的困难主要在于:1)由于气候、光照等因素影响,目标与背景对比不明显,因此将目标从背景中分割出来比较困难;2)港口结构形状和布局各异,很难用统一的模型描述;3)对港口目标自动识别的研究近几年才开展,参考资料有限,许多方法不具有通用性。随着高分辨率遥感技术的发展,图像的背景更加复杂,受其他地物影响更加明显。
从检测过程来看,在整幅图像中直接检测港口目标是低效不可取的,应该首先有针对性的根据港口的特点筛选识别区域,然后再在候选区域内检验港口目标区别于其他目标的特征。大中型港口一般临海而建,由于码头、突堤和防波堤等设施的隔离作用,使得附近的海域分割为内港区域和外港区域两部分,在内港区域海岸线的边缘呈直线状特征,为了停泊船只,结构有若干伸向水域的部分,与水域的交界成“U”形结构。本文的思想就是在假设阶段基于内港区域的封闭特性提取疑似港口区域,在验证阶段从疑似港口区域的海岸线上检测“U”形结构来完成港口目标的检测。港口目标检测流程如图1所示。
图1 港口目标检测流程
通过对港口目标两侧海陆纹理的研究可以发现:海域面积比较大且穿过图像的边界,整体灰度比较均匀,即灰度梯度幅值较小;陆地灰度由于受城市交通网、建筑物以及植被的影响,灰度不均匀,即灰度梯度幅值较大。本文采用基于梯度分析的方法,结合灰度相似性聚类初步提取海域,通过分析图像中是否存在海域来判断港口存在的可能性,因为图像中存在海域才有可能存在港口,才有继续检测的必要。海陆分割算法流程如图2所示。
图2 海陆分割算法示意
对于图像,采用3×3邻域差分计算可以避免在像素之间内插点上计算梯度幅值,依据一阶方向导数在边缘处取最大值这一变化规律,检查每个像素的邻域并对灰度变化率进行量化,因此定义沿不同方向检测梯度变化的模板为:
式中,表示像素所处的行列号。
梯度分割是一种基于度量空间的分割方法,只是利用了图像的灰度值,而海域是灰度值相似度很高的大面积独立区域。灰度相似性聚类则考虑了海域的空域分布特征,该方法的原理是依次检查每一个像素与相邻像素的灰度值之差,当灰度差小于规定阈值时,此相邻像素即被认为与被检查像素属于同一区域而被聚合;反之,则认为属于另一个区域,分割反复迭代进行。本文要分割的海域必与图像边界相连,所以选择初始聚类中心为图像边界上灰度值较低(黑色)的像素,算法具体步骤如下:
4)当堆栈为空时,回到步骤1);
5)重复步骤1)~4),直到图像边界的每个灰度值为0的像素点都有归属时,聚类结束。
根据聚类的面积判断图像中是否存在海域,如果上述算法得到的像素数量最多的聚类大于整幅图像像素数目的10%,就认为此聚类为海域,可能存在港口区域,否则就终止检测过程。这个简单的判断可以快速缩小检测范围,避免盲目操作。如果聚类符合要求,设定含有像素数量最多的聚类为海域,则其余区域全部置为陆地。检测出的海域存在一些被误判为陆地的团状斑块,给后续的内港区域提取造成一定影响,需要进行去斑块操作。至此得到了海陆分割的图像以及一条粗略海岸线,虽然海岸线并不是非常精确,但是并不影响检测的结果。
文献[16]通过提取轮廓,根据轮廓线几何特征来进行判别,难度较大。本文提供一个简单的方法:只对海域边缘(粗略海岸线)的像素分别沿如图3所示8个方向进行搜索,记录遇到陆地的情况,定义在7个或7个以上方向遇到陆地,即认为此像素被陆地包围,其包围的海域就是内港区域。
图3 8个搜索方向
海陆的交错以及分割的影响使得封闭区域并不都是内港区域,这时可以用面积阈值去掉一部分虚警,因为对于大中型港口来说,内港区域具有一定的面积。为了减少漏检率,本文定义阈值范围。经过疑似内港区域提取,大部分港口目标被快速定位,但偶尔也会有一些区域被误检测为港口,需对疑似目标区域做进一步筛选。
经过观察发现内港区域的边缘呈直线状特征,为了方便船舶停靠,海岸线包围海域呈“U”形结构,这是港口目标区别于其他目标的固有特征,以前算法不曾提及。U形结构是一种重要的形状特征,是由满足一定位置关系的一对平行线段与一条垂直线段组合而成。由于光照条件的变化及其周围背景的复杂性,能否从疑似港口内港区域的海岸线上提取上述特征成为本节的关键。基于U形结构元检测港口算法流程如图4所示。
图4 基于U形结构提取的港口目标检测
邻接矩阵是表示顶点之间相邻关系的矩阵,这里根据无向图邻接矩阵的性质来记录不同的边缘端点之间的邻接关系,并根据这些邻接信息对边缘链进行跟踪、处理。获取直线单元(Element Line, EL)的流程如图5所示,步骤概括:1)对内港区域的海岸线周围区域进行边缘扫描,得到各条独立边缘的信息,将跟踪得到的边缘称为边缘链;2)构建边缘链的各端点和边缘链本身的邻接矩阵,并根据邻接矩阵信息对边缘链进行合并、删除等操作;3)对处理过的边缘链进行迭代分裂,获得直线单元。
图5 获取直线单元流程示意
图6 EL与候选直线的关系
图7 U形结构元
具体的编组算法步骤如下:
3)对累积结构数组中每条候选直线的所有EL进行合并,通过长度阈值判断删除没有意义的短直线。
本文所要提取的U形结构元如图7所示,其中0、1和2分别为构成结构元的3条直线单元,0、1、2和0、1、2分别表示它们的端点。
提取U形结构元的算法如下:选定一条直线单元记为0,根据斜率判断是否存在与0成近似垂直的直线单元L。如果存在两条或者两条以上的L,从中寻找组成U形结构元的1和2,首先判断1和2都有位于0同侧的端点,保证结构元的开口方向,然后判断端点之间的距离:
式中表示距离长度。
算法针对针对1m、5m和10m分辨率30幅遥感图像进行试验,其中26幅存在27个大中型港口,正确检测25个,虚警2个,漏检2个,正确识别率92.6%,虚警率7.4%,漏检率7.4%,10 000像素× 10 000像素图像平均处理时间在2s以内。对试验结果进行深入分析发现,虚警的原因是某些河流的入海口影响了检测,漏检的原因是港内停靠的船只干扰了内港区域直线单元的提取。
文献[16]首先根据活动轮廓模型提取海岸线,然后根据特征聚类分割内港岸线,最后通过特征点松弛匹配识别特定港口,方法处理时间比较长,不具有实用性。文献[5]针对大型和中小型港口分别设计港口候选区域提取方法,再采用阈值方法进行海洋和陆地的分割,最后利用港口的固有特征实现港口识别,识别方法中海陆分割的阈值不好掌握,而且对半封闭区域的分析不够深入。从识别时间来说,本文算法采用了多种策略来优化时间,比如简单的基于梯度的海陆分割、基于海岸线封闭海域的提取以及粗略海岸线周围带状区域的提取等,而文献[5]阈值分割采用EM算法估计海洋和陆地在图像上的高斯分布参数,由最小错误率准则导出分割门限,算法采用迭代操作,所以耗时较长;从虚警率来说,上述算法对固有特征的分析只是简单判断了半封闭特性,没有深入考虑其他特征,导致虚警率高,而本文基于U型结构来判别疑似区域的人工建筑,减少了虚警。综上分析本文算法效率较高。
图8~10分别显示了不同分辨率图像的港口目标检测结果,可以看出算法具有很强的实用性,能够正确检测出不同尺度、不同形状的港口目标。
图8 港口目标检测1
图9 港口目标检测2
图10 港口目标检测3
本文在分析结构特征的基础上,针对遥感图像中大中型港口的快速检测问题提出了一些新的思路,例如采用基于梯度分割的方法结合灰度相似性聚类提取海洋和陆地区域,通过分析图像中是否存在海域来判断港口存在的可能性;对粗略海岸线分别沿8个方向寻找陆地,根据封闭程度提取疑似内港区域;引入U形结构元的概念以及提取算法,对内港区域进行结构特征验证,确定真实港口区域。算法具有计算量小和准确率高的优点,而且模型通用,因为几乎所有的大中型港口具有封闭特性、内港海岸线具有U形结构,该算法对高分辨率图像和一定范围内的低分辨率图像同样适用。
参考文献(References
)
[1] CVETKOVIĆ D M, DOOB M, SACHS H. Spectra of Graph: Theoryand Applications[M]. Berlin: Academic Press, 1982.
[2] CHUNGF R K. Spectral Graph Theory[M]. Providance, Rhode Island USA: American Mathematical Society, 1997.
[3] 李艳, 彭嘉雄. 港口目标特征提取与识别[J]. 华中科技大学学报, 2001, 29(6): 9-11. LI Yan, PENG Jiaxiong. Feature Extraction of the Harbor Target and its Recognition[J]. Journal of Huazhong University of Science and Technology, 2001, 29(6): 9-11. (in Chinese)
[4] 杨耘, 王树根, 邱丹丹. 基于规则的高分辨率影像港口识别模型[J]. 测绘信息与工程, 2005, 30(5): 40-42. YANG Yun, WANG Shugen, QIU Dandan. Harbor Recognition Model from High-resolution Images Based on Rules[J]. Journal of Geomatics, 2005, 30(5): 40-42. (in Chinese)
[5] 朱兵, 李金宗, 陈爱军. 大尺度遥感图像中港口目标快速识别[J]. 模式识别与人工智能, 2006, 219(4): 552-556. ZHU Bing, LI Jinzong, CHEN Aijun. Fast Knowledge Based Recognition of Harbor Ttarget[J]. Computer Applications, 2006, 26(3): 729-732. (in Chinese)
[6] 隆刚, 陈学佺. 高分辨率遥感图像港内舰船的自动检测方法[J]. 计算机仿真, 2007, 24(5): 198-201. LONG Gang, CHEN Xuequan. A Method for Automatic Detection of Ships in Harbor Area in High-resolution Remote Sensing Image[J]. Computer Simulation, 2007, 24(5): 198-201. (in Chinese)
[7] 周拥军, 朱兆达, 丁全心. 遥感图像中港口目标识别技术[J]. 南京航空航天大学学报, 2008, 40(3): 350-353. ZHOU Yongjun, ZHU Zhaoda, DING Quanxin. Port Target Recognition of Remote Sensing Image[J]. Journal of Nanjing University of Aeronautics & Astronautics, 2008, 40(3): 350-353. (in Chinese)
[8] 刘丽丽. 遥感图像中港口目标的检测与识别[D]. 哈尔滨: 哈尔滨工业大学, 2007 LIU Lili. Harbor Target Detectionand Recognitionin Remote Sensing Image[D]. Harbin: Harbin Institute of Technology, 2007. (in Chinese)
[9] 张振. 高分辨率可见光遥感图像港口及港内目标识别方法研究[D]. 合肥: 中国科学技术大学, 2009. ZHANG Zhen. Research on Target Recognition Methods of Harbor and Harbor in High Resolution Visible Light Remote Sensing Images[D]. Hefei: Master Thesis of University of Science & Technology of China, 2009. (in Chinese)
[10] 张志龙, 张焱, 沈振康. 基于特征谱的高分辨率遥感图像港口识别方法[J]. 电子学报, 2010, 38(9): 2184-2188. ZHANG Zhilong, ZHANG Yan, SHEN Zhenkang. A Method for Automatic Detection of Ships in Harbor Area in High-resolution Remote Sensing Image[J]. Acta Electronica Sinica, 2010, 38(9): 2184-2188. (in Chinese)
[11] 陈琪, 陆军, 匡纲要. 基于感知编组的遥感图像港口提取方法[J]. 信号处理, 2010, 26(7): 1099-1103. CHEN Qi, LU Jun, KUANG Gangyao. Harbor Detection Method of Remote Sensing Images Based on Perceptual Organization[J]. Signal Processing, 2010, 26(7): 1099-1103. (in Chinese)
[12] 魏军伟. 遥感图像中港口目标检测研究与实现[D]. 西安: 西安电子科技大学, 2007. WEI Junwei. Research and Implementation of Port Target Detection in Remote Sensing Images[D]. Xi’an: Master Thesis of Xidian University, 2007. (in Chinese)
[13] 柴宏磊. 基于知识的遥感图像港口目标识别[D]. 成都: 电子科技大学, 2015. CHAI Honglei. Research on Port Target in Remote Sensing Images Based on Knowledge[D]. Chengdu: Master Thesis of University of Electronic Science and Technology of China, 2015. (in Chinese)
[14] 丛瑜, 周伟, 于仕财, 等. 一种对港口影像进行舰船目标提取方法[J]. 计算机仿真, 2014, 31(1): 22-25. CONG Yu, ZHOU Wei, YU Shicai, et al. Method for Extraction of Ship Target from Remote Sensing Images[J]. Computer Simulation, 2014, 31(1): 22-25. (in Chinese)
[15] 孙艳丽, 周伟, 王杰. 基于电子地图的港口舰船目标变化检测[J]. 海军航空工程学院学报, 2016, 31(3): 372-378. SUN Yanli, ZHOU Wei, WANG Jie. Change Detection of Ship Target in Port Based on Electronic Map[J]. Journal of Naval Aeronautical and Astronautical University, 2016, 31(3): 372-378. (in Chinese)
[16] 张志龙. 基于遥感图像的重要目标特征提取与识别方法研究[D]. 长沙: 国防科学技术大学, 2005: 121-123. ZHANG Zhilong. Research on Feature Extraction and Recognition of Important Targets Based on Remote Sensing Images[D]. Changsha: National University of Defense Technology, 2005: 121-123. (in Chinese)
(编辑:夏淑密)
Research on Harbor Target Detection Based on U-shape Structure Extraction
XING Kun YUE Chunyu ZHOU Nan ZHANG Bingxian CAO Shixiang HE Hongyan
(Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China)
Harbor detection is an important aspect in target recognition research. Accurate and fast harbor extraction has great significance for improving the ability of automatically interpreting the remote sensing images. A method of harbor target detection based on U-shape structure extraction is proposed in the paper. The gradient operator and the gray scale similarity clustering are used to divide the oceans and the land, and then the rough coastlines are extracted. The suspected harbors are extracted according to the enclosed features of the inner harbor area. Based on the analysis of the regional structure of the inner harbor, the concept of U-shape structure element and the extraction algorithm are introduced to confirm the suspected area. The experimental results show that the proposed method has higher accuracy and faster speed, and can meet the requirements of civilian and military recognition.
remote sensing images; harbor target; inside region; U-shape structure; satellite application
TP751.1
A
1009-8518(2018)01-0104-08
10.3969/j.issn.1009-8518.2018.01.013
邢坤,男,1980年生,2010年获哈尔滨工业大学机械电子工程专业博士学位,高级工程师。研究方向为遥感图像处理。E-mail:xingkunfeixiang@aliyun.com。
2017-08-31
国家重大科技专项工程