城市遥感图像建筑物仿射协变区域融合检测

李湘眷，王彩玲，孙 皓，李 宇



城市遥感图像建筑物仿射协变区域融合检测

李湘眷1，王彩玲1，孙 皓2,3，李 宇4

( 1. 西安石油大学计算机学院，西安 710065；2. 中国科学院空间信息处理与应用系统技术重点实验室，北京100190；3. 中国科学院电子学研究所，北京 100190；4. 中国科学院遥感与数字地球研究所，北京 100094 )

本文针对城市建筑物的特点，提出融合Hessian-Affine和MSER的仿射协变区域检测方法，利用重复误差筛选高度相关的不同类型区域，根据仿射匹配性分值选择性删除冗余区域，并采用平均重复率、平均匹配区域数进行综合评价分析。实验结果表明，提出的算法将两种检测子互补使用，对于各种仿射变换下的建筑物检测准确率较高，冗余少，适用于城市遥感的实际应用中。

城市遥感图像；建筑物；仿射协变区域；融合检测；检测子

0 引 言

城市是人类活动的缩影，随着人类活动频率的提高和建设速度的加快，需要对表征城市地表的环境进行监测和分析。建筑物是城市的重要组成部分，城市区域的遥感影像中80%左右的目标是建筑物等人造目标。目前，城市地区的建筑物变化巨大，要求能够迅速准确地提供城市地物目标的结构分布和特征信息。采用传统的地面人工测量方法需要投入大量的人力、物力、效果也不理想，而且速度慢，不能反映城市快速发展的现状信息，难以满足应用要求。近年来，遥感图像的波谱、空间和时间分辨率不断提高，使得遥感传感器采集并传输到地面的图像数据量急剧增加。与传统的中低分辨力遥感图像相比，高分辨力光学遥感城市图像中建筑物的结构、纹理和细节等信息会表现得更加清楚。因此，利用高分辨力遥感图像提取城市建筑物的特征信息对于促进城市遥感的发展具有重要意义。

城市遥感图像中的建筑物大多数具有明显的角点、表面灰度分布较均匀、排列较整齐等特性，因此形状、纹理、位置等信息是建筑物的基本特征。现有的建筑物特征提取方法大致分为如下两类：一类主要利用建筑物的颜色纹理信息或几何特征[1-6]，该类方法简单直观，但是在复杂城市环境中单一特征描述目标往往不可靠。另一类方法则是综合利用建筑物的颜色、纹理、形状、位置等多类特征，通过自适应的概率学习融合处理[7-10]。然而遥感图像在实际成像过程中，由于受到传感器高度、搭载平台姿态变化、地球自转、地形地貌、光照变化等客观因素的影响而发生变形，主要表现在图像发生尺度与视角变化、旋转、模糊、亮度变化等，给建筑物的特征提取增加了难度，因此有必要研究更适用于各种仿射变换下的特征检测方法。

为此，本文充分分析了多种建筑物在遥感图像上表现出来的共同性，结合光学遥感卫星成像的具体条件，提出利用仿射协变区域融合检测算法对建筑物进行描述。特征区域的协变性是指区域特征的描述随着图像的变化而变化，从而对图像的旋转、缩放、视角等变换具有更好的不变性。本文将Hessian-affine和MSER两种检测子互补使用，并利用重复误差筛选高度相关的区域，根据仿射匹配性分值选择性删除冗余区域。实验表明，本文提出的仿射协变区域融合检测算法既能描述建筑物的边缘信息，又能综合考虑建筑屋顶均匀块状区域，对多种仿射变换的情况适应性强，具有准确率高，冗余少的特点，为后续建立适用于海量遥感数据多类地物目标提取模型提供研究基础，适用于多种遥感城市图像建筑物的特征描述及相关应用。

1 仿射协变区域检测算法

1.1 Hessian-Affine检测子

Hessian-Affine 检测子[11]首先在高斯尺度空间使用Hessian矩阵()及其行列式Do检测出初始的特征点，然后搜索Do局部极值来选择特征点的位置和特征尺度，最后使用迭代算法不断调整特征点的空间位置、尺度以及邻域的形状，找到收敛后的仿射协变区域。Hessian-Affine检测子的算法核心思想如下。

1) 初始特征点检测：利用图像的二阶微分Hessian矩阵()及其行列式Do的局部极大值来检测初始特征点，如式(1)和式(2)所示。

其中：代表示图像中的点，L和L是使用高斯尺度值对图像进行高斯平滑后，分别在方向和方向的混合微分结果，L和L表示在和方向的二阶微分结果。在位置空间和高斯尺度空间均取得Do局部极值的点就是初始特征点。然而，在实际仿射变换时，尺度变化并不一定是各向同性的，导致局部极大值的定位在不同尺度空间中定位可能出现误差。

2) 仿射协变区域的迭代：为了应对仿射变换的情况，将检测尺度在方向和方向独立对应仿射变换，用非标准高斯核来做卷积，等价于将原图像与一个旋转的椭圆高斯核做卷积。为了获得每个特征点的形状适应矩阵，用自动选择的积分和微分尺度来计算二阶矩矩阵。对于某个给定的初始点(0)，具体的迭代过程如下：

1) 设初始化形状适应矩阵(0)为单位矩阵；

2) 使用形状自适应矩阵规范化特征区域，将椭圆形特征区域规范化为圆形特征区域；

3) 当Do取得极大值时，在点处选择积分尺度；

7) 计算新的形状适应矩阵(k)并将其归一化到最大特征值为1；

通过上述迭代过程，一个初始点将会自动地迭代以调整规范化图像域、初始点的尺度以及空间位置，最终收敛到一个具有仿射不变性的特征点。

Hessian-Affine检测子是Do检测子的仿射自适应改进，用高斯尺度空间的Do检测子估计特征点的初始位置和尺度。对每一个初始特征点，使用稳定和收敛的迭代过程来同步调整特征点的尺度、位置和邻域形状。Hessian-Affine检测子对于明显尺度变化和视角变化等变换具有较强适应性，降低了特征的误配率，从而更准确地识别出不同仿射变换和不同光照变化图像中对应的相似特征区域。

1.2 MSER检测子

最大稳定极值区域(Maximally Stable Extremal Region Detector, MSER)[12]是一种仿射不变性算子。MSER检测子的算法核心思想为：

1) 图像预处理：对输入的灰度图像采用 BinSort 算法，按灰度值大小对所有像素进行降序或升序排列；

2) 图像像素聚类：基于上步排序结果通过Union-Find算法跟踪记录每个像素，在搜索的同时利用给定阈值对灰度图像进行二值化聚类，并不断查找与合并极值区域；

3) 最大稳定极值区域检测：设1,…,Q-1,Q,表示一组互相嵌套的任意连通区域，满足。

当二值化阈值在[-Δ，+Δ]变化时，连通区域相应地变成Q+Δi和Q-Δi。定义区域变化率为，其中表示区域面积，Δ灰度值微小变化量。当在处()取得极小值，则极值

区域Q被作为最大值稳定区域提取出来，同理提取出所有满足条件的Q，这些极值区域被记为MSER+。将原始图像进行灰度值反转，inver=max–，其中表示灰度值，max表示最大灰度值，重复步骤2)和3)，提取出满足条件的最大稳定极值区域，被记做MSER-；

4) 输出MSER椭圆区域结果：最大稳定极值区域为一些不规则的仿射不变区域，为便于后续特征描述，采用基于图像矩的方法将提取的初始不规则区域拟合成椭圆区域。

MSER是基于图像像素点灰度值之间的关系而构造出来的连通区域。该类区域仅取决于区域内部与边界像素点间的灰度值关系，具有仿射不变性。通过这种方法构造的区域不受图像连续性几何形变的影响，且对光照的变化也不敏感，因此能在不同仿射变换下的图像上重复提取到包含相同内容的图像特征区域。

1.3 仿射协变区域融合检测方法及评价指标

Hessian-Affine 能够大量地检测出灰度变化强烈的局部区域，适用于具有明显拐角和边缘的建筑物类型，而MSER算法能够提取图像中灰度一致的目标区域，对于屋顶表面灰度分布均匀的建筑物具有较好的检测效果，且对于图像的旋转等仿射变换具有较好的适应性。由于没有任何一种检测子在任何场景或变换下表现最优，因此本文提出针对遥感城市图像中的不同类型建筑物，对Hessian-Affine、MSER进行互补融合，然后在城市遥感数据集上进行特征检测实验并进行评价。

本文提出的仿射协变区域融合检测方法具体步骤为

1) 初始区域检测：采用MSER和Hessian-Affine检测子对图像进行检测；

2) 协变区域组合：对于上一步骤检测出的两种类型的特征区域进行组合；

3) 查找冗余区域：由于组合过程大大增加了区域数量，因此需要去除高度相关的特征区域。本文提出利用重叠误差判断两种类型的特征区域是否存在高度重合的可能性。冗余区域的判决条件：

其中：1和2分别代表图像中两类特征的某局部椭圆区域面积，两区域之间的交集为，并集为。如果满足冗余判决条件，则认为1和2为高度重合的区域，可以删除其中之一。

4) 删除冗余区域：删除区域的选择标准为仿射变换下的特征区域匹配性分值。和分别表示仿射变换前后的同名特征区域，利用单应性矩阵将仿射图像投影到参考图像，得到，计算与之间的重叠误差，误差越小，说明该特征区域匹配性越好，仿射协变性越强。对于上

一步骤查找出的候选冗余区域，分别计算1和2的匹配性分值，如果二者均满足匹配性(即重叠误差小于阈值)，则删除匹配性分值较低的特征区域。如果二者均不满足匹配性，则二者均被删除。

为了评价特征检测算法在不同仿射变换下的稳定性和精确性，本文采用遥感图像建筑物仿射协变区域在各种仿射变换下的平均重复率(Ave)和平均匹配区域数(Ave)作为性能评价指标。

成对图像之间的重复率[13]定义为满足匹配性的区域数量与两幅图像中较少特征区域总数的比值：

在各种仿射变换下，遥感图像中建筑物检测的仿射协变区域平均重复率和平均匹配区域数定义：

其中：代表仿射变换的类型总数，S和分别代表在第种仿射变换下的重复率和匹配区域数。

本文提出的建筑物仿射协变区域融合检测方法及其性能评价流程如图1所示。首先构建包含各种建筑物的城市遥感图像数据集，然后将其进行各种仿射变换，以模拟不同成像条件下的图像质量。然后采用Hessian-Affine和MSER两种检测子对图像进行特征协变区域检测，并将检测结果组合起来，利用匹配性分值筛选冗余特征区域并进行选择性删除，得到融合之后的特征区域。检测结果对建筑物的描述能力通过仿射协变区域平均重复率、平均匹配区域数进行综合评价。

图1 算法框架图

2 实验结果及分析

2.1 数据集

选用从QuickBird-2遥感图像上截取的城市图像作为数据集，这些图像都是约0.6 m的高分辨力遥感图像，包含不同类型的建筑物，每幅图像大小约400 pixels´400 pixels。图2所示为数据集部分图像，每行第一列代表原始图像，从上至下的六行分别表示将原始图像进行不同程度仿射变换的结果，变换类型分别为散焦模糊、光照变换、平移、旋转、尺度变换、旋转加缩放，即仿射变换类型=6。

图2 高分辨力城市遥感数据集

2.2 特征检测子与性能分析

针对不同仿射变换程度下的高分辨力城市遥感图像，分别采用MSER，Hessian-Affine，Harris-Affine[13]，基于密度极值区域(Intensity Extrema-Based Region，IBR)[14]，基于边缘区域(Edge-based Region，EBR)[15]五种检测子对图像进行仿射协变区域检测，部分图像的检测结果如图3所示。可以看出，Harris-Affine、Hessian-Affine对于图像中的边缘和角点具有较大响应，且检测数量较多，而IBR和EBR对于灰度分布均匀的块状区域响应更好，检测数量较少。

图3 仿射协变区域检测结果

为了分析比较各类检测子在仿射变换下描述建筑物特征时体现出的不同特性，选取30幅包含建筑物的城市遥感图像，统计六种仿射变换情况下五种检测算子取得的平均重复率。如图4所示，所有仿射变换类型中，尺度变化和旋转加缩放对重复率影响最大。对于散焦模糊和光照变化，Hessian-Affine和Harris-Affine检测子能取得较好的重复率，因为图中大部分建筑物包含大量清晰的角点和均匀的区域，而MSER对图像模糊较为敏感，因为轮廓变得模糊，导致分割过程不够精确。对于平移、旋转、缩放以及旋转加缩放的情况，MSER与Hessian-Affine检测子精度更高，因为MSER在具有清晰轮廓线包围的平坦区域上能获得较高精度，且对于图像连续性几何形变适应性较强。因此大多数情况下，MSER和Hessian-Affine效果最优，EBR性能受场景内容影响较大，例如是否包含了稳定的曲线轮廓。IBR性能居中，因为其对图像角点依赖性不大，只要图像局部区域中具备丰富的边缘和纹理即可。这又说明了检测子各有优劣，可以互补，因此结合不同检测子就变为更为合理。

图4 仿射协变区域检测子重复率比较

为了分析比较各类检测子在城市遥感建筑物图像的检测时间，从而为融合方案选择特征类型提供依据，计算数据集在各种仿射变换下各检测子的平均检测时间。实验的硬件环境为：Intel Core2 Duo(Penryn)T6400(2.0 G)处理器和3.0 G内存，操作系统为基于Linux系统的Fedora 12，结果如表1所示。可以看出，MSER由于采用了BINSORT排序和Union-Find算法，在五种检测子中耗时最短，而EBR由于要同时检测角点和边缘，因此耗时最长。在三种特征选择方案中，Hessian+MSER方案耗时最短，大约为Hessian+Harris方案的50%，更适合实际应用中。因此本文选择MSER和Hessian两种特征进行融合检测。

表1 城市遥感图像检测时间

2.3 城市遥感图像建筑物仿射协变区域检测结果分析

针对各检测子在建筑物上表现出的不同特性，分别采用单独检测子、检测子简单组合以及本文提出的融合方法对建筑物图像进行检测。计算图2所示的六幅遥感图像在所有仿射变换情况下的平均重复率，结果如表2所示。可以看出，在五种单独检测子中，MSER和Hessian能够取得较好的结果，这说明建筑物主要是依靠拐点、块状平坦区域等特性决定的。相对于单独检测子，三种组合方案由于综合考虑了不同特征类型，结果优于单独特征子。而本文提出的融合特征检测方案不仅将MSER和Hessian检测子的优点进行互补，而且预先删除了各幅图像中不满足匹配条件的部分特征区域，因此能取得更优的平均重复率，也就是说，该方案对可能出现的各种仿射变换具有较好的适应性，即仿射协变能力更强。

表2 城市遥感图像检测平均重复率

统计各种协变区域特征检测方案的平均匹配区域数，结果如表3所示。可以看出，在五种单独检测子中，Hessian-Affine和Harris-Affine能检测出较多对应区域，而EBR和IBR对图像的纹理内容、边缘质量等条件要求较高，因此区域数量较少。相比较单检测子而言，三种检测子组合方案能检测出更多的仿射协变区域。而本文提出的融合方案根据重复误差和仿射匹配性分值选择性地删除了冗余区域和部分不匹配区域，相比较于检测子简单组合方案，平均匹配区域数较少，即融合方案互补性最好，冗余较少。

表3 城市遥感图像检测平均匹配区域数

结束语

本文针对城市遥感图像中建筑物的特点，提出了一种融合Hessian-Affine和MSER的仿射协变区域检测方法。这是因为Hessian-Affine 算法相比于 MSER算法，能够获得较多的协变区域，对于具有较多遮挡和混乱的场景中较为适用，而MSER对仿射变换的适应性方面更好，尤其在包含平坦区域和清晰轮廓的图像中性能更加。城市中的建筑物通常具有较为清晰的角点和平坦的屋顶区域，经常出现被遮挡的情况，并且由于遥感图像成像条件的不稳定性，图像经常出现模糊、光照变化和几何形变， Hessian-Affine和MSER两种检测子互补使用，平均准确率高，冗余少，时间复杂度小，能较好地描述各种仿射变换下的建筑物特性，更适用于城市遥感的实际应用中。然而，融合检测子会导致更大的区域数量，给后续的图像解译等具体应用造成更长的处理时间，因此如何自动筛选出更具代表性的特征区域，是今后值得研究的问题。

[1] 田昊，杨剑，汪彦明，等. 基于先验形状约束水平集模型的建筑物提取方法 [J]. 自动化学报，2010，36(11)：1502-1511.

TIAN Hao，YANG Jian，WANG Yanming，. Towards Automatic Building Extraction：Variational Level Set Model Using Prior Shape Knowledge [J]. Acta Automatica Sinica，2010，36(11)：1502-1511.

[2] LU Shuqiang，CHEN Xizhong，FU Jiaxin. Semi-automatic Building Extraction from High Resolution Remote Sensing Imagery Based on Mathematical Morphology [C]// 2011 International Conference on Multimedia Technology，Hangzhou，China，July 26-28，2011：5080-5083.

[3] 王世伟，方涛. 基于对象建模的遥感影像建筑物提取方法 [J]. 计算机仿真，2010，27(12)：254-257.

WANG Shiwei，FANG Tao. A Building Extraction Method Based on ObjectModeling in Remote Sensing Image [J]. Computer Simulation，2010，27(12)：254-257.

[4] 任晓娟，肖双九，彭小朋. 基于改进分水岭变换的遥感图像建筑物提取 [J]. 计算机应用与软件，2011，28(12)：249-252.

REN Xiaojuan，XIAO Shuangjiu，PENG Xiaopeng. Building Extraction From Using Improved Watershed Transform [J]. Computer Application and Software，2011，28(12)：249-252.

[5] YANG Gang，DUAN Fuzhou，ZHAO Wenhua，. Building Extraction in Towns and Villages Based on Digital Aerial Image by Texture Enhancing [C]// 18th International Conference on Geoinformatics，Beijing，China，June 18-20，2010：1-6.

[6] 张彦. 遥感图像中建筑物分割方法研究 [D]. 保定：河北工业大学，2012：38-39.

ZHANG Yan. Research on Building Segmentation in Remote Sensing Image [D]. Baoding：Hebei University of Technology，2012：38-39.

[7] 汤玉奇. 面向对象的高分辨力影像城市多特征变化检测研究 [D]. 武汉：武汉大学，2013：65-74.

TANG Yuqi. Object-oriented Change Detection withMulti-feature in Urban High-Resolution Remote Sensing Imagery [D]. Wuhan：Wuhan University，2013：65-74.

[8] 孙显，王宏琦，张道兵，等. 基于多特征融合的城市遥感图像自动解译方法 [J]. 光子学报，2010，39(1)：178-183.

SUN Xian，WANG Hongqi，ZHANG Daobin，. An Automatic Interpretation Approach for Urban Remote Sensing Image Based-on Multiple Features Integration [J]. Acta Photonica Sinica，2010，39(1)：178-183.

[9] 孙显，王宏琦，张正，等. 基于遥感图像的城市道路自动测绘方法研究 [J]. 光学学报，2009，29(1)：86-92.

SUN Xian，WANG Hongqi，ZHANG Zheng，. Automatic Method for Urban Roads Detection and Mapping Based on Remote Sensing Images [J]. Acta Optica Sinica，2009，29(1)：86-92.

[10] 陶超，谭毅华，蔡华杰，等. 面向对象的高分辨力遥感影像城区建筑物分级提取方法 [J]. 测绘学报，2010，39(1)：39-45.

TAO Chao，TAN Yihua，CAI Huajie，. Object-oriented Method of Hierarchical Urban Building Extraction from High-resolution Remote-Sensing Imagery [J]. Acta Geodaetica et Cartographica Sinica，2010，39(1)：39-45.

[11] Mikolajczyk K，Sehmid C. Scale & Affine Invariant Interest Point Detectors [J]. International Journal on Computer Vision(S0920-5691)，2004，60(l)：63-86.

[12] Matas J，Chum O，Urban M，. Robust Wide-baseline Stereo from Maximally Stable Extremal Regions [J]. Image and Vision Computing(S0262-8856)，2004，22(10)：761-767.

[13] Mikolajczyk K，Tuytelaars T，Schmid C，. A Comparison of Affine Region Detectors [J]. International Journal of Computer Vision(S0920-5691)，2005，65(1/2)：43-72.

[14] Tuytelaars T，Van Gool L. Content-based Image Retrieval Based on Local Affinely Invariant Regions [C]// 3rd International Conference on Visual Information Systems，Amsterdam，Holland，June 2-4，1999：493-500.

[15] Tuytelaars T，Van Gool L. Wide Baseline Stereo Matching Based on Local，Affinely Invariant Regions [C]// 11th British Machine Vision Conference，Bristol，UK，September 11-14，2000：412-425.

Fused Affine Region Detection for Buildings in Urban Remote Sensing Images

LI Xiangjuan1，WANG Cailing1，SUN Hao2,3，LI Yu4

( 1. Institute of Computer, Xi’an Shiyou University, Xi’an 710065, China；2. Key Laboratory of Technology in Geo-spatial Information Processing and Application System, Institute of Electronics, Chinese Academy of Sciences, Beijing 100190, China；3. Institute of Electronics, Chinese Academy of Sciences, Beijing 100190, China；4. Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing 100094, China )

With the development of remote sensing technology, high-resolution urban remote sensing images contain more structural and textural information of buildings. Buildings in urban mostly have clear corners and homogeneous roof regions. However, the instability of imaging conditions usually causes blur, light changes and other affine transformations to remote sensing images. Combined with Hessian-Affine and MSER, a fused affine region detection algorithm is proposed. Regions highly covered by others are selected according to the overlap error. Then these selected regions are considered whether to be deleted according to the affine match score. The building images’ average repeatability and number of correspondence are used for evaluation and analysis on detection. Experiments results show that the proposed method make full use of the two complementary detectors, and it obtains the best average repeatability, less redundancy under the different types of transformations. Therefore, the proposed method is better for urban remote sensing application fields.

urban remote sensing images; building; affined covariant region; fused detection; detector

1003-501X(2016)06-0075-08

P208

A

10.3969/j.issn.1003-501X.2016.06.013

2015-09-30；

2015-12-18

国家自然科学基金(41301480，41301382)；陕西省教育厅专项科研计划(14JK1573)；西安石油大学青年科技创新基金项目(2013BS014)；陕西省工业科技攻关项目(2015GY026)资助项目

李湘眷(1984-)，女(汉族)，陕西西安人。讲师，博士，主要研究工作为遥感图像解译。E-mail: xiangjuan_li@126.com。