融合相容粒理论的遥感图像检索

杨 萍， 李轶鲲， 胡玉玺， 杨树文,4

(1.兰州交通大学测绘与地理信息学院，兰州 730070； 2.甘肃省地理国情监测工程实验室，兰州 730070；3.中煤地西安地图制印有限公司，西安 710054； 4.甘肃省遥感重点实验室，兰州 730000)

融合相容粒理论的遥感图像检索

杨 萍1,2， 李轶鲲1,2， 胡玉玺3， 杨树文1,2,4

(1.兰州交通大学测绘与地理信息学院，兰州 730070； 2.甘肃省地理国情监测工程实验室，兰州 730070；3.中煤地西安地图制印有限公司，西安 710054； 4.甘肃省遥感重点实验室，兰州 730000)

为了提高遥感图像检索的效率和准确性，提出了一种融合相容粒计算模型的遥感图像检索方法。首先,根据相容粒理论定义了区域相容粒、图像相容粒和区域相容粒信息表等相关概念，将遥感图像粒化； 然后，计算出图像区域相容粒的相似度； 最后，结合综合区域匹配算法，提出融合相容粒理论的遥感图像相似性度量算法，并利用IKONOS影像进行对比实验。实验结果表明，融合相容粒理论的检索算法能够提高遥感图像检索的查准率，与综合区域匹配算法相比，本文算法查准率提高了12.08%，基本满足用户需求。

遥感图像检索； 相容粒理论； 综合区域匹配算法； 相似性度量模型； 查准率

0 引言

近年来，随着对地观测系统的发展，遥感数据量快速增长，形成GB级，TB级和PB级的发展趋势，常规遥感图像的存储、管理以及检索方式已经不能满足需要，导致用户无法快速、准确查找到所需的遥感图像，遥感图像检索成为国内外研究的热点。传统基于文本的图像检索方法主要是通过图片的名称、关键字来实现查询功能[1]，把对图像的检索转化为对文本的检索，目前已经发展得相对成熟，但此方法需要耗费大量的人力资源对图像进行人工标注，并且带有一定的主观性，无法满足用户的需求。20世纪90年代，Smeulders等[2]提出了基于内容的图像检索技术(content-based image retrieval，CBIR)，允许用户给出示例图像或目标的形状、颜色和纹理等视觉特征，自动提取图像库的特征与之匹配进行检索，成为了图像检索技术研究的重点。本研究提出的基于内容的图像检索算法拟依据粒计算相容粒理论来设计一个全新的相似性度量模型。

粒计算是人工智能领域兴起的一种智能算法，是当前计算智能研究领域中模拟人类思维和解决复杂问题的新方法。国内外学者已利用该方法在图像检索领域进行了大量的研究，杜根远[3]提出一种基于粒计算的相似性度量模型，为图像检索在粒计算理论中提供新思路； 李双群等[4]结合Canny边缘检测算子提出一种基于相容粒模型的彩色图像检索算法，具有良好的检索精度； Xu等[5]提出利用粒计算商空间理论对颜色特征进行多粒度划分，实现图像检索，检索效果比单特征检索有明显的提升； Ma等[6]利用粒计算贴近度理论提出一种基于颜色特征的图像检索算法，相比较于传统的颜色直方图算法更接近于人类的视觉要求； Fei等[7]利用粒计算商空间理论，提出一种分层的多粒度的唐卡图像检索方法，该方法有效地提高了检索效率。但上述算法都是针对自然图像，由于遥感图像具有尺度大、主题不明确、多时相、语义丰富和海量存储等特点，导致针对自然图像的研究成果不能被直接应用于遥感图像检索中。

由于综合区域匹配算法(integrated region matching，IRM)[8]具有旋转和平移不变性，能够有效地弥补图像不准确分割造成的检索错误。本文通过研究遥感图像区域相容粒的相似度并结合IRM算法来构建融合相容粒理论模型的遥感图像相似性度量算法，为遥感数据库检索提供一种基于粒计算的新方法，并利用同一幅影像进行对比实验，验证2种算法的检索效果。

1 相容关系及相容粒定义

1)定义1： 集合上的相容函数τ[9-10]为

τ：U×U→[0，1]，

(1)

式中相容函数τ满足下面性质

∀x,y∈Uτ(x,x)=1且τ(x,y)=τ(y,x) 。

(2)

2)定义2： 对于一个阈值为p∈[0,1]的相容函数τ定义为[9-10]

τp={〈x,y〉|τ(x,y)≥p},

(3)

式中τp称为参数化的相容关系。

3)定义3： 与τp相关的领域函数[9-10]定义为

nτp(u)={u′∈Uτp(u,u′)成立} 。

(4)

4)定义4： 一个相容粒度空间TS[9-10]定义为一个三元组，即

TS=〈U,τ,p〉,

(5)

式中：U为一个非空集，称为TS的域；τ为集合U上的相容函数；p为相容参数，p∈[0,1]。

5)定义5： 相容粒度空间模型中的粒称为相容粒，用一个三元组来描述[9-10]，即

G=(IG,EG,FG),

(6)

式中：IG为相容粒G的内涵；EG为相容粒G的外延；FG为内涵和外延之间的转换函数。

2 基于图像相容粒遥感图像检索算法

采用相容粒的粒化与粒的计算2大特征，将其应用到遥感图像检索领域，提出一种融合相容粒模型[11]的遥感图像检索算法。该算法包括2部分内容： ①定义了图像的相容粒粒化相关概念，主要包括基本粒、区域相容粒、图像相容粒、相容粒知识库、区域相容粒信息表和区域相容粒相似度等； ②构建图像相容粒的相似性度量模型，在该模型中，首先根据区域相容粒等相关定义计算区域相容粒的相似度，然后结合IRM算法，计算出图像相容粒的相似度，从而获得最终的检索结果。

2.1 相容粒粒化模型

定义遥感图像规则分割之后的子图像为不可分割的最小粒子，称为基本粒； 根据子图像提取的颜色特征进行聚类，聚类结果形成的区域粒子，称为区域粒； 通过区域粒构成的整幅图像为图像粒。结合粒化过程的相容粒理论定义如下。

1)定义6： 区域相容粒RG表示为

RG={IG,EG,FG},

(7)

IG=∪{vi}，

(8)

EG=O，

(9)

式中：IG为RG内涵；vi为基本粒；EG为RG外延；O表示图像区域；FG为IG与EG之间的转换函数，为非负整数值，其含义为vi在区域O中所占的面积比例。

2)定义7： 图像相容粒DG表示为

(10)

(11)

(12)

3)定义8： 相容粒知识库P[12]定义为三元组，即

P=(S,DS,RDS),

(13)

S={d1,d2,…,di,…dm}，

(14)

DS={DG1,DG2,…,DGi,…,DGm},

(15)

(16)

4)定义9： 区域相容粒信息表RS，给定图像集合S，则RS定义为四元组，即

RS=(X,Y,U,f),

(17)

X={x1,x2,…,xN}，

(18)

Y=∪ai,(i=1,2,…,M)，

(19)

式中：X为所有区域相容粒外延的非空集合；xi(1≤i≤N)为图像区域；N为区域相容粒外延的总数；Y为属性集合；ai(ai∈Y)为一个基本粒；M为所有属性的总数；U为属性值的集合，表示某区域相容粒中近似拥有某属性ai的程度；f为X×Y→U的映射函数，为一个数值函数。定义某特定基本粒ai(ai∈Y)在区域相容粒RG中的面积比例大小记为Val(RGi,ai)。

5)定义10： 区域相容粒的相似度SinRG计算公式表示为

(20)

式中：RG1和RG2分别为2个区域相容粒；Val(x1,ai)和Val(x2,ai)分别为在RS中区域RG1和RG2在属性上ai的取值，i=1…M。

2.2 基于图像相容粒相似性度量算法

为了计算图像相容粒的相似性，首先根据RS属性值，计算出SinRG，再结合IRM算法，得出图像相容粒的相似度，从而获得最终的检索结果。

2.2.1 IRM算法

IRM算法通过综合计算图像中所有区域的相似度来确定图像的整体相似度，该算法优势在于对图像可能存在的错误分割具有很强的鲁棒性[8]。假设图像1和图像2分别由集合R1=(r1,r2,…,rl)和R2=(r′1,r′2,…,r′w)来表示，rz和r′v分别表示图像的分割区域z和v的特征向量，1≤z≤l,1≤v≤w。记rz和r′v之间的距离为d(rz,r′v)，简写为dz,v。

计算区域集合R1和R2之间的距离d(R1,R2)时，先匹配2幅图像中的所有区域，计算出所有区域之间的距离dz,v，并根据区域之间的显著性因子Sz,v，给予相应的权重。Sz,v表示区域rz和r′v之间的匹配程度，则显著性矩阵为

S={Sz,v,1≤z≤l,1≤v≤w}，

(21)

故2幅图像之间的距离定义为

(22)

关于Sz，v及IRM算法的具体计算流程请参考文献[8]。

2.2.2 基于图像相容粒遥感图像相似性度量算法

由于2幅图像的相似度越大，距离越小，反之，相似度越小，距离越大，可将IRM算法与图像相容粒理论融合构建遥感图像相似性度量。设DG′和RG′i(i=1，2，…,N)分别为图像d′的图像相容粒和区域相容粒，DG和RGj(j=1，2，…,M)分别为知识库中图像d的图像相容粒和区域相容粒，RG′i和RGj之间的距离DisRG(RG′i,RGj)表达式为

DisRG(RG′i,RGj)=1-SinRG(RG′i,RGj) 。

(23)

在IRM算法中，2幅遥感图像之间的距离是由显著性因子和区域之间的距离来确定的。根据式(22)，图像相容粒的距离可表示为

(24)

3 实验与结果分析

3.1 实验设计

为了验证本文算法的可行性，利用MATLAB语言编写原型系统进行实验。使用28张IKONOS多光谱卫星图像，用蓝光、绿光和红光3个波段合成标准真彩色图像，每一幅图像被分割成256像素×256像素的子图像，2幅子图像的最大重复度为50%，数据库中共保留12 000幅子图像，共覆盖近4万km2的各种地表覆盖类型，包含农田、岩石、城市、植被、水体和裸土等。

在对图像进行粒化时，借鉴文献[13]的研究方法，首先把遥感图像分割成32像素×32像素的子图像，即本文定义的基本粒，以子图像的64维颜色直方图作为低层特征向量，利用K-means算法依据颜色特征向量对子图像进行聚类，形成区域粒，并将聚类结果作为特征数据存入特征数据库。在检索过程中，用户提交一幅查询图像，系统会自动对查询图像进行相应的处理，获得图像的特征数据。然后，根据图像相容粒相似性度量算法计算相似性，获取检索结果。检索模型流程如图1所示。

图1 检索模型流程Fig.1 Flow chart of retrieval model

数据库中包含6种语义的图像，对每种语义分别选取10幅查询图像进行检索，取检索结果的前10幅图像计算准确率，以10次实验的准确率平均值作为该语义最终检索的查准率，并和IRM算法检索结果进行对比。

3.2 实验结果及分析

2种检索算法的查准率如表1所示。在不同语义下，本文算法的查准率都高于IRM算法，并且本文算法平均查准率为0.79，比IRM算法提高了12.08%，由此可见，本文算法在遥感图像检索中查准率有了显著提高。

表1 2种算法检索结果查准率Tab.1 Precision of two retrieve algorithms (%)

以一幅植被影像为例，分别利用2种检索算法，获取相似度前10的检索影像，如表2所示。

(a)查询影像 (b)前10幅IRM算法检索影像(c)前10幅本文算法检索影像

图22种检索算法比较

Fig.2Comparisonoftworetrievalalgorithms

图2中检索结果按照相似度从左往右，从上往下排序。根据检索结果可以发现，一幅植被影像的前10幅检索结果中，虽然第一幅检索结果均为正确影像，但在IRM算法检索的其他9幅影像效果明显差于本文算法，其检索出了含有城市的错误影像，使得IRM算法的平均查准率较低，而本文算法较高。

4 结论

本文通过对相容粒理论与综合区域匹配算法的研究，提出了一种融合相容粒模型的遥感图像检索算法。该算法首先定义了相容粒的有关概念并对遥感图像的粒化过程进行阐述，然后在区域相容粒相似度计算的基础上，结合综合区域匹配算法，得到了图像相容粒相似性度量算法，并通过实验验证，得出如下结论：

1)本文算法将相容粒理论成功地应用到遥感图像检索领域并取得了理想的效果，实验结果也证明了该算法的有效性。

2)将相容粒理论和综合区域匹配算法相结合，相较于综合区域匹配算法，其检索精度得到了明显提高，平均查准率提升了12.08%。

3)本文算法也存在一定的局限性，仅对IKONOS遥感图像库进行了实验验证，若数据库有其他空间分辨率不同、辐射特征不同的卫星图像数据，查准率会不会有如此大的提升，还有待进一步验证。在下一步工作中，将寻找其他高空间分辨率的卫星数据库以及混合卫星数据库进行实验验证，以进一步评价本文算法的检索效果。

[1] Wang M,Song T Y.Remote sensing image retrieval by scene semantic matching[J].IEEE Transactions on Geoscience and Remote Sensing,2013,51(5):2874-2886.

[2] Smeulders A W M,Worring M,Santini S,et al.Content-based image retrieval at the end of the early years[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(12):1349-1380.

[3] 杜根远.海量遥感图像内容检索关键技术研究[D].成都:成都理工大学,2011.

Du G Y.Study on the Key Technology of Large-Scale Content Based Remote Sensing Image Retrieval[D].Chengdu:Chengdu University of Technology,2011.

[4] 李双群,徐久成,张灵均,等.基于相容粒的彩色图像检索算法[J].广西师范大学学报(自然科学版),2011,29(3):173-178.

Li S Q,Xu J C,Zhang J L,et al.Color image retrieval based on tolerance granules[J].Journal of Guangxi Normal University(Natural Science Edition),2011,29(3):173-178.

[5] Xu X L,Zhang L B,Yu Z Z,et al.Image retrieval using multi-granularity color features[C]//Proceedings of International Conference on Audio,Language and Image Processing.Shanghai:IEEE,2008:1584-1589.

[6] Ma Y Y,Wang C,Xu J C.Image retrieval system based on color feature of granular computing[C]//Proceedings of the 2010 2nd International Workshop on Intelligent Systems and Applications.Wuhan:IEEE,2010:1-3.

[7] Fei X,Liu C S.Multi-granular method for retrieving Thangka images[C]//Proceedings of 2014 International Conference on Progress in Informatics and Computing(PIC).Shanghai:IEEE,2014:46-50.

[8] Wang J Z,Li J,Wiederhold G.SIMPLIcity:Semantics-sensitive integrated matching for picture libraries[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(9):947-963

[10] 孟 军.相容粒计算模型及其数据挖掘研究[D].大连:大连理工大学,2012.

Meng J.Tolerance Granular Computing Model and Its Research on Data Mining[D].Dalian:Dalian University of Technology,2012.

[11] 郑 征.相容粒度空间模型及其应用研究[D].北京:中国科学院研究生院(计算技术研究所),2006.

Zheng Z.Tolerance Granular Space and Its Applications[D].Beijing:Chinese Academy of Science(Institute of Computing Technology),2006.

[12] 刘 韬,李向军,邱桃荣,等.一种基于相容粒计算模型的文章相似度计算方法[J].广西师范大学学报(自然科学版),2010,28(3):135-139.

Liu T,Li X J,Qiu T R.An approach to computing similarity degree between Chinese articles based on tolerance granular computing model[J].Journal of Guangxi Normal University(Natural Science Edition),2010,28(3):135-139.

[13] Li Y K,Bretschneider T R.Semantic-sensitive satellite image retrieval[J].IEEE Transactions on Geoscience and Remote Sensing,2007,45(4):853-860.

Remotesensingimageretrievalbasedontolerancegranularcomputingtheory

YANG Ping1,2, LI Yikun1,2, HU Yuxi3, YANG Shuwen1,2,4

(1.FacultyofGeomatics,LanzhouJiaotongUniversity,Lanzhou730070,China; 2.GansuProvincialEngineeringLaboratoryforNationalGeographicStateMonitoring,Lanzhou730070,China; 3.Xi’anMappingandPrintingCompanyofARSC，Xi’an710054,China; 4.GansuProvinceKeyLaboratoryofRemoteSensing,Lanzhou730000，China)

In order to improve efficiency and accuracy of remote sensing image retrieval, this paper proposes a remote sensing image retrieval approach based on granular computing model. Firstly, according to the tolerance granular computing theory, a series of concepts are defined, such as region tolerance granule, image tolerance granule and regional tolerance granular information table, and remote sensing images are granulated. Secondly, the region tolerance granular similarity is calculated. Finally, the remote sensing image similarity model is built combining tolerance granular computing and image integrated region matching algorithm. Using IKONOS data, the authors verified the two retrieval algorithms. The experimental results show that the precision of proposed approach is increased by 12.08% in comparison with original integrated region matching algorithm. Therefore, it can be concluded that the proposed approach can meet the users’ requirements.

remote sensing image retrieval; tolerance granular computing; integrated region matching; similarity measure model; precision

10.6046/gtzyyg.2017.04.08

杨萍,李轶鲲,胡玉玺,等.融合相容粒理论的遥感图像检索[J].国土资源遥感,2017,29(4)：43-47.(Yang P,Li Y K,Hu Y X,et al.Remote sensing image retrieval based on tolerance granular computing theory[J].Remote Sensing for Land and Resources,2017,29(4)：43-47.)

TP 751.1

A

1001-070X(2017)04-0043-05

2016-04-12；

2016-06-16

甘肃省高等学校基本科研业务费项目“基于空间关系敏感的高分辨率卫星图像检索技术研究”(编号： 213049)、甘肃省科技计划项目“面向对象的高分辨率遥感影像滑坡自动提取方法研究”(编号： 1506RJZA070)、“基于GIS和RS的城市土地利用动态演化与模拟研究”(编号： 148RJZA028)、甘肃省高等学校科研项目“国产高分辨率遥感影像高大地物阴影检测算法研究”(编号： 2015A-049)、甘肃省遥感重点实验室(寒旱所)开放基金项目“中国高分系列影像地物阴影检测与补偿算法研究”和兰州市人才创新创业项目“兰州市降雨诱发滑坡预警系统”(编号： 2015-RC-28)共同资助。

杨 萍(1993-),女,硕士研究生,主要从事遥感图像检索技术研究。Email： 1480319601@qq.com。

李轶鲲(1978-),男,博士,副教授,主要从事卫星图像检索领域的研究。Email: liyikun2003@hotmail.com。

(责任编辑：陈理)