面向图像分类的SAR与可见光图像融合

陈 磊，杨风暴，王志社，纪利娥

(中北大学信息与通信工程学院，山西太原030051)

1 引言

近年来，随着航天技术的迅猛发展，SAR(合成孔径雷达)越来越受到人们的关注，SAR能够穿透云层和雨区，具有全天时、全天候的工作特性，而且SAR还可以深入地表、穿透植被，改变 SAR的波长可以得到植被上层甚至地下的图像信息［1］。SAR通过物体的几何特性和介电特性得到图像信息，由于不同目标的微波反射特性受频率、反射角和极化方式的影响而不同，使得在SAR图像上呈现较多的地物纹理特征［2］。而可见光图像对目标的物理和化学属性更为敏感，所以图像主要反映不同地物的轮廓和光谱信息。因此将SAR图像与可见光图像进行融合，充分利用两者的互补信息，在保持图像纹理信息的同时，尽可能地增加光谱信息，以便于后续的目标识别等。

SAR与可见光图像融合算法，目前主要是基于灰度调制和多分辨率融合框架的。文献［3］提出基于灰度调制的融合方法，将可见光图像经IHS变换提取的I分量与SAR低频信息的比率进行调制，以加入SAR图像的纹理细节信息。该方法在比率调制时有可能会使计算值超出显示的动态范围，引起失真。文献［4］、［5］通过小波变换对SAR和可见光图像进行融合，对分解后的低频成分简单的加权平均或直接取SAR图像的低频。该方法充分利用了SAR图像纹理信息和可见光的光谱信息的互补性，但低频加权系数的选取过于随机。文献［6］、［7］提出邻域特征自适应加权对低频进行融合，从一定程度上克服了低频加权系数的随机选择，但是由于统计特性各自具有不同的取值范围，可能导致某个统计特性完全掩盖了其他特性的特征。而且上述方法获得的融合图像往往是在某些特性上强于单一图像，不能保证在图像的目标分类和识别上取得良好的效果。因此，本文面向图像分类，在NSCT融合框架下利用遗传算法搜索最优的低频加权系数对SAR和可见光图像进行融合，这样既避免了低频加权系数选择的随机性，且通过遗传算法对足够多的样本进行训练又使融合图像具有良好的分类效果。为方便起见，本文所用可见光图像为灰度可见光图像，SAR图像经过相干斑噪声抑制，并与可见光图像严格配准。

2 SAR图像分类

目前，SAR图像处理的研究热点主要集中在提高图像质量、特征提取、目标分类和识别等，其中目标分类对于目标的解译起了至关重要的作用［8］。SAR图像的分类特征包括灰度特征和纹理特征，从SAR图像的成像特性上来看，具有相同或相近后向散射特性的不同目标在SAR图像上表现为相同或相近的灰度值，这就使得仅利用灰度值对SAR图像进行分类不可能取得良好的效果。本文结合文献［9］～［12］、［15］提出一种结合局域灰度均值和四种纹理特征的分类方法，实验结果证明，能够取得较好的分类效果。

2.1 基于灰度共生矩阵的纹理特征提取

灰度共生矩阵反映图像灰度关于方向、相邻间隔、变化幅度等综合信息，是分析图像局部特征和排列规律的基础。灰度共生矩阵的建立方法是:设图像某一区域有N个灰度值，则对应该区域的灰度共生矩阵是一个 N×N阶矩阵，在矩阵中位置(i，j)(1，…i，N;1…j，N)处元素是从灰度i的像元离开某个固定位置δ=(DX，DY)像元为j这种现象出现的概率［11］。

Haralick［12－14］提出了由灰度共生矩阵计算出的14个统计量来表征图像的纹理特征，随后Baraldi［13］通过大量实验验证，对于SAR图像来说，这14中统计量中的熵、同质区、非相似度和角二阶矩对图像分类效果最好，其计算方法如下:

式中，P( i，j)表示灰度共生矩阵在(i，j)处的值，本文计算每一像元在其邻域内的4个灰度共生矩阵，并取这四个灰度共生矩阵的平均值作为局部图像该像元位置的灰度共生矩阵，通过式(1)～(4)计算其纹理特征。

2.2 图像分类算法

设 f( i，j)为图像在(i，j)处的灰度值，w 为一个n×n的窗口，则在窗口w内图像灰度区域均值为:

本文结合每一像元处的四个纹理特征即熵、同质区、非相似度、角二阶矩和灰度特征局域灰度均值，组成一个新的特征向量，利用K均值聚类算法对图像进行分类，具体算法如下:

(1)以每个像元为中心，取5×5的窗口，计算这个窗口图像的四个方向灰度共生矩阵的均值作为该像元的灰度共生矩阵，根据公式(1)～(4)计算纹理特征。

(2)利用公式(5)，计算以每个像元为中心的5×5窗口内的灰度局域均值作为图像的灰度特征。

(3)将步骤(1)和(2)中计算的纹理特征和灰度特征组合成像元的特征向量。

(4)对所有像元的特征向量进行K均值聚类，得到最终的分类结果。

为验证分类算法的有效性，采用文献［11］中的SAR图像进行仿真，结果如图1所示。

可以看出本文SAR图像分类算法能够取得良好的效果。

图1 SAR图像分类实验

3 图像融合

3.1 NSCT 变换

目前基于多尺度变换的融合算法成为图像融合的研究热点，常用的多尺度变换方法有小波变换，曲波变换，轮廓波变换和NSCT等。NSCT作为最近发展起来的一种多尺度变换方法，其不仅具有小波变换的多尺度和时频局部特性，同时也具有高度的方向性和各向异性，能很好的“捕捉”二维图像的几何结构，而且NSCT还避免了轮廓波变换的上采样和下采样操作，使得NSCT分解得到的子带图像与源图像大小相同，从而容易找到各子带图像间的对应关系，有利于制定融合规则，因此这里采用NSCT对SAR和可见光图像进行融合。

3.2 遗传算法

遗传算法是通过模拟生物进化过程来探索最优解，即通过选择与与染色体之间的交叉变异来完成，本文中采用遗传算法获得最优的低频加权融合系数。

设用NSCT对已配准的SAR和可见光图像进行分解，分解层数为j且每层的分解方向为k，则得到各自的分解系数和，其中 LS表示SAR图像分解后的低频系数，表示 SAR 图像分解后第j层第k方向的高频系数。则融合后的低频系数为:

式中，LF表示融合后的低频系数;α为加权系数，遗传算法的主要任务就在［0，1］区间内搜索最优的α使得融合后的图像分类效果最好。图2是遗传算法流程图。

图2 遗传算法流程图

确定适应度函数是遗传算法最优化搜索的核心，适应度函数是根据待解决问题的目标函数确定的，用于区分群体中个体好坏的标准，是算法演化过程的驱动力，也是进行自然选择的唯一依据。这里以图像的分类精度K作为适应度函数，K的计算为:在图像中随机选取N个点，查阅资料和相关数据确定其所属类别，通过上面的分类算法对图像进行分类，得到这N个样本点中被正确分类的点数n，则分类精度为:

所以用遗传算法搜寻最优α的具体实现步骤为:

第一步生成初始种群，这里采用实数编码，染色体长度设为16位，在［0，1］范围内随机均匀分布的种群 {α1，α2，…，αN}，N为种群规模，本文采用N=60，选择优化的过程就是从这N个染色体中选择出1个，使得融合后的图像分类精度最大化。

第二步确定遗传算子，遗传算子主要包括选择算子、交叉算子和变异算子。选择是一个复制的过程，它根据每一个个体的适应度即融合后图像的分类精度，按照从大到小的顺序选择出M个(M＜N)作为母体进行交叉操作。交叉是模拟有性繁殖的基因重组操作，它对选择出的每一个个体，以一定的交叉概率Pc交换它们之间的部分基因。变异是模拟基因突变的操作，它以一定的变异概率Pm改变某一个或某一些基因位上的基因值。本文中M=40，Pc=0.8，Pm=0.03。

第三步终止检验，当适应度达到最大值或设定的循环次数T到达时，满足终止准则，则输出种群中具有最大适应度的个体作为最优解，终止计算，否则返回第二步。

3.3 融合算法

图像融合算法的具体步骤如下:

(1)分别对SAR和可见光图像进行NSCT分解，分别得到各自的低频系数图像和高频系数图像。

(2)采用一定的融合规则融合SAR和可见光图像的低频系数和高频系数，得到融合的低频和高频系数图像。

(3)NSCT逆变换，得到最终的融合图像。

其中(2)融合规则的确定是算法的核心，低频系数的融合规则采用如式(6)的加权平均，利用上面的遗传算法来确定加权系数。

由于空间频率能反应窗口内灰度变化的趋势，空间频率较大者对应着一些突变，如图像的边缘、纹理等重要信息，因此高频系数选择以空间频率为度量标准，选择两个窗口内空间频率较大的作为融合图像的高频信息:

式中，SFS表示SAR图像高频系数中以(m，n)为中心的窗口内的空间频率;表示 SAR 图像分解的第j层第k方向在点(m，n)处的高频系数。图像区域F的空间频率SF的计算为:

式中，RF表示行频率，定义为:

CF表示列频率，定义为:

M是图像区域F的行数，N是图像区域F的列数。

4 融合实验及其分析

这里与文献［6］所用方法得到的融合图像进行分类效果对比，图3为图像融合试验结果。图3(a)是分辨率为3 m的可见光源图像，含有丰富的光谱信息。图3(b)是分辨率为10m的SAR图像，两幅图像经过配准后尺寸大小为292×278。图3(c)是文献［6］方法得到的SAR与可见光融合图。图3(d)为本文方法得到的融合图像。在图像中每类随机选取50个样本共计150个，通过与土地利用现状及部分现有资料进行分析，确定样本的所属类别，并通过公式(7)得到图像的分类精度，表1为计算结果。

图3 图像融合试验结果

由表1可以看出，使用本文算法得到融合图像的分类精度达到84%，比文献［6］算法有了很大的提高。由此可见，本文算法能够取得较好的融合分类效果。

表1 融合图像分类精度

5 结论

由于SAR和可见光图像反映的地物特征不同，将其进行融合不仅有利于人的视觉观察，对于后续的图像识别等也具有重要作用。本文基于NSCT变换，利用遗传算法选取低频图像的加权系数，直接面向图像分类，使得融合图像能够具有良好的分类效果，更加有利于后续的图像识别等。在本文方法中，分类算法的选取至关重要，如何得到一种更加快速、有效的分类算法，进一步提高融合效果还有待深入研究。

［1］ Cheng Jian.Research on the algorithm of SAR and optimal image fusion［D］.Nanjing:Nanjing University of Aeronautics and Astronautics，2008.(in Chinese)程坚.SAR与可见光图像融合算法研究［D］.南京:南京航空航天大学，2008.

［2］ Jin Xing，Li Huihui，Shi Pili.SAR and multispectral image fusion algorithm based on pulse coupled neural networks and non-subsampled Contourlet transform［J］.Journal of Image and Graphics，2012，17(9):1188 －1195.(in Chinese)金星，李晖晖，时丕丽.非下采样 Contourlet变换与脉冲耦合神经网络相结合的SAR与多光谱图像融合［J］.中国图象图形学报，2012，17(9):1188 －1195.

［3］ AIParone L，Faeheris L，Baronti S，et al.Fusion of multispectral and SAR images by intensity modulation［C］.The 7th International Conference on Information Fusion，2004:637－643.

［4］ Lu YaNing，Guo Lei，Li Huihui.Remote sensing image fusion using edge information and features of SAR image based on curvelet transform［J］.Acta Photonica Sinica，2012，41(9):1118 －1123.(in Chinese)路雅宁，郭雷，李晖晖.结合边缘信息和图像特征信息的曲波域遥感图像融合［J］.光子学报，2012，41(9):1118－1123.

［5］ Dipti Patra，Bagadi Kala Praveen.A new method for multi sensor image fusion of remotely sensed images［C］.2010 International Conference on Industrial Electronics，Control and Robotics，2010:206 －210.

［6］ Zhai Juntao，Na Yan.Fusion algorithm of multispectral and panchromatic images based on Un-subsampled contourlet transform［J］.Laser ＆ Infrared，2008，38(3):282 －284.(in Chinese)翟军涛，那彦.基于NSCT的多光谱和全色图像的融合［J］.激光与红外，2008，38(3):282 －284.

［7］ Liu Zhenhua，Zhang Bing，Yu Wenzhen.Image fusion algorithm of SAR image and other source images［J］.Modern Radar，2007，29(2):56 －59.(in Chinese)刘振华，张冰，于文震.SAR图像与其他源图像融合算法［J］.现代雷达，2007，29(2):56 －59.

［8］ Liu Songtao，Shen Tongshen，Yang Shaoqin.Evaluation methods on effect of image fusion for target recognition［J］.Laser＆ Infrared，2007，37(7):593 －597.(in Chinese)刘松涛，沈同圣，杨绍清.面向目标识别的图像融合效果评价方法［J］.激光与红外，2007，37(7):593 －597.

［9］ Yuan Lihai，Song Jianshe，Xue Wentong.SAR image classification using grey and texture features［J］.Electronics Optics ＆ Control，2007，14(4):58 －62.(in Chinese)袁礼海，宋建社，薛文通.利用灰度和纹理特征的SAR图像分类研究［J］.电光与控制，2007，14(4):58 －62.

［10］ Krzysztof Kulpa，Mateusz Malanowski，et al.Radar and optical images fusion using stripmap SAR data with multilook processing［J］.Intl Journal of Electronics And Telecommunications ，2011，57(1):37 －42.

［11］ Hu Zhaoling，Li Haiquan，Du Peijun.Study on the extraction of texture features and its application in classifying SAR images［J］.Journal of China University of Mining ＆Technology，2009，38(3):422 －427.(in Chinese)胡召玲，李海权，杜培军.SAR图像纹理特征提取与分类研究［J］.中国矿业大学学报，2009，38(3):422－427.

［12］ Wang Shixi.Research on the key technologies for target classification in SAR imagery［D］.Changsha:National U-niversity of Defense Technology，2008.(in Chinese)王世晞.面向SAR图像目标分类的关键技术研究［D］.长沙:国防科技大学，2008.

［13］ Xue Xiaorong，Zeng Qiming，Zhao Rongchun.A fast method of SAR image classification［J］.Computer Science，2007，34(5):222 －224.(in Chinese)薛笑荣，曾琪明，赵荣椿.一种快速的SAR图像分类方法［J］.计算机科学，2007，34(5):222 －224.

［14］ HARALICK R，SHANMU G K，DINSTEIN I.Texture features for image classification［J］.IEEE Transactions on Systems Man Cybernet，1973，3(6):610 －621.

［15］ Baraldi A，Parmiggian F.An investigation of the texture characteristics associated with gray level Co-occurrence matrix statistical parameters［J］.IEEE Transaction on Geoscienceand RemoteSensing，1995，33(2):293－303.