(辽宁师范大学 计算机与信息技术学院,辽宁 大连 116029)
森林植被是构成生态系统不可或缺的部分,同时也是人类生存和发展的重要条件之一。随着遥感技术的高速发展,使用从遥感影像中获得的数据提取森林植被信息是当前一种重要、有效的技术措施,为大面积调查、检测和分析森林资源提供了基础条件。由于高分辨率遥感图像中地物的纹理和结构等信息十分丰富,因此结合纹理结构提取和分类森林植被信息已经成为一种趋势。文献[1]结合光谱、纹理和形状结构信息分割森林植被,改善了分割质量。但该方法适合具有明显几何形状特征的城区影像,且邻接图区域合并停止阈值易受形状参数影响导致欠分割。文献[2]提出结合光谱和纹理特征的分割方法,提高了不同地物目标的分割效率和准确度。但该方法属于单一层次的多分类方法,不能充分利用不同目标的纹理信息和尺度精准分割。文献[3]结合视觉注意方法,通过设计基于反馈卷积神经网络的结构,使神经元能够自上而下地捕捉视觉注意,明显提高了分割效率,但该方法对感兴趣区域边界不清晰的情况分割精度不高。文献[4]提出基于视觉注意的森林植被多尺度分割方法,以多尺度视觉注意算子的最大值为圆心建立显著图圆盘(Salient Image Disk,SID)模型标记树冠。该方法可有效提高分割效率,但由于不能充分利用森林植被纹理信息,因此难以提高分割精度。
本文研究基于视觉注意的森林区域多尺度分割方法,并在此基础上利用树冠的纹理信息构建一个多尺度树冠SID模型,其中包括2种面向视觉注意目标的纹理滤波方法,用于准确标记典型树冠。同时通过改进的区域生长算法,以多尺度树冠SID为种子生长出森林植被区域,从而提高森林植被分割的准确率。
视觉注意是视觉对一定对象的指向和集中,是伴随着知觉、记忆、思维和想象等过程的一种心理特征。面对一个复杂的场景,人类视觉系统会迅速被少数显著对象所吸引,视觉注意选择感兴趣的对象并优先处理它们,这个过程被称为选择性视觉注意[5]。场景中亮度、颜色和方向等方面具有快速变化的区域,会拥有更高的注意优先级[6]。在图像处理研究领域中,大量关于显著点的研究表明,基于视觉注意的方法能够使人们非常快速和准确地找到图像中的显著区域[7-8]。视觉心理学研究表明人类视觉系统选择性注意包括2种机制:bottom-up视觉注意机制和top-down视觉注意机制。bottom-up是原始快速机制,也称数据驱动方式,是不带主观目的的,仅从图像颜色亮度等特征去观察;top-down属于高级认知机制,也称任务驱动方式,是从先验知识的角度看待图像。将视觉注意机制引入到图像处理领域,用于实现图像分析和目标分割等处理,目前已经取得了很好的效果。在文献[4]提出的基于视觉注意的森林区域多尺度分割方法中,采用的是bottom-up视觉注意机制,其以区域形状和灰度对比度作为显著区域选择条件,分割效果较好。
遥感图像森林植被的分割如果采用top-down视觉注意机制,可以在遥感图像森林纹理先验知识的支持下,结合树冠纹理形成更完善的显著区域选择条件。同时面向树冠纹理采用适当的滤波方法增强纹理信息,使树冠与其他地物目标的区分度加大,最终实现森林植被的理想分割。
遥感图像森林植被纹理由分布在空间位置上反复出现的灰度形成,习惯上把图像中这种局部看似不规则而宏观有规律的特性称为纹理[9]。图像处理中的纹理通常被理解为某种灰度基元的重复排列,其描述包括灰度基元和灰度基元间的相互关系。在观察者视觉感受中,起主要作用的纹理特征为周期性、方向性、粗糙度和一致性等。
森林植被以高大的乔木为主体,也包含部分低矮的灌木。在遥感图像中,森林植被呈簇状和成片分布,其纹理具有高频随机的空间结构,同一区域的森林植被受树种和光照等因素的影响,会有较弱的方向一致性。树冠是乔木或灌木树干以上的部分,由若干树枝构成,横断面形状近似视为圆形。树冠呈簇团状结构,中心与周围对比度明显,灰度分布均匀,结构的细节以灰度跃变形成的线条为主[10]。由于树冠是遥感图像森林植被的典型纹理单元,具有突出的结构纹理特征,因此显然应作为森林植被区域的视觉注意目标。SID模型是一个基于视觉注意机制的多尺度视觉显著区域表达模型,可以用于标记遥感图像中的树冠[11]。遥感图像中树冠的形状和树冠及阴影的灰度分布关系等属性非常适合用多尺度SID模型来描述。但是,遥感图像中会存在与树冠形状相似的其他易混淆地物,如圆形建筑物和水坑等,它们同样可以被多尺度SID描述。因此,只有将树冠的结构纹理描述补充到传统的多尺度SID模型中,才能有效地排除易混淆地物。另外,采用双边滤波和高斯拉普拉斯滤波方法也可以有针对性地增强森林植被区域的树冠纹理信息。将2种纹理滤波处理加入到SID模型中,可使模型的纹理表达能力得到明显增强。
图1 多尺度树冠SID模型示意图
在纹理滤波的前提下,用多尺度树冠SID标记典型树冠的过程是以多尺度树冠注意算子为基础进行的。如果多尺度树冠注意算子在尺度范围R内的值超过预设阈值,则在当前点(i,j)处选取最大ρ值建立多尺度树冠SID模型标记树冠。利用多尺度树冠SID标记树冠的具体流程见图2。
图2 利用多尺度树冠SID标记树冠的流程
多尺度树冠注意算子包含的主要计算有S区域与Q区域灰度对比度、S区域同质性和S区域两方向灰度差分均值,其计算过程是在对图像分别进行LoG滤波和双边滤波之后进行的。多尺度树冠注意算子MMTA(i,j,ρ)计算公式如下:
kMLoG(i,j,ρ)
(1)
式(1)中第1项是树冠形状描述,第2项是树冠区域内树枝纹理描述。其中,ρ表示树冠尺度,R为树冠尺度范围,CLoG和CBil分别是LoG滤波和双边滤波后S区域与Q区域的对比度,DBil为双边滤波后S区域内灰度均方差,MLoG是LoG滤波后S区域内两方向灰度差分均值,k是公式第2项的约束系数,用于控制两项之间的比例。尺度ρ下的局部对比度CLoG(i,j,ρ)和CBil(i,j,ρ)描述S区域与Q区域间的灰度对比度,计算公式如下:
(2)
其中,i和j是S区域中心位置的横纵坐标,m和n表示Q区域的横纵坐标,f(m,n)是Q区域(m,n)处像素点的灰度值,fe是S区域像素点的灰度均值,N1是Q区域的像素点总数。
尺度ρ下的S区域同质性描述DBil(i,j,ρ)的计算公式如下:
(3)
其中,i和j是S区域中心位置的横纵坐标,m和n是Q区域的横纵坐标,f(m,n)是S区域(m,n)处像素点的灰度值,fe是S区域像素点的灰度均值,N2是S区域的像素点总数。
为避免尺度范围R内的易混淆地物被错误地标记为树冠,需要排除纹理光滑的目标和全局纹理不一致的目标。前者可用两方向灰度差分均值排除,后者可用两方向灰度差分均值和式(3)共同排除。尺度ρ下的两方向差分均值MLoG(i,j,ρ)计算公式如下:
p(i,j,ρ,dy,L)]
(4)
在点(i,j)处,R范围内的不同尺度可得到不同的MTA(i,j,ρ)值,满足判定条件的MMTA(i,j,ρ)所对应的最大ρ值作为多尺度树冠SID的直径,同时该点被选为特征点,即多尺度树冠SID的圆心。判定条件为:
MMTA(i,j,ρ)>T
(5)
其中,T为经验阈值,取0.65,是根据对包含多树种森林植被的32幅分辨率为0.5 m的遥感图像进行分割实验得到的经验值,适用于高于此分辨率的遥感图像。
用滤波技术增强纹理特征,是把纹理图像与一系列特别设计的滤波器进行卷积,将纹理图像转换到频域以利于进一步提取纹理特征。通常纹理滤波也是视觉注意处理的前提。增强森林植被纹理特征会拉大纹理之间的特征差距,为更精确地标记多尺度树冠SID创造了条件。因此,根据视觉注意机制和森林区域纹理先验知识,恰当地选择能增强这些纹理信息的滤波器,在视觉注意方面削弱混淆目标,相对加强树冠目标,可以提高SID标记树冠的准确率和效率。
双边滤波器模板的卷积权值不仅取决于高斯低通滤波像素邻域位置关系,而且还由相邻像素的亮度信息所决定,既实现了局部高斯平滑处理,又保持了边缘信息[12]。在合适的尺度下,树冠纹理单元内的灰度将被双边滤波器处理为具有清晰阶跃的多层分布,这将直接支持谱直方图的纹理灰度分布表达[13]。树冠纹理单元微观上呈簇团状结构,中心与周围对比度明显,而双边滤波器可以阶梯性增强树冠与周围区域的对比度,使CBil(i,j,ρ)增大。在S区域内部,双边滤波使树冠灰度平滑分布到少量灰度层次,将导致灰度均方差DBil(i,j,ρ)降低。双边滤波器由2个函数构成,一个是由几何空间距离决定滤波器系数,另一个是由像素差决定滤波器系数。输出像素的值依赖于邻域像素的值的加权组合,双边滤波可以表示为:
(6)
空间邻近度因子d(i,j,k,l)和亮度相似度因子r(i,j,k,l)计算公式如下:
(7)
(8)
权重系数是空间邻近度因子和亮度相似度因子的乘积,表示为:
(9)
双边滤波实验结果见图3。实验使用的遥感图像分辨率为0.5 m,在此分辨率下,树冠形成的纹理单元尺寸一般在9个~25个像素范围内。用谱直方图表达滤波后局部区域的灰度分布情况。谱直方图以ρ作为积分窗口尺寸,使窗口覆盖范围可以表达树冠纹理单元的平均特性。对于256级灰度图像来说,为了便于对谱直方图结果分析对比,将谱直方图的横坐标灰度级数均匀分成16段,每段里包括16个灰度级。
图3 双边滤波实验结果
图3(b)是双边滤波结果,从中分别选取典型树冠区域(右侧圆圈标记)和小水坑区域(左侧圆圈标记)进行谱直方图统计,图3(c)和图3(d)是对应的谱直方图。可以看出,树冠区域的谱直方图中灰度分布稍广,但2个谱直方图中灰度均集中于均值附近。对于文献[4]方法,由于MIA对LoG滤波结果做区域的同质性测量,因此小水坑成为更符合标记的地物目标。本文方法对双边滤波结果做同质性测量,2种区域的同质性接近,能够保证MTA公式的第二部分发挥更大作用以排除小水坑。
LoG滤波是高斯低通滤波与拉普拉斯滤波的一种结合,在高斯平滑处理的基础上增强边缘信息。LoG滤波对于森林植被纹理单元这种灰度变化明显的边界及线条纹理特征有较好的增强能力,通过平滑处理,消除尺度小于标准偏差的信号强度变化,再通过二次微分得到边缘[14]。因此,LoG滤波能够捕捉到线条纹理结构,凸显出树冠单元内部的灰度空间变化特征,使树冠枝条边缘更清晰。本文沿用文献[4]的LoG滤波方法,在多尺度树冠注意算子中用作双向差分均值计算的预处理。LoG函数表示为:
(10)
图4 LoG滤波实验结果
图4(b)是双边滤波结果,从中分别选取典型树冠区域(右侧圆圈标记)和小水坑区域(左侧圆圈标记)进行谱直方图统计和垂直方向差分直方图统计。图4(c)和图4(d)是对应的谱直方图。LoG滤波强化了树冠的枝条边缘并且抑制了平滑部分,树冠区域的谱直方图中灰度分布对比度较大,而小水坑区域谱直方图中灰度分布却集中于较低的均值附近。图4(e)和图4(f)是对应的垂直方向差分直方图。滤波增强后的树枝纹理差分结果仍呈现丰富的灰度分布,而小水坑区域的差分结果中灰度集中于低灰度均值附近。这种分布结果通过MTA公式的第二部分MLoG(i,j,ρ)计算双向差分均值,可以有效排除水坑之类纹理平滑地物的混淆。
在分割过程中,首先对全色遥感图像分别进行双边滤波和LoG滤波,目的是增强树冠作为视觉注意目标的纹理信息;然后遍历图像所有像素,在多尺度范围内计算多尺度树冠注意算子MTA,如果满足条件则标记树冠SID位置;最后用改进的区域生长方法由各树冠SID合并附近区域所有满足生长条件的像素,实现森林植被的准确分割。
由于已经标记出的多尺度树冠SID表达的是图像中典型的树冠及阴影,因此SID覆盖区域不再需要生长,并且区域生长的种子必须同时具备树冠和阴影的特征。改进的区域生长算法即基于多尺度树冠SID的区域生长算法,其将整个SID作为区域生长的种子,生长规则由多尺度树冠SID的尺度特征、灰度分布特征和纹理特征整体确定。多尺度树冠SID所表达的是已经分割完成的区域,S区域像素可以标记成树冠区域像素,Q区域像素可以标记成阴影区域像素或树冠区域像素。Q区域中阴影区域灰度均值可以作为欲生长的阴影像素邻域内阴影灰度均值的参考值,但为了控制阴影范围,必须同时判断该像素与最近树冠区域的距离小于Q区域半径。DBil作为欲生长像素邻域内树冠纹理的第1个参考值,MLoG作为树冠纹理的第2个参考值。欲生长像素邻域设为5×5。基于多尺度树冠SID的区域生长算法描述如下:
FOR按直径ρ由大到小找到未生长的SID
IF未找到,则算法结束;
FOR对当前SID
FOR对SID以外且距SID中心1.5ρ以内区域中所有未分割像素(i,j)
IF(i,j)邻域内灰度均值在Q区域中阴影区域灰度均值的±g范围内,且(i,j)距最近树冠区域小于Q区域半径,则(i,j)标记为阴影区域像素;
ELSE IF (i,j)邻域内DBil和MLoG均分别在参考值的±d和±m范围内,则(i,j)标记为树冠区域像素;
ELSE(i,j)标记为未知像素;
END FOR
FOR对距SID中心1.5ρ~2ρ之间区域中所有未分割像素(i,j)
ELSE(i,j)标记为未知像素;
END FOR
END FOR
END FOR
本文以Matlab7.12.0为实验环境,实验所用遥感图像为QuickBird卫星全色数据,全色分辨率为0.5 m。主要以阔叶林为分割目标,其树冠直径在4 m~13 m之间,在遥感图像分辨率为0.5 m的条件下,根据先验知识,树枝形成的树冠典型纹理单元尺度(直径)一般在9个~25个像素之间。本文方法是文献[4]方法的改进,因此,将实验过程和实验结果与文献[4]方法进行对比。
选取2幅包含森林植被和不同易混淆地物的遥感图像,完成2组对比实验,实验结果如图5和图6所示。对比的2种方法均使用视觉注意机制确定典型树冠作为视觉显著区域,并以多尺度SID模型标记树冠,通过区域生长方法实现森林植被分割。2种分割方法之间有2点主要不同:
1)纹理滤波方式不同。文献[4]方法使用LoG滤波增强纹理信息,同时用于多尺度视觉注意算子的对比度和同质性计算;本文方法使用双边滤波和LoG滤波2种方法有针对性地增强视觉注意目标,分别用于多尺度视觉注意算子的对比度、同质性和树冠纹理属性计算。
2)多尺度视觉注意算子不同。本文方法的多尺度视觉注意算子在对比度和同质性基础上增加了两方向差分均值计算,用于表达树冠纹理属性。图5为第1组对比实验结果,图6为第2组对比实验结果。森林植被区域用同一级灰度标记,2种分割结果的明显差异位置以箭头标记。
图5 分割效果对比1
图6 分割效果对比2
第1组实验原图中除森林植被外,还包含草地、沙坑和水坑等地物。尺寸较小的沙坑和水坑在形状上与树冠相近,对于文献[4]方法而言,这些地物在尺度、区域对比度和区域同质性这些因素上都满足视觉注意显著区域的条件,容易被误标记为树冠。文献[4]方法的多尺度视觉注意算子中,区域同质性计算是在LoG滤波结果上进行的,加大了问题的严和重性。图5(b)中4处沙坑和1处水坑被SID标记,导致图5(d)分割结果出现5处明显误分割情况。由于沙坑和水坑的纹理较平滑,在本文方法的多尺度视觉注意算子中两方向差分均值较低,不会被SID标记,见图5(a)。
第2组实验原图中主要的易混淆地物是建筑物,包含屋顶和水池等。小型建筑物经常在尺寸形状上接近树冠的特征,在文献[4]方法中的视觉注意算子描述里,这些小型建筑物容易满足条件,从而被SID标记为树冠。图6(b)左上角1处方形屋顶和1处圆形水池被误标记,导致图6(d)中对应位置森林植被区域扩大;左上角1处圆形屋顶被误标记,导致图6(d)中对应位置多出一小片森林植被区域;左侧中部1处圆形水池和右侧中部1处圆形水池被误标记,导致图6(d)中对应位置各增加了一部分森林植被区域。虽然屋顶这类地物在区域灰度分布上不像沙坑和水坑那样一致性好,但与树冠的纹理相比,小区域的灰度一致性仍然较好,在两方向灰度差分计算中仍然表现较低均值,因此,本文方法可以较好地排除这类地物的干扰,见图6(a)。本文方法在计算两方向灰度差分均值时使用的是LoG滤波结果,屋顶区域除少量线条外大部分以平滑区域呈现,保证了两方向灰度差分均值不高。
由图5(c)和图6(c)的分割结果可知,本文方法对于树冠相似地物有较强的排除能力,森林植被分割精度较高。
本文在基于视觉注意的多尺度SID森林植被分割方法基础上,利用森林植被的先验知识,将树冠纹理结构特点作为滤波处理的目标和视觉注意算子的计算依据,提出一种新的森林植被纹理分割方法。首先构建以多尺度树冠视觉注意算子MTA为核心的多尺度树冠SID模型,然后在圆盘模型中增加两方向差分均值作为树冠纹理描述,并通过改进的区域生长方法以SID为种子区域进行生长,最终得到分割结果。实验结果表明,本文方法能准确标记典型树冠,对森林植被区域分割精确度较高,其对于遥感图像分割,尤其是以特定地物为目标的分割具有一定借鉴意义。下一步将把图像等分为若干区域,对未出现树冠标记的区域适当降低多尺度树冠视觉注意算子的各项约束条件,以提高树冠标记的准确率。
[1] 巫兆聪,胡文忠.结合光谱、纹理与形状结构信息的遥感影像分割方法[J].测绘学报,2013,42(1):44-50.
[2] YUAN J Y,WANG D L,LI R X.Remote sensing image segmentation by combining spectral and texture features[J].IEEE Transactions on Geoscience and Remote Sensing,2014,52(1):16-24.
[3] CAO C,HUANG Y,YANG Y,et al.Look and think twice:capturing top-down visual attention with feedback convolutional neural networks[C]//Proceedings of IEEE Conference on Computer Vision.Washington D.C.,USA:IEEE Press,2015:2956-2964.
[4] PALENICHKA R M,LAKHSSASSI A.Multi-scale segmenta-tion of forest areas and tree detection in LiDAR images by the attentive vision method[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2013,6(3):1939-1404.
[5] SHARMA S,KIROS R,SALAKHUTDINOV R.Fast object detection based on selective visual attention[J].Neurocomputing,2014,144(20):184-197.
[6] 胡燕翔,万 莉.基于视觉注意机制的异源图像融合[J].计算机工程,2015,41(3):247-252.
[7] MATEESCU V A,BAJIC I V.Visual attention retargeting[J].IEEE MultiMedia,2016,23(1):82-91.
[8] 侯庆岑,潘 辰,杨 勇.基于视觉显著度的多聚焦图像融合方法[J].计算机工程,2015,41(1):211-217.
[9] 王 妮,彭世揆,李明诗.基于树种分类的高分辨率遥感数据纹理特征分析[J].浙江农林大学学报,2012,29(2):210-217.
[10] 刘小丹,杨 燊.基于蓝噪声理论的遥感图像森林植被纹理测量[J].国土资源遥感,2015,27(2):63-68.
[11] PALENICHKA R M,ZAREMBA M B.Automatic extraction of control points for the registration of optical satellite and LiDAR images[J].IEEE Transactions on Geoscience and Remote Sensing,2010,48(7):2864-2879.
[12] 周雨薇,陈 强,孙权森,等.结合暗通道原理和双边滤波的遥感图像增强[J].中国图象图形学报,2014,19(2):313-321.
[13] 刘小丹,于 宁.河流湿地遥感图像分层次多尺度分割[J].网络新媒体技术,2016,5(5):51-59.
[14] 贺锦鹏,孙 枫,刘利强.基于滤波器阵列与图割的彩色纹理分割[J].计算机工程,2011,37(14):217-219.
[15] 王 玮,李见为,黄非非,等.基于Log-Gobor滤波的指纹图像增强[J].计算机科学,2007,34(7):241-243.