基于空间LDA模型的高分辨率遥感影像地物覆盖分类

李 杨 ，邵 华 ，江 南 ，施 歌 ，丁 远

（1. 南京师范大学虚拟地理环境教育部重点实验室，南京 210023；2. 江苏省地理环境演化国家重点实验室培育建设点，南京 210023；3. 江苏省地理信息资源开发与利用协同创新中心，南京 210023；4. 南京工业大学测绘科学与技术学院，南京 211800）

0 引 言

随着近年来电子信息和遥感传感器技术高速发展，大量的高时间分辨率、高空间分辨率、高光谱分辨率的优质数据实现了对地表的全覆盖、全天候监测。除了常用的国外商用卫星QuickBird、IKONOS、SPOT等，近几年也涌现了一批新的高分辨率卫星如 WorldView-2/3、GEOEye-1/2等，中国也相继发射了资源系列卫星、环境系列卫星、测绘系列卫星等遥感卫星。多源、多时空分辨率遥感数据呈现出海量化趋势，虽能满足越来越多的行业应用需求，但也给遥感分类技术带来了新的挑战。高分辨率遥感影像能够提供丰富的地表细节信息，地物的尺寸、结构和空间上下文关系能够得到更好的表征[1]。同类地物的光谱差异变大、不同地物的光谱特征相互重叠，使用传统基于中低分辨率数据的分类方法无法直接用于高分辨率遥感数据分类。

目前，多数方法都是通过对影像进行分割获取感兴趣的对象斑块[2-6]，然后利用监督/非监督的方法进行影像分类，但如何从遥感影像中分割出语义上有意义的对象斑块仍未得到很好解决，而这是决定最终影像分类结果的关键问题[7]。其次，不同的地物都有其固有的尺度特征，单尺度的分割无法顾及高分辨率影像上的诸多地物，需要进一步从多尺度角度分析地物的结构特征，进行有针对性的分割和特征提取。以隐狄利克雷分配（latent dirichlet allocation，LDA）[8]为代表的概率主题模型可以在对图像进行词包表示之后进行潜在语义的挖掘，推理出的“隐主题”是一种中层特征，具有比对象底层特征更强的可分性，可以比传统的影像分类方法提供对图像理解更好的基础。借鉴概率主题模型在计算机视觉领域的成功，近年来已经有研究人员将其引入遥感影像分析领域[9-10]，并取得了一些成果，证明使用概率主题模型来分析遥感影像中像元或对象是可行的。

但标准LDA模型中假设主题之间和文档之间都是独立可交换的，并且难以加入文档辅助信息。相比于文本数据，高分辨率遥感影像数据中的空间信息十分重要[11-14]，文档信息和主题分布都受到较强的空间约束，如何利用空间关系是提高土地利用/覆被分类效果的关键。本文针对高分辨率遥感影像过分割形成的文档空间关系复杂问题，设计2种形式的影像文档区域属性协变量，探讨如何利用高分辨率遥感影像的空间关系提高分类效果。

1 研究方法

1.1 基于LDA模型的遥感影像分类方法

LDA模型可以挖掘数据的潜在语义特征，建立底层特征和高层特征之间的桥梁，在自然语言处理领域取得了重大成功。LDA模型同样可以在对图像进行词包表示之后进行潜在语义的挖掘，推理出的“隐主题”是一种中层特征，具有比对象底层特征更强的可分性，相比传统的影像分类方法，为解决遥感影像分类中“同物异谱”和“同谱异物”问题提供了一种可能。LDA模型假设文档的内容由多个主题混合而成，每一个主题定义为词典上的一个概率分布，而每个文档中的主题混合成分不同，表现为每个单词分属于不同的主题[8]。模型过程可以用图1中的概率图模型表示，图中每个主题对应的单词分布 φ、每篇文档的主题混合比例 θ、每个单词的主题分配z，都是不可观测的隐变量，所以LDA模型是一种混合隐变量模型。在 LDA模型中，每篇文档并非只由一个主题生成，能够较好的描述文档中每个单词所属主题的异质性。

图1 概率主题模型-隐狄利克雷分配（LDA）模型Fig.1 Probabilistic topic models-latent dirichlet allocation (LDA) model

遥感影像和文本不同，不存在“文档”和“单词”，需要借助词包模型对遥感影像进行表达，将遥感影像看作一些与位置信息无关的局部特征集合[15]，这些特征相当于文本中的单词，影像中的词条可以称为“视觉单词”，这些单词集合成为“视觉词典”，文档也对应到影像中，称为“影像文档”。从 LDA模型的原理可以看出，标准LDA模型假设文档之间是相互独立且可交换的，然而高分辨率影像在基于多层次分割的词包模型中，图斑文档具有较强的空间特性，根据地理学第一定律，空间位置接近或者相邻的图斑，则更可能属于同一地类，即拥有的隐主题成分更可能相似，另一方面空间距离较近的同类对象的底层特征更类似，距离较远的同类对象的底层特征可能差异更大。

1.2 基于空间LDA模型的遥感影像分类

现有的主题模型中，更多的是在文本分析领域尝试处理不同的文档元数据，例如文档的作者、年代、评分、引用关系等等，不能直接适用于空间信息的引入，且大多数模型只能处理单一类型的附加信息，模型结构单一。因此本文从主题成分和主题内容与空间信息的关联两方面出发，在传统 LDA模型的基础上，借鉴上游主题模型（upstream supervised topic model，USTM）[16]引入影像文档的空间信息，提出一种空间 LDA模型（S-LDA），对高分辨率影像图斑文档中层信息进行更准确挖掘和描述。

1.2.1 空间主题流行度

基于上述分析，本文在标准LDA模型中提出一种空间主题流行度约束，使得同一区域的影像文档在生成过程中更可能共享相似的隐主题成分。在标准LDA模型中，文档中主题的混合成分是由一个超参数为α的Dirichlet分布决定，每篇文档的内容被视为不同主题的混合；模型中有 2个独立性假设：主题与主题之间独立（限制在一个κ-1维的单纯形上），文档与文档之间独立。但在遥感影像中，这 2种假设并不成立，为了打破文档级的独立性限制，采用较多的方法是在构建影像文档时设置一定程度的重叠[17]，但这会导致以下 2个问题：①影像文档中的视觉单词会出现在不同的文档中，极有可能被分配不同的主题类别信息，造成推理过程中的歧义；②文档数量会随着重叠程度的增加而急剧增长，从而浪费大量的存储空间。

通过对遥感影像构建的词包模型以及相关试验结果可以发现，由于使用过分割保证了图斑内像元的均质，因此单词之间的空间关系并不会对隐主题的提取有很大影响，而图斑文档之间空间关系是提高隐主题提取和分类性能的关键。通过 Logistic-Normal分布将主题流行度[18-19]引入遥感影像文档的生成过程中，形成文档的空间主题流行度，描述了一篇文档中不同主题的贡献程度，而每个图斑文档来自于不同的空间区域，空间主题流行度也会随空间位置而变化。同时，遥感影像中相邻的图斑有较大可能具有相似或接近的特征，但是因为地类的空间分布并不具有平滑性，例如，建设用地的相邻图斑很可能就是耕地，水体的相邻图斑可能是林地，这些空间邻接的图斑，其隐主题成分也有较大的差异，因此直接使用其空间位置作为主题成分的先验并不合适。为此，本文考虑利用多尺度分割中的多尺度区域合并算法[20]，选择合适的尺度，将影像图斑文档进行合并，为了保证合并之后父图斑内的异质性最低，本文使用影像的光谱异质性指标和形状异质性指标。在性质接近的图斑文档合并之后，将形成的父图斑视为图斑文档所在的“区域”。

1.2.2 空间主题内容

空间主题流行度描述了图斑文档的隐主题成分随区域变化的趋势，反应了空间相邻的图斑有较大可能属于同一地类这一特性，而遥感影像还存在另一种与空间相关的特性，即同一地类在不同位置可能表现出有差异的光谱、纹理等特征。在传统LDA模型中，主题的形式化表达就是视觉词典中单词的分布（参数为β的多项式分布），主题内容随文档的不同而变化，在主题空间内，则意味着同一主题在不同的文档内，其单词的分布可能会发生变化。为了表达图斑文档的主题中，单词分布可能发生的变化性，本文将稀疏增量生成模型（sparse additive generative model）[21]引入传统LDA模型中，并用于对影像图斑的空间主题内容进行描述，其主要思想是设立一个文档集合内每个主题对单词的基分布，并将主题单词分布相对于基分布的偏差（deviation）在对数空间内参数化。

考虑到每个隐主题在不同区域的成像（单词分布）并不会有巨大差异，而是在一个基准值上下波动，将主题在对数空间内关于单词的背景分布记为 m ∈RV，将背景分布以外的其他分量记为{η ∈ RV}其中V是视觉词典

k的大小，ηk第 k个隐主题对应的偏差量，其中的每个分量对应于一篇图斑文档的标签，这个标签是可观测的（例如文档的区域），本节沿用上节中图斑文档区域划分方法，记文档d所在的区域为Yd。

可以看出，式中对于背景分布的偏差叠加并非直接对原始概率进行运算，是在概率的对数空间内进行的，因此可以通过加法运算，更方便地直接融合各个分量的概率分布。由于m是一个全局背景分布，上式中的偏差分布η可以分成两部分，一部分是主题不同引起的相对于背景的偏差，另一部分则是跟文档对应的协变量相关。这也就是说，一个图斑内的视觉单词分布不仅受到隐主题的影响，而且会随着图斑的区域位置变化而发生一些变化，很好地描述了同物异谱的情况。为了形式化表达这种分布，进一步记κk为主题k关于m的偏差，κYd为文档d关于m的偏差，κYd,k为前两者之间的交互偏差，根据多项分布的约定，将文档 d，主题 k，单词ν所服从的多项分布中参数归一化：

式（2）虽然建立了主题和文档层面关于背景分布的偏差，但是通过观察遥感影像可以发现，对于某一区域或者地类，其偏差往往只发生在少数单词的分布上，为了防止在推理过程中偏差量κ发生过拟合的情况，本文选择improper Normal-Jeffrey先验[22]来生成κ，限制其中非0值的维数。

图 2为同时考虑空间主题流行度和主题内容随图斑区域变化模型所对应的概率图模型，完整的文档集生成过程如下：

1）对每一个主题zk:

a）由背景分布m、主题偏差κk、文档偏差κYd、交互偏差 κYd,k每一篇文档以及每一个主题采样出β ，使其d,k满足

2）对每一篇文档d：

a）由超参数μ,Σ,γ定义的一个多元正态分布，其中μ=Xd*γ，采样出文档中主题成分θd，使得：

b）对文档d中每一个单词wd,n：

i. 根据以θd为参数的多项分布，采样出该单词的主题 zd,n∝Mult(θd)，且 zd,n∈{1,...,K}；

ii. 根据单词的主题和该主题对应的单词分布，采样出一个单词 wd,n∝Mult(βd,zd,n)，且 wd,n∈{1,...,V}。

图2 空间LDA模型示意图Fig.2 Schematic diagram of Space-LDA model

从以上过程可以看出，与标准LDA模型相比，S-LDA模型的基本思想是在主题成分分布和单词分布2个层面，分别利用广义线性模型，引入协变量 X和 Y，但由于Logistic-Normal分布与多项分布并不是共轭分布，标准LDA模型中的推理方法必须作出相应的调整。为了防止协变量 X的引入造成对主题成分的过拟合，融合主题流行度和主题内容的扩展LDA模型的变分推理算法如下，选择一个均值为0，协方差为σk的正态分布作为γ的先验，其中σk服从逆Gamma分布，文档的隐主题特征提取流程如图3。

图3 基于S-LDA模型的高分辨率遥感影像文档隐主题特征提取流程图Fig.3 Flow cart of hidden topics characteristics extracted from high resolution remote sensing image using S-LDA model

2 试验与分析

2.1 研究区数据概况

试验数据为 QuickBird卫星拍摄的江苏省无锡宜兴市东南宜城镇高分辨率遥感影像，该数据成像时间为2005年8月16日，包括4个波段：蓝（450~520 nm）、绿（520~600 nm）、红（630~690 nm）和近红外（760~900 nm）波段，融合产品数据产品空间分辨率为0.6 m。本文以影像中梅林小流域为研究区，该区域距离太湖约9 km，流域内土地利用类型多样，除海拔较高的山坡被大片的松树和竹林覆盖，主要有水田、旱地、林地、城镇、水域等。本文对该影像进行基本的预处理，根据参考数据进行了几何精校正及研究区剪裁（图 4），剪裁后影像大小为2 091×1 776像元。本文试验数据中地类参考的真值由“地球系统科学数据共享平台：长江三角洲科学数据共享平台”提供，该数据是平台项目成果数据，采用人机交互解译的方式获取，精度报告显示其精度在92%以上。

2.2 模型参数设置与分析

在融合影像文档空间信息时，首先采用多尺度分割方法形成影像文档和单词，并构建词包模型（bag of words，BOW），利用eCognition8.7软件中多尺度区域合并划分影像文档的区域，为了分析不同尺度的合并方法对分类结果的影响，选择150、200、250这3个尺度将原影像文档进行合并，获得文档的区域属性。同时，经过反复试验，使用尺度50分割出的影像文档以及使用3种尺度合并形成的影像区域，分别形成 690、404、266个区域。

图4 试验数据及真值数据Fig.4 Experimental data and data of truth value

在使用 2种模型对影像文档的词包表示进行信息挖掘时，把每个影像文档所在区域分别以向量和标量形式映射为协变量X和Y，在以视觉词典大小为480构建的词包模型基础上，使用扩展LDA模型进行主题信息提取，在模型选择时，每组参数运行 5次，选择主题一致性和单词排他性较大的那一个模型[23-24]，最后得到顾及影像文档空间信息的隐主题表示，并在每个地类中随机选择20%训练样本，剩余80%作为测试样本，最后使用支持向量机(support vector machine，SVM)分类器进行分类，使用总体分类精度和 Kappa系数作为评价分类结果的主要指标。

2.3 分类精度评价与对比

图 5比较了不同主题数目情况下，标准 LDA和S-LDA模型的总体分类精度和Kappa系数，其中视觉词典大小为480。从分类结果可以看出，S-LDA模型在不同主题数目的情况下，均比标准LDA模型分类精度有所提高，可见影像文档空间信息的引入，为模型推理提供了更多的信息。值得注意的是，2种模型都在主题数为 40时达到最高的分类精度，而两种模型的困惑度分别在主题数40和60时达到最小值，也就是说当模型困惑度最低时，模型的分类精度并不是最高，这是由于困惑度指标是一种概率指数，只具有一定的置信区间，而当主题数增加时，主题空间的维度也就越高，影像文档具有高维的主题成分表示，也容易造成分类器的不稳定。

图6比较了词包模型、标准LDA模型及S-LDA模型的分类结果，图a是词包模型分类结果、图b是标准LDA模型的分类结果，图c、d、e分别是S-LDA模型在150、200、250这3种尺度形成的文档区域情况下的分类结果。从图中可以看出，在红色方框区域内，词包模型和标准LDA模型将一些水田错分成了林地，蓝色方框区域内，则有旱地错分成林地的情况，而在 3个尺度的文档区域定义下，S-LDA模型对这两处的错分均有明显改善。由此可以看出，引入文档的空间区域属性，能约束同一个区域内的文档更趋于相似主题流行度和主题内容，也就是主题成分以及主题对应的单词直方图都更接近，所以可以有效去除影像文档（图斑）级别的“椒盐”信息，提高分类精度。

图5 不同主题数目时标准LDA和S-LDA的分类性能Fig.5 Classification performance with different topic size for standard LDA and S-LDA

图6 词包模型、标准LDA和S-LDA模型分类结果图Fig.6 Classification result of bag of words (BOW), standard LDA and S-LDA model

图7是使用不同尺度形成文档区域时，标准LDA和S-LDA模型（获取区域的尺度分别为150、200和250）模型分类精度的变化情况，结果表明S-LDA模型不仅明显优于标准LDA，而且对区域尺度的变化具有一定的鲁棒性。这是因为S-LDA模型在对影像文档建模时，并未直接使用影像文档的类别作为监督信息，空间区域信息同时从主题流行度和主题内容2个层面提供了推理信息，使模型具有更灵活的结构。

最后列出了标准 LDA模型和影像文档区域尺度为200的S-LDA模型对各个地类的分类精度（表1和表2），可以看出空间LDA比标准LDA对各个地类的分类精度均有所提高。由于研究区为丘陵地区，整体景观斑块较破碎，水渠交错分布，在试验分割时存在较细的水渠图斑直接分割到相邻的地物图斑中的现象，因而影响了水体分类精度；同时研究区影像为夏季（8月份），植被和水稻作物生长较为茂盛，导致旱地、林地、水田三者在光谱、纹理特征上产生了混淆，降低了本试验的分类精度。与传统LDA模型的分类结果相比，除了旱地的分类精度变化不大外，水体的错分情况得到大大改善，而且其他几个地类的分类精度都有明显提升。

图7 词包模型、标准LDA和不同文档区域尺度下S-LDA模型的总体分类精度Fig.7 Overall classification accuracy with BOW, LDA and S-LDA model with different scales (150, 200, 250)

表1 标准LDA模型分类精度Table 1 Classification accuracy of standard LDA model %

表2 S-LDA模型分类精度Table 2 Classification accuracy of S-LDA model %

3 结论与展望

本研究在遥感影像建立词包表示的基础上，引入LDA模型对影像进行信息的二次挖掘，针对高分辨率遥感影像中影像文档具有较强的空间关系的特点，利用多尺度合并算法形成影像文档的空间区域，在标准LDA模型基础上，通过Logistic-Normal分布引入空间主题流行度，通过稀疏增量生成模型引入空间主题内容，构建空间LDA模型对高分辨率遥感影像分类，从空间主题流行度和空间主题内容 2个层面约束观测数据的生成，提出一种空间LDA模型（S-LDA）。相比传统的LDA模型，S-LDA模型具有更灵活的结构，引入文档的空间区域属性，能约束同一区域内的文档更趋于空间相似主题流行度和主题内容，可有效去除影像文档（图斑）级别的“椒盐”信息，在高分辨率QuickBird影像分类研究中精度均有所提高。

由于地物成像机理复杂，影响其光谱、纹理等特征的因素众多，且存在大量对遥感影像进行二次表征的特征统计方法，本文使用改进后的概率主题模型来拟合影像文档的生成过程，虽然取得了一定的成果，但仍然存在诸多不足，如果能够结合领域知识，在概率主题模型框架下，对这些特征进行评价、选择或加权，将可能明显提高模型的性能；同时，LDA模型及其一些扩展是一个三层贝叶斯完全概率模型，当前主流使用的 2种推理方法，Gibbs采样和变分（expectation maximization，EM）算法的时间复杂度都很高，而高分遥感影像数据量较大，模型推理效率较低，如何利用新的并行计算技术，如图形处理器（graphics processing unit，GPU）细粒度并行以及云计算环境，来提高模型的推理效率也值得进一步研究。

致谢：感谢国家地球系统数据共享平台-长江三角洲科学数据中心(http://nnu.geodata.cn)提供数据支撑。

[参 考 文 献]

[1] 宫鹏，黎夏，徐冰. 高分辨率影像解译理论与应用方法中的一些研究问题[J]. 遥感学报，2006, 10(1)：1－5.Gong Peng, Li Xia, Xu Bing. Interpretation theory and application method development for information extraction from high resolution remotely sensed data[J]. Journal of Remote Sensing, 2006, 10(1): 1－5. (in Chinese with English abstract)

[2] 冯文卿，眭海刚，涂继辉，等. 高分辨率遥感影像的随机森林变化检测方法[J]. 测绘学报，2017，46(11)：1880－1890.Feng Wenqin, Sui Haigang, Tu Jihui, et al. Change detection method for high resolution remote sensing images using random forest[J]. Acta Geodaetica et Cartographica Sinica,2017, 46(11): 1880－1890. (in Chinese with English abstract)

[3] Zhou Licun, Cao Guo, Li Yupeng, et al. Change detection based on conditional random field with region connection constraints in high-resolution remote sensing images[J].IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2017, 9(8): 3478－3488.

[4] Qi Kunlun, Wu Huayi, Shen Chen, et al. Land-use scene classification in high-resolution remote sensing images using improved correlations[J]. IEEE Geoscience & Remote Sensing Letters, 2015, 12(12): 2403－2407.

[5] 侍昊，张婷，李旭文，等. 基于多星遥感影像的太湖北部湖湾春季沉水植被分布动态监测[J]. 环境监控与预警，2016(1)：13－18.Shi Hao, Zhang Ting, Li Xuwen, et al. Dynamic monitoring of distribution of submerged vegetation in the north of Taihu Lake in spring based on multi source remote sensing images[J]. Environmental Monitoring and Forewarning, 2016(1): 13－18. (in Chinese with English abstract)

[6] 牛志春，侍昊，李旭文，等. 基于遥感技术的生态保护红线区域监测与评价：以盐城沿海地区为例[J]. 环境监控与预警，2017，9(2)：6－9.Niu Zhichun, Shi Hao, Li Xuwen, et al. Remote sensing monitoring of ecological red lines in Yancheng coastal region of Jiangsu Province[J]. Environmental Monitoring and Forewarning, 2017, 9(2): 6－9. (in Chinese with English abstract)

[7] 易文斌. 基于概率主题模型的高分辨率遥感影像分类及其关键技术研究[D]. 北京：北京师范大学，2011.Yi Wenbin. Study on the Classification Method and its Key Technologies of High Resolution Remote Sensing Images based on Probabilistic Topic Model[D]. Beijing: Beijing Normal University, 2011. (in Chinese with English abstract)

[8] Blei D M, Ng A Y, Jordan M I. Latent dirichlet allocation[J].J Machine Learning Research Archive, 2003, 3: 993－1022.

[9] Hong Tang, Li Shen, Yingfeng Qi, et al. A multiscale latent dirichlet allocation model for object-oriented clustering of VHR panchromatic satellite images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 51(3): 1680－1692.

[10] Vaduva C, Gavat I, Datcu M. Latent dirichlet allocation for spatial analysis of satellite images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 51(5): 2770－2786.

[11] 黄波，赵涌泉. 多源卫星遥感影像时空融合研究的现状及展望[J]. 测绘学报，2017，46(10)：1492－1499.Huang Bo, Zhao Yongquan. Research status and prospect of spatiotemporal fusion of multi-source of satellite remote sensing imagery[J]. Acta Geodaetica et Cartographica Sinica,2017, 46(10): 1492－1499. (in Chinese with English abstract)

[12] Kassouk Z, Thouret J, Gupta A, et al. Object-oriented classification of a high-spatial resolution SPOT5 image for mapping geology and landforms of active volcanoes: Semeru case study, Indonesia[J]. Geomorphology, 2014, 221(11): 18－33.

[13] Newman M E, McLaren K P, Wilson B S. Use of object-oriented classification and fragmentation analysis(1985–2008) to identify important areas for conservation in Cockpit Country, Jamaica[J]. Environmental monitoring and assessment, 2011, 172(1－4): 391－406.

[14] 张荣群，孙玮健，艾东，等. 基于监测信息可视化方法的土地覆被变化分析[J]. 农业工程学报，2015，31(21) ：240－247.Zhang Rongqun, Sun Weijian, Ai Dong, et al. Analysis on land cover change based on visual method of monitoring information[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015,31(21): 240－247. (in Chinese with English abstract)

[15] 邵华，李杨，丁远，等. 基于词对主题模型的中分辨率遥感影像土地利用分类[J]. 农业工程学报，2016，32(22)：259－265.Shao Hua, Li Yang, Ding Yuan, et al. Biterm topic model-based land use classification of moderate-resolution remote Sensing images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(22): 259－265. (in Chinese with English abstract)

[16] Rosen-Zvi M, Chemudugunta C, Griffiths T, et al. Learning author-topic models from text corpora[J]. Acm Transactions on Information Systems, 2010, 28(1): 4.

[17] 易文斌，冒亚明，慎利. 利用概率主题模型的遥感影像半监督分类[J]. 计算机工程与应用，2013，49(10)：1－4.Yi Wenbin, Mao Yaming, Shen Li. Semi-supervised classification of remote sensing image based on probabilistic topic model[J]. Chinese Journal of Computers, 2013, 49 (10):1－4. (in Chinese with English abstract)

[18] Roberts M E, Stewart B M, Tingley D, et al. The structural topic model and applied social science[J]. Working Paper,2013, 155(6): 419－420.

[19] Blei D M, Lafferty J D. A correlated topic model of Science[J]. The Annals of Applied Statistics, 2007, 1(1): 17－35.

[20] 张博. 高分辨率遥感影像多尺度分类方法研究[D]. 电子科技大学，2013.Zhang Bo, The Multiscale Classification Method of High Resolution Remote Sensing Images[D]. University of Electronic Science and Technology of China, 2013. (in Chinese with English abstract)

[21] Eisenstein J, Ahmed A, Xing E P. Sparse additive generative models of text[C]// International Conference on Machine Learning, ICML 2011, Bellevue, Washington, USA, 2012:1041－1048.

[22] Figueiredo M A. Adaptive sparseness for supervised learning[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2003, 25(9): 1150－1159.

[23] Mimno D, Wallach H M, Talley E, et al. Optimizing semantic coherence in topic models[C]// Proceedings of the Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 2010:262－272.

[24] Bischof J, Airoldi E. Summarizing topical content with word frequency and exclusivity[J]. Computer Science-Learning,2012.