基于极限学习机的地基可见光云图的云分类

李林,刘青山,夏旻

(南京信息工程大学 信息与控制学院,江苏 南京 210044)

基于极限学习机的地基可见光云图的云分类

李林,刘青山,夏旻

(南京信息工程大学 信息与控制学院,江苏 南京 210044)

摘要：大气系统中云的辐射特性以及分布情况决定了天气预报的准确性和气候监测的有效性。云的检测与识别对大气探测和大气遥感至关重要。本研究旨在通过提取可见光云图的纹理特征、颜色特征和sift特征自动训练分类器,实现对卷云、积云、层云和晴空的分类识别。本研究采用极限学习机(extreme learning machine)对样本进行学习,并在不同条件下进行云分类识别。实验结果表明:当纹理特征、颜色特征和sift特征融合在一起时,获得了比单独使用纹理特征、颜色特征和sift特征以及它们两两组合时更好的识别效果,识别正确率分别为87.67%、90.75%、74.50%和93.63%,平均正确率达到86.64%。在相同实验条件下,本文采用的方法比人工神经网络(artificial neural network)、K近邻(k-nearest neighbor)和支持向量机(support vector machine)好。

关键词：云分类;纹理特征;颜色特征;sift特征;极限学习机

中图分类号：

文章编号：1674-7097(2015)05-0678-08P468

文献标志码：码：A

doi：10.13878/j.cnki.dqkxxb.20130520004

Abstract:Cloud radiation properties and distribution significantly determine the forecasting accuracy and the climate monitoring effectiveness.Cloud detection and recognition are crucial for atmospheric sounding and atmospheric remote sensing.The purpose of this study is to realize the classification of cirrus,cumulus,stratus and clear sky by means of extracting texture features,color features and sift features to automatically train the classifier.This paper uses the extreme learning machine to study the samples and does cloud-type classification and recognition under different experimental conditions.The experiment results show that using texture features,color features and sift features together get better performance than using these features alone or any two of them together,and the accurate identification rates of cirrus,cumulus,stratus and clear sky are 87.67%,90.75%,74.50% and 93.63%,respectively,with an average of 86.64%.Under the same experiment conditions,the proposed method can outperform the artificial neutral network(ANN),the k-nearest neighbor(KNN) and the support vector machine(SVM).

收稿日期：2012-07-18；改回日期：2013-05-23

基金项目:江苏省高校重大项目(11KJA170002);江苏省“333工程”项目(BRA20133297);江苏省基础研究计划(BK2012884);江苏省环境监测基金项目(1016)

通信作者：汤莉莉,博士,教授,研究方向为大气环境化学,lily3258@163.com.

Cloud classification based on ground-based vision cloud

image using extreme learning machine

LI Lin,LIU Qing-shan,XIA Min

(School of Information and Control,NUIST,Nanjing 210044,China)

Key words:cloud classification;texture features;color features;sift features;extreme learning machine

0引言

云是地球热力平衡和水气循环的重要组成部分,云的变化决定了地球的辐射收支状况,它是全球气候变化的一个重要影响因子(Stephens,2005)。不同类型的云反映了大气运动的不同形态、云物理结构和天气特征。然而,云的净效应仍不清楚,且在气候模型和气候预测中会引起较大的不确定性(Solomon et al.,2007)。目前,云量、云状和高度的观测主要依赖地面人工目测和卫星遥感(蔡淼等,2011)。然而,人工观测的代价很高,因此研制自动化检测云和确定云类型的设备成了必然趋势。

卫星云图能提供大范围云的大尺度分布结构信息,但是在薄云和低云上受限于空间分辨率和未知表面的影响(黄勇等,2012);而地基云观测范围较小,能提供云块大小、排列方式以及云的高低分布等局部分布信息(孙学金等,2009)。近年来,随着电荷耦合器(Charge Coupled Devices,CCDs)等硬件技术的快速发展和数字图像处理技术(Digital Image Processing,DIP)的不断完善,很多地基全天空测云仪器研制成功,如:全天空成像仪(Whole Sky Imager,WSI;Shields et al.,1998)、总天空成像仪(Total Sky Imager,TSI;Long et al.,2001)、全天空红外测云系统(Whole Sky Infrared Cloud Measuring System,WSIRCMS;Sun and Liu,2009)和地基全天空云观系统(Ground-based Total-sky Cloud Imager,TCI;Yang et al.,2012)等。目前,地基云分类研究主要集中在可见光云图的云分类研究。Singh and Glennen(2005)利用5种不同的特征提取方法(自相关、共生矩阵、边缘频率、能量特征和原始长度),将彩色数字摄像机得到的云图进行5种天空类型分类,但是作者自认为他们仅限于方法性讨论,分类效果取决于图像分割的质量、获取的图像质量和实验设备。Calbo and Sabburg(2008)提出了通过提取统计特征量、基于傅里叶变换的特征量以及区分有云无云的像素点分布信息进行8类天空类型分类的方法,正确率仅为62%,且可能出现一幅图被分为两类或更多类别的情况。Heinle et al.(2010)基于纹理特征和光谱特征,采用KNN分类器对7类云进行分类,正确率为75%;该算法能解决复杂问题,实现简单且计算复杂度低,但图片质量和增白效应均影响分类效果。Kazantzidis et al.(2012)基于Heinle的工作,不仅利用图像的纹理特征、颜色统计特征,而且考虑太阳天顶角、云量、太阳圆盘的可视部分和云图上存在的雨滴,对7种天空类型进行分类,正确率为87.9%,但是该方法所需的辅助量过多,在实际操作中无法实现。

云图特征很复杂,现有的云状识别主要关注云的整体特征描述,而忽略了云的局部特征描述。本文结合近些年国内外的云分类研究状况(师春香和瞿建华,2002;韩丁等,2011;Rossi et al.,2011;费文龙等,2012),提出从数字摄像机拍摄的天空图像中提取全局特征和局部特征的方法,并能很好地应用于天空类型分类。第1节描述云图的纹理特、颜色特征和sift特征;第2节介绍基于极限学习机的云分类器;第3节是在不同条件下进行实验,并对算法的性能进行评估;第4节给出本文总结及未来研究方向。

1云图特征的提取

1.1　纹理特征的提取

纹理特征是通过像素及其周围空间领域的灰度分布规律来反映图像中的视觉特征。它描述的是图像的局部特性;纹理通过纹理基元的局部模式数目、类型以及它们的空间关系来进行描述。云的种类不同,使得云顶表面很光滑或呈现多起伏的斑点和皱纹,或者表现为纤维状。层云的纹理光滑而均匀,灰度级差异小;积云表现为斑点和皱纹,云顶高度不一,灰度级差异大;卷云的纹理呈现纤维状。本文利用统计方法进行分析,采用了两种纹理特征:Haralick(1979)提出的灰度共生矩阵和Tamura et al.(1978)提出的基于视觉感知的纹理特征。

1.1.1灰度共生矩阵

灰度共生矩阵反映的是图像中相邻间隔为固定长度的两个像素的灰度联合分布。灰度共生矩阵中的元素被定义为从灰度为i的点到某个距离为δ=(Dx,Dy)的点上的灰度为j的概率,Dx为灰度级为j的点与灰度级为i的点的横坐标距离,Dy为灰度级为j的点与灰度级为i的点的纵坐标距离,不同δ表示不同的距离和方向,灰度共生矩阵可表示为关于距离d和方向θ的表达式p(i,j,d,θ)。文中d取1,θ定义了4个方向,取0°、45°、90°和135°,提取的纹理特征包括能量、对比度、相关性、熵、逆差距和惯性距6种纹理特征量。

1.1.2Tamura纹理

Tamura以人类的主观心理度量为标准,提出了6种基本的纹理特征,分别是粗糙度、对比度、方向度、线像度、规整度和粗略度。其中,前3个分量对图像检索尤其重要。粗糙度描述灰度级显著空间的变化,对比度描述图像的明亮程度,方向度指图像中灰度值的方向。本文Tamura纹理取粗糙度、对比度、方向度这3个特征量。

1.2　颜色特征的提取

颜色特征是一种全局特征,描述图像所包含的物体或场景的表面性质。与其他的视觉特征相比,颜色特征对图像本身的尺寸、方向、视角的依赖性较小,从而具有较高的鲁棒性。本文采用由Stricker and Orengo(1995)提出的颜色矩来描述云图的颜色特征,该方法利用线性代数中矩的概念,将图像中的颜色分布用其矩表示。由于颜色分布信息主要集中在低阶矩,因此仅采用颜色的一阶矩(mean)、二阶矩(variance)和三阶矩(skewness)来描述颜色分布。与颜色直方图不同,利用颜色矩进行图像描述无需量化图像特征。因此,图像的颜色矩由9个分量来描述(3个颜色分量,每个分量上有3个低阶矩)。

1.3　sift特征的提取及描述

采用Bag of Words(BOW)模型对提取的sift特征进行处理。BOW的基本思想是将图像看作相互独立的局部图像块的无序集合,为每个图像块构建一个描述量(Qiu,2002)。对描述量进行聚类,生成一个包含视觉词汇的词典。根据词典对图像中的描述向量进行加权统计,生成特征直方图向量。最后根据训练集图像的高维向量表示,产生分类器,对图像进行分类。这里充分利用了以往研究被忽略的云图的局部特征信息。

构建BOW描述子的主要步骤:

1)检测图像块并生成描述子。本文采用密集采样算法(Fei-Fei and Perona,2005),网格大小为16像素×16像素,步长为8像素。然后使用Lowe(1999)提出的sift(Scale Invariant Feature Transform)描述子来描述每个块,每个描述子为128维的向量,这些向量代表图像中局部不变的点。

2)将所有特征点向量集合到一块,再用k-means算法对其进行训练,生成类心,即构造了一个包含K个词汇的词典。

3)统计词典中每个单词在图像中出现的次数,从而将图像表示成一个K维的直方图特征。在云图分类时将直方图的特征作为分类器的输入。

2基于极限学习机的云分类算法

本研究使用极限学习机(extreme learning machine)作为分类器。作为一类单隐层前向神经网络,与传统方法不同,它可以随机地选择网络中的隐层神经元的连接权值,输入权值和隐藏层偏差可随机赋值,输出层权值通过解析算法计算得到,具有学习速度快、泛化能力好等优良特性(Huang,2003)。

图1　极限学习机网络示意图Fig.1　The diagram of extreme learning machine network

上述N个方程的矩阵形式可以写为:Hβ=T。

(1)

(2)

式中:H为网络隐层输出矩阵。H(xi)为H的第i行向量,H的第j列为输入变量分别为x1,x2,…,xN时的第j个隐层节点所对应的输出。如果激活函数g(x)无限可微,根据极限学习机的定理(Huang et al.,2006),‖Hβ-T‖=0。

基于上述知识,算法的步骤如下:

1)利用原始数据训练神经网络。xi=[xi1,xi2,…,xin]T是输入训练数据,即前面提取的云图全局特征向量和局部特征向量,根据公式(1)计算出输出矩阵H。

2)计算出输出权值β。

3)把测试数据特征量送入ELM中,得到4个分类值。选最大值作为最终的分类结果。

4)重复步骤1)—3)S次,取分类次数最多的作为最终分类,即云的云状类标。

云状识别的研究思路流程如图2所示。

图2　云状识别算法流程Fig.2　The process of cloud recognition

3基于极限学习机的云分类结果

3.1　数据的选取和分类

为了进行地基云的自动识别,需要建立合适的地基器测云分类标准。气象学上一般将云分为层状云、积状云、卷云三大类。本文根据云的形态及其发展过程,将全天空分为层状云、积状云、卷云和晴空共4类天空类型。这4种天空类型都有鲜明的特点,比如层状云云体均匀成层,呈灰色很像雾,云底很低但不接触地面;积状云轮廓分明,顶部凸起,云底平坦;卷云具有纤维状结构,不规则的底部,形状微细呈羽毛状,排列散乱等。

本研究中数字云图一共有400个样本,积云、卷云、层云和晴空各100个训练样本,其中训练样本各70个,测试样本各30个。数字云图均为无符号8位的RGB图像,灰度值大小为0～255。

3.2　实验分析

3.2.1基于纹理特征的识别

表1　=30时提取纹理特征分类的混淆矩阵

3.2.2基于颜色特征的识别

表2　=12时提取颜色特征分类的混淆矩阵

3.2.3基于sift特征的识别

表3　=2 500时提取sift特征分类的混淆矩阵

3.2.4基于纹理特征和颜色特征相结合的识别

表4　=30时提取纹理和颜色特征分类的混淆矩阵

3.2.5基于颜色特征和sift特征相结合的识别

表5　=2 500时提取颜色和sift特征分类的混淆矩阵

3.2.6基于纹理特征和sift特征相结合的识别

表6　=2 500时提取纹理和sift特征分类的混淆矩阵

3.2.7纹理特征、颜色特征和sift特征相结合的识别

表7　=2 000时提取纹理、颜色和sift特征分类的混淆矩阵

3.3　实验比较及误判分析

K近邻(KNN)、支持向量机(SVM)和BP神经网络都是常用的云分类方法,本文以这些模型为基准,评估本文方法的性能。图3显示了KNN、SVM、BP和ELM的分类性能。可见,本文所提出的方法对天空类型分类较有鲁棒性。表8是正确识别的耗时比较。

图3　BP、KNN、SVM和ELM的分类结果Fig.3　Classification results using ELM,KNN,SVM and BP methods

表8　ELM、BP、SVM和KNN的耗时比较

运用本文提出的方法提取纹理特征、颜色特征和sift特征进行云分类识别时,平均识别率为86.64%,卷云、晴空、积状云和层状云的识别率分别为87.67%、93.63%、90.75%和74.50%。其中:9.46%的卷云被错分为积状云,由于样本的云体较大,同时存在少量积状云,天空复杂,从而导致误判(图4a);2.43%的卷云被错分为层状云,由于样本的云体覆盖整个天空,表现出层状特性,从而导致误判(图4b)。

图4　卷云误分为积状云(a)和层状云(b)Fig.4　Cirrus are mistaken for (a)cumulus and (b)stratus

积状云中5.83%的样本被误判为卷云,这些样本具有零碎云体(图5a),3.26%的样本被误判为层状云,这些样本的云体布满天空,呈现出层状特性(图5b)。

层状云中10.61%的样本被误判为卷云,这些云体为不规则的碎片(图6a),14.52%的样本被误判为积状云,样本中云体布满天空,但仍然有些块状,呈现出积状特性(图6b)。此外,由于样本的图像中云量太少,导致有的积状云、层状云和卷云中被误判为晴空。

图5　积状云误分为卷云(a)和层状云(b)Fig.5　Cumulus are mistaken for (a)cirrus and (b)stratus

图6　层状云误分为卷云(a)和积状云(b)Fig.6　Stratus are mistaken for (a)cirrus and (b)cumulus

4小结

云分类是云天自动观察的重要组成部分,实现云的精确自动定量观测对许多气候模型、水循环和大气科学研究具有重要作用。本文提出的自动云分类方法将不同天空类型的数字云图进行分类,取得了一定的效果。本文不但探讨了云图的全局特征(纹理特征和颜色特征),而且通过Bag of Words模型对局部sift特征进行描述,结合三种特征和极限学习机分类器对地基云图实现了详尽分析。结果表明,使用三种特征进行分类比仅使用一种特征或任意两种特征要好。分类结果与云图的质量和实验装置有关,同时4类典型天空的样本都是人工分类的,存在一定误差,进而对分类结果产生影响。在相同实验条件下,本文提出的基于极限学习机的分类模型在整体上优于传统分类模型。

自然界中,在同一时间天空经常呈现一系列不同的云类型,比如卷层云和层积云或卷云和积云经常发生在一起。为了避免由这种现象导致的误分类,我们建议在初始图像分块时可以更小,检查这些块中是否仍然包含足够的信息来指定图像块云类。其他的、没有提到的特征也可能会增强算法的性能。此外,本文只是讨论了单一天空类型的云图,而天空云的类型通常是复杂的,因此还需要进一步研究复杂云图的自动识别的分类方法。

参考文献(References)：

蔡淼,周毓荃,朱彬.2011.一次对流云团合并的卫星等综合观测分析[J].大气科学学报,34(2):170-179.Cai Miao,Zhou Yuquan,Zhu Bin.2011.Comprehensive analysis of satellite and other observations from a convective clouds merging event[J].Trans Atmos Sci,34(2):170-179.(in Chinese).

Calbo J,Sabburg J.2008.Feature extraction from whole-sky ground-based images for cloud-type recognition[J].Journal of Atmospheric and Oceanic Technology,25(1):3-14.

费文龙,吕红,韦志辉.2012.图割模型在卫星云图云检测中的应用[J].大气科学学报,35(4):502-507.Fei Wenlong,Lü Hong,Wei Zhihui.2012.Application of graph cut method in cloud detection in satellite cloud image[J].Trans Atmos Sci,35(4):502-507.(in Chinese).

Fei-Fei L,Perona P.2005.A bayesian hierarchical model for learning natural scene categories[C]//IEEE Computer Society Conference:Computer Vision and Pattern Recognition,CVPR 2005:524-531.

韩丁,严卫,任建奇,等.2011.基于支持向量机的CloudSat 卫星云分类算法[J].大气科学学报,34(5):583-591.Han Ding,Yan Wei,Ren Jianqi,et al.2011.Cloud type classification algorithm for CloudSat satellite based on Support Vector Machine[J].Trans Atmos Sci,34(5):583-591.(in Chinese).

Haralick R M.1979.Statistical and structural approaches to texture[J].Proceedings of the IEEE,67(5):786-804.

Heinle A,Macke A,Srivastav A.2010.Automatic cloud classification of whole sky images[J].Atmospheric Measurement Techniques Discussions,3(1):269-299.

Huang G B.2003.Learning capability and storage capacity of two-hidden-layer feedforward networks[J].IEEE Transactions:Neural Networks,14(2):274-281.

Huang G B,Zhu Q Y,Siew C K.2006.Extreme learning machine:Theory and applications[J].Neurocomputing,70(1):489-501.

黄勇,张文建,郁凡.2012.基于图像熵的卫星云图分类方法[J].大气科学学报,35(5):633-639.Huang Yong,Zhang Wenjian,Yu Fan.2012.A method of cloud classification based on image entropy[J].Trans Atmos Sci,35(5):633-639.(in Chinese).

Kazantzidis A,Tzoumanikas P,Bais A F,et al.2012.Cloud detection and classification with the use of whole-sky ground-based images[J].Atmospheric Research,113:80-88.

Long C N,Slater D W,Tooman T P.2001.Total sky imager model 880 status and testing results[M].Washington:Pacific Northwest National Laboratory.

Lowe D G.1999.Object recognition from local scale-invariant features[C]//Computer vision:The proceedings of the seventh IEEE international conference:1150-1157.

Qiu G.2002.Indexing chromatic and achromatic patterns for content-based color image retrieval[J].Pattern Recognition,35(8):1675-1686.

Rossi R,Basili R,Del Frate F,et al.2011.Techniques based on Support Vector Machines for cloud detection on QuickBird satellite imagery[C]//2011 IEEE International Geoscience and Remote Sensing Symposium(IGARSS),Vancouver,Canada:515-518.

师春香,瞿建华.2002.用神经网络方法对NOAA-AVHRR资料进行云客观分类[J].气象学报,60(2):250-256.Shi Chunxian,Qu Jianhua.2012.Cloud classification for NOAA-AVHRR data by using a neural network[J].Acta Meteor Sinica,60(2):250-256.(in Chinese).

Shields J E,Karr M E,Tooman T P,et al.1998.The whole sky imager—A year of progress[C]//Eighth Atmospheric Radiation Measurement(ARM) Science Team Meeting,Tucson,Arizona:23-27.

Singh M,Glennen M.2005.Automated ground-based cloud recognition[J].Pattern Analysis and Applications,8(3):258-271.

Solomon S,Qin D,Manning M,et al.2007.Climate change 2007:The physical science basis[M].Cambridge:Cambridge University Press.

Stephens G L.2005.Cloud feedbacks in the climate system:A critical review[J].J Climate,18(2):237-273.

Stricker M A,Orengo M.1995.Similarity of color images[C]//IS&T/SPIE's Symposium on Electronic Imaging:Science & Technology.International Society for Optics and Photonics:381-392.

孙学金,刘磊,高太长,等.2009.基于LBP算法的全天空红外云图的分类研究[J].大气科学学报,32(4):490-497.Sun Xuejin,Liu Lei,Gao Taichang,et al.2009.Classification of whole sky infrared cloud image based on the LBP operator[J].Trans Atmos Sci,32(4):490-497.(in Chinese).

Sun X,Liu J.2009.Correction of the non-uniformity of the radiometric detector of WSICMS[C]//International Symposium on Photoelectronic Detection and Imaging 2009.International Society for Optics and Photonics:73830T-73830T-8.

Tamura H,Mori S,Yamawaki T.1978.Textural features corresponding to visual perception[J].IEEE Transactions:Systems,Man and Cybernetics,8(6):460-473.

Yang J,Lu W,Ma Y,et al.2012.An automated cirrus cloud detection method for a ground-based cloud image[J].Journal of Atmospheric and Oceanic Technology,29(4):527-537.

(责任编辑：倪东鸿)

汤莉莉,汤蕾,花艳，等.2015.苏南三市秋冬季PM2.5中水溶性离子和元素特征及源解析[J].大气科学学报,38(5):686-693.doi：10.13878/j.cnki.dqkxxb.20120718001.

Tang Li-li,Tang Lei,Hua Yan,et al.2015.Characteristics and source apportionment of water-soluble ions and elements in PM2.5in three cities of South Jiangsu in autumn and winter[J].Trans Atmos Sci,38(5):686-693.(in Chinese).