基于机器学习的地基云图分类研究进展

项洪印,韩磊乐,石超君,张 珂,李星宽,杨世芳

(1.华北电力大学电子与通信工程系,河北 保定 071003;2.华北电力大学河北省电力物联网技术重点实验室,河北 保定 071003;3.华北电力大学 电力工程系,河北 保定 071003)

1 引 言

云是一种常见而重要的自然现象,其为大气中水滴、冰晶或两者的聚合体,占全球陆地面积的60 %以上[1]。云通过抑制太阳短波和长波辐射在维持大气辐射收支平衡中起重要作用[2]。光伏发电功率预测受局部区域云类别、云量变化、太阳辐照度和太阳能电池性能等多重因素影响,其中云类别是影响光伏发电功率预测的重要原因[3]。因此,通过云观测准确获取天空云信息进而对云准确分类对光伏发电功率精准预测有重要意义[4]。传统地基云观测方式主要为人工观测,此方式严重依赖观测员的经验,无法实现标准化,效率较低。因此,地基云自动观测受到相关学者们的广泛关注[5]。基于传统机器学习的地基云图分类方法大多通过人工设计云图特征对云图分类,而基于深度学习的地基云图分类方法主要通过深度神经网络(Deep Neural Network,DNN)自主学习云图特征对云图分类[8]。

早年,相关学者对基于传统机器学习的地基云图分类方法进行了大量研究。Singh等人[9]提出了用于自动训练云分类器纹理功能的方法,该方法在对云进行特征提取时,分别用到了自相关、共发生矩阵、边缘频率、Laws纹理分析和原始长度五种特征提取方法,较其他云分类方法具备准确率高和分类速度快的优势,但其对混合云分类能力不足。Heinle等人[10]通过提取云图颜色和纹理特征,采用K邻近法(K-Nearest Neighbor,KNN)将云分为七类。Buch等人[11]先提取云图中纹理测量、位置信息和像素亮度等特征,再采用二进制决策树方法将云分为高积云、卷云、积云和层云。Neto等人[12]使用多维欧几里得几何距离和贝叶斯分类器分别对云图进行特征描述和模式分类。Liu等人[13]提出了一种显著的局部二值模式(Salient Local Binary Pattern,SLBP)对地基云图分类,其利用SLBP来捕获描述性信息,可抑制噪声,提高分类精度。Cheng等人[14]结合统计纹理和局部纹理特征,提出了一种基于块的混合云分类方法,分类精度高于传统纹理特征。Kliangsuwan等人[15]采用纹理、二维函数距、abs-FFT、log-FFT和快速傅里叶变换投影提取云图特征。Li等人[16]将地基云图视为图像块映射的微观结构集合,通过支持向量机(Support Vector Machines,SVM)将云图分为卷云、积云、层云、混合云和晴空等五类。Liu等人[17]提出了联合稀疏编码的新颖编码策略,克服了传统稀疏编码在训练阶段忽略对同一类的异构特征和编码系数的关系,有效提升了云分类性能。Zhang等人[18]基于显著的局部二值模式(Salient Local Binary Pattern,SLBP)提出了PSLBP(Pyramid Salient Local Binary Pattern)描述符,可提取云图分辨率信息,并通过级联SLBP信息描述纹理分辨率的变化,进而提升云图分类精度。Tang等人[19]提出基于黎曼特征代码本对云图区域协方差描述符进行编码提取直方图特征,并通过SVM对云图分类。此类方法对人工设计的地基云图特征依赖性强,而人工设计的特征对复杂云描述不够准确,因而难以获取良好的分类结果。

近年来,在不同学科和人工智能交叉融合大背景下,基于深度学习的地基云图分类方法以其优越分类性能成为研究热点。针对地基云图独有特征,Shi等人[20]提出基于深度卷积激活的特征(Deep Convolutional Activations-Based Features,DCAFs)对地基云图分类,结果优于人工设计的云图特征。Ye等人[21]借助卷积神经网络(Convolutional Neural Network,CNN)提取云图特征,并提出基于地基云图局部模式挖掘方法优化云图局部特征,提升了云图分类精度。Zhang等人[22]首次将尾迹云作为新型云纳入地基云图数据库,提出基于CloudNet的地基云图分类方法,并提升了地基云图分类精度。Wang等人[23]提出基于AlexNet[24]改进的CloudA网络,在SWIMCAT(Singapore Whole-Sky Imaging Categories)地基云图数据集上的分类精度超过传统地基云图分类方法。Liu等人[25]通过融合异构特征、本地视觉特征和多模式信息提出多特征提取和多模式融合的网络(Multi-Evidence and Multi-Modal Fusion Network,MMFN),显著提升了云图分类精度。针对传统神经网络对地基云图类内和类间分类能力不足的问题,Zhu等人[3]提出采用改进的组合卷积神经网络对云图分类,分类精度较传统神经网络有了较大提升。与此同时,Yu等人[26]通过两个子卷积神经网络对地基云图进行特征提取,并采用加权稀疏表示编码进行分类,解决了多模式地基云图数据中遮挡的问题,大大的提升了云图分类的鲁棒性。Liu等人[27]首次提出基于图卷积(Graph Convolutional Network,GCN)的地基云图分类方法,但GCN分配的权重不能准确反映连接节点的重要性,从而降低了聚合云图特征的辨别力。为弥补该方面的不足,Liu等人[28]提出用于地基云分类的上下文注意力网络,并公开发布新的云图分类数据集。此外,Liu等人[29]结合CNN和GCN提出基于异构深度特征学习的多模态地基云图分类方法。Wang等人[30]结合深度学习和迁移学习,提出一种基于迁移式卷积网络(Transfer Convolutional Neural Network,TCNN)的地基云图分类方法。上述基于深度学习的地基云图分类方法的性能较传统机器学习方法有了显著提升。

本文首先归纳了云图采集设备和云图分类标准,其次介绍了2种典型的地基云图分类数据集,接着从传统机器学习和深度学习两方面详细论述了典型的地基云图分类方法,此外在两种不同地基云图分类数据集上比较了不同方法的性能,最后对地基云图分类方法进行了总结和展望。

2 地基云图采集及分类标准介绍

2.1 地基云图采集

地基云图主要通过地基全天空成像仪获取[31]。地基全天空成像仪起源于19世纪初,由美国物理学教授Wood依据鱼从水中观看水上景物的光学原理提出[32]。1915年,Fassig首次在气象文献中描述了可观测180°大视场全天空地基云的全天空相机[33]。1924年,Hill提出了一种复杂度鱼眼相机成像系统,为全天空成像仪的成功研制奠定了重要基础[34]。1950年,Abe成功研制出全天空成像仪,实现了全天空成像[35]。目前,具有代表性的地基全天空成像仪有ASI(All Sky Imager)[36-37]、ASC(All-Sky-View Camera)[38]、WSI(Whole Sky Imager)[39]、WSC(Whole Sky Camera)[40]和TSI(Total Sky Imager)[41]。

ASI由GFAT研发,包括彩色CCD相机和鱼眼镜头。其中,彩色CCD相机提供三通道全色图像,可区分曝光时间相同、曝光度不同的图像细节,减少暗噪声。鱼眼镜头体积减少了33 %,视场从180°拓宽至185°,能显示出整个天空圆顶,降低图像失真程度,其太阳跟踪器的遮光球能使相机避阳,使电荷耦合器件免受太阳直接辐射的影响。ASI可每5 min连续拍摄地基云图,分辨率为900×900,设备外观和拍摄的地基云图如图1所示。

图1 ASI地基全天空成像仪和拍摄的地基云图

ASC配备了180°视场鱼眼镜头的CCD相机,可直接捕捉完整的全天空地基云图,不需要太阳跟踪器或传统的遮光球、黑色阴影条等遮光设备。ASC应用高动态范围技术,将10张曝光时间不同的照片融合于一张图像,获取清晰的全天空图像,拍摄的地基云图数据覆盖各种云层、不同时间段和多类别太阳的方位角和仰角,分辨率为2000×1944,设备外观和拍摄的地基云图如图2所示。

图2 ASC地基全天空成像仪和拍摄的地基云图

美国Yankee公司研制出不需要鱼眼镜头的地基全天空成像仪TSI。TSI通过安装在CCD相机正下方的半球曲面镜反射全天空地基云图,接着由CCD相机对准半球曲面镜拍照获取全天空地基云图和其他天空云状信息。该设备因设计简单、价格便宜且便于携带和维护而受到学者们广泛关注,设备外观和拍摄的地基云图如图3所示。此外,基于海上环境的地基全天空成像仪[42]由德国基尔大学莱布尼茨海洋科学研究所研发,其装备了183°视场鱼眼镜头的CCD相机,可获取高品质无镜头阴影的分辨率为3648×2736的全天空地基云图,成本较低,其设备外观及其拍摄的地基云图如图4所示。

图3 TSI地基全天空成像仪和拍摄的地基云图

图4 德国基尔大学研制的地基全天空成像仪和拍摄的地基云图

国内学者也推动了地基全天空成像仪的研究和发展,中国科学院大气物理研究所研发出可见光全天空云特性自动观测系统,最高可每30 s拍摄一张分辨率为2272×1704的24位彩色全天空图像[43]。由于地基全天空成像仪拍摄的夜间云图质量远远低于白天云图,一些红外云观测设备便相继问世,实现了对云量、云状和云底高度的全天连续观测的效果。常见的红外云观测设备主要有红外云分析仪(Infrared Cloud Analyzer,ICA)[44]、红外云成像仪(Infrared Cloud Imager,ICI)[45-48]和全天空红外测云系统(Whole Sky Infrared Cloud Measuring System,WSIRCMS)[49]等。

综上所述,地基云图拍摄成像设备的成本远低于空天云图拍摄成像设备,经过不断发展从单一的、有限的地基云图至包含云高、降水等信息的云图,不仅为地基云图分类任务提供大量数据支持,成为众多研究人员的最佳选择,还推进了地基云自动化观测的发展。

2.2 地基云图分类标准

云的形成和演变对光伏发电功率预测具有重要影响。国际气象组织根据云的外部形状、云高、形成原因及内部结构,将云分为为3族10属29类,如表1所示[50]。其中,3族是把云从低到高分为低云、中云和高云族,每一族云又经过划分确定了10属,包括积云、高积云、积雨云、层积云、层云、高层云、雨层云、卷云、卷层云和卷积云。此外,云的类别根据云的透明度和排列还能细分成不同变种,总共超过100种组合。因此,在不同科研任务中,学者需根据研究任务需求采用合理的云图分类标准。

表1 10属云分类

3 基于机器学习的地基云分类

随着人工智能的不断发展,机器学习已广泛应用于地基云图分类任务。目前,基于机器学习的地基云图分类方法主要基于传统机器学习和深度学习范式提出。基于传统机器学习的地基云图分类方法大多通过人工设计云图特征对云图分类,而基于深度学习的地基云图分类方法主要通过深度神经网络自主学习云图特征对云图分类。

3.1 基于传统机器学习的地基云分类研究

基于传统机器学习的地基云图分类方法先对云图特征提取再用分类器进行分类[51]。常用的特征提取方法有直方图纹理特征提取[52-53]、灰度共生矩阵法[54]、小波变换纹理特征提取[55]、二值模式特征提取[56]等。除了特征提取外,分类器也是云图分类的关键。常用的分类器有KNN[10,57-58]、贝叶斯网络[4,59]、SVM[2]等。

3.1.1 SLBP特征提取方法

局部二值模式(Local Binary Pattern,LBP)作为经典的纹理描述符,通过描述局部图像纹理空间结构的灰度纹理提取图像特征0。均匀LBP将结构信息与直线或低曲率边缘相结合,较大幅度提升了图像分类的精度。然而,地基云图特征复杂,包含曲率边缘、交叉边界和拐角等复杂结构,均匀LBP特征提取方法对云图特征描述不精确。基于均匀LBP的不足,基于显著模式的SLBP特征提取方法被提出,其可降低对噪声的敏感性,对云图特征描述更加精确。SLBP表达式如式(1)所示:

(1)

SLBP方法的计算复杂度为O(P·V)。其中,P为每个中心像素的相邻像素数;V为单幅云图总像素数;R为圆周半径。P和R是指定参数,可以看作常数。由此得知SLBP计算复杂度是线性的,可在不增加计算复杂度的同时提升云图分类性能。

3.1.2 HOG特征提取方法

HOG颜色描述符是依据不同颜色在整幅图中所占的比例,适用于难以自动分类的图像。多数图像基于RGB颜色空间,但RGB颜色空间结构并不符合地基云图颜色相似性的主观判断。因此,HSV颜色空间被提出替代RGB颜色空间应用在地基云图分类任务,其三个分量分别代表色彩(Hue)、饱和度(Saturation)和值(Value)。从RGB空间到HSV空间的转换如式(5)所示。在提取特征向量过程中还引入了L2正则化来提高模型的泛化能力。

v=max(r,g,b)

(2)

(3)

(4)

(5)

3.1.3K邻近(KNN)分类方法

K邻近法指从训练集中获取K个样本来预测当前待预测样本的目标属性值,其包括K值选取、距离度量和分类预测三要素。对于K值选择,一般先根据样本分布选择一个较小的值,然后通过交叉验证来选择一个较为合适的最终值。当选择较小K值时,表示使用较小领域中的样本进行预测,训练误差会减小,但会导致模型变复杂,容易过拟合。当选择较大K值时,表示使用较大领域中的样本进行预测,训练误差会增大,同时会使模型变简单,容易导致欠拟合。通过度量样本空间中点与点间的距离来表示两个样本点间的相似度。距离越短,表示相似度越高;反之,相似度越低。距离度量的方式一般有:闵可夫斯基距离、欧氏距离、曼哈顿距离、切比雪夫距离、余弦距离、卡方距离。其中卡方距离度量和欧式距离度量为常用的距离度量方式,主要衡量两个体间的差异性,表达式如式(6)～(7)所示:

(6)

(7)

K邻近法的分类规则通常由多数表决法或加权多数表决法决定。多数表决法是指每个临近样本的权重是一样的,即最终预测结果为出现类别最多的类。加权多数表决法指每个邻近样本权重不同,一般采用权重和距离成反比的方式来计算,即最终预测结果为出现权重最大的类。KNN通过计算待测样本数据和训练数据中不同类别数据点间的相似度对待测样本分类。相比其他分类器算法,KNN具有训练复杂度低、准确度高、对异常点不敏感的特点。其中,通过构建KD树来获取邻近样本数据。算法的具体步骤如图5所示。

图5 KNN方法的实现过程

3.2 基于深度学习的地基云分类研究

深度学习属于机器学习范畴,其以大量训练样本数据为基础,发展出一系列深度网络如深度自动编码器(Deep Auto Encoder,DAE)[60]、受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)[61]、深度置信网络(Deep Belief Network,DBN)[62-64]和CNN[24]等,是人工智能的核心技术之一。当前在人工智能与不同学科交叉融合进一步增强的新态势下,基于深度学习的地基云图分类方法以其优越分类性能成为研究热点。本节主要介绍几种典型基于深度学习的地基云图分类网络。

3.2.1 CloudNet网络

传统地基云分类方法对学者的主观经验依赖性强,致使云图分类结果准确率不高、误差较大且耗时长。针对传统地基云图分类方法的不足,Zhang等人[22]提出了一种卷积神经网络模型CloudNet对云图分类,网络模型结构如图6所示。CloudNet是由AlexNet[24]改进而来的,是一种优化的CNN。CloudNet包括5个卷积层和2个全连接层,可用于序列到序列之间学习任务,其网络架构较之前网络更简单,参数量更少[65]。CloudNet架构简单化致使其更适合学习地基云图特征,提高地基云分类的准确性,可避免传统依赖人为经验分类造成的误差。由于地基云图特征难以提取[21],预处理后的彩色图片通过鲁棒策略输入网络;第三卷积层和第四卷积层直接相连;同时在网络第五层和第六层间应用Dropout[66];最后通过激活函数Softmax输出包含所有类别概率的分布。

图6 CloudNet网络结构

CloudNet是卷积神经网络在地基云图分类领域的初步探索,其分类性能较传统地基云图分类方法有了较大提升,为后续基于卷积神经网络的系列地基云图分类方法的研究奠定了坚实基础。但该网络结构较为简单,对地基云图特征提取能力有限,分类结果仍有提升空间。

3.2.2 CloudA网络

针对小规模地基可见光云分类,Wang等[23,67]提出一种网络结构简单的新型卷积神经网络CloudA,大幅减少需要学习的参数量,可有效避免过拟合问题,网络结构如图7所示。CloudA包含4个卷积层、4个池化层和3个全连接层。CloudA网络第一层为内核大小5×5且输出通道数量32的卷积层,第二层为内核大小5×5且输出通道数量为64的卷积层,第三、四层为卷积核大小3×3,输出通道数量128的卷积层;每个卷积层使用ReLU[68]激活函数,连接的池化层为最大池化层。最后,经过三个全连接层连接分类器对云图进行分类运算。CloudA网络参数迭代训练过程中,不断通过前向计算和反向传播更新权重至模型收敛,继而利用验证集来检测模型性能。

图7 CloudA网络结构

3.2.3 TGCN网络

研究大规模地基云图数据集的分类精度,CNN云图分类方法较传统云图分类方法有极大提升。但CNN表示过程仅涉及图像特征和固定图像节点结构,易忽略图像节点结构间的联系,致使对图像表示能力不足[69-71],进而限制地基云图分类性能的进一步提升。具体来说,CNN以地基云图像及其标签作为输入,没有考虑地基云图节点间的联系,无法发现地基云图间内在的数据结构。图卷积神经网络的提出为提升地基云图分类精度提供了新思路,其以自动学习图像特征信息和结构信息的优势在图像分类领域掀起了热潮。Liu等[27]首次将GCN应用在地基云图分类领域,提出采用图谱卷积网络建立不同云图间的联系,搭建更适合地基云图分类的深度网络(Task-Based Graph Convolutional Network,TGCN),进一步提升地基云图分类精度,网络结构如图8所示。TGCN包括图谱构造、图谱特征矩阵、邻接矩阵构造、图谱表征学习和分类模块。TGCN将图谱计算融入到深度网络为地基云图构建了一个相似图谱,其中每个节点对应于一个基于CNN的地基云图特征,学习地基云分类的图像关系并区分特征。此外,TGCN充分利用CNN特征学习过程的标签信息,以监督学习方式来学习云图特征,提出一种基于地基云图相似性的有效邻接矩阵来描述结点之间的关系,并且邻接矩阵在特征优化过程中进行更新来保证节点关系的有效性。同时,具有图卷积的图谱允许节点信息沿图谱边缘传播。因此,每个节点的特征表示是由本节点和其他节点信息得到。最后,将基于GCN[72-75]的特征与基于CNN的特征融合,进行云图分类。

图8 TGCN网络结构

3.2.4 CGAT网络

基于传统机器学习方法和多数深度学习方法的地基云图分类,侧重学习云图的表示特征。基于图卷积神经网络(Graph Convolutional Network,GCN)的地基云图分类方法则以加权的方式对云图连通节点的信息进行聚合,进而形成聚合特征,如TGCN网络。但GCN对云图连通节点所分配的权重并不能准确反映其重要性,致使分类器降低了对聚合特征(Aggregated Features,AFs)的识别能力。为提升TGCN网络对聚合特征的识别能力,Liu等人[28]提出一种适用于地基云图分类的上下文图谱注意机制网络(Context Graph Attention Network,CGAT),其网络结构如图9所示。CGAT网络由图谱构造、上下文图谱注意机制层(Context Graph Attention layer,CGA layer)、最终表征和分类器组成。CGAT首先利用CNN提取地基云图的深度特征(Deep Features,DFs)并计算DFS相似度,将云图的DFs视为节点,并将DFs相似度大于预设阈值的节点视作边界构造图谱。图谱输入CGA层,通过学习上下文图谱注意力机制系数(Context Attention Coefficients,CACs)[76]作为节点权重,其系数可准确反映不同节点的重要性,不仅能获取重要地基云图连接节点的AFs,还能提升AFs稳定性。最后,将DFs和AFs连接,获得云结构和纹理信息丰富且云图相关性信息丰富的最终表征。CGAT利用两个分类器对云图进行分类,获得云图的预测概率,并利用交叉熵损失函数训练CGAT整体框架。

图9 CGAT网络结构

3.2.5 ICN网络

尽管将GCN网络用于大规模地基云图分类可极大提升其分类精度,但仍无法完美克服云图类内差异性和类间相似性带来的问题,传统卷积网络在区分能力方面明显不足[77-80]。为提高基于深度学习方法的地基云图分类性能,Zhu等人[3]将多通道深度学习方法引入地基云图分类,提出了一种改进的组合卷积网络(Improved Combined Network,ICN)对地基云图进行分类,网络结构如图10所示。为了解决由像素信息冗余引起的子网络过拟合问题,ICN将VGG-16中最大池化层改为重叠池化层,消除信息冗余并降低过拟合风险。同时,VGG-16特征传输信道引入信道注意模块ECA-WS,致使网络表达信道信息能力提升,并实现子网络间参数同步优化。两个子网络对输入图像进行特征提取后,采用决策融合算法对多尺度的子网络输出进行融合。再根据每个类别中云图像的数量,对融合结果赋予不同的权值,从而解决了网络规模限制和数据集不平衡的问题[81]。最后,对两个子网络的输出进行加权,以提高分类精度。子网络分别引入ResNet-50[82]和VGG-16[83]深度卷积神经网络,来获取地基云图特征。VGG-16通过堆叠多个3×3大小的卷积核来取代更大尺寸的卷积核,确保网络在获得相同接受域的同时学习更复杂的非线性映射模式。ResNet-50由多个残余结构组成,每个残余结构添加了一个直接连接信道。残差学习可以减少特征传播到更深的网络时的信息损失。EAC(Efficient Channel Attention)注意力模块[84]是在SE(Squeeze-and-Excitation)注意力模块[85]上的改进,是基于SE不降维的局部跨通道交互策略,可自适应选择一维卷积核的大小。

图10 ICN网络结构

3.2.6 RIWSRC网络

地基云图存在不同云属遮挡问题。虽然卷积神经网络可极大提高地基云图分类准确率,但处理不同云属遮挡问题时鲁棒性较差,易对不同云属产生误判。为解决上述问题,Yu等人[26]提出一种新的地基云图分类方法(RIWSRC)。RIWSRC使用双通道卷积神经网络对地基云图进行特征提取,并采用加权稀疏表示编码[86-87]来对云图分类,有效提升卷积神经网络处理不同云属遮挡问题时的鲁棒性,具体网络结构如图11所示。RIWSRC采用基于ResNet-50和Inception-v3的双通道网络提取云图特征,其鲁棒性优于单通道网络。残差结构内置于ResNet-50,能阻止梯度消失发生,数据通过其中可快速传播。同时,该网络连接ReLU激活函数使其具有稀疏性,得以降低梯度消失的可能性。Inception-v3是一种基于Inception模型[65]的卷积神经网络,由不同类型的Inception模块堆叠,以提取不同空间尺寸信息[88],通过减小分辨率来降低计算复杂性并提高性能。云图特征提取后进行向量化并加权求和,并将其输入到基于编码的稀疏分类算法中进行分类[89]。其中,基于编码的稀疏分类算法是基于传统稀疏分类算法改进的,具有更好的鲁棒性[90]。由于每个卷积神经网络的性能不同,RIWSRC融合多个卷积神经网络提取云图特征效果更佳。

图11 RIWSRC网络结构

4 数据集和地基云分类方法性能比较

本节将在Kiel-F和MGCD两种地基云图分类数据集上比较不同地基云图分类方法的性能。

4.1 地基云图分类数据集介绍

4.1.1 Kiel-F数据集

Kiel-F数据集由地基全天空成像仪拍摄,该成像仪由德国基尔大学莱布尼茨海洋科学研究所联合Shirshov海洋研究所开发,配备鱼眼镜头CCD数码相机,能够实现183°的视场,相比其他天空成像仪没有镜头阴影。Kiel-F数据集包含1500张高质量彩色、JPEG格式地基云图,最大分辨率为3648×2736,涵盖高积云(altocumulus)、卷云(cirrus)、晴空(clear sky)、积雨云(cumulonimbus)、积云(cumulus)、层积云(stratocumulus)、层云(stratus)7类云,具体信息如表2所示。尽管Kiel-F数据集在海上拍摄,较陆地拍摄的图像更清晰且分辨率更高,但其中所有地基云图均有设备遮挡部分,网络提取地基云图特征时会产生误差。具体图样如图12所示。

表2 Kiel-F数据集具体信息

图12 Kiel-F数据集样本图例

4.1.2 MGCD数据集

多模态地基云图数据集(MGCD)是第一个由地基云图和多模态信息组成的数据集。MGCD数据集共有8000个地基云图样本,训练集和测试集各4000个样本,包含高积云(altocumulus)、卷云(cirrus)、晴空(clear sky)、积雨云(cumulonimbus)、积云(cumulus)、层积云(stratocumulus)、混合云(mix)7类云。每个地基云图样本包含同时间拍摄的地基云图和捕获的多模态信息。此外,云量不超过10 %的云图被归类为晴空,其中,地基云图由带有鱼眼镜头的全天空相机采集获得,其数据存储格式为JPEG,像素分辨率为1024×1024;多模态信息由气象站采集,包括温度、湿度、压力、风速,并将这四个要素存储至同一矢量中。图13为部分MGCD数据集云图示例,具体信息如表3所示。

表3 MGCD数据集具体信息

图13 MGCD数据集样本图例

4.2 地基云图分类方法在Kiel-F数据集上的比较

4.2.1 实验细节

本组实验在Kiel-F数据集上比较SLBP+KNN、HOG+KNN、CloudNet、CloudA和ResNet-50[91]不同地基云图分类方法的性能。SLBP将(P,R)设置为(24,3),并将输入图像归一化,有效降低图像间光照变化的影响。HOG采用颜色直方图方法提取图像特征向量,并统计各个特征向量的均值进行归一化处理,能有效减少分类误判。SLBP和HOG都采用KNN分类器对测试样本分类识别,且K=11。另外,CloudNet、CloudA和ResNet-50方法设置相同参数,且输入其中的地基云图分辨率为224×224。训练过程中,所有CNN网络的学习初始率设为0.002,批量大小(Batchsize)设置为32,并使用adam优化器[92]优化网络中所有可使用的参数。实验采用Windows11操作系统,基于pycharm平台的python语言和pytorch框架,CUP设备型号为inter-i7-10,显卡设备型号为GTX-1050Ti。此外,从Kiel-F数据集的每个类中随机抽取80 %的样本作为训练数据,余下每个类中20 %的样本作为测试数据。训练周期(epoch)设为40。

4.2.2 实验结果分析

本组实验采用平均准确率和平均召回率两种评价指标来评估不同地基云图分类方法的性能,结果如表4所示。由表4可知,SLBP+KNN在数据集Kiel-F上的平均准确率和平均召回率高于HOG+KNN,表明SLBP比HOG对地基云图提取特征更有优势;基于SLBP+KNN的地基云图分类方法和基于深度学习地基云图分类方法性能相差不大,甚至略高于结构简单、网络层数较少的深度学习方法;而基于HOG+KNN的地基云图分类方法性能远低于基于深度学习的地基云图分类方法。实验结果表明,深度学习分类方法在地基云图分类方面具有优越性能,但在小数据集上分类性能较传统机器学习分类方法优势较小。此外,3种深度学习分类方法的平均准确率和平均召回率均超过90 %,但基于ResNet-50的地基云图分类方法平均准确率和平均召回率比其他2种深度学习分类方法高,表明增加网络提取特征层数和结构复杂度能够提高地基云图分类精度。

表4 五种地基云图分类方法结果

4.3 地基云图分类方法在MGCD数据集上的比较

4.3.1 实验细节

本组实验在MGCD数据集上比较CloudNet、CloudA、TGCN、CGAT、ICN、RIWSRC不同基于深度学习的地基云图分类方法性能。实验中,6种方法设置相同权重参数,且输入地基云图分辨率为224×224。训练期间,所有CNN网络的学习初始率设为0.002,批量大小(Batchsize)设置为32,并使用adam优化器[92]优化网络中所有可使用的参数。实验同样采用Windows11操作系统,基于pycharm平台的python语言和pytorch框架,CUP设备型号为inter-i7-10,显卡设备型号为GTX-2060。此外,从MGCD数据集的每个类中随机抽取50 %的样本作为训练数据,余下每个类中50 %的样本作为测试数据。

4.3.2 实验结果分析

本组实验采用平均准确率和平均召回率两种评价指标来评估不同地基云图分类方法的性能,实验结果如表5所示。由表5可知,网络层数少、结构简单的CloudNet和CloudA准确率和召回率远低于TGCN、CGAT、ICN和RIWSRC,表明增加深度学习网络层数或提升网络结构的复杂性能够提升分类精度。TGCN利用GCN和CNN提取地基云图特征并融合,其过程增加了地基云图间关联性功能、深度特征监督学习,并将其平均准确率和平均召回率分别提升至89.48 %和90.43 %。CGAT解决了TGCN无法完全反映连接节点的重要性且降低聚合特征识别等问题,通过添加上下文图谱注意机制层,增强对聚合特征的识别能力,将聚合特征和深度特征融合对地基云图进行分类。根据表5显示,CGAT的平均准确率和平均召回率高于TGCN,表明在获得聚合特征方面,CGAT通过上下文图谱注意力机制层比TGCN通过图谱卷积网络聚合特征具有优势。ICN和RIWSRC是2种应用组合卷积神经网络提取地基云图特征的分类方法。ICN利用改进的VGG-16子网络和ResnNet-50子网络提取云图特征,而RIWSRC利用Inception-V3子网络和ResNet-50子网络提取云图特征。表5中的数据显示RIWSRC的平均准确率和平均召回率比ICN高,表明Inception-V3的优越性。另外,基于图谱卷积和组合卷积神经网络的地基云图分类方法的精度比网络层数少、结构简单的深度学习分类方法高。

表5 六种地基云图分类方法结果

5 结论与展望

地基云图分类具有广阔的应用价值,近年来得到了越来越多的关注与研究。云图分类不仅是光伏功率预测的基础,还是气象天气预测的关键,更是改善和推演气候环境的重要因素。为应对不同使用场景,我们需要开发更好的地基云图分类模型,不断提升地基云图分类精度。本文首先归纳了地基云图分类标准和多种采集设备,并简要介绍了8种地基云图分类方法。同时,本文介绍了Kiel-F和MGCD两种常用的全天空地基云图分类数据集,该数据集可支撑更复杂的深度学习模型在地基云图分类领域得到评估和应用。此外,本文从传统机器学习和深度学习角度对近几年地基云图分类研究方法进行对比。实验数据表明,对多模式、多样本地基云图数据集分类,基于深度学习的地基云图分类方法性能优于基于传统机器学习的地基云图分类方法,合理增加深度学习模型的网络层数并提升其结构复杂程度能进一步提升地基云图分类精度。

目前最先进的地基云图分类方法研究大多基于卷积神经网络模型上的评估和验证,其性能随着不断优化现有卷积神经网络或提出新的卷积神经网络而提升。即便如此,现有深度学习方法在处理规模大、分类情况复杂的地基云图时仍显得捉襟见肘。因此,如何提升复杂情况下地基云图分类精度、增强其方法鲁棒性需要更多研究。放眼未来,我们将根据不同的应用需求并结合目前的研究热点,深度挖掘最新图像分类方法在地基云图分类上的潜能并优化其适用性,以如何提升复杂情况下地基云图的分类精度、鲁棒性、训练速度和最优参数为研究方向,研究云量信息、云状和云高等关键因素在地基云图分类中的影响,开发性能更优的云图分类方法。