摘" 要: 文中提出一种基于改进的ResNet的太阳黑子图像分类方法,该方法在ResNet的基础上引入了空洞卷积和残差连接等技术,增强了训练模型的特征提取能力以及感受野。在模型训练过程中,采用交叉熵损失函数和SGD优化器进行参数优化,以提高模型的准确性和泛化能力。其中深度可分离卷积被用于替代传统的卷积操作,以减少模型的参数量和计算量。最后,在太阳黑子图像分类的公共数据集上进行实验评估。实验结果表明,提出的基于改进的ResNet模型在太阳黑子图像分类任务上表现出较高的准确率和鲁棒性,相比于传统的ResNet模型,可以取得更好的分类效果。该方法为太阳黑子图像分类提供了一种新的思路和技术方案,对于太阳活动预测和环境监测等领域具有重要意义。
关键词: 太阳黑子; ResNet; 空洞卷积; 残差连接; 交叉熵; SGD
中图分类号: TN911.73⁃34; TP399" " " " " " " " " 文献标识码: A" " " " " " " " " "文章编号: 1004⁃373X(2024)05⁃0080⁃05
Research on sunspot classification method based on improved ResNet algorithm
FAN Shiming
(Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, China)
Abstract: A sunspot image classification method based on improved ResNet is proposed in this study. In the method, techniques such as dilated convolution and residual concatenation are introduced on the basis of ResNet to enhance the feature extraction ability of the training model and the perceptual field. In the process of model training, the cross⁃entropy loss function and SGD (stochastic gradient descent) optimizer are used for parameter optimization, so as to improve the accuracy and generalization ability of the model. Among them, depth⁃separable convolution is used to replace the traditional convolution operation to reduce the number of parameters and the computational effort of the model. An experimental evaluation is performed on a public dataset for sunspot image classification. The experimental results show that the model based on improved ResNet exhibits high accuracy and robustness in the task of sunspot image classification and can achieve better classification results in comparison with the traditional ResNet model. The proposed method provides a new idea and technical scheme for sunspot image classification, which is important in the fields of solar activity prediction and environmental monitoring.
Keywords: sunspot; ResNet; dilated convolution; residual concatenation; cross⁃entropy; SGD
0" 引" 言
随着现代天文学和太空科学的发展,太阳黑子[1]成为了一个备受关注的研究领域。太阳黑子是太阳表面的一种暗斑,具有一定的周期性和规律性,与太阳活动周期密切相关。太阳风暴曾造成当时无线电报网出现周期性大范围中断,太阳风暴引起地球磁场的剧烈变化,在地面诱生地磁感应电流,会损毁电网变压器,造成停电事故。而自人类进入太空以来,已多次经历卫星运行受太阳风暴影响的事例,卫星发生故障、材料退化、通信质量下降或中断,甚至导致卫星失效、提前退役。随着人类进行空间探索和空间活动不断深入,各种与人类生活息息相关的活动都依赖于导航、通信、广播、电视等空间技术系统,这些空间技术系统的安全已经不是单纯的科学问题,而是与国民经济、国家安全紧密相关的应用问题。太阳黑子的出现和消失对太阳活动、地球天气和人类生活产生着重要的影响,因此对太阳黑子的监测和研究具有重要的意义。
太阳黑子群又称为太阳活动区,是太阳风暴爆发的主要源区。在空间环境业务预报和研究中,活动区的形态特征和磁场特征通常被用作太阳风暴预报的主要参考因子,如Wilson山磁分类[2]、McIntosh分类、磁剪切、中性线长度等。在当前太阳观测数据量呈指数增长的情形下,传统的人工提取太阳活动特征的方法显然已经不能满足太阳风暴预报和空间环境预报的时效性需求,也不能满足广泛利用海量数据开展太阳风暴预报研究的要求。另外,太阳风暴预报模型主要通过统计关系来建立。基于人工经验提取的太阳风暴爆发的特征参量作为模型输入,观测数据中所包含的与太阳风暴相关的信息难以被充分利用,这限制了模式预报精度的进一步提高。
随着计算机视觉和深度学习技术的不断发展,基于图像识别和分类的太阳黑子研究成为了一种新的研究方法和手段。然而,由于太阳黑子图像的特殊性质和复杂性,传统的图像处理和分类方法往往难以满足实际需求,因此需要更加先进和有效的技术和方法。
本文针对太阳黑子的图像分类问题,提出了一种基于改进的ResNet的太阳黑子图像分类方法。该方法综合运用了数据增强、深度残差网络和优化技术等先进技术和方法,对太阳黑子图像进行高效、准确的分类和识别,为太阳黑子研究提供了新的思路和手段。通过对实验结果的分析和评估,证明了本文方法在太阳黑子图像分类方面具有较高的准确率和泛化能力,具有较好的应用前景和推广价值。
1" 黑子分类
太阳黑子群分类是太阳物理学领域的研究热点之一,近年来,利用深度学习技术进行太阳黑子群分类的研究不断取得了进展。一方面,深度学习技术的应用使得太阳黑子群分类的准确性得到了显著提高。传统的太阳黑子群分类方法主要基于人工经验和主观判断,分类结果的准确性有限。而利用深度学习方法可以通过对太阳黑子群图像进行特征提取和分类,实现对太阳黑子群磁类型的自动化分类,提高了分类准确性。目前国内已有多篇相关论文报道了利用深度学习方法开发多种模型,用于对太阳黑子群进行分类,这些模型包括:文献[3]开发了识别简化Wilson山磁分类的CNN模型,文献[4]利用Faster R⁃CNN和R⁃FCN的深度学习模型实现对太阳黑子群的McIntosh分类,文献[5]使用CNN完成Wilson山磁分类,文献[6]基于CornerNet⁃Saccade目标检测网络实现对全日面图像中太阳黑子群的Wilson山磁分类,文献[7]提出了一种基于深度学习的太阳黑子群磁分类方法,将黑子群分成了α、β和β⁃x三个类别。另一方面,深度学习方法的应用还可以提高太阳黑子群分类的效率。传统的太阳黑子群分类方法需要人工处理,分类效率低下,而利用深度学习方法可以对大量的太阳黑子群图像进行快速处理,实现对太阳黑子群磁类型的自动化分类,提高了分类效率。比较经典的、常见的对太阳黑子分类的方法有:McIntosh分类法、Zurich黑子群分类和Wilson山磁分类,都是用于太阳活动的分类系统。
Wilson山磁分类是由美国天文学家W.O.Wilson于1919年提出的,它基于太阳上的磁场结构来分类太阳区域。根据对应磁场的极性,制定了一套太阳黑子分类方案,它将双极性太阳黑子群视为基本类型,其他类型则被视为双极性太阳黑子群的变形。类别如下:
1) α:太阳黑子的单极性群。
2) β:太阳黑子的双极性群,其中具有正负磁极,并且在相反磁极之间有明显的区别。
3) γ:太阳活动区磁图的复杂类型,其正负磁极的分布非常不规则。
4) β⁃γ:太阳黑子的双极性群,分布足够复杂,相反磁极之间没有明显的边界。
5) δ:具有相反磁极的双极性太阳黑子群,共享一个半暗带,距离太阳中心的跨度小于2°。
6) β⁃δ:包含一个或多个δ太阳黑子的β磁性分类的太阳黑子组。
7) β⁃γ⁃δ:包含一个或多个δ太阳黑子的β⁃γ磁性分类的太阳黑子组。
8) γ⁃δ:包含一个或多个δ太阳黑子的γ磁性分类的太阳黑子组。
在本文的研究中,由于γ、δ及γ⁃δ在近10年几乎没有出现,因此忽略这三类,同时,β⁃γ、β⁃γ⁃δ、β⁃δ三种占比也较少,为了便于深度学习模型训练,将他们三类统一归为β⁃x类。
2" 实验及结果
2.1" 数据预处理
本文中的数据集采用的是天池大赛中的太阳黑子类型智能分类中的数据集。在所有的磁图中,有4 709张α磁型图像、7 352张β磁型图像和2 407张β⁃x磁型图像。在所有连续体图像中,α磁型的图片有4 709张,β磁型的图片有7 352张,β⁃x磁型的图片有2 407张。数据集中每种类型的数据量分布均匀。连续体图像中最少的磁类型是β⁃x。图像样本的数量如表1所示。
为了进行模型的训练和测试,将数据集划分为训练集、测试集两部分,其中训练集占80%,测试集占20%。然后,对每个数据集中的图像进行预处理和标准化处理,以便于后续的模型训练和测试。
此外,将灰色图像样本插值到一个统一的尺寸224×112,用以满足神经网络结构的输入要求。同时,使用连续体图像和磁图两个单通道图像组合到一起,输入为两个通道,但为了契合AlexNet、VGG、Inception、ResNet等网络的预训练模型,第三个通道予以填充,这里将黑色图像作为填补要求。由于样本数目不均衡,以防由于样本数量造成准确率降低,采取了图像旋转、翻转的方式对α和β⁃x的样本进行了扩充。最后,图像样本数量如表2所示。
2.2" 实验环境
本文服务器操作系统使用Ubuntu的开源Linux操作系统,在GPU环境下进行计算,使用Pytorch深度学习框架,IDE为Pycharm,开发语言是Python。具体实验环境如表3所示。
2.3" Dilated ResNet网络
在本文中使用改进的ResNet模型,即Dilated ResNet来实现太阳黑子图像的分类。Dilated ResNet是在ResNet的基础上引入了空洞卷积[8⁃10](Dilated Convolution),以增加卷积层的感受野和视野,提高网络的分类精度。具体来说,Dilated ResNet由多个残差块组成,每个残差块包含多个卷积层和批量归一化层,其中第一个卷积层采用空洞卷积,其余卷积层采用普通卷积。空洞卷积核的大小可以根据需要进行调整,以适应不同的图像尺寸和任务要求。同时,网络中还包含了池化层和全局平均池化层,以进行特征提取和降维处理。最后,网络输出一个Softmax分类器,将图像分为不同的类别。整个网络的训练采用了交叉熵损失函数和随机梯度下降(SGD)优化器,以最小化损失函数并优化网络参数。
具体来说,在ResNet中引入了空洞卷积,并对网络进行了一定的调整和改进,以适应太阳黑子图像的分类任务。Dilated ResNet的具体结构如图1所示。
Dilated ResNet由多个残差块组成,每个残差块包含两个卷积层和两个归一化层,并使用空洞卷积来增加感受野和视野。具体地,将第3、第4和第5个残差块中的卷积层替换为空洞卷积,其中第3个残差块使用了空洞率为2的卷积核,第4个残差块使用了空洞率为4的卷积核,第5个残差块使用了空洞率为8的卷积核。还在网络的最后添加了全局平均池化层和全连接层,用于将卷积层输出的特征图转换为分类结果。Dilated Residual Block具体结构如图2所示。
其中,Residual Block和Dilated Residual Block都采用了两个卷积层,每个卷积层后面都跟着归一化层和ReLU激活函数。Residual Block还采用了残差连接,即将输入直接加到输出上。Dilated Residual Block则采用空洞卷积来增加感受野和视野。具体地,空洞卷积是在卷积核中插入一些空洞,这些空洞在卷积操作中可以让卷积核跨越更大的区域,从而增加了感受野和视野。
此外,在实现Dilated ResNet模型时,还采用了一些超参数的调整。具体地,采用了批量大小为64、学习率为0.001、动量为0.9、权重衰减为0.000 1的SGD优化器,并使用了学习率衰减策略,将学习率在第40个和80个epoch时分别乘以0.1。将模型在训练集上训练100个epoch,并在测试集上进行模型选择,选择测试集上具有最高精度的模型作为最终模型。
2.4" 模型训练和评估
在训练深度学习模型前,需要将数据集划分为训练集、测试集。具体地,将数据集中80%的数据用于训练,20%用于测试。训练集用于训练模型和调整超参数,测试集则用于评估模型性能。
使用全连接神经网络的输出通过一个Softmax函数得到输出分类的概率分布,然后将结果与数据标签进行比较得到交叉熵,从而得到损失函数。Softmax函数和交叉熵公式如下:
[Softmax(pi)=epij=1neyj]
式中:[n]是太阳黑子类型的数量;[pi]是第[i]个网络单元的输出。
[L=-1Ni=1Nyilog(pi)+(1-yi)log(1-pi)]
式中:[N]是训练样本数量;[yi]是样本[i]的真实标签;[pi]是模型对样本[i]的预测值。
使用PyTorch框架中的SGD优化器进行模型训练。具体地,采用了批量大小为64、学习率为0.001、动量为0.9、权重衰减为0.000 1的SGD优化器,并使用了学习率衰减策略,将学习率在第40个和80个epoch时分别乘以0.1。
为了评估模型的性能,采用准确率作为评估指标,即:
[Accuracy=TP+TNTP+TN+FP+FN]
式中:TP是真正例数;TN是真反例数;FP是假正例数;FN是假反例数。使用测试集对模型进行评估,并记录模型在测试集上的准确率作为最终性能指标。
2.5" 实验结果及分析
扩充样本后灰度图像的数据集的损失函数和准确率如表4所示。
从表4中可以看出,提出的基于深度学习的太阳黑子群磁类型分类方法中的Dilated ResNet模型相比于之前的ResNet模型,在灰度图像中准确率达到92%。这表明,采用带有空洞残差卷积的模型可以显著提高太阳黑子群磁类型分类的精度。
此外,混淆矩阵[11⁃13]用于评估模型对太阳磁场活动区磁性类型的分类性能。混淆矩阵定义如表5所示。
表5中:被正确识别为“α”的样本数为True α(TA);被错误识别为“β”的样本数为False α_B(AB);被错误识别为“β⁃x”的样本数为False α_C(AC);被正确识别为“β”的样本数为True β(TB);被错误识别为“α”的样本数为False β_A(BA);被错误识别为“β⁃x”的样本数为False β_C(BC);被正确识别为“β⁃x”的样本数为True β⁃x(TC);被错误识别为“α”的样本数为False β⁃x_A(CA);被错误识别为“β”的样本数为False β⁃x_B(CB)。
为了更好地理解模型的性能,还绘制了Dilated ResNet模型在测试集上的混淆矩阵,如表6所示。从表6中可以看出,当模型识别错误发生时,α磁型偶尔会被误认为β磁型,β磁型有时会被误分类为α或β⁃x,错误率超过6%,β⁃x磁型主要误划为β。人工分类时,难免会因个人经验和个人意见产生分歧,主要是区分β磁型和β⁃x磁型。
从混淆矩阵可以看出,模型在大多数情况下能够正确地将样本分类到正确的类别中,但是在一些类别中仍存在一定程度的混淆。例如,α类别永远不会被识别为β⁃x类别,但模型会将12.6%的β⁃x类别误分类为类别β,这表明,对于一些相似的类别,模型仍需要进一步改进以提高分类性能。
3" 结" 论
本文提出了一种基于深度学习的太阳黑子群磁类型分类方法,采用了AlexNet、VGG、ResNet和Dilated ResNet等多种深度学习模型对数据集进行分类。实验结果表明,提出的方法中的Dilated ResNet模型取得了最好的性能,灰度图像达到了92%的准确率,比传统的ResNet模型提高了5%。与传统方法相比,基于深度学习的分类方法具有更高的分类精度、更好的可解释性和鲁棒性。这些结果表明,基于深度学习空洞残差模型的方法可以显著提高太阳黑子群磁类型分类的精度,并为未来的太阳物理研究提供重要的参考。
未来的工作将集中在改进深度学习模型的结构和算法上,收集更多的太阳黑子群磁类型数据,并将该方法应用到实际的太阳物理研究中,例如太阳活动周期的预测、太阳耀斑的识别和预报等方面的应用。基于深度学习的太阳黑子群磁类型分类方法将会成为太阳物理学研究中一种重要的工具和手段,为理解太阳磁场的演化和太阳活动的变化提供重要的参考和指导。
参考文献
[1] 李国庆,孙威,王颖,等.基于索周法探寻太阳黑子的磁极性周期[J].地球物理学进展,2020,35(6):2075⁃2082.
[2] 李书馨,赵学斌,陈君,等.基于深度学习的太阳黑子Wilson山磁类型识别方法[J].空间科学学报,2022,42(3):333⁃339.
[3] 方园慧.机器学习在太阳爆发预报中的应用研究[D].北京:中国科学院大学(中国科学院国家空间科学中心),2020.
[4] 付小娜.基于深度学习的太阳黑子群分类方法研究[D].昆明:昆明理工大学,2019.
[5] 王雅妮.利用卷积神经网络自动归类太阳黑子[D].哈尔滨:哈尔滨工业大学,2020.
[6] 何远柏.基于CornerNet⁃Saccade的太阳黑子群Wilson山磁分类研究[D].昆明:昆明理工大学,2021.
[7] FANG Y H, CUI Y M, AO X Z. Deep learning for automatic recognition of magnetic type in sunspot groups [J]. Advances in astronomy, 2019(1): 1⁃10.
[8] 颜铭靖,苏喜友.基于三维空洞卷积残差神经网络的高光谱影像分类方法[J].光学学报,2020,40(16):163⁃172.
[9] WEI Y C, XIAO H X, SHI H H, et al. Revisiting dilated convolution: A simple approach for weakly⁃ and semi⁃ supervised semantic segmentation [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 7268⁃7277.
[10] LI Y H, ZHANG X F, CHEN D M. CSRNet: Dilated convolutional neural networks for understanding the highly congested scenes [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 1091⁃1100.
[11] LIANG J. Confusion matrix: Machine learning [J]. POGIL activity clearinghouse, 2022, 3(4): 26.
[12] VISA S, RAMSAY B, RALESCU A L, et al. Confusion matrix⁃based feature selection [C]// Proceedings of the 22nd Midwest Artificial Intelligence and Cognitive Science Conference 2011. [S.l.: s.n.], 2011: 120⁃127.
[13] 张开放,苏华友,窦勇.一种基于混淆矩阵的多分类任务准确率评估新方法[J].计算机工程与科学,2021,43(11):1910⁃1919.