基于卷积神经网络的钢渣砂图像识别及图像变化规律

滕胜杰, 朱琳, 李运泽, 王新年, 晋强*

(1.新疆农业大学水利与土木工程学院, 乌鲁木齐 830052; 2.新疆兵团城建集团有限公司, 乌鲁木齐 830052)

随着建筑业的持续发展,对天然砂的需求越来越大,导致砂石资源紧缺,价格飞涨,因此需要寻找天然砂的替代品[1-2]。钢渣砂价格低廉,是一种表面粗糙多孔、质地坚硬、耐磨性较好的颗粒。因此众多工程将钢渣砂作为细骨料使用,但钢渣中含有游离氧化钙、氧化镁等有害成分,导致钢渣砂浆和钢渣混凝土体积安定性不良,致使混凝土膨胀破坏,影响工程安全[3-5]。

为钢渣在工程中大规模利用,许多学者对钢渣的长期安定性做了大量研究。杨杰等[6]对钢渣开展了浸水膨胀率实验,随着水浴时间的增加,累积膨胀量近似呈线性增长。张红日等[7]采用化学成分、粉化率、基本物理指标等实验研究露天陈化的钢渣集料,钢渣集料至少要露天陈化12个月才能满足路用稳定性要求。李晓刚等[8]通过游离氧化钙含量检测、浸水膨胀率和压蒸实验检测钢渣的体积安定性,钢渣集料压蒸试验条可作为安定性快速检测方法,钢渣集料的压蒸胀裂粉化率不大于5%。通过粉化率评价钢渣砂安定性,钢渣砂中膨胀性矿物不均匀性,影响粉化率指标。伦云霞等[9]对比钢渣砂浆强度和砂浆棒自由线性膨胀率,发现钢渣砂砂浆强度的发展趋势与砂浆棒自由线性膨胀率有较好的相关性,砂浆棒法可作为最终评价钢渣砂安定性的方法。砂浆棒线性膨胀率虽然是一种可靠的钢渣砂安定性评价方法,但检测周期太长。韩檬等[10]分析钢渣体积的评价方法,测定游离氧化钙含量可快速评价钢渣的安定性,但对样品的均匀性和代表性要求较高,只能作为辅助手段。学者通过研究钢渣砂在长期陈化处理中的变化规律,可通过检测游离氧化钙含量、砂浆棒线性膨胀率、粉化率评价钢渣的安定性。但方法尚有缺陷,缺少针对钢渣体积安定性快速准确的评价方法。现通过卷积神经网络模型区分不同陈化时间下的钢渣砂表观图像,探究陈化过程中钢渣砂图像的变化规律。并对比钢渣砂蒸汽粉化率和钢渣砂表观变化的相关性,为后续基于钢渣砂图像评价安定性的方法提供支撑。

为了观察钢渣砂图像及图像表观变化规律,现选用卷积神经网络识别钢渣砂图像。卷积神经网络具有良好的学习能力、泛化能力,AlexNet[11]于2012年获得ImageNet视觉识别挑战赛冠军后,卷积神经网络的模型快速发展。目前,有代表性的模型有VGGNet[12]、ResNet[13]、MobileNet[14]、GoogleNet[15]和Efficient[16]等。卷积神经网络能够对复杂的图像进行分类,且结构简单应用性强,广泛解决图像识别等问题。

通过观察陈化前后的钢渣砂图像,陈化后的钢渣图像颜色明显变浅,颜色是钢渣砂的主要变化特征。现以ConvNeXt[17]网络为主体结构,在网络中添加通道注意力机制SE-Net[18](squeeze and excitation network),使网络更好地获取钢渣砂图像的颜色特征。通过改进的ConvNeXt网络,区分陈化前后的钢渣砂图像,分析钢渣砂表观变化的规律。

1 试验方案及试验方法

原始粒径越大的钢渣砂,安定性越差,危害越高,因此主要研究粒径为2.36～4.75 mm和1.18～2.36 mm钢渣图像。鉴于钢渣砂自然陈化速度较慢,选用蒸汽处理的方式陈化钢渣砂。为衡量钢渣砂的陈化效果,计算陈化前后钢渣砂粉化率。针对训练所需的图像,利用专业相机获取图像,划分钢渣砂图像数据集。

1.1 蒸汽处理

分别取粒径2.36～4.75 mm和1.18～2.36 mm的钢渣砂,每种粒径取3组钢渣砂,每组1.5 kg,分别蒸汽处理2.5、5、7.5 h。蒸汽处理过程中,将钢渣砂放入容器中,置于沸煮箱中在100 ℃下蒸汽处理。蒸煮时能保证在(30±5) min内升至沸腾,且不需中途添补试验用水。同时保证水蒸气能顺利进入容器内。将蒸汽处理后的钢渣砂用烘箱烘干至恒重,待获取图像。

1.2 蒸汽粉化率

《钢渣稳定性试验方法》(GB/T 24175—2009)中粒径为2.36～4.75 mm的钢渣过1.18 mm筛[19],粒径为1.18～2.36 mm的钢渣过0.6 mm筛。称取钢渣砂300 g,用烘箱烘干后,称取钢渣砂200 g。置于100 ℃沸煮箱中蒸汽处理5 h后取出烘干。将烘干后的钢渣砂过筛,并按照式(1)计算单粒级粉化率(粉化率取2次平行试验的平均值)。

(1)

式(1)中:G为处理前试样干重;G1为处理后筛上试样干重。

1.3 图像获取

将专业相机放置于钢渣砂正上方10 cm处,相机具体参数如表1所示。

表1 相机参数Table 1 Camera parameters

每种处理方式下的钢渣砂各拍摄250张图像,共获得2 000张图像。取典型图像,如图1所示。

图1 蒸汽处理的钢渣砂图像Fig.1 Images of steam-treated steel slag sand

1.4 数据集划分

将获取的图像压缩为224×224像素,按钢渣砂粒径制作两个图像数据集,并按照训练集60%、验证集20%、测试集20%的占比,划分每个图像数据集。

2 模型结构

架构SE-ConvNeXt网络,以ConvNeXt网络为主体结构,效仿Swin Transformer[20]中注意力机制模块位于多层感知器层之前的思路,在网络中添加通道注意力机制SE-Net。

2.1 ConvNeXt网络

ConvNeXt网络是以ResNet结构为基础,借鉴Swin Transformer架构策略的一种纯卷积神经网络模型。ConvNeXt与Swin Transformer相比,ConvNeXt不需要分块合并、滑动窗口等复杂计算,具有更好的性能和更简单的模型结构。

ConvNeXt主要由下采样层、ConvNeXt模块(block)和全连接层3部分组成。ConvNeXt的下采样层包括最初的下采样层(patchify)、ConvNeXt模块之间的下采样层和ConvNeXt模块与全连接层之间的下采样层。ConvNeXt的patchify借鉴了Swin Tansformer的patchify,由一个尺寸为4×4步距为4的卷积层构成,如图2(b)所示,而不再使用ResNet中传统结构的下采样下层。每个模块之间的下采样层(downsample)使用一个尺寸2×2步距为2的卷积层构成,如图2(d)所示。在ConvNeXt模块与全连接层之间的下采样层,使用一个全球平均池化层构成。

Patchify表示最初下采样层;Block表示模块;Downsample表示两个模块之间的下采样层;GELU(Gaussian error linear units)表示高斯误差线性单元激活函数;ReLU(rectified linear units)修正线性单元激活函数;LN(layer normalization)表示层归一化;FC(full connection)表示全连接;d7×7,96,s1表示尺寸为7×7的深度卷积层,通道为96,步距为1;4×4, 96, s4表示尺寸为4×4的卷积层,通道为96,步距为4;GLP表示全球平均池化层;Layer Scale为数据通道的缩放操作;Drop Path层为模型分支结构随机失活操作;H为数据的高度;W为数据的宽度;C为数据的通道数

ConvNeXt模块的堆叠次数模仿Swin Tansformer的堆叠比例,从(3,4,6,3)调整为(3,3,9,3),图2(a)所示的SE-ConvNeXt结构模型中block的堆叠次数。ConvNeXt模块结构采用Swin Transformer块中的倒置瓶颈,如图2(c)所示。首先通过一个7×7的深度卷积层,两个1×1的卷积层,提取输入图像的特征。其次进行Layer Scale[21]操作,对每个通道的数据进行缩放。最后,为了防止出现过拟合现象,提高模型的泛化能力,添加了一个Drop Path[22]层,将模型的主分支结构随机失活。

全连接层位于整个网络的最后,输入图像经过卷积和池化操作提取特征后,全连接层将提取的特征压缩,并且根据压缩的特征完成模型的分类功能。

ConvNeXt不仅在整体架构结合了Swin Tansformer模型架构的策略,还关注了ResNet模型与Swin Tansformer模型层之间的差异。Transformer模型中常用GELU[23](Gaussian error linear units)激活函数,而ResNet模型中常用ReLU[24](rectified linear units)激活函数。Transformer使用了更少的激活函数,而不是在每个卷积层或者全连接层都接上一个激活函数。同样,Transformer使用的数据归一化操作更少,使用的LN(layer normalization),而不是ResNet模型常用的BN(batch normalization)。ConvNeXt借鉴Swin Tansformer模型架构的策略,在模块中第一个1×1卷积层后跟GELU激活函数,7×7深度卷积后使用LN,如图2(b)所示。

2.2 SE-Net结构

根据钢渣砂图像可知,未陈化处理的钢渣砂图像颜色较深,通过陈化处理后,钢渣砂图像的颜色逐渐变浅。针对钢渣砂图像的变化特点,将SE模块应用于卷积神经网络中,在增加少量计算的情况下,能获得明显的性能提升。

SE-Net:SE-Net[18]是胡杰团队提出的网络结构,该团队利用SE-Net,获得了ImageNet2017竞赛图像分类任务的冠军。一个SE模块的过程分为Squeeze(压缩)和Excitation(激发)两个步骤:Squeeze(压缩)通过在特征图层上执行全球平均池化,得到当前特征图层的全局压缩特征量;Excitation(激发)通过两层全连接的bottleneck(瓶颈层)得到特征图层中每个通道的权值,并将加权后的特征图层作为下一层网络的输入,SE模块结构如图3所示。

r为缩放通道(C)的比率

2.3 SE-ConvNeXt网络架构

SE注意力机制可获取每个通道的重要程度,使ConvNeXt更好地获取钢渣砂图像的颜色特征,降低对其他特征的关注度,提高模型在钢渣砂分类任务中的效率和准确性。在Transformer中,注意力机制模块位于多层感知器层之前,添加SE模块效仿这种架构方式。在ConvNeXt模块之前添加SE,组成SE-ConvNeXt模块。因此构建的SE-ConvNeXt网络架构的主体结构与ConvNeXt网络结构相同,网络结构详细信息如表3所示。

3 试验结果与分析

试验装置:SE-ConvNeXt使用python语言中tensorflow深度学习框架超参数设置:全部图像训练120次,模型每次迭代16张图像。

分析过程:首先,使用钢渣砂的验证集和测试集训练SE-ConvNeXt网络,并通过训练过程和测试集对分类结果评价。其次,结合模型的分类结果和粉化率指标,分析钢渣砂图像的变化规律。最后,将SE-ConvNeXt网络与其他卷积神经网络做比较,评价SE-ConvNeXt网络改进后的优缺点。

3.1 钢渣砂图像识别

为了观察不同粒径的钢渣砂图像,分别使用粒径2.36～4.75 mm和1.18～2.36 mm的钢渣砂数据集训练网络。使用2.36～4.75 mm的钢渣砂图像数据集训练SE-ConvNeXt模型,并利用测试集检验模型性能并绘制混淆矩阵,对角线为正确的预测结果,立方体颜色越深,代表预测正确的图像越多,如图4所示。模型准确率达到92.5%,预测蒸汽0、2.5、5、7.5 h的钢渣砂图像时,准确率分别达到了96%、98%、100%、76%。使用1.18～2.36 mm的钢渣砂图像数据集训练SE-ConvNeXt模型,并利用测试集检验模型性能并绘制混淆矩阵,如图5所示。模型准确率达到94%,预测蒸汽0、2.5、5、7.5 h的钢渣砂图像时,准确率分别达到了100%、94%、96%、86%。通过对比两个混淆矩阵,模型预测两种粒径的钢渣砂结果相似。在蒸汽处理条件下,两种粒径的钢渣砂图像变化规律相似。

图4 预测粒径为2.36～4.75 mm钢渣砂图像的混淆矩阵Fig.4 Confusion matrix for steel slag sand images with a predicted particle size of 2.36～4.75 mm

图5 预测粒径为1.18～2.36 mm钢渣砂图像的混淆矩阵Fig.5 Confusion matrix for steel slag sand images with a predicted particle size of 1.18～2.36 mm

3.2 钢渣砂图像变化规律

为观察钢渣砂图像的变化程度,使用相邻类别的钢渣砂图像训练网络。训练过程中,准确率和损失值变化曲线收敛速度越快,图像差异越大。粒径为4.75～2.36 mm的钢渣砂,相邻类别的图像数据集训练网络如图6所示,粒径为2.36～1.18 mm的钢渣砂,相邻类别的图像数据集训练网络如图7所示。

acc_表示准确率变化趋势,loss_表示损失值变化趋势;蒸汽0 h与蒸汽2.5 h表示使用蒸汽0 h与蒸汽2.5 h的钢渣砂图像数据集训练网络模型

图7 1.18～2.36 mm相邻类别钢渣砂图像训练模型的准确率和损失值变化趋势Fig.7 Trends in accuracy and loss values of the training models for the 1.18～2.36 mm adjacent category steel slag sand images

根据准确率和损失值曲线收敛过程可知,两种粒径的钢渣砂图像变化的程度相似。使用蒸汽2.5 h与蒸汽0 h的钢渣砂图像数据集训练网络时,准确率和损失值曲线的收敛速度较快,蒸汽2.5 h与蒸汽0 h的钢渣砂图像有明显差异。使用蒸汽2.5 h与蒸汽5 h的钢渣砂图像数据集训练网络时,准确率和损失值曲线的收敛速度减慢,蒸汽2.5 h与蒸汽5 h的钢渣砂图像的差异较小。使用蒸汽5 h与蒸汽7.5 h的钢渣砂图像数据集训练网络时,准确率和损失值收敛速度趋于平稳,蒸汽2.5、5、7.5 h的钢渣砂图像之间差异程度相同。钢渣砂蒸汽处理的初期,钢渣砂图像变化程度最大,随着蒸汽时间的增加,钢渣砂图像变化程度减小,随后图像变化程度趋于稳定。

结合蒸汽粉化率,分析钢渣砂蒸汽粉化率和钢渣砂表观的关系,蒸汽处理的钢渣砂粉化率如表4所示,两种粒径的钢渣砂粉化率变化规律相似。在蒸汽处理前期,粉化率下降速度快,随着蒸汽时间的增加,粉化率下降速度减慢,逐渐趋于平稳。粉化率的变化规律与钢渣砂图像的变化规律具有相关性,可使用SE-ConvNeXt评价蒸汽处理的钢渣砂体积安定性。钢渣砂蒸汽处理后,粉化率较为接近,钢渣砂的安定性相差较小,图像易混淆。导致预测蒸汽7.5 h的钢渣砂图像时,准确率较低。且蒸汽2.5 h与蒸汽5 h的钢渣砂图像训练网络模型时,最终准确率未收敛至1,损失值未收敛至0。

表4 蒸汽处理的钢渣砂粉化率Table 4 Chalking rate of steam-treated steel slag sand

3.3 消融实验

为了验证SE注意力机制模块对ConvNeXt的影响,通过粒径为2.36～4.75 mm的钢渣砂图像数据集对比ConvNeXt和SE-ConvNeXt。图8是SEConvNeXt和ConvNeXt两个模型准确率和损失值变化趋势。对两个模型的损失值和准确率的变化趋势比较,在训练初期损失值和准确率收敛速度较快,且SE-ConvNeXt模型的损失值曲线的下降梯度和准确率曲线的上升梯度与ConvNeXt网络相似。模型逐渐训练,SE-ConvNeXt模型的收敛速度比ConvNeXt快很多,曲线的波动范围较小。SE-ConvNeXt模型在训练50次后,准确率和损失值变化曲线趋于收敛,曲线波动范围较小。训练90次后,曲线趋于稳定,最终准确率收敛至0.981,损失值收敛至0.103。ConvNeXt模型训练50次后,准确率和损失值变化曲线收敛速度降低,且曲线波动范围较大。训练90次后,准确率曲线波动范围讲笑,但损失值变化曲线出现反常波动,损失值上升0.358。在训练105次时,准确率和损失值变化曲线才趋于平稳,最终准确率收敛至0.969,损失值收敛至0.357。对比准确率和损失值表明,增加SE后的ConvNeXt模型训练过程更加稳定,收俩速度更快,收敛效果更好。

在钢渣砂分类任务中,颜色特征是分类任务的重要特征,随着钢渣砂陈化处理时间的增加,钢渣砂的颜色逐渐变浅。所以选择的SE注意力机制能够获取每个通道的重要程度,其次用这个重要程度去给每个特征赋予一个权重值,从而让神经网络重点关注颜色特征。通过实验表明,SE注意力机制适合识别钢渣砂的分类任务,使ConvNeXt网络有较大的提升。

3.4 现有卷积神经网络的比较

为了衡量SE-ConvNeXt在钢渣砂分类任务上的表现,通过粒径为2.36～4.75 mm的钢渣砂图像数据集对比了5种卷积神经网络,如图9、图10所示。

图9 卷积神经网络在训练过程中准确率变化趋势Fig.9 Accuracy trend of convolutional neural network in the training process

图10 卷积神经网络在训练过程中损失值变化趋势Fig.10 Trend of loss value during the training process of convolutional neural network

图9显示了EfficientNet V2[25]、MobileNet V3[26]、GoogleNet[15]、VGG-16[12]、Resnet-50[13]这5种先进卷积神经网络和SE-ConvNeXt在验证集上的准确率变化趋势。图10显示了上述6个卷积神经网络在验证集上的损失值变化趋势。根据图9、图10所示的准确率和损失值变化趋势,可知MobileNet V3、Resnet-50和VGG-16 3种网络模型未能达到较好的收敛效果。GoogleNet、EfficientNet V2、SE-ConvNeXt 3种网络训练初期,曲线收敛速度较快。GoogleNet与SE-ConvNeXt曲线收敛速度相似,且比EfficientNet V2网络快很多。模型逐渐训练,GoogleNet网络在训练60次时,曲线趋于收敛,但在训练60次到100次时,曲线波动较大。EfficientNet V2网络80次趋于收敛,且曲线有较大的范围波动。SE-ConvNeXt网络在60次趋于收敛,曲线波动较小,最终趋于稳定。

综上所述,SE-ConvNeXt与其他模型相比,在钢渣砂的分类任务中,具有最快的收敛速度、最高准确率和稳定的训练过程。在上述的6个卷积神经网络中,SE-ConvNeXt是最适合识别钢渣砂分类任务的网络模型。

4 结论

使用卷积神经网络区分陈化前后的钢渣砂图像,分析钢渣砂表观变化的规律。以ConvNeXt网络为主体框架,针对钢渣砂的颜色特征,在ConvNeXt的模块中添加SE注意力机制模块,架构了SE-ConvNeXt网络模型。

(1)分别使用粒径2.36～4.75 mm和1.18～2.36 mm的钢渣砂数据集训练网络,并对比两个混淆矩阵。模型预测2.36～4.75 mm的钢渣砂图像准确率为92.5%,预测1.18～2.36 mm的钢渣砂图像准确率为94%,且两种粒径的钢渣砂图像在蒸汽处理条件下变化规律相似。

(2)使用相邻类别的钢渣砂图像训练网络观察钢渣砂图像的变化程度,钢渣砂蒸汽处理的初期,钢渣砂图像变化程度最大,随着蒸汽处理时间的增加,钢渣砂图像变化程度减小,随后图像变化程度趋于稳定。

(3)结合蒸汽粉化率,分析钢渣砂蒸汽粉化率和钢渣砂表观的关系。在蒸汽处理前期,粉化率下降速度快,随着蒸汽时间的增加,粉化率下降速度减慢,逐渐趋于平稳。粉化率的变化规律与钢渣砂图像的变化规律具有相关性。

(4)通过混淆矩阵分析,对比SE-ConvNeXt和ConvNeXt的性能。增加SE后的ConvNeXt模型训练过程更加稳定,收敛效果更好。SE注意力机制帮助ConvNeXt更好地获取钢渣图像的颜色特征。

(5)将5种卷积神经网络模型与SE-ConvNeXt使用同一钢渣砂数据集训练,对比网络的训练过程。SE-ConvNeXt在钢渣图像识别中具有最快的收敛速度、最高准确率和稳定的训练过程。