浮选泡沫图像特征提取方法研究进展

宛 鹤,陆笑科,屈娟萍,薛季玮,张崇辉,王 森,卜显忠

(1.西安建筑科技大学资源工程学院,陕西 西安 710055)

(2.奥卢大学奥卢矿业学院,奥卢 FI-90014,芬兰)

0 引 言

泡沫浮选是一种依赖于有用矿物和脉石矿物的亲水和疏水特性的选别方法,是矿物加工中的关键技术之一。泡沫浮选是一个复杂的过程,受很多因素的影响,包括矿物表面的物理性质、矿浆的化学性质和操作变量等。泡沫浮选图像携带丰富的视觉信息,这与操作变量和产品质量密切相关[1-3]。在浮选生产过程中,操作人员根据泡沫大小、颜色、纹理等视觉参数调整药剂的投加量,将浮选状态控制在特定范围内。然而,由于操作人员的主观性,泡沫表面某些人眼难以察觉的微妙变化之处,以及人眼无法进行精确的判断,实现实时监测仍然是一项具有挑战性的任务。

随着计算机视觉的快速发展,它在众多领域得到了广泛的应用。在浮选背景下,机器视觉取代人类视觉,利用图像处理技术自动提取和量化泡沫图像特征参数,建立预测模型。这些模型将特征参数作为输入,并提供品位[4]、回收率[5]和工况类别[6]等输出结果。主要步骤包括图像数据准备、特征提取和关系模型建立。图像数据准备包括图像数据增强和图像预处理。由于浮选过程受到各种复杂因素的干扰,采集的图像往往表现出高噪声和不均匀的光照。因此,需要图像预处理。例如,考虑到噪声导致纹理特征提取的严重模糊,李建奇等[7]使用低频和高频定向分解对图像进行全局和局部去噪。低频通道应用多尺度Retinex算法进行整体去噪,增强整体对比度和亮度,而高频通道采用高斯混合尺度模型,利用贝叶斯最小二乘(BLS)估计进行局部去噪(一种基于增强改进的方向波变换的浮选泡沫图像去噪方法)。为了解决光照不均匀、噪点和边缘不清晰等问题,王宇龙等[8]提出了一种基于对比度有限自适应直方图均衡(CLAHE)和三维块匹配3D滤波(BM3D)的浮选泡沫图像预处理方法。图像数据增强[2]主要涉及通过旋转和裁剪等方法扩展数据集,如图1所示。在获得清晰的整体泡沫图像后,提取图像特征以建立相关的关系模型,主要包括机器学习、深度卷积神经网络和集成学习,根据其分析目标进行模型的验证分析。

图1 浮选泡沫原图和增强后的图像

无论最终的分析目标是何种指标,泡沫特征参数作为中间变量肯定是越相关预测效果越精确。本文总结归纳了近几年浮选泡沫图像特征提取算法的研究进展,分析了这些算法的优缺点,最后对浮选泡沫图像特征提取算法的研究方向进行了展望。

1 基于传统人工方法的浮选泡沫图像特征提取

1.1 静态特征

1.1.1 形态特征

浮选矿浆中泡沫尺寸的分布情况是评估浮选泡沫状态的关键信息,因为泡沫的大小直接影响颗粒与泡沫的碰撞和附着概率。同时,它也是观察充气量、pH值变动、浮选药剂添加量以及表面泡沫附着量等因素的可视化指标。为了获取泡沫的形态参数需要对泡沫表面进行分割,以揭示每个气泡的形状分布。这里,主要讨论广泛应用的分水岭算法。

Wang等[9]为了解决泡沫图像边缘模糊以及亮点的影响,提出了一种改进的多尺度Retinex(MSR)自适应图像补偿算法,增强泡沫纹理细节和弱边缘,最后对处理过的图像进行分割,分割精确度提高了26%。Zhang等[10]则首先用分水岭算法进行粗分割,然后对粗分割后的图像进行过分割或欠分割的识别,针对识别结果进行详细分割或区域合并,以获得目标图像并提取出气泡尺寸的概率密度函数作为加权平均尺寸特征;根据浮选工况将泡沫分为4类,并结合标记提取,形成最优标记区域。为了使分割算法适应浮选工况,Liang等[11]提出了一种基于亮点修正与参数自适应的泡沫图像分割方法,准确提取了泡沫的亮点特征;改进了基于模糊C-均值(FCM)的聚类算法和分水岭分割算法,从而成功解决了传统分水岭分割算法的欠分割或过分割问题。Peng等[12]提出的基于标记的分水岭算法,为了改善前景标记的提取,将FCM算法、形态学重建方法和自适应阈值方法3种方法进行了整合;最后使用高斯-拉普拉斯算子和形态算子提取边缘线,并重新建立梯度图的梯度约束,以减少由亮边和暗块引起的偏移线移位,从而得到了最优分割线。

目前,分水岭算法被广泛应用于泡沫的分割,但是直接对泡沫图像进行分水岭分割可能会导致欠分割和过分割的问题。因此,大多数研究都会根据泡沫图像的具体情况进行形态学预处理或聚类处理,以便更好地区分前景和背景区别,达到满意的分割效果,但这也造成了分割算法的特殊性。

1.1.2 颜色特征

泡沫的颜色深浅通常也是浮选操作员控制药剂的条件之一,亦能反映出泡沫里矿物的种类和浓缩的信息。Mikail Bait等[13]利用RGB原理算法求出煤表面的色度值,验证其与煤质参数的相关性。依据铝土矿在自然条件下是红色的特性,其在浮选过程中的颜色变化是不可忽视的,RGB颜色空间中R值尤为重要,所以计算每个单色分量及其灰度图像的平均值得出最终的相对红色分量,以此作为铝土矿精矿品位预测模型的输入条件之一[14]。RGB颜色空间的R、G、B 3个分量在通常情况下区分不明显,Wang等[15]认为HIS颜色空间原理更接近人的视觉感知。Jahedsaravani等[16]以硫化铜浮选现场采集到的泡沫图像为研究对象,提取其R、G、B 3个分量平均值,避免环境因素影响,将极暗、极亮的强度值均排除,最后将与品位、回收率相关性最强的R分量作为代表。

颜色恒常原理就是利用人眼对物体本来的颜色均能明显感知,对颜色进行校正,消除外部光照变化对泡沫颜色特征测量的不利影响。陈宁等[17]对样本图像库进行统计建模,转化为分布统计特征参数集,采用5种常用的颜色恒常性算法进行颜色校正,选择角度偏差最小的作为最佳校正方法,利用K-近邻(K-NN)算法为待测泡沫图像选择最佳的颜色恒常算法,实现颜色校正的最佳自发选择。不同于传统的图像建模和颜色恒常性的颜色校正,Liu等[18]利用两个生成对抗网络(GANs)实现了图像颜色到颜色的转换,在泡沫纹理结构等不发生变化的情况下,对图像颜色进行最佳校正,由此达到了在任意光照条件下能够提取光照不变的颜色特征,同时对抗网络能进行更新,适应生产操作条件的变化。

1.1.3 纹理特征

浮选泡沫的表面纹理特征变化反映了浮选工况的变化过程。常用的纹理分析方法主要有灰度共生矩阵和基于小波变换的滤波方法,针对复杂的浮选生产过程,灰度共生矩阵由于计算量大、特征过多而不适用。唐朝晖等[19]采用采用二维离散小波变换,描述了泡沫纹理、边缘等细节信息以及轮廓信息。灰度共生矩阵(GLCM)纹理特征提取的研究对象是灰度图像,忽略图像颜色信息,因此Gui等[20]提出基于颜色共生矩阵(CCM)的纹理特征提取,颜色空间采用HIS空间更易人体视觉感知,计算出6个层次的共生矩阵,最后计算同质性、对比性、相关性、方差、差矩逆这5个统计数据来代表纹理特征。而He等[21]的颜色空间采用的是HSV空间,计算泡沫纹理单位数,气泡纹理单位数的概率密度函数是呈非正态多峰分布,而传统方法通常将其假设为正态分布,求解其均值或是方差,加上数学模型本身的不确定,概率密度函数能更全面的描述未知的矿物浮选泡沫图像。Tamura 算法描述了图像的粗糙度、对比度、方向度、线性度、规则度和粗略度这6种特征参数。梁秀满[22]采用粗糙度、对比度、方向度 3 方面纹理特征参量。

灰度纹理特征、局部二进制及其改进算法均提取的是泡沫图像的静态纹理特征,不包含图像之间有价值的时间信息,对于浮选工况判定而言,具有丰富时间信息的动态纹理特征是首选,再结合泡沫图像的复杂性及泡沫纹理的多变性,Luo等[23]提出3个正交面上进行灰度共生矩阵和局部二进制模式的纹理特征提取,包含宏观和微观的纹理结构,同时包括丰富的时间信息。在泡沫浮选过程中,可根据泡沫的变化分为3个阶段,马逸文[24]分析这3个阶段的灰度直方图可知：分布总体表现相同,但低灰度区域的表现有明显差异,因此可以利用直方图进行纹理识别,接着从均值、标准方差、平滑度、三阶矩、一致性和熵6个统计量对直方图进行二次统计,降低特征维数,最后分析3个阶段统计量的差异与区分度,选出均值和方差作为图像的纹理特征参数。

在进行泡沫静态特征提取前,需要解决泡沫图像模糊、边界不明显等问题,减少环境干扰因素;通过静态特征提取能实现比较精确的监测,但泡沫浮选是复杂且流动的过程,动态特征的演变也不可忽略。

1.2 动态特征

1.2.1 泡沫流速

泡沫移动速度可以追踪连续帧的气泡运动来量化,常用的测量泡沫速度算法主要有块匹配、像素跟踪和气泡跟踪。Jahedsaravani等[16]在利用图像分析铜间歇浮选的冶金性能时选择块匹配方法,在匹配过程中先在第一帧图像中选择两个平行源块,根据数据库记录最大泡沫位移在下一帧中确定搜索目标块的区域,最后在第二帧定义的相邻区域内搜索源块。Cao等[14]在铝土矿精矿品位预测中采用宏块跟踪技术提取泡沫速度特征,由后一帧往前一帧寻找最优匹配,采用归一化互相关函数,取其最大位置作为最优匹配位置,位置相减获得位移,并根据帧率生成灰度的速度向量。张雨涵[25]将灰度处理后的两张连续图像进行SIFT特征匹配,两张图片通过直线匹配连接起来,后一张图像根据匹配结果将泡沫移动方向用箭头表示,即箭头的长度为泡沫流动速度,最后加权平均计算平均速度作为最后的结果。特征匹配算法量化泡沫移动速度是常规的一种做法,早期的尺度不变特征变换(SIFT)算法可以匹配到的特征点数多,但匹配错误率高且运行效率底下;快速特征点提取和描述(ORB)算法匹配到的点较少,但其速度快;其他算法虽然能有效减少误匹配点的个数但不能完全剔除且运行效率低下,因此刘惠中等[26]提出“ORB+GMS+RANCAC(随机一致性采样)”的改进基于运动统计的快速鲁棒特征匹配过滤(GMS)算法,实现泡沫速率提取的快速及稳定。

1.2.2 泡沫稳定性

根据在泡沫表面产生的反射率和阴影之间的差值计算出泡沫的破裂率。气泡出现事件导致白点形成,而气泡消失事件导致暗区产生。假设一个气泡在连续的帧中被打破,那么源帧中的白点就会转变为下一帧中的黑点。如果从下一图像中减去源图像,则在气泡碰撞位置可见明亮区域。最后,使用阈值进行噪声去除和气泡破裂率测量。Cao等[14]首先利用速度信息将连续两帧的后一帧变换到图像对中前一帧的相同位置;然后计算第一帧与变换后图像之间的差值,当差值图像的像素数大于给定阈值时,得到坍塌率。张雨涵[25]采用对图像作旋转以及尺度不变等一系列变化均能保持不变的SIFT特征匹配方法,泡沫破裂后匹配点个数会增多,增加个数比上原数量即为泡沫的坍塌率。

动态特征的提取更贴近浮选流程,但相对于静态特征的提取,动态特征伴随着时间信息,因此动态特征提取的技术难度大幅增加。

2 泡沫图像特征降维

对于初步获取的图像特征,可能维数依然很大,且可能包含一定的无关或冗余特征。因此图像特征的提取和选择是图像处理过程中很重要的环节,对后续图像分类有着重要的影响,并且对于图像数据具有样本少、维数高的特点,要从图像中提取有用的信息,必须对图像特征进行降维处理,特征提取与特征选择就是最有效的降维方法,其目的是得到一个反映数据本质结构、识别率更高的特征子空间。

2.1 基于原始特征向量的特征变换

这里的特征提取是指从初步获取的原始特征中通过一定的数学运算得到一组新的特征也称作特征变换,其可以有效的降低特征空间维数和消除特征之间可能存在的相关性,减少特征中的无用信息。吴佳等[4]在研究金、锑的精矿品位估计时,采用核主元分析法(KPCA)对4个图像特征(泡沫尺寸、负载率、蓝色分量均值和色度)进行特征转换,降低模型输入特征维数,分别得到金、锑的新特征集维数为3和2。泡沫图像提取的各特征对输出分类结果的贡献不一致,而常规的分类模型会忽略其不一致性,因此何明芳等[27]提出模糊隶属度计算特征重要度矩阵,并利用特征重要度矩阵改进支持向量机核函数,相比于信息熵方法考虑了噪声对数据的影响,实现工况的有效识别。

2.2 基于原始特征向量的特征筛选

特征提取是在原始特征的映射下生成新的特征向量,但特征选择是在原始特征中筛选出与目标输出结果最相关的向量,避免冗余特征对训练过程和结果的影响。曹文艳等[28]研究表明,将提取的全部特征或是未经特征提取将任意几组特征作为输入数据进行聚类都会使分类精度低下,而利用最小冗余最大相关性(mRMR)进行特征选择,能对特征与精煤灰分类别进行相关性排序,同时去除冗余性强的特征,筛选得到对后期聚类器的训练和学习起到关键作用的特征子集,提高聚类器的分类精度。朱建勇等[29]提出稀疏性原理和神经网络模型结合的嵌入式特征选择方法,选择神经网络作为基学习器,将原始特征作为训练集的输入,在学习训练过程中引入稀疏算法,稀疏输入层到隐藏层的权值,权值比重约简泡沫特征,解决了各输入特征之间存在的非线性关系。而Huang等[30]通过使用ReliefF(过滤式特征选择)计算特征排名和特征权重,并将其提供给下一个包装阶段。设计了一种包装方法—二进制状态转换算法(BSTA), BSTA根据前一阶段发现的特征的重要信息(特征排序和特征权重),通过使用K-近邻学习器评估每个特征子集的分类精度,选择包含最相关和非冗余特征的最佳特征子集。Zhou等[31]提出了最小冗余最大相关的mRMRBSTA混合特征选择方法,在过滤阶段利用特征与类的相关性、特征之间的冗余性筛选粗略的特征子集,为下一阶段的包装过程缩小搜索范围,在保证分类精度的前提下用BSTA的包装方法筛选最佳的特征子集,同时基于聚类算法去除标记异常值。

过多的特征向量输入会影响模型的运行性能,严重的会导致“特征灾难”。特征提取和特征选择都能达到对特征向量降维的目的,但特征提取形成新的特征向量改变了原始的特征空间。因此选择适合的特征提取和特征选择算法对目标结果识别有重要影响。

3 基于深层神经网络的浮选泡沫图像特征提取

泡沫浮选过程是综合因素影响的复杂过程,因此图像表面包含丰富且复杂的特征信息。传统的图像识别方法分为两个步骤：首先提取图像特征参数,以研究的浮选泡沫图像为例,提取泡沫图像的纹理、泡沫尺寸和颜色等视觉特征参数,然后根据输出目标使用机器学习算法(分类或回归等)对这些特征数据进行训练,建立适用于泡沫图像的目标模型,最终确定的目标模型需要对特征参数不断优化训练,过程繁琐且耗时。而深度学习使用多重复杂的神经网络结构抽取数据的深层次抽象特征并进行表征与学习,直接以图像作为输入,无需对图像特征进行描述,且自动更新优化各网络权重,在大量训练样本数据与深层网络的支持下,具有更加优异的分类结果,如图2所示。

图2 传统机器学习方法与深度学习方法的区别

3.1 基于深度学习的图像分割方法

近几年深入学习的快速发展,语义分割开始被用于泡沫图像分割。Liu 等[32]提出了一种多尺度跳跃特征融合全连接卷积网络算法(multi-scale jump feature fusion fully connected convolutional network, MsJ),为了解决高温高速环境下采集到的铜矿浮选泡沫图像的模糊问题,先采用基于多尺度去模糊(MsD)的模糊核估计算法对图像进行复原;在全卷积网络加入多个跳跃连接方式和残差块(MsJ),自适应勾画出各种大小的气泡,实现对铜浮选泡沫图像进行精确分割。杨闻起[33]提出改进的Deeplabv3+模型—M-DeepLabv3+网络结构,解决了提取图像边界精度不足、信息粗糙等问题,将轻量级网络mobilenetv3作为主干网络,减少了训练样本,提升目标图像的分割精度。唐朝晖等[34]提出一种新的 I-Attention U-Net 网络用于泡沫图像分割,在对称 U 形结构网络(U-Net)的主干网络中将第一层卷积池化模块改用 Inception+BN(批量归一化) 层,扩大网络的深度和宽度,提高特征提取的丰富性;增加改进的注意力机制,强调了目标区域和边界;引入金字塔池化模块和注意力机制的组合,泡沫边界分割得更加清晰、连贯,提高了分割的准确性。Gharehchobogh等[35]采用Mask R-CNN对铜浮选泡沫图像进行分割,利用该方法的实例分割进行气泡的识别,气泡大小分布的计算,以及泡沫中无负载气泡的检测。通过8张手动分割的图像来评估该方法的性能,并与分水岭算法的结果进行比较有较大的提高。

基于卷积神经网络的浮选泡沫图像分割可以主要分为语义分割和实例分割,需要的数据样本多,且需要对分割训练样本进行标注,工作量繁重,当前浮选泡沫图像数据集欠缺。

3.2 以深层神经网络为框架的图像特征提取

深度学习能提取到图像的深层抽象特征,应用在泡沫浮选领域(见图3),在对夜间获取的图像进行图像增强时,依旧不能取得满意的分类效果,因此提出将卷积神经网络应用到夜晚煤泥浮选泡沫分类问题[36]。Liu等[37]利用AlexNet网络作为特征提取器,即从每张泡沫图像中提取4 096个特征,应用工业图像数据和GLCM、texton方法对比研究,AlexNet提取出的特征数据标记的异常状态数据优于另外两种特征提取方法。Liu等[38]同样采用局部二进制(LBP)和AlexNet进行铂金属泡沫图像特征的提取,59个LBP和4 096个AlexNet特征作为预测因子进行合成图像与真实图像分类,结果显然AlexNet优于LBP,同时也为图像数据集增强方法提供新思路。卷积神经网络主要通过卷积层来提取泡沫图像的特征,得到的特征图经过下采样层,降低了特征图的维数和去除冗余参数,最终提取的多通道抽象像素特征集进入全连接层实现最终的分类,结果表明抽象像素特征明显优于人工设计的特征[39]。Guan等[40]采用深度学习图像处理算法和Pytorch+YOLOv5模型,通过对500+标记样本数据集的训练,实现对液体表面泡沫的识别、定位和标记并计算其表面积。量化浮选泡沫的流动性和稳定性,直观地反映浮选泡沫的状态和质量形成数据,并输出作为泡沫特征参数。Yang等[41]将残差神经网络(ResNet)和注意力机制结合在一起提出一种新的卷积神经网络(CNN)框架——卷积-注意力并行网络(CAPNet),在这一框架中ResNet的卷积层提取泡沫图像的注重局部特征,而注意力机制着重提取全局特征,双模式并行运行,提升了模型的整体性能。

图3 卷积神经网络基本结构图

4 泡沫图像特征的研究趋势和挑战

浮选泡沫过程是一个动态且复杂的系统,表现为复杂的动力学特性[42],因此,利用动态图像或视频图像来表征浮选状态是非常重要的。在这方面,有些研究者已经做出了突出贡献。Tang等[43]提出一种创新的方法,他们使用ELMo模型处理气泡大小时间序列的累积来生成动态特征向量。接着,他们利用XGBoost建立了试剂用量和动态特征向量之间的非线性关系模型。另外,Ai等[44]也着重模拟了锑的浮选流程,他们设计了一个数据驱动的模型,该模型结合了长短期记忆(LSTM)网络和径向基函数神经网络(RBFNN)。其中LSTM网络用作主要模型,负责处理各种输入参数,包括某一时刻的泡沫图像特征(如大小、速度、形状和颜色)、原矿品位和药剂用量,其输出则是精矿品位。为了校正预测值与实际值之间的偏差,他们引入了一个RBFNN误差修正模型,该模型将两个模型的输出汇总,并将其用作药剂控制器的反馈信息,实现浮选药剂的自动监控和反馈。而Zhang等[45]则采用了一种不同的方法,他们将泡沫视频与X射线荧光光谱仪(XRF)相结合,以自动提取具有时间序列的特征向量。这些特征向量被送入一个编码器,生成中间向量,这些向量与品位保持动态一致的关系,从而更好地预测当前的尾矿品位。以上所述研究均突显了现代技术在深化我们对浮选泡沫过程理解和控制方面的重要性,为实现更高效和精准的资源利用打开了新的可能性。

5 结 论

随着近几年深度学习的快速发展,泡沫浮选特征参数的提取也更加多元化,模型建立更加复杂化。相关的研究也表明,各特征参数综合预测能提升模型的识别精度。通过对文献的回顾,关于浮选泡沫特征参数选取可以得出以下结论。

(1)在对泡沫特征参数进行选取前,对图像进行预处理能有效提高特征选取的有效性,如对图像进行数学形态学开闭运算等预处理手段,能有效解决分水岭分割的过分割与欠分割等问题。

(2)深度学习应用于浮选自动化领域是一种必然趋势,但深度学习需要庞大的数据集,目前浮选领域还没有相关的公开数据集,所以庞大的图像数据量的获取以及标注是一项艰难的工作。

(3)随着浮选自动化的研究深入,为了实现在线实时监测,需要考虑到时间对动态浮选过程的影响,因此模型的建立更加复杂化;浮选工况的复杂性及各参数之间的耦合性,单一的泡沫特征参数可能达不到理想效果,需要结合浮选参数进行综合预测。