浮选泡沫表面动态特征提取方法研究

彭井花，廖一鹏

(1.福建师范大学协和学院，福建 福州 350117；2.福州大学物理与信息工程学院，福建 福州 350108)

泡沫浮选是利用矿物表面的物理及化学特性的不同来筛选矿物的过程．浮选泡沫技术是矿物金属提炼的关键技术之一，每年全世界都有大量的矿物需要经过浮选处理．然而，在浮选的过程中存在大量因素的影响，所以浮选矿物泡沫的检测和监控一直以来都被认为是一个难题．传统的检测方法是浮选操作者利用经验分析气泡的动态和静态特性，在生产过程中做出相应的调整，这种方法容易受到个人主观意愿的影响，缺乏客观性[1-2]．随着机器视觉技术的发展，将浮选泡沫过程与计算机控制系统有机地结合，可以快速、准确地测量出浮选泡沫的动态特征，对矿物工程科学具有重要意义[3]．

目前，光流法和宏块跟踪法都被应用于检测浮选泡沫的动态特征，另外，流动速度也可以通过提取特征点进行匹配的方法检测出来，即特征点匹配法．但由于泡沫图像的特殊性以及浮选过程中存在大量外部环境的影响，采集到的视频或图像质量欠佳，因此测量出的结果并不理想[3-4]．文献[5]使用尺度不变特征变换(scale invariant feature transform，SIFT)进行特征匹配，并运用到速率特征提取中，虽然SIFT对图像进行尺度缩放、光照变化时，具有保持稳定性的优点，但该方法存在大量误匹配点，且SIFT计算复杂，因此实时性较差．文献[6]利用多分辨率小波变换进行图像处理，仅对低频成分进行匹配，虽能提高计算的实时性，但该方法同时也提高了误匹配率．

针对以上问题，为了准确提取动态特征，首先对浮选泡沫视频的多帧图像进行直方图均衡化，接着在此基础上使用分数阶微分最小均值算法．在分数阶微分最小均值增强算法中使用不同的阶数分别处理图像，对比结果后得到最优的分数阶．其次，将Roberts算子、Sobel算子、Prewitt算子，以及根据浮选泡沫的特性提出的谷底检测算法分别应用于图像处理，并对处理结果进行比较筛选．然后，检测泡沫边缘图像的Harris角点和三叉点，获取关键点．最后，使用FREAK算法匹配特征点，匹配完成后用RANSAC算法减小匹配误差，再检测匹配点对的位移，从而把速度计算出来．采用该速度特征提取方法能实时准确地提取泡沫流动速度，浮选泡沫表面的动态特征可以作为筛选矿物的一个参数，提高生产效率[7-8]．采用工业浮选现场的泡沫图像进行验证，实验结果表明，该方法能够更好地提取泡沫边缘信息，能够有效减轻泡沫图像光噪点影响，提取出准确的速度特征，可为浮选过程控制提供理论依据．

1 基于分数阶微分的图像增强算法

图像锐化是一种常用的图像增强技术，可以增强图像的对比度，使图片的质量更好．在一幅图像的低频区内灰度值变化非常缓慢，对应图像的平滑区域．图像的中频范围内，灰度值略有变化．而在图像的高频区内，其灰度值变化较大，对应该图片的噪声和边缘范围．对于浮选泡沫图像来说，频率分布较为复杂，因此需要合适的算法提取气泡边缘的信息[8]．微分锐化可以实现图像的增强处理，选择适当的阶数，可以大幅提升图像的质量．

1.1 分数阶微分掩模构造

分数阶微分在很多场景中应用广泛，并且有着不同的定义．比较这些不同的定义可以看出G-L定义得出的结果更好，因此本文从G-L定义来推导，先给出G-L的分数阶微分定义，若信号f(x)∈(a，x)(a

(1)

(2)

这n个系数中第1个是1，其他系数都是随阶次的变化而变化，这n个系数分别为：

(3)

若采用5×5的掩模、采用前3项的系数来近似表示分数阶微分，则改造的掩模算子见图1.

图1 5×5的分数阶微分滤波模板Fig.1 The 5×5 fractional differential filtering template

1.2 基于分数阶微分最小均值增强算法

在对浮选泡沫图像进行增强的过程中，最小均值滤波算法可以有效去除图片中椒盐噪声并可以保存像素值较低的气泡轮廓，而分数阶微分算法可以大幅提升图像质量．因此本文从泡沫图像的特点出发，将这2种算法的优势结合起来，在此基础上提出一种基于分数阶微分的最小均值增强算法．

采用分数阶微分最小均值增强算法时，掩模矩阵的大小为3×3的规格．用该掩模矩阵按序扫描图片的各个像素，对选定区域内的各像素值按从小到大的顺序进行排列，并选取前3个像素值，然后将这些值加权平均作为目标像素的新数值．加权的系数值则从分数阶微分的差分式n个系数中选取，设选取的3个像素分别为fmin 0、fmin 1、fmin 2，加权平均的 3个系数为1，-v，(v2-v)/2，即可按照式(4)将3个像素的灰度值加权平均，并将结果作为新的像素值．

(4)

2 浮选泡沫图像的边缘检测算法

检测图像各像素点是否为边缘的像素点，可以通过求导的方法实现[10]，如对数字图像进行处理，则用差分运算．浮选泡沫图像经过图像增强处理后，需进行图像分割[11]，提取气泡的边缘，有益于动态特征的提取．

2.1 传统的浮选泡沫边缘检测算法

边缘检测算子可以通过判断模板区域内像素灰度是否有明显变化来检测边缘．常用的边缘检测算子有Roberts算子、Sobel算子、Prewitt算子、Laplacian算子等[1]．其中Roberts算子、Sobel算子、Prewitt算子的算子模板如图2所示．

图2 常用的一阶导数算子模板Fig.2 Commonly used first derivative operator template

Roberts算子的表达式：

g(x，y)=[(f(x，y)-f(x+1，y+1))2+(f(x+1，y)-f(x，y+1))2]1/2.

(5)

Sobel算子的表达式：

(6)

Prewitt 算子表达式：

(7)

2.2 浮选泡沫图像中的谷底检测算法

图3 检测模板XFig.3 Detection template X

浮选泡沫图像的像素有着不同的像素值，可以将谷底检测算法应用于泡沫图像中，其中海拔高度对应着泡沫图像的灰度值．在泡沫图像中，可以将像素值比周围低的泡沫边缘看作是谷底，二者性质是相同的．因此，寻找最小像素集合来检测谷底的方法也同样可以检测泡沫边缘．

不同于谷底检测的微分计算，在浮选泡沫图像的边缘检测中，需使用差分计算来实现．具体步骤为：定义一个3×3模板X(图3)，该模板包含9个子模板，除去模板X0为检测目标像素外，其余的子模板2个一对，分别对像素的灰度值进行运算，对每个像素进行4个方向的检测．将计算结果进行比较，若大于某一阈值，就可判断该点为山谷点．

2.3 数学形态学运算

浮选泡沫图像经过前期的处理后，已经可以看到泡沫基本的轮廓，但是轮廓比较粗糙，且存在噪声．为了使泡沫轮廓更加平滑和精确，应对图像进行形态学处理．

2.3.1 图像腐蚀膨胀运算

形态学处理包括膨胀和腐蚀操作，腐蚀可以消除目标物体边界的像素和小的噪声点[12-13]；反之，膨胀的作用是使目标轮廓变大，可以填充与目标物体边界相邻的像素和空洞．腐蚀和膨胀的操作都是用一个结构元素与图片的像素相与．是否要腐蚀该像素的判断标准是该像素点相与结果是否都为1．是否要填充该像素的判断标准是该像素点相与结果是否都为0．本文采用四方向的腐蚀运算操作和八方向的膨胀运算操作，如图4、图5所示．

图4 四方向结构元素Fig.4 Four directional structural elements

图5 八方向结构元素Fig.5 Eight directional structural elements

2.3.2 图像的细化操作

图像细化能将图像中线条转化成只有一个像素宽度，转化结果就是图像的骨架部分．经过细化后的图片能够保持原有的拓扑结构，减少图片的数据量，并且骨架相比于原图像也更容易提取出目标的特征信息．根据步骤的不同，细化分为2种不同的类型：串行细化是一边检测图片的线条，一边剔除不满足要求的像素点；并行细化是先检测出整幅图像的骨架，再将其余的像素点删除．

3 特征点检测与匹配算法

浮选泡沫图像经过前期的图像处理后，已经有了较为准确且噪声少的轮廓，应用特征点检测算法可获取帧间的关键点，并应用FREAK匹配算法得到匹配点对的坐标，进而获取速度特征．

3.1 特征点检测算法

特征点在图像识别和匹配等领域应用十分广泛．对一些特殊点的观察，就可以分析图像，同时免于观察整幅图像所带来的工作量．如果能检测到区分度高，能够表征图像特征的点，那么这个方法处理的结果就会比较理想．图像特征包括边缘、斑点和角点．边缘位于2个不同灰度区域之间，斑点位于与周围有很大差别的像素区域，角点也是在图像分析中重要的特征类型，使用角点可以减少需处理的信息量，提高计算的速度，同时角点的性质在环境变化时也能保持稳定，使图像匹配结果更加的可靠．

3.1.1 Harris角点检测原理

Harris角点检测算法[14]的基本思想是在某个图像区域内检测各个方向的灰度变化情况，角点所在之处，每个方向的灰度值变化明显．如果有一个方向灰度没有变化，该像素点可能在直线上；如果在任意方向都没有灰度的变化，该像素点可能在一个稳定的区域，区域内不可能存在角点．Harris检测的具体步骤为：首先计算出图像在x方向和y方向的梯度，然后利用x方向的梯度和y方向的梯度推导出每个像素的Harris响应值，保留大于某一阈值的响应值，其余的响应值置零，最后选取响应值局部最大的像素点为Harris角点．

泡沫在流动过程中，由于灯光或自然光照射的影响，截取到的泡沫图像存在着许多光噪点，像素值分布较为复杂，使用传统的角点检测算法很容易将噪点检测为Harris角点，造成特征点的错误匹配．所以，根据浮选泡沫这种特殊图像的性质，提出一种新的三叉点检测算法．

3.1.2 三叉点特征检测原理

图6 当前点周围的像素分布Fig.6 Distribution of pixels around the current point

三叉点结构是指三条线在平面上相交于1点，形成共顶的3个角，角顶汇集的这个点就是三叉点，3个角之和为360°．从图像分割后得到的泡沫边缘图像中可以看出存在着大量的三叉点，无论是外部环境的变化还是泡沫破碎，这些特征点仍然存在，因此用三叉点作为特征点可以避免光噪点和外界因素的影响．三叉点需在经过形态学细化处理的二值图像上提取，将泡沫边缘像素的灰度值设为1，则可以得出各个边缘像素的P值，P值的计算公式如下：

(8)

其中，P0表示目标点．当P=1时，目标点是端点；当P=2时，目标点是连接点；当P=3时，目标点是三叉点．像素点的分布如图6所示，三叉点的方向特征如图7所示．

图7 三叉点的方向特征Fig.7 The directional characteristics of the trigeminal point

图9 RANSAC算法流程Fig.9 Flow of RANSAC algorithm

3.2 FREAK特征点匹配算法

人眼视网膜的不同区域有着不同的功能，这是由于视网膜上细胞的密度是不相同的，所以不同区域对光线的敏感程度也不同．视网膜通常被分成了4个区域：foveola、fovea、parafoveal、perifoveal．其中，foveola区域对光是最敏感的，所以可以接受图片的分辨率也是最高的．FREAK正是根据这种结构而提出的算法，如图8所示．

FREAK算法[15]采用了接近人眼视觉系统的采样模型获取图像的信息．FREAK算法从特征点出发，从里到外选取7个圆，这些圆的圆心都是特征点．在每个圆上都间隔取6个采样点．从里到外，可以看出采样点的分布越来越稀疏，这与视网膜上细胞分布类似．在形成描述子之前，先进行高斯平滑处理，可以改善匹配效果．FREAK算法的描述子是二进制串，每1位二进制代表每个采样点经高斯模糊后灰度值的对比结果．

FREAK描述符的圆形对称采样模式和对每个采样点进行高斯滤波，使其具有旋转和尺度的不变性以及抗噪性[16]，因此由FREAK算法产生的描述子就可以用来特征匹配．如果采样点数为K，则生成的特征向量一共有K(K-1)/2维．但有些采样点对对特征点匹配用处不大，因此可以仅保留一些有用的维度，是否保留该维度是以方差为标准的，方差越大，就存在更多信息量，匹配效果就会更好．

3.3 RANSAC算法剔除误匹配点

图像的特征点在匹配后，难免存在一些错误的匹配对，本文采用RANSAC算法来改善匹配结果[17]．RANSAC算法是一种模型假设验证算法，目的是找到最优的单适应矩阵H[18]．先选取1个最小的匹配点子集，并通过这些子集计算出初始模型，再用初始模型测试其余数据，如果某个点适用于估计的模型，则把它当作局内点，并用它重新估计模型．进过多次迭代运算后，选择局内点多的运算中的模型作为最终模型，将对应的局内点集合作为最终的匹配点集，以此来消除错误的匹配点对．

RANSAC算法流程如图9所示．先初始化相关参数，再从样本中随机选取不共线的四对点，并计算当前矩阵H，从而计算di(反投影误差距离)、di—std(当前内点距离标准差)、num(di小于初始阈值的内点数)，若num>max—num(最大内点数)，则更新H，计算所有内点，最后根据所有内点修正H．

4 算法实现流程

综上分析，本文动态特征提取算法流程如图10所示．具体实现如下：

步骤1 对浮选泡沫视频的多帧图像进行直方图均衡化，接着在此基础上使用不同阶数的分数阶微分最小均值算法分别处理图像，对比结果后得到最优的分数阶．

步骤2 分别采用Roberts、Sobel、Prewitt、Canny算子以及谷底检测算法对增强后的图像进行泡沫边缘检测，并对处理结果比较筛选，再进行形态学处理．

步骤3 检测泡沫边缘图像的Harris角点和三叉点，对处理结果比较筛选后提取特征点．

步骤4 使用FREAK算法进行特征点匹配，并通过RANSAC算法矫正错误匹配点．

步骤5 检测匹配点对的位移，从而把速度计算出来，绘制出速度矢量图和曲线图．

5 结果与分析

为了验证文中方法的准确率，以福建金东矿业股份有限公司的铅矿浮选槽作为实验对象，实验的硬件平台CPU为 Intel(R)—Core(TM)—i9-9900K—CPU—@—3.60GHz、内存为32.00GB、显卡为NVIDIA GeForce RTX 2070 SUPER(8.0GHz)，软件运行环境为 Windows 10(64位)和Matlab 2014a．

5.1 浮选泡沫图像增强结果

浮选泡沫图像经过直方图均衡的结果和在此基础上再经过分数阶微分最小均值算法处理后的结果如图11所示．从图11的实验结果可知，图像在经过直方图均衡化后，缓解了光噪点的影响，改善了对比度．对比不同阶数的分数阶微分最小均值算法，可知0.2阶时处理效果最好，有助于接下来的处理，故本文选取阶数为0.2．

5.2 浮选泡沫边缘检测及形态学处理结果

经典的浮选泡沫边界提取采用了边缘检测算法，图12为图像增强处理后的图像经几种传统检测算法处理后的结果以及本文采用谷底检测的处理结果．可以看出，对比不同的边缘检测算法，谷底检测算法处理效果较好，轮廓更加准确．

但谷底检测后得到的轮廓比较粗糙，附带许多噪点，所以需要进行形态学的处理，如腐蚀、膨胀和细化处理，效果如图13所示，泡沫轮廓更加平滑和准确，噪声也少了很多．

5.3 三叉点特征提取结果

经过形态学处理后，需对泡沫边缘图像提取关键点，包括Harris角点提取和三叉点提取，如图14所示．Harris角点将光噪点当作特征点检测出来，而光噪点是由外界灯照产生的，它们的运动规律与浮选泡沫并不一致，Harris角点提取会影响到处理结果，而三叉点检测并不存在这种情况，因此提高了匹配的准确性．

图11 泡沫图像增强处理结果Fig.11 Froth image enhancement results

图12 泡沫边缘检测处理结果Fig.12 Results of froth edge detection and processing

图13 浮选泡沫边缘图像的形态学处理结果Fig.13 Results of morphological processing of flotation froth edge image

5.4 特征点匹配算法结果

图14 不同特征点提取Fig.14 Extraction of different feature points

图15 基于Harris角点提取的FREAK匹配Fig.15 FREAK matching based on Harris corner extraction

图16 基于三叉点提取的FREAK匹配Fig.16 FREAK matching based on trigeminal point extraction

提取出关键点后需进行匹配工作，本文采取FREAK算法进行匹配，再使用RANSAC算法来矫正．匹配正确率如表1所示，匹配结果如图15-图18所示．

图17 RANSAC算法滤除错误匹配Fig.17 The RANSAC algorithm filters out false matches

从表1可知，Harris检测角点时把很多光噪点也检测成特征点，而光噪点的运动规律与浮选泡沫并不一样，这就造成计算出来的泡沫流动速度有较大的误差．因此基于三叉点的FREAK匹配结果比基于Harris角点的FREAK匹配结果有较低匹配错误率，再使用RANSAC算法矫正就可以进一步改善匹配效果，将正确匹配率提高到了93.3%．

表1 Harris角点和三叉点匹配性能比较Tab.1 Comparison of matching performance between Harris corner points and trigeminal points

5.5 浮选泡沫速度提取

经过关键点匹配工作后，可以得到相邻图片帧之间匹配点对的坐标，利用这些坐标，可画出速度矢量图和速度曲线图．本文从泡沫流动视频中每s提取20帧图片，即每0.05 s提取1帧，为了减小计算量，每5帧图像提取一张图像用来计算速度，得出的速度曲线图如图19-图21所示．

图18 RANSAC算法处理结果Fig.18 The results of RANSAC algorithm processes

图19 速度矢量特征图Fig.19 Velocity vector feature diagram

图20 单帧速度曲线图Fig.20 Velocity curve of a single frame

图21 速度曲线图Fig.21 Curve of velocity

6 结论

浮选图像在生成和传递过程中，存在着各种因素的影响，使得图像的质量欠佳，所以难以准确地提取其动态特征．因此本文提出了浮选泡沫表面动态特征提取方法，该方法结合了微分最小均值、谷底检测、形态学处理、FREAK关键点匹配和RANSAC等算法．实验结果表明，对浮选泡沫图像依次进行直方图均衡化和分数阶微分最小均值滤波，可以有效改善图像的对比度，提升图像中的有用信息；谷底检测算法有更高的抗噪性能，但是图像中仍然有一些白色噪点，经形态学处理后能够使泡沫轮廓更加平滑和准确，噪声也大大地减少；三叉点检测算法避免了光噪点的影响，将检测出的三叉点定位到原图之后，采用FREAK算法对特征点进行匹配，最后通过RANSAC算法减小匹配误差，使得正确匹配率提高到了93.3%，从而可以利用特征点对的坐标绘制出速度矢量图和曲线图，为浮选工况控制提供了理论依据．