基于微流控的油液动态磨粒目标检测方法

蒋志强,左洪福,王 涵,郭家琛

(南京航空航天大学民航学院，南京 211106)

随着机械系统和设备的复杂化，故障检测的难度也随之增加。润滑系统作为机械设备中极其重要的组成部分，油液检测技术在机械磨损状态监测与故障诊断中发挥着越来越重要的作用。机械设备故障磨损会产生不同的磨损颗粒[1]，而对油液中磨粒的识别检测也是一个重要的研究方向。

近年来国内开始研究在线式油液磨粒监测技术，但是很多方法无法识别磨粒的几何特征信息，对于粒径小的颗粒也无法检测[2]。为了弥补现在的在线油液监测技术的不足和缺点，图像处理技术的应用提供了很好的思路，成为一个重要的研究方向。基于在线铁谱图像的磨粒识别系统最先是由陶辉等[3]和武通海等[4]提出，此方法将磨粒先沉积下来后进行识别研究，但会使磨粒堆积过多，影响在线监测效果。基于微流体与图像识别技术的在线润滑油磨粒分析方法是由郝延龙等[5]提出，此方法能检测油液的污染程度，但在线监测的实时性不强，功能不完善。本文结合高速摄像机，实现了基于微流控显微图像分析技术的油液动态监测实验平台设计，研究了微流动颗粒的图像模糊恢复方法并且将模糊颗粒图像恢复；提出一种基于微流控的油液动态磨粒检测方法，首次实现了磨粒目标的单目标检测，缩短了传统方法对磨粒识别的时间，保证图像处理算法的实时在线分析。

1 实验平台

分析实验中结合的微流控芯片技术和高速视觉技术，利用已有的基础实现基于微流控显微图像分析技术的油液动态监测实验平台设计，系统结构如图1所示。此系统由单筒显微镜、图像传感器、高速成像软件、微量泵、油液微流管路等组成，完成系统在线供油及磨粒图像的在线采集分析。

图1 基于微流控显微图像分析技术的油液动态监测系统结构框图

随着高速视觉技术的发展，高速成像技术能通过高速摄像机将过程和细节记录下来并且分析。实验设备选用的是大恒高速视觉产品，此数字摄像机是由大恒图像最新研发的紧凑型数字摄像机，具有高清晰度、高精度、低噪声等特点。高速成像软件采用加拿大Norpix公司开发的高速视频存储软件StreamPix。

采用本系统采集图像数据时，传感器和场景之间的均匀线性运动会产生图像模糊现象。本文分析研究图像的退化模型，应用基于退化函数的方法恢复磨粒模糊图像；再采用一种基于视觉显著性的目标检测方法，实现磨粒目标检测。

2 微流动颗粒运动模糊恢复

图像的退化过程被建模为一个退化函数H和一个加性噪声项n(x,y)，图像f(x,y)为此过程原图像，图像g(x,y)为此过程后的图像，如图2所示[6]。

图2 退化过程模型示意图

g(x,y)=H[f(x,y)]+n(x,y)=

f(x,y)*h(x,y)+n(x,y)

(1)

式中：*表示卷积；h(x,y)是该退化函数的空间表示。而且，h(x,y)就是点扩散函数PSF。

此实验中，由于在获取图像时，传感器与场景之间是均匀线性运动而产生图像模糊，图像模糊可以使用函数fspecial来建模。

PSF=fspecial(′motion′,len,theta)

(2)

式中：len表示线性移动的尺度，theta表示运动模糊角度。在此实验中，磨粒在高速拍摄过程中运动速度较慢，本文认为磨粒短时间内作匀速直线运动。即theta参数为0。

计算退化模型中的运动模糊尺度len是颗粒模糊图像复原的关键。假设在曝光时间内，磨粒在芯片通道的轴线方向上移动len个像素。如果利用曝光时间和流速来计算模糊尺度len的大小，难度较大且误差很大。因为微流控芯片流道内的速度分布不均匀，各个磨粒的流速差异较大且计算困难，所以本文运用基于自相关函数的方法估算运动模糊图像中的len大小。在匀速直线运动模糊图像的频谱图中会出现平行暗条纹，理论和实验证明暗条纹的方向与模糊方向垂直，模糊尺度就是条纹之间的距离，本文利用此方法，计算原模糊图像的自相关函数[8]，能较为准确地计算出模糊尺度。对实验后的磨粒图像进行预处理，首先需要图像灰度化处理。采用转换公式如下

G=0.299r+0.587g+0.114b

(3)

式中:G表示图像的彩色特征量；r表示红色分量；g表示绿色分量；b表示蓝色分量。使用Sobel算子和得到的灰度图像做卷积运算，卷积需要先将Sobel模板旋转180度。因此Sobel的卷积模板是：

(4)

得到卷积后图像，再求每行的自相关函数：

(5)

其中:l(i)代表第k行中第i+1个像素的灰度值；N是图像的行像素数；m表示整数；m∈[-N-1,N-1]。

自相关函数可以由卷积后的图像求出，图像每行对应一个自相关函数，曲线上都有两个最低值，这就是共轭相关峰，分别对称分布在最高值的两侧，如图4所示。模糊尺度len是两峰横坐标差值的1/2。根据图像的行数，求得max(k)个模糊尺度的值，此图像的模糊尺度就是max(k)个值中频率最高的那个值。此方法的优点是能抑制噪声干扰，提高模糊尺度可靠性与识别精度。在得出自相关函数共轭相关峰的横坐标差值后，然后求得模糊尺度len，最后对图像进行复原。

图3 磨粒模糊图像原图

运用前面描述的求图像自相关函数的方法求得图像的自相关函数图，如图4，得到两峰横坐标差值出现频率最高的值为4，求出整幅图像的模糊尺度为2pixels。

利用Matlab中的图像处理函数实现维纳滤波，得到的磨粒恢复图像如图5。

将图3和图5对比分析可知，恢复图像中的磨粒的边界轮廓更加清晰，边缘的信息相比于原图更加丰富，此方法也对图像基于显著性目标检测和磨粒的三维重建奠定了基础。

图4 自相关函数

图5 磨粒恢复图像

3 基于显著性的磨粒目标检测

人类视觉系统在面对自然场景时具有快速搜索和定位感兴趣目标的潜在能力[9]，视觉显著性检测是经过某些算法模仿人的视觉，标记某些图像中的感兴趣区域ROI(Region of Interest)[10]，进而进行某些目标的精准定位与检测。本文首次在磨粒图像上借鉴频域残差显著性[11]的计算，提取磨粒图像ROI区域，然后构建磨粒检测评价指标，完成目标检测。此方法计算简单、有效且速度较快，对实现微流颗粒的在线监测具有较大意义。

3.1 显著性分析

国内外基于显著性方法已有研究，Achanta等[12]利用局部颜色和亮度特征的对比多尺度方法求出像素点显著值，最终得到显著性图。Hou等[13-14]提出一种基于频域的显著性检测方法，将图像转化到频谱域进行分析，利用离散余弦变换及反变换得到显著性图。此方法对原图像进行离散余弦变换及卷积运算，算法简单有效、计算速度快，得到的显著图对后续处理有较大意义，而且不需要其他对目标识别的知识信息。所以，本文将以该方法为基础研究微流颗粒目标的检测问题。

令I作为存在磨粒目标的灰度图，那么它能用下面的形式表示出来

I=f+b,I,f,b∈RM×N

(6)

其中：f代表此图像的前景信息；b表示图像的背景信息；M，N表示矩阵I，f，b的维度。

王敬凯琢磨，张小波11时20分放学，李桂明12时55分在单位大门口碰到张秋，其间有95分钟时间，那么，作案需要多少时间呢？20分？10分？甚至还短一些？如果真是李桂明作的案，那么，时间之谜又如何解开呢？王敬凯决定亲自试一试。

ImageSignature(I)=sign(DCT(I))

(7)

式中，DCT为离散余弦变换，将图像变换到频率域中，sign运算定义：

(8)

所得的结果中包含图像的前景信息，然后再通过余弦反变换

(9)

(10)

其中：“*”是卷积运算；“∘ ”代表Hadamard乘积；g可以平滑磨粒图像的显著图S，是一种高斯滤波器。

这就是本文基于显著性理论的磨粒目标检测方法，这种方法的优点是计算过程不复杂且目标检测准确，正好在基于微流控领域的磨粒识别方法上能有重要的借鉴意义，对于此方向的研究也具有重要的现实意义。

3.2 显著性检测

本文基于此方法首次将微流中磨粒图像进行检测实验，图6、图7分别为同一磨粒两种不同姿态的显著性检测效果图。

图6 姿态一磨粒的显著性检测效果图

图6(a)为磨粒姿态一的原始图。图6(b)是其所对应的三维图，已将彩色值转化为0-1的渐变值，图中颜色最深的部分就是磨粒目标的所在区域，周围区域也有杂质干扰但目标相比于背景更加突出。将灰度图经两次变换后可以得到重构图为图6(c)。图6(d)为此算法求出的磨粒目标显著图，图中磨粒目标区域明显突出于其他背景区域。图6(e)为磨粒目标显著图经过阈值处理得到的二值图像，有效地排除了图像中杂质的干扰，识别确定了图像中磨粒的位置并且为磨粒的识别奠定了基础。图7中磨粒姿态二的检测过程与图6同理。

针对两种不同姿态、位置的磨粒图像进行显著性检测效果对比分析，体现出此算法的可靠性和适用性。

图7 姿态二磨粒的显著性检测效果图

为了精准和更快地检测出油液中磨粒的位置、完成磨粒图像目标检测识别。本文借助显著性方法，即求出存在磨粒目标的图像的重构图和显著图，然后检测出磨粒的位置。实现的基本原理是基于磨粒目标相对于油液背景显著的特点。

频域变换过程后，图像中存在大量显著性相关信息。而经过两次变换后的重构图中不但包括大量目标信息，而且还有效地抑制了油液背景信息，让磨粒目标更加明显，此方法可以更有效地避免了背景图像中杂质和噪声的干扰。

在二值化处理后，图像中只有少数明显突出区域出现，这些区域就是磨粒目标的潜在区域，其中就包括磨粒目标所在的位置，正是这个过程提高了磨粒目标的检测效率。

4 实验结果及分析

本文定义检测率和误警率，定量地评价此算法性能，目的是更加客观地反映本文磨粒的检测效果。微流道磨粒监测数据为大量视频序列帧图像，考虑到立体磨粒在流道中的姿态、位置变化以及噪声的影响，应用检测率和误警率能够作为磨粒目标检测效果评价指标，其中，检测率(DR)和误警率(FA)的计算如下：

(11)

采用含有不同粒径大小磨粒视频序列帧作为实验数据，每种粒径磨粒视频序列帧按照平均时间间隔取20帧作为整个视频序列帧的样本，分别计算各种粒径磨粒的整个视频序列帧图像检测率，进行磨粒目标检测分析。作为实验数据的磨粒图像都是基于微通道直径和长度相同背景下拍摄的，图像的分辨率为852×648，图像中存在不同的噪声干扰。

由表1可见，等效粒径大于50 μm的磨粒图像基于显著性的目标检测结果为100%，说明了此算法的有效性和适用性。等效粒径小于50 μm的磨粒，考虑到立体磨粒在流道中的姿态变化，会出现磨粒图像丢失现象，由于微流控芯片加工工艺问题使通道背景图像产生噪声，也会造成检测率降低。表1中数据还表明，此算法能有效地排除背景图像中噪声杂质的干扰。

表1 几种粒径大小磨粒目标检测率

本文借助显著性的概念，大大减少了用于目标检测的窗口数量。此方法先确定磨粒图像中的显著区域，得到显著图，然后再实现后续计算完成目标检测，这很大程度提高了磨粒图像中目标检测的效率。

本文使用Intel Core i5-6300HQ 2.30GHz CPU计算机中Matlab平台，对分辨率为852×648的磨粒原图像展开实验，目的是定量准确地评价出磨粒的识别效率。运用本文方法在Matlab平台中计算单帧图像的平均检测时间，检测效果如图8所示。得到单帧图像检测并且标记需要1.15 s，满足磨粒检测的高效需求。所以本文方法能准确检测出磨粒目标并且检测效率较高，对微流控磨粒监测技术的研究有重要意义。

图8 大小为852×648的磨粒图像检测效果

5 结论

1)提出了基于微流控的油液磨粒目标检测算法，实现了对微通道磨粒图像的单目标检测，通过对5种粒径大小的磨粒图像进行算法识别实验，验证了算法的适用性。

2)实验结果表明，基于微流控的动态磨粒目标检测算法效果比较好，但检测率会受磨粒图像丢失和图像背景噪声影响；该算法效率较高，但受图像大小和处理设备平台影响。