一种用于管道缺陷的红外图像混合增强方法

何依泽，朱冰

西安石油大学 电子工程学院(陕西 西安 710065)

0 引言

随着深度学习的成熟，通过获取图像进行缺陷检测的方法在管道的无损检测中得到了广泛应用。在实际检测过程中，由于甲烷气体无色无味的物理性质，传统的可见光图像很难检测到气体是否有泄漏。在气体泄漏过程中，由于管道外部压强小于管内压强，泄漏出的气体体积随之增大，气体的温度降低；而红外热成像技术具有响应速度快、温度分辨率高和对目标非接触式测量等特点，可以很好地对泄漏点泄漏出的气体进行检测。但红外图像通常具有噪声大、纹理细节不明显的特点，因而对红外图像进行图像增强，以便在目标检测过程中针对目标物体的细节轮廓特征增强，所提取的特征图能更加有效地对检测目标进行识别和比较，从而提高目标检测模型的检测精度。

传统图像增强方法大致可分为空域图像增强方法和频域图像增强方法[1]。空域增强方法以直方图均衡和非锐化掩蔽方法为主[2]；频域增强方法则是将图像经傅里叶变换到频域，通过高通滤波器对频域中的高频成分进行增强，从而达到增强图像纹理轮廓特征对比度的目的。但传统的空域和频域细节增强方法都存在增强细节的同时会放大噪声，高频增强过度还会使图像产生伪像[3]。

针对以上问题，陈莹等人[4]通过直方图分割为多个子直方图，分别对子直方图均衡得到增强效果；顾明等人[5]则通过对RGB空间转换到HSV颜色空间，对V分量进行自适应直方图均衡化来对图像进行增强；董丽丽等人[6]通过对经典直方图均衡化算法进行改进，分别引入边缘信息融合技术和直方图动态削峰技术，提出可用于亮度保护下的对比度增强和细节增强算法；Zhang等人[7]通过在空域和频域使用高斯滤波器对图像进行增强，保护了图像的细节信息；Fang等人[8]提出了基于同态滤波的改进方法，克服了噪声引起的伪像增强现象；Huang等人[9]基于中值滤波提出了一种脉冲噪声滤除方法，滤除了噪声并保持了图像的细节。然而，以上研究尽管对传统增强方法引起的噪声等问题都有所改善，但都没有对图像有选择地进行滤波处理，从而在高频滤波时损失了原有光滑区域的灰度，在低频滤波时则会产生振铃现象。因此选用一种混合滤波算法，通过低通滤波器选出图像的细节部分并对其进行增强，减少图像的噪声，同时通过高通滤波器选出图像中的边缘部分并对其进行增强，使图像中的轮廓更清晰。通过在频域中根据低频和高频部分在整幅图像中的占比，取其反比来对以上两者乘以不同系数进行相加，将低频部分的图像细节特征和高频部分的图像边缘特征进行不同程度的增强，有效避免了各自单独使用时产生的问题。

1 频率域滤波基础

频率域滤波由对一幅图像进行傅里叶变换之后计算其反变换得到处理后的结果图像组成。二维离散傅里叶变换的公式为[1]：

式中：f(x,y)是大小为M×N的数字图像，其中x=0,1,2,L,M-1；y=0,1,2,L,N-1；F(u,v)为该图像的傅里叶变换；离散变量u、v的取值范围分别为u=0,1,2,L,M-1，v=0,1,2,L,N-1。则基本滤波公式为[1]：

式中：ℑ-1为离散傅里叶逆变换计算；F(u,v)为输入图像f(x,y)的离散傅里叶变换；H(u,v)为滤波函数；g(x,y)为滤波后的输出图像。

以上公式即对于输入图像先进行傅里叶变换F(u,v)，用滤波函数H(u,v)乘以图像的傅里叶变换进行滤波，最后对滤波结果进行傅里叶逆变换，即可得到处理后的图像（图1）。

图1 频域滤波流程图

2 频率域滤波

在频域空间，变换后的低频部分主要是图像中缓慢变化的灰度图像，而高频部分主要是灰度的尖锐过度，如边缘、噪声等。因此，可以对低频部分和高频部分进行不同程度的增强，达到改善整体图像的效果。

2.1 低通滤波器

由于在一幅图像中，图像边缘和噪声等其他尖锐的灰度转变主要来自傅里叶变换后的高频部分，因此可以通过低通滤波器对图像中的高频部分进行衰减来达到平滑图像、减少噪声的效果。

与理想低通滤波器、高斯低通滤波器相比较，巴特沃斯低通滤波器在阶数比较高时接近于理想滤波器，在阶数比较低时，又更接近于高斯滤波器。巴特沃斯滤波器可以在有效的低通滤波和可接受的振铃现象之间很好的折中，可以看作是另外两种比较极端的滤波器的过度。因此，使用二阶巴特沃斯低通滤波器函数，对图像高频部分进行衰减，达到平滑图像的效果。

巴特沃斯低通滤波器的传递函数为[1]：

式中：n为滤波器的阶数；D0为截止频率；D(u,v)是频率域中心点(u,v)到频率矩形中心的距离。即：

2.2 高通滤波器

由于对图像中边缘部分轮廓等灰度突变的部分进行锐化，可以增强图像的边缘轮廓特征，使图像轮廓特征更加明显。该研究中的高通滤波器使用的是高斯高通滤波器，与其他滤波器比较而言，高斯高通滤波器得到的结果更为平滑，即使是微小物体和细线条在滤波后也是比较清晰的。高斯高通滤波器的传递函数为[1]：

2.3 混合滤波

综上，由于在一幅图像中，图像边缘和噪声等其他尖锐的灰度转变主要来自傅里叶变换后的高频部分，因此可以通过低通滤波器对图像中的高频部分进行衰减来达到平滑图像、减少噪声的效果；同时，通过高通滤波器对图像中边缘部分轮廓等灰度突变的部分进行锐化，使得图像边缘轮廓特征更加明显，便于进行识别。但在单独使用低通滤波时会产生振铃现象，在高通滤波时又会使得集中大部分能量的低频分量减弱，整幅图像灰度减弱变暗甚至接近全黑色。为了发挥两者优势，同时避免以上问题的出现，将其两者结合使用。

对于一幅大小为M×N的采样图像f(x,y)，对其先乘以(-1)x+y，使频率域坐标下的F(u,v)的原点变换到二维离散傅里叶变换区域M×N中心(M/2,N/2)。则此频域范围内u、v的取值分别为u=[0,M-1]，v=[0,N-1]（u、v均为整数）。

计算中心化后f(x,y)的傅里叶变换：

为了满足之后机器学习的需要，对图片主要进行对比度的增强，较大程度地增加图像纹理和边缘轮廓部分的灰度锐化，使得图像的边缘信息更加清晰，以便更好地进行识别。而对于图像平滑部分增强的程度较小，主要是去除部分噪声影响。因此，将图像变换到频域率后，通过以上选取的低通滤波器和高通滤波器将图像的低频部分和高频部分区分开来，分别对这两个部分采用不同的增强系数进行增强处理。

在对图像的低频部分和高频部分分别进行增强时，先分别利用低通滤波和高通滤波器对图像进行滤波，分离出低频成分和高频成分。对于低频成分，取每个数据元素的实部，通过设定一个阈值比较大小，来统计图像中较低频元素的个数，高频成分也是如此。通过取较低频元素与较高频元素的个数之比的反比，来分别对低频成分和高频成分的增益赋值。增强步骤见式（8），其中r1为较低频成分的个数，r2为较高频成分的个数。

对于增强后的图像的频域表达式，通过对其进行傅里叶逆变换，可得到滤波增强后的图像，见式（10）。

取结果的实部并乘以(-1)x+y，得到最终图像。

3 实验结果与分析

实验所用的实验软件为MATLAB，针对多组管道泄漏红外图像的灰度图像进行实验，验证图像增强算法对于不同区域的增强效果，加入了直方图均衡化方法和拉普拉斯锐化算法进行对比，实验结果如图2所示。

图2 几种增强算法结果对比图

图2（a）是输入图像；图2（b）是经过直方图均衡化增强后的图像，可以看到背景噪声的对比度明显加强，而前景对象的灰度级减少，某些细节随之消失；图2（c）是经过拉普拉斯算子锐化后的图像，可以看出对于图像中边缘区域以及灰度发生跳变的区域，拉普拉斯算子均进行了增强，但对于图像中的噪声，拉普拉斯算子也进行了同样程度的增强；图2（d）和图2（e）分别为巴特沃斯低通滤波器和高斯高通滤波器滤波后的图像，可以看出，巴特沃斯低通滤波器滤波后的图像滤除了高频部分，整幅图像变得非常平滑，而高斯高通滤波器滤除了图像的低频分量部分，增强了图像的对比度，但原先图像平滑区域也同样被压缩；图2（f）是使用混合滤波算法的增强结果图，可以看出原图中的对比度得到了明显增强，而且相较于单独使用高通滤波器，又保存了原图中相对平滑的部分，图像的整体增强效果较好。

实验还加入了OTCBVS红外图像数据库中的图片进行处理，与参考文献中的处理结果进行对比，将参考文献[10]、[11]作为对比组，其中文献[10]使用了非抽样加性小波变换方法费解输入图像获取它的子带，通过同态变换、直方图均衡化方法对图像的亮度和对比度进行增强；文献[11]使用了金字塔变换方法，分别求得图像低频和高频系数，增强图像的对比度，对比结果如图3所示。

图3 house-jeep图结果对比

图3中，对比了文献[10]、文献[11]中的相应图像处理结果，可以看出图3(b)中房屋及地面部分区域过亮，天空中云彩的对比度较低；而图3(c)中房屋和汽车的轮廓较为模糊，天空中的云彩也偏暗，不利于目标检测特征图的提取；在图3(d)中这些问题均被得到了很好的处理，减轻了图3(b)中房屋和地面中的过亮区域，也改善了图3(c)中图像较暗、对比度较低的问题。

将经过增强后的多组红外图像作为输入图像，利用Faster-RCNN目标检测框架，使用预权重进行训练，并进行预测识别，识别结果如图4所示。

图4 识别结果

图4展示了管道泄漏的红外图像识别结果。对于目标检测精度的衡量，使用平均精度均值（mAP）来进行评价。使用针对红外图像的图像增强算法，检测的mAP值为89.33%，相较于未进行图像增强的红外图像，mAP值高了约2.5%。可见，增强后的图像在进行目标检测识别时，检测精度也有了显著提升。

4 结束语

对于在图像增强中出现的一些问题，利用低通滤波和高通滤波各自的优势，提出了一种混合滤波算法。由于低频部分主要是图像中缓慢变化的平坦区域，而高频部分主要是灰度的尖锐过度的边缘区域，因此通过大量实验分别选取了合适的低通和高通滤波器，通过傅里叶变换到频率域后，分离出图像的高频和低频区域，对其分别做了不同幅度的增强处理。对于目标检测，针对图像的增强会提升检测的效果。