航空铝合金针孔缺陷自动分级的图像处理方法

吴 鑫

(北京交通大学 机械与电子控制工程学院，北京 100044)

齐铂金

(北京航空航天大学 机械工程及自动化学院，北京 100191)

张健合

(北京航空材料研究院无损检测室，北京 100095)

航空铝合金针孔缺陷自动分级的图像处理方法

吴 鑫

(北京交通大学 机械与电子控制工程学院，北京 100044)

齐铂金

(北京航空航天大学 机械工程及自动化学院，北京 100191)

张健合

(北京航空材料研究院无损检测室，北京 100095)

针对目前航空铝合金铸件针孔缺陷人工分级的缺点，用X射线照相获取的图像，采用一种计算机图像处理和模式识别的方法进行针孔缺陷自动分级，并主要对图像处理的算法进行了研究.根据针孔缺陷图像的灰度分布特点，采用小波分析的方法滤除低频干扰信息，保留针孔的高频信息，再经过区域分割提取针孔区域，进而提取单个针孔的尺寸特征，然后进行宏观统计和分析，通过对1～8级标准图片的统计特征进行神经网络的训练，实现了针孔的自动分级.实验结果表明，这种图像处理方法有较好的适应性.

X射线照相;铝合金;针孔;图像处理;小波分析;神经网络

航空铝合金铸件例如飞机叶轮，在熔炼和浇注时，由于合金溶液溶解较多的氢，在铝合金溶液冷却和凝固过程中，有较多的氢析出形成氢气泡又来不及排出，而在凝固的合金中形成大量细小分散的气孔，即所谓的“针孔”(gas porosity)［1－3］.针孔会使组织致密度降低，力学性能下降，因此必须控制针孔的等级来保证铝合金铸件的质量.针孔缺陷等级的划分一般采用低倍实验和X射线透照的方法，目前普遍采用的X射线透照属于无损检测的方法，可靠性高.根据《GB11346—89铝合金铸件X射线照相检验针孔(圆形)分级标准》，通过X射线透照法获取的X射线底片将针孔等级分为1～8级，铸件的力学性能与针孔等级之间是线性相关关系，从宏观统计的角度看，随着针孔等级逐级增加，力学性能逐步下降.一般航空铝合金允许4级针孔，人工判断允许有1级偏差.但目前的X射线透照法基本上是采用人工评片的方法，效率低，而且具有容易受到评片人员的视力和疲劳程度、精神状况和不能将针孔的特征进行定量化分析的缺点.因此采用基于图像处理和模式识别的计算机自动判别方法已成为必然.目前提取X射线图像中的缺陷是一个难题，虽已有一些文献对铝合金内部缺陷用图像处理方法检测进行了探讨［4－9］，比如用三次样条拟合的方法、用中值滤波的方法、用小波的方法进行目标检测，或用模式识别和神经网络的方法来提取目标.本文专门针对飞机叶轮这种大型铝合金铸件内部的针孔缺陷的X射线图片自动分级的图像处理方法进行研究.

1 图像处理方法的设计

1.1 针孔图像灰度分布的基本特点

图像处理需要首先分析图像的灰度分布特点和要提取信息的基本特征，典型的针孔缺陷图像的灰度分布如图1所示.

图1 典型的针孔图像的灰度分布

图1可见，针孔缺陷在图像上表现为高频信息.从第1～8级GB 11标准图片对比中可以发现，随着级别的提高，微观上看针孔缺陷尺寸逐渐增大;宏观上看大孔径针孔缺陷的比例也逐渐增大，小孔径缺陷的比例逐渐减小.经过大量针孔图像的对比发现，这种特征是稳定的、可靠的.

针对以上特点，笔者认为解决针孔缺陷自动分级问题的关键在于首先要提取单个针孔缺陷，并对其特征进行描述，再进行宏观的统计分析，根据宏观的分布规律进行针孔图像的自动分级判断.

1.2 图像处理的基本步骤

根据铝合金铸件针孔缺陷图像的灰度分布特点，本文确定针孔缺陷自动分级图像处理方法的基本思路如图2所示.

图2 图像处理基本步骤

图像预处理包括图像的小波平滑滤波来去除背景、二值化等;然后进行区域分割，提取各个针孔缺陷区域;再对每个针孔缺陷的特征参数进行提取;然后进行图像的宏观统计分析，并通过1～8级标准图像的特征提取和统计分析，建立图像分级判断的依据;最终进行自动分级.

2 数字图像处理

2.1 图像预处理:小波平滑滤波

通常飞机叶轮的X射线底片图像比较大，如图3a所示.而图像处理主要是处理有缺陷的局部区域，而不是整个图像，通常要选定一块典型区域，选定区域如图3b所示.可以看出，图像的缺陷属于高频信息，而图像的背景干扰属于低频干扰，成斜坡型规律分布，如图3c所示.如果直接进行二值化的效果非常不好，很难去除图像背景的斜坡型低频噪声，如图3d所示.

图3 飞机叶轮的斜坡型灰度分布的针孔缺陷图像

因此比较合理的方法是要先去掉背景的低频噪声，即先将原始图像平滑，得到图像的背景曲面，然后与原始图像相减，滤除低频干扰，保留高频有用信息，再进行后处理.当然高频信息中也有一部分是干扰信息，主要表现为椒盐噪声，一般在1个像素左右，还需进一步去除.文献［4－5］提出了一种三次样条曲线拟合和多项式拟合算法来拟合背景;文献［6］对航空发动机叶片图像进行了自适应中值滤波，拟合并去除缺陷背景;文献［10］采用基于最大类间方差统计的Ostu方法，设定滤波阈值;文献［11］采用高斯函数平滑图像得到背景曲面;文献［12］用拟合的方法得到一个二维三阶的曲面方程来得到背景曲面.

本文采用小波变换［13］的方法进行图像的平滑滤波.平滑首先需要选择合适的平滑函数和平滑尺度.以一维信号为例，设s(x)为理想信号，f(n)为观察到的离散信号(n∈N)，由于在边缘检测中，需要从带噪声的f(n)中求出s(n)，定义如下泛函:

其中，等号右侧第1项为理想信号与实际信号的均方差;第2项反映了s(n)的平滑程度;λ为常数因子.可以证明［13］，以上变分问题的解为以下卷积:

其中h(x)为三次B样条函数，消除噪声的最优的平滑滤波器为三次B样条函数，因此本文选择三次B样条函数进行平滑.

但接下来一个很重要的问题是:在多大的尺度s下对原始数据进行平滑比较合理.尺度太小，不能起到把握整体趋势和走向;尺度太大，误差又比较大.

从频域空间上考虑，任何信号f(t)都可以分解成低频空间的信号s(t)和高频空间的信号g(t)，低频信号s(t)反映信号的总体变化趋势，是原始信号的平滑逼近;而高频信号g(t)反映的是原始信号的细节信号.本文所需要的就是原始信号的低频信号s(t)，再和原始信号f(t)做差得到针孔高频有用信息.小波理论表明［13］:在不同尺度下对信号作小波变换，其实质就是用不同频率的带通滤波器对信号进行滤波，而且与傅里叶变换相比，小波变换具有更好的时频特性.

设原始信号x(t)所在的空间为V0，则可以把V0逐级剖分成逐级包含的子空间:

并且满足:Vj⊥Wj，Wj⊥Wj'，j≠j'.Vj是反映 Vj－1空间信号概貌的低频子空间;Wj是反映Vj－1空间信号细节的高频子空间.

其中

Pjx(t)是x(t)在Vj中的投影，也就是x(t)在Vj中的平滑逼近;是x(t)的离散平滑逼近;Djx(t)是x(t)在Wj中的投影是x(t)的离散细节信号，也就是 x(t)的小波变换 WTx(j，k)，，其中为的共轭;φ(t)是平滑函数;ψ(t)是小波函数.并且有

离散平滑逼近:

离散细节信号:

其中冲击响应系数:

并且二尺度关系的频域形式为

图4 飞机叶轮针孔缺陷图像小波平滑滤波

图4可见，小波滤波能很好地保留针孔缺陷的信息.实验表明，小波滤波的效果也要好于普通的中值滤波的方法，如图4e所示.原因是:①小波的平滑函数是三次B样条函数，而中值滤波只是简单的相加平均，效果自然没有小波平滑效果好，与小波平滑滤波相比均值滤波后会保留更多的干扰;而且在边缘处容易形成边缘效应，滤波尺度越大越明显，增加了算法的复杂性和不稳定性.采用拟合方法得到的二维三阶曲面方程［12］难以适应复杂曲面的形状，而且需要解矩阵.而小波分析却可以多尺度分析，适合复杂的曲面形状.②经计算发现滤波尺度s越大，中值滤波时间越长.比如对304×304像素的图像，当尺度s=26时，中值滤波时间是小波滤波时间的4倍以上;而且图像越大，差别越大;处理604×607像素的图像，中值滤波时间是小波滤波时间的7倍以上.对于高斯函数［11］和三次样条函数［4－5］的平滑算子也同样存在这样的问题.而基于正交多尺度变换的小波平滑，从原理和计算性能上要优于普通的三次样条平滑算子［13］，特别是对于飞机叶轮这种需要平滑尺度比较大的大型工件的胶片图像或直接拍摄的图像尤其适合.

2.2 区域分割并统计缺陷

图像上每个针孔缺陷的灰度较暗而且灰度值相近，有相对独立的形状和区域.因此必须先将这些缺陷进行区域分割，分成一个个独立的小区域，提取每个缺陷区域的特征参数，才能进一步进行宏观统计.

小波平滑滤波后，通过直方图统计选定一个合适的阈值进行二值化，并去掉椒盐噪声.然后采用种子扩散法进行每个区域的分割和标号.种子扩散法的原理是:种子类似于一滴水，而要标号的每一个小区域类似于海绵，当水滴到海绵上，水便迅速扩散，直至充满整个区域.具体实现方法是经二值化后的图像中每个缺陷区域灰度值为0xff，非缺陷区域灰度值为0x00，当程序从0～W(宽)，0～H(高)的范围进行扫描时，当碰到一个0xff的像素时，此第1个像素便为种子，并打上此缺陷区域的标记号，然后用同样的方法迅速扩散，直到搜索完这个缺陷区域，如此不断往复直到找到图像上所有缺陷区域，并给每个缺陷区域打上不同标号.

2.3 缺陷参数的特征提取

每个小缺陷区域被分割后，需要提取小区域的微观和宏观信息.具体包括小缺陷区域的缺陷区域号、面积、直径、长宽比及相对比例等微观和宏观特征参数.

1)微观信息描述:首先需要对每个针孔缺陷区域的标记号、面积、直径、长宽比等微观信息进行计算，单位为像素.每个缺陷区域的微观信息是整幅图像的宏观缺陷信息统计的基础.微观信息保存在软件的数据结构region中.

2)形态学滤波:针孔缺陷形态近似成圆形，但由于在图像上针孔缺陷的图像灰度的分布不均匀，二值化后针孔缺陷可能导致变形，在图像上呈现近似的圆形、方形、三角形等各种形状，如图5所示.因此需要对二值化后图像进行形态学滤波.

图5 缺陷在图像上一些典型的像素分布

本文采用对每个小区域进行长宽比λ的分析，设定一个阈值T，将λ＞T的小区域滤掉.首先计算每个小缺陷区域的长l，然后用小区域面积s去除长l得到宽，最后得长宽比为λ=l2/s.用此法计算图像上的正方形缺陷为λ=1，圆形缺陷为λ=1.27.然后用人工构造的图像进行测试并选定阈值T，如图6所示.

图6 测试图像在不同长宽比λ时的形态滤波结果

为具有一定容错性，比如经常有些气孔会粘连成链，如图5e所示，短链则应保留，长链是干扰的可能性较大，应去除，如图6所示.经图像测试和计算，通常选λ=3～4比较合理.图7是针孔缺陷图像经小波平滑、二值化后图像经椒盐噪声去除和形态滤波的结果.在应用中发现在二值化及后处理中加上小尺度的膨胀腐蚀效果会更好.

图7 针孔缺陷图像的形态滤波结果

3)宏观信息统计:仅由单个缺陷区域的微观信息难以区分不同级别图像的差别，不同级别的针孔图像是在宏观整体的统计信息上才表现出差别.

如图8所示，通过对1～8级的标准针孔图像的比较和计算，发现不同级别针孔缺陷图像的宏观特征是:随着针孔级别的增加，图像上的针孔缺陷的平均直径逐渐增大，大直径针孔比例逐渐增多.针对这些标准图片进行处理得到相对比例分布的宏观特征参数，其中部分参数如表1所示.

表1为标准图像(1～8级)的缺陷平均直径的相对比例分布.对于分辨率300 dpi(点/英寸)的图像缺陷直径d≥2像素以上的，规定数量最多的针孔直径比例为100，其它直径的针孔相对比例为与其相对的比值.宏观信息保存在图像处理软件的数据结构中.这些特征参数样本通过后面的BP神经网络的训练样本，神经网络会记住这些规则，从而可以用神经网络对新图片自动分级.对于不同分辨率的图像应注意换算.

图8 标准针孔缺陷图像1～8级

表1 标准图像针孔直径的典型相对比例分布 ‰

3 建立图像分级判断的依据

针孔缺陷图像的自动分级是以1～8级GB11标准图像得到的特征参数为基准，建立分类判据，从而对被测图像进行判断和分级.所谓分类判据的建立就是根据表1中的不同直径的相对比例，建立一个判别函数 y=f(X)=f(d1，d2，d3，d4，…)，y对应于不同的分级结果(1～8级).目前实现分类通常有2种方法:线性函数法和非线性函数法.因为y与x成非线性关系，而对非线性分类问题的解决，比较好的方法是神经网络方法.

目前人工神经网络［14－15］是最好的分类器，神经网络以其计算简单、分类识别速度快、自适应性强和容错能力较高引起了广泛关注.利用神经网络来训练，网络的权值能记住这些规则，因此训练好的神经网络能自动地对复杂的非线性关系进行判断.本文采用BP神经网络作为分类器，BP网络的输入和输出关系是一个高度的非线性映射关系，如果输入点数为N，输出点数为M，则网络是从N维空间到M维空间的映射，通过调整BP神经网络中的权值和网络的规模(包括N，M和隐层结点数)，就可以实现非线性分类等问题，神经网络能够自动聚类，并且还可以以任意的精度逼近任何非线性函数(层数≥3).

进行神经网络训练最重要的是提取出最能反映不同等级的特征向量.然后就可以1～8级标准图像作为训练样本，将特征向量送入BP网络进行训练，之后得到一系列分类的权值，记住图像分级的规则.

本文的神经网络输入的特征向量定义为:I(X)=(d2，d3，d4，d5).采用 4 层 BP 网络，具体结构如图9所示.具体过程包括神经网络的训练和识别.

图9 神经网络的结构

神经网络训练时的样本由人工指定.一个好的神经网络关键取决于训练样本，现取部分神经网络的训练样本和输出结果，如表2所示.经过100万次的训练，训练时间不超过20min，精度可以满足要求.

实验表明，实际操作时训练的样本和次数越多，输出结果越可靠.如果样本足够多，被测图片的准确率能够达到95%以上，只是训练时间较长.实际输出值y还需要四舍五入才能输出所需的整数级别.

航空铝合金针孔缺陷图像处理自动分级软件界面如图10所示，包括神经网络训练、判定结果输出、标准图像对比等界面、图像及针孔缺陷直方图统计、尺寸测量、区域选择及局部放大、二维和三维显示以及其它辅助功能.

4 结束语

本文针对以往航空铝合金材料针孔缺陷的人工分级评判的缺点，研制了一套基于计算机图像处理和模式识别的航空铝合金针孔的自动分级软件，并对图像处理方法进行了研究，采用了小波平滑滤波、区域分割和采用BP神经网络分类几种方法相互补充，有更强的适应性，从而找到了一种有效的处理方法.结果表明，这套识别软件和图像处理方法能够比较好地解决航空铝合金材料针孔缺陷的自动分级问题，尤其对于大型的铝铸件内部缺陷检测具有一定的适应性，也有利于提高航空航天合金材料无损检测的信息化、自动化水平.而且这种图像处理方法对于目前正在进行的汽车铝轮毂X射线内部缺陷的检测也有一定的借鉴作用.有些细节还需进一步完善.

References)

［1］龚磊清.针孔等级对铝合金铸件力学性能的影响［J］.材料工程，1990(4):3－5 Gong Leiqing.In flunce on mechanical property of aluminum alloy cast by gas porosity level［J］.Material Engineering，1990(4):3－5(in Chinese)

［2］时胜利，刘垒利，时惠英.铝合金针孔度的预测［J］.铸造技术，1996，17(1):28 －31 Shi Shengli，Liu Leili，Shi Huiying.Level forecast of gas porosity［J］.Casting Technology，1996，17(1):28 － 31(in Chinese)

［3］李会玲，杨云龙，崔国明，等.铸造铝合金针孔度的图像分析［J］.理化检验:物理分册，2005，41(12):613 －615 Li Huiling，Yang Yunlong，Cui Guoming，et al.Image analysis of gas porosity level in aluminum alloy cast［J］.Theoretic Chemical Examination:Physical Fascicule，2005，41(12):613 － 615(in Chinese)

［4］ Daum W，Rose P，Heidt H，et al.Automatic recognition of weld defects in X-ray inspection［J］.British Journal of NDT，1987，29(2):140－145

［5］ Kehoe A，Parker G A.Image processing for industrial radiograph inspection［J］.British Journal of NDT，1990，32(4):183 － 190

［6］周正干，杜圆媛.航空发动机叶片X射线数字图像分析的一种新方法［J］.中国机械工程，2006，17(21):2270 －2273 Zhou Zhenggan，Du Yuanyuan.A new analysis method for digital radiograph of turbine blade［J］.Mechanical Engineering of China，2006，17(21):2270 －2273(in Chinese)

［7］ Kaft and jian V，Zhu Y M，Peix G，et al.Automatic recognition of defects inside aluminium ingots by X-ray imaging［J］.Insight，1996，38(9):618 －625

［8］ Strickland R K，Hahn H I.Wavelet transforms methods for objects detection and recovery［J］.IEEE Trans Image Process，1997，6(5):724 －735

［9］ Kehoe A，Parker G A.An intelligent knowledge based approach for the automated radiographic inspection of castings［J］.NDT＆E Int，1992，25(1):23 － 36

［10］ Ostu N.A threshold selection method from gray level histogram［J］.IEEE Transactions on System，Man and Cybernetics，1979，9(1):62 －66

［11］朱虹，许朝辉，周健.基于PCR凝胶成像的信息自动提取［J］.中国图象图形学报，2007，7(12A):1285 －1290 Zhu Hong，Xu Zhaohui，Zhou Jian.Auto-extraction techniques of information based on PCR gelation image［J］.Journal of Image and Graphics，2007，7(12A):1285 －1290(in Chinese)

［12］田涌涛，李霞，王有庆，等.基于二维三项多项式拟合的阈值曲面分割法［J］.计算机工程，2003，29(4):127 －129 Tian Yongtao，Li Xia，Wang Youqing，et al.A segmentation method using threshold surface based on two-dimensional cubic fit［J］.Computer Engineering，2003，29(4):127 －129(in Chinese)

［13］杨福生.小波变换的工程分析与应用［M］.北京:科学出版社，1999 Yang Fusheng.Engineering analysis and application of wavelet transforms［M］.Beijing:Science Press，1999(in Chinese)

［14］苏惠敏，高剑宏，陈哲.BP网络实时图像自动选取算法研究［J］.北京航空航天大学学报，2002，28(2):194 －197 Su Huimin，Gao Jianhong，Chen Zhe.Study on automatic selection of current image by BP network［J］.Journalof Beijing University of Aeronautics and Astronautics，2002，28(2):194 －197(in Chinese)

［15］王伟.人工神经网络入门与应用［M］.北京:北京航空航天大学出版社，1995 WangWei.Artifical neural network introduction and application［M］.Beijing:Beijing University of Aeronautics and Astronautics Press，1995(in Chinese)

(编 辑:文丽芳)

M ethods of image processing for automatic grading of porosity defects in aeronautical alloy

Wu Xin

(School of Mechanical，Electronic and Control Engineering ，Beijing Jiaotong University，Beijing 100044，China)
Qi Bojin

(School of Mechanical Engineering and Automation，Beijing University of Aeronautics and Astronautics，Beijing 100191，China)

Zhang Jianhe

(Non Destructive Testing Laboratory，Beijing Institute of Aeronautical Materials，Beijing 100095，China)

Aiming at the disadvantage of manual grading of porosity in aeronautical alloy cast currently，a method of automatic grading by image processing and pattern recognition of computer to images got by X-ray radiography was put forward，and the methods of image processing and pattern recognition were mainly studied.According to the characteristics of gray distribution in typical porosity image，an algorithm of wavelet was taken to filter the disturbance of low frequency，which can remain the information of high frequency.Then segmentation was taken to pick up the porosity region and dimension characteristics of single porosity further，and macroscopic statistics and analysis was carried out.Neural network training was adopted by standard images from first level to eighth level，and finally the automatic grading of porosity was realized.The experimental results show that the method of image processing has good adaptability.

radiography;aluminum alloys;porosity;image processing;wavelet analysis;neural networks

TP 242.6+2

A

1001-5965(2011)06-0673-07

2010-03-30

吴 鑫(1972－)，男，吉林省吉林市人，讲师，xwu@bjtu.edu.cn.