陈培兴, 王明泉, 李世虎, 侯慧玲, 王 玉
(1. 中北大学仪器科学与动态测试教育部重点实验室,山西 太原 030051;2. 中北大学信息与通信工程学院,山西 太原 030051)
基于形态学和Otsu的固体火箭发动机CT缺陷三维分割
陈培兴1,2, 王明泉1,2, 李世虎1,2, 侯慧玲1,2, 王 玉1,2
(1. 中北大学仪器科学与动态测试教育部重点实验室,山西 太原 030051;2. 中北大学信息与通信工程学院,山西 太原 030051)
为了能够准确判别固体火箭发动机内部缺陷的性质和可能对发动机造成的危害,需要从三维空间的角度来观察分析。在传统的缺陷分析中,主要是通过观察 CT的二维切片序列图像以及对二维图像的主观分析去发现缺陷体。为了对缺陷体进行更为准确、立体地分析,提出对固体火箭发动机工业CT三维体数据进行处理。首先,通过结合形态学和Otsu阈值分割方法对缺陷进行分割和提取;然后,重构出缺陷体三维体数据;最后,对体数据进行三维可视化显示。实验结果表明,该方法能有效、准确地分割和提取固体火箭发动机三维CT图像缺陷,具有较强的鲁棒性。
固体火箭发动机;三维图像分割;缺陷提取;形态学滤波;三维重建
固体火箭发动机作为导弹常用的动力装置之一,其健康状况将直接影响导弹的使用[1]。固体火箭发动机药柱在制造过程中会出现裂纹、空洞、夹杂等缺陷,将严重影响固体发动机的使用安全[2],因此对固体火箭发动机进行检测是必要的。目前公认的工业最佳无损检测手段是依赖工业CT的检测[3]。传统的缺陷分析,主要观察一组二维CT切片序列图像,从中寻找缺陷体,这对使用者的经验要求很高,主要依据对二维图像的主观分析[4-5]。为了获得更精确的视觉信息,需将固体火箭发动机CT体数据进行分层图像分割处理,然后从三维数据中分割提取出三维缺陷机构体。
在计算机视觉中,图像分割是一个十分重要的底层预处理步骤[6],是计算机视觉和图像分析应用的基础技术。目前,图像分割的技术很多,主要可分为基础分割技术和高级分割技术[7]。基础分割技术主要有基于直方图的阈值分割和基于微分算子的边缘检测技术,高级的分割技术是通过结合某些领域的理论(如数学形态学[8]、统计模式识别、神经网络等理论[9])的分割技术。在图像分割领域,由于分割问题的复杂性,到目前为止还未有一种通用的分割方法。在当下的分割方法中,Otsu[10]是一种自动化的、非参数、无监督的阈值选取方法[11],其算法简单、稳定、高效,因而广泛应用于实践中[12]。虽然Otsu在分割精度上效果很好,但是也存在对噪声和背景敏感[13]、计算量大的缺点,并且对于图像中的缺陷不能有效提取。
本文提出了基于形态学和Otsu的固体火箭发动机三维CT缺陷分割方法。该方法首先将三维体数据进行分层预处理,对每层采用数学形态学的理论去除噪声和无用信息,将固体火箭发动机中心星形内孔从图像中滤除,然后用Otsu阈值分割算法中对CT图像进行二值化,接着通过计算连通区域的面积,将面积最大的固体火箭发动机外环外壳区域去除,提取剩余部分的二维缺陷区域,最后对其进行三维重建并通过3DMed[14]进行体绘制三维可视化。
数学形态学可作为工具从图像中提取表达和描绘区域形状的有用分量,如边界和骨架[15]。其核心思想是用具有一定形态的结构元素去度量和提取图像中的相应形状从而达到对图像分析和识别的目的[16]。数学形态学运算可以在保持图像基本形状特征的前提下,去除不相关的结构,达到简化图像数据的目的。它也可以扩展到对函数的运算,并用于对图像的灰度处理,其原理如下:
定义函数 g(x)为结构函数其对称函数用gs(x)表示,即:
则函数 f(x)是关于 g(x)的灰度膨胀和腐蚀定义,其中,
膨胀
腐蚀:
令 FG1、FG2分别表示函数 f(x)开、闭运算的结果,开、闭运算是由膨胀和腐蚀组合而成的,其定义如下。
开运算:
闭运算:
结合4种基本运算,可以产生一些新的运算,其效果更佳,且能较好地屏蔽图像的背景。
日本学者大津展之首先提出Otsu法(最大类间方差法),也称大津法。Otsu阈值分割算法是根据图像的一维灰度直方图,以图像背景和目标的最大类间方差为阈值选取准则。假设一幅图像 f,其灰度级为 L(0,1,2,3,… ,L -1),图像的像素点总数为N,那么其中, Ni是灰度级为i的像素点数,将其归一化则有:
如果灰度阈值g将图像分为目标类 C0和背景类 C两类。则两类像素出现的概率分别为:
两类像素的灰度均值分别为:
其中,
类间方差:
最佳灰度阈值 g*由式(12)得到:
图像的三维重建是根据输入的断层图像序列,构建出原始结构的三维体数据,并将其数据在计算机上呈现为三维效果。目前,对图像进行三维重建主要有两种方法,即面绘制方法和体绘制方法。体绘制出的三维图像完整地保留了原始图像数据中丰富的信息,可将被检测物体内部的复杂关系表现出来,因此本文主要采用体绘制来进行三维可视化。VTK和ITK是目前国际上知名的可视化与医学影像分割与配准的算法研发平台,但由于各自的局限性、复杂度,影响了其的使用,国内外多个研究机构也开发了基于 ITK和VTK的平台,方便了用户的使用,加快了科研的进程。本文利用中国科学院自动化研究所对开源项目ITK和VTK二次开发的3DMed软件,对重构出的体数据进行体绘制三维可视化。
三维图像分割算法主要包括:
(1) 分层图像分割方法。在二维切片图像内对每层图像单独作处理,不需考虑上下层间的联系对分割处理过程的影响。当三维体数据的所有层切片图像被分割完成后,利用图像层间的连续性组合成三维分割结果的几何模型。该方法简单、精度高且计算量少,但分割过程没有充分考虑图像层间的信息联系。
(2) 三维空间处理方法。利用数学建模建立三维图像分割模型,对三维体数据在三维空间中进行整体分割,但数学建模过程比较复杂,精度低,且计算量大。
可见,对于精度要求较高的固体火箭发动机CT缺陷检测而言,使用分层图像分割方法是一个较好地选择。本文的三维缺陷分割检测方法正是建立在分层图像分割算法的基础上,从三维固体火箭发动机工业 CT图像体数据中分离出三维缺陷区域。本文算法主要由以下步骤组成:首先对三维体数据进行分层图像缺陷检测;其次对提取的二维缺陷序列进行三维重建;最后使用 3DMed进行三维可视化显示。其算法流程图如图1所示。
图1 分割算法流程图
4.1 图像预处理
对实验室采集并重建出的 512×512×512分辨率的三维Raw格式固体火箭发动机模型体数据进行分层处理,该模型上有 4个深浅不一的人工设计缺陷孔洞,将三维体数据按 Z轴分层处理成一组512张512×512大小的二维图像序列。由于固体火箭发动机分层图像存在灰度对比度低、边缘模糊、噪音信息多等特点,缺陷特征可能会被噪声淹没。为降低噪声的影响,对二维图像序列进行3×3模板的均值滤波预处理。
4.2 分层图像缺陷提取
(1) 形态学滤波。图像一般包括3类信息,即:目标信息、背景信息和噪声;其目标信息是需要
提取的信息,而背景信息和噪声均为无用信息,但却影响着对目标信息的提取。固体火箭发动机分层图像按灰度级可以明显分成两部分,目标图像为高灰度级,背景图像为低灰度级。图像虽然经过均值滤波,但仍存在较大噪声,图像的背景和噪声是影响图像分割效果的主要原因,如果能降低甚至消除图像的背景和噪声,图像的分割效果将会改善很多。
由数学形态学原理可知,使用一定大小的结构元素,通过运用顶帽变换能够屏蔽大于此元素尺寸的目标。形态学图像分割就是通过对原始图像运用不同的结构元素进行一系列数学计算,所以,结构元素尺寸大小和形状差异会对分割产生一系列的影响。为此,多次实验选用 5×5的矩形结构算子对图像进行顶帽变换,去除固体火箭发动机中心星形内孔,同时去除图像的背景,增强图像的缺陷部分。图2(a)为一个固体火箭发动机模型工业CT切片图像,图2(b)为对其进行形态学顶帽变换后的图像。
图2 形态学滤波后的图像
(2) Otsu阈值分割。Otsu 算法对整幅图像使用同一个阈值,在图像对比度较高、不受噪声污染时,Otsu算法可以取得比较好地分割效果,如果噪声较大,对比度不高的情况下,其效果不佳。为此,本文对该算法进行了改进,在使用Otsu阈值分割算法前对图像进行了一个顶帽变换。通过对图2(a)和图2(b)分别进行Otsu阈值分割,图3(a)和图3(b)是二者的分割结果,可以发现经过形态学顶帽变换预处理的Otsu阈值分割算法可取得了比较好地分割结果。
经形态学滤波后再进行Otsu阈值分割,所得图像中的缺陷体跟固体火箭发动机外壳被完整地分割出来,分割后的图像无噪声。而直接进行Otsu阈值分割的图像产生明显地分割失败,将缺陷区域跟固体火箭发动机外壳区域连接成一体,并且发动机外壳明显变厚。可见,经过顶帽变换预处理后,Otsu分割算法的准确率大大提高,分割效果良好。
图3 Otsu阈值分割效果对比图
(3) 最大连通区域法。从图 3(b)的二值图像分析可知,图像中只存在固体火箭发动机外壳区域以及缺陷区域,只需要将固体火箭发动机外壳区域消除就可以成功地提取到二维缺陷。在固体火箭发动机经 Otsu二值化后的图像中,发动机外壳所占的面积是最大的。通过计算连通区域的面积,删除最大的连通区域,该方法称为最大连通区域法,通过该方法即可以得到缺陷区域的分割图像。图4是对图3(b)进行最大连通区域处理后的结果。
图4 最大连通区域法提取缺陷图像
4.3 缺陷体三维重建
图像三维重建技术,是通过载入系列图像,获得图像整体数据,并使用三维可视化技术呈现三维效果,方便用户对三维整体数据的理解、分析
等技术。目前,实现图像三维重建通常采用面绘制和体绘制算法。体绘制算法可产生整个三维数据场的整体图像,图像质量高。由于体数据是含有物体的所有三维信息,通过体绘制可以更真实地体现物体的细节,所以本文使用体绘制对图像进行三维重建。
需将缺陷提取后的二维序列图像封装成规则体数据,为三维重建提供基础数据。再使用3DMed软件进行体绘制三维重建,结果如图5所示。
图5 体数据三维可视化效果图
本实验是在Intel Celeron G1610(双核)2.6 GHz CPU、4 G内存的 PC机上进行的,编程环境为Microsoft Visual Studio 2010,编程语言为C++。所用数据为实验室采集并重建的三维Raw格式体数据,分辨率为 512×512×512的含有人工设计缺陷的固体火箭发动机模型三维工业CT图像,该固体火箭发动机模型参数为:工件直径120 mm;钢壁厚2 mm;中间填充高密度的人工炸药,有4个分布不均的小孔,大孔直径3 mm,小孔直径2 mm,孔洞深浅不一。
5.1 算法重要参数性能分析
(1) 形态学结构元素形状及大小。首先,为保持良好的各向同性应选择圆形的结构元素或正方形的结构元素。其次,如果结构元素尺寸过小,无法将大于该尺寸的缺陷检测出来;若结构算子过大,无法将中间星形孔洞完全屏蔽,影响后续的缺陷分割和提取。所以应结合一定的先验知识,设置结构算子尺寸大于需提取的最大缺陷体,小于需要屏蔽的物体最小尺寸。
从图 6可以看出,通过使用不同大小的结构元素对原始图像进行分割,图6(b)使用的结构元素过小,无法将所有的缺陷体检测出来,只测出其中2个较小的缺陷。图6(c)则将4个缺陷体都检测出来,而图6(d)使用的结构元素过大,将固体火箭发动机内部的星形孔洞都检测出来,却未成功屏蔽,将会影响后续的处理。所以结构元素的选取需结合一定的先验知识。
图6 不同结构算子大小处理并分割后效果图
(2) 二值化阈值的选取。图像二值化的效果取决于阈值的正确选取。虽然Otsu算法是一种很好的自动阈值分割算法,但在图像对比度不够高时,不能取得理想地分割效果,所以对图像需先进行形态学处理再二值化是必要的(图3)。在阈值分割前进行形态学处理也可以减弱无用的背景信息,提高Otsu算法的可靠性。
5.2 算法有效性检验
为了验证本文算法的有效性,选取了带有 2个缺陷的固体火箭发动机模型CT图像、有裂纹的汽车轮辐射X线图像及有气孔的汽车轮辋X射线图像,以检验本算法的有效性。
由图 7可见,本算法在对于不同的工业射线图像均可以获得较好地分割效果。
图7 不同层切片及噪声条件下缺陷分割效果图
本文围绕固体火箭发动机的工业 CT无损检测技术需求,提出了一种基于形态学和Otsu的固体火箭发动机CT缺陷三维分割方法,该方法将形态学的方法应用到经典的Otsu算法中,可以较好地将三维图像中的缺陷体提取出来。实验证明,通过对一些工业 CT图像和工业射线图像进行分割,发现本文的算法较适用固体火箭发动机的内部缺陷检测,可进一步推广用于工业X射线检测。最后通过借鉴三维可视化技术,可以直观地看到提取后的三维缺陷体结构,实现从空间角度对固体火箭发动机缺陷进行准确判断和分析,为无损检测提供更加全面和便捷地分析。
当然,本算法也存在一定的局限性,形态学结构算子对图像分割效果的影响较大,如果缺陷体大小与需屏蔽的正常结构体接近,本算法将不能准确地分割。另一方面,目前算法中仅使用常用的均值滤波降低噪声,降噪性能一般,还需进一步改进。
[1] 蔡 虹. 包覆药柱界面粘结质量的无损检测[J]. 上海航天, 2004, (3): 52-55.
[2] 白 杨. 固体火箭发动机药柱超声检测缺陷特征提取与神经网络识别研究[D]. 太原: 中北大学, 2009.
[3] 于光辉, 卢洪义, 朱 敏, 等. 基于标准固体火箭发动机CT结构图像配比的缺陷自动提取方法[J]. 固体火箭技术, 2012, 35(3): 423-426.
[4] 朱 敏, 卢洪义, 李海燕. 固体火箭发动机三维可视化无损检测系统设计[J]. 兵工学报, 2008, 29(7): 891-896.
[5] 叶 峰. 医学图像体数据分割及其可视化的研究[D].苏州: 苏州大学, 2008.
[6] 周术诚, 周明全, 耿国华. 基于小波变换的自适应阈值三维图像分割[J]. 计算机应用与软件, 2006, 23(10): 20-22.
[7] 刘永强, 王卫星. 基于小波分析的图像分割技术[J].计算机科学, 2009, 36(4A): 302-305.
[8] Sezgin M, Sankur B. Survey over image thresholding techniques and quantitative performance evaluation [J]. Journal of Electronic Imaging, 2004, 13(1): 146-168.
[9] Soile P, Vogt P. Morphological segmentation of binary patterns [J]. Pattern Recognition Letters, 2008, 30(4): 456-459.
[10] Otsu N. A threshold selection method from gray-level histograms [J]. IEEE Transactions on Systems, Man and Cybernetics, 1979, 9(1): 62-66.
[11] 陈少平. 基于机器视觉的零件表面缺陷检测[D]. 南昌: 南昌航空大学, 2011.
[12] 张桂梅, 陈少平, 储 珺. 基于形态学和小波变换的Otsu提取缺陷[J]. 半导体光电, 2011, 32(4): 593-597.
[13] 申铉京, 龙建武, 陈海鹏, 等. 三维直方图重建和降维的 Otsu阈值分割算法[J]. 电子学报, 2011, 39(5): 1108-1114.
[14] 田 捷, 代晓倩, 杨 飞. 医学成像与医学图像处理教程[M]. 北京: 清华大学出版社, 2013.
[15] 郭 洪, 张清志. 增强图像细节和去噪能力的改进形态学分水岭算法[J]. 图学学报, 2013, 34(3): 7-11.
[16] Zhang Maoqiang, Guo Qiang, Yang Xingqiang. Tire defect detection on impurities [J]. Computer-Aided Drafting, Design and Manufacturing, 2014, 24(1): 32-35.
3D CT Defects Segmentation of Solid Rocket Motor Based on the Morphology and Otsu
Chen Peixing1,2, Wang Mingquan1,2, Li Shihu1,2, Hou Huiling1,2, Wang Yu1,2
(1. Key Laboratory of Instrumentation Science & Dynamic Measurement, North University of China, Taiyuan Shanxi 030051, China; 2. School of Information and Communication Engineering, North University of China, Taiyuan Shanxi 030051, China)
In order to accurately judge the nature of the defect on solid rocket motor and the possible damage to the engine, it is needed to observe and analyze problems in the three dimensional space. However, the defects is usually determined by observing the two-dimensional slice CT image sequences and judging by subjective analysis of two-dimensional images in traditional defect analysis, and it requires abundant experience of the user. In order to analyze the defect structure more accurately and stereoscopically, the solid rocket motor industrial CT 3D volume data is used to extract defects by using of the combination of morphological and Otsu threshold segmentation method to segment. The 3D volume data of the defect structure is reconstructed herein. Finally, 3D visualization tools are used to display the volume data. The experiment results indicate that this method is effective and accurate to segment and extract the solid rocket motor 3D CT image defects, and it has pretty strong robustness.
solid rocket motor; 3D image segmentation; defect extraction; morphological filtering; 3D rebuilding
TP 391
A
2095-302X(2015)04-0581-06
2014-11-11;定稿日期:2015-03-09
国家自然科学基金资助项目(61171177);山西省青年科技研究基金资助项目(2012021011-1)
陈培兴(1991–),男,福建福安人,硕士研究生。主要研究方向为信号与信息处理。E-mail:ben0593@163.com