张杨 刘裕如 赵桐 万志帅 席立 肖登宝 邢悦 卢江仁 王晓晖
(1 北京理工大学,北京 100081;2 国防科技创新研究院 北京 100071;3 火箭军工程大学,西安 710025;4北京强度环境研究所,北京 100076)
近几十年,国内外诸多学者针对复合材料热结构力学性能,特别是在预报复合材料的服役强度领域开展了许多工作。在这些研究中,针对复合材料破坏过程不明晰的缺陷,较多的局部细观力学模型被提出,如损伤力学、应力传递和界面力学等。由于连续碳纤维复合材料力学性能主要受纤维、基体、界面等组分的力学特性、细观结构、载荷形式、 材料内部存在的孔隙缺陷等因素的影响,其破坏过程同时会存在纤维断裂、基体开裂、界面脱粘等多种不同失效模式,这些复杂的失效机理给复合材料的强度评估带来了很大困难[1-2]。这其中孔隙缺陷会对复合材料力学性能产生较为显著的影响,如会影响受载时的损伤萌生、演化以及微裂纹的扩展,进而影响到复合材料宏观力学性能。在评估复合材料力学性能时,如果未考虑孔隙缺陷会过高的估计复合材料力学性能,从而对结构件的安全服役产生极为不利的影响。因此开展复合材料孔隙缺陷研究,能够为复合材料结构的极限承载力预报提供重要的参考[3-4]。
Kardos 应用经典成核理论对复合材料成型过程中的某些孔隙缺陷形成机理进行了解释[4],孙磊等[6]、冯炎建[7]等利用红外热成像、X 射线照相和工业CT 等对C/SiC 试样进行无损检测,从原位微观的角度分析了预制体、沉积基体以及残留孔隙的结构特征。杨志贤[8]等采用random 函数随机分布基体内部孔隙,张兆杭[9]等采用三维随机碰撞算法建立了含较大随机孔隙的C/C-SiC 复合材料的有限元模型。张怀[10]等在微观尺度微观模型的基体中引入孔隙单元研究了孔隙缺陷对编织复合材料多尺度力学性能的影响规律。王佳伟[11]等综述了孔隙对纤维增强陶瓷基复合材料的影响。以上这些研究都是对制造缺陷形貌进行表征以及等效处理,其大多依赖统计数据,缺乏对几何特征最直接的表征指标。现有采用椭球体或多面体的等效方法忽略了缺陷的轮廓特征,无法反映真实的空间特征,这些也导致缺陷对复合材料力学性能影响的机理研究不全面。
使用深度学习的方式对图片进行目标区域的识别并进行自动划分拥有较高的效率。在图像分割领域2015 年Ronneberger[12]等提出了基于编码器解码器的Unet 图像分割网络,充分利用了底层信息和高层信息,图像分割效果得到了巨大提升。Unet 网络表现优越的原因是因为医学图像组成往往比较简单,为单通道图像的分割,网络简洁的特征提取方法可以更好的读取图像中的语义信息。Shen[13]等针对皮肤血管提出了多尺度的三分支的图像分割框架,该框架可以使用有标记的数据和未标记的数据共同提升网络的分割性能。该类方法为快速识别图像中目标区域提供了新的思路。
因此,针对当前研究工作对缺陷孔洞的几何形貌多是定性分析,缺乏定量研究等问题,本文开展热结构内部制造缺陷形貌定量分析,对复合材料的制备工艺与服役性能研究提供数据指导。
复合材料结构内部缺陷识别方法较多,基于CT 图像的缺陷识别与分割方法已经得到广泛应用,该技术可以分为两步:1) 运用Avizo 等商业软件对工业CT 图片进行图像分割,核心算法如阈值分割、边缘检测、区域生长等,通过将需要提取的可能缺陷区域从背景图像中分割出来,并选取边界闭合的区域作为可能是缺陷的候选区域;2) 对候选区域进行识别,利用缺陷自身形状、灰度及 Hu不变矩的内在特征,通过操作人员自身经验设置分割参数,将细观缺陷识别出来,操作者个人经验决定了缺陷识别的准确率。
对于热结构复合材料而言,受限于设备扫描的精确度、分辨率等参数,获得的CT 图像灰度值分布并不均匀,在对CT 断层图像进行分析、重建时极其依赖于扫描获得图像的清晰度。CT 的分辨率通常较低同时图片中含有大量噪声。采用传统阈值分割的方法进行图像分割以及三维重建时不仅分割效果差,而且需要大量的人工操作对阈值分割时产生的空洞、毛边以及粘连进行手动调整,费时费力。本文以航天材料及工艺研究所提供的C/Si 复合材料热结进行研究,图1 是基体材料的孔隙缺陷分布CT 图像。
图1 典型热结构CT 图像及其基体材料的孔隙缺陷分布Fig. 1 The CT images and distribution of pore defects of thermal structure
近年来在图像分割领域,基于机器学习的分割方法具有明显优势,得到快速发展,比如国内外常用的U-net 深度学习模型,本文针对复合材料内部缺陷特征,发展了一种新的CT 图像机器学习分割模型。
在数字图像处理领域中,使用深度学习方法并利用卷积核在图像中移动提取特征的特性可以学习图片中的隐藏信息,通过设计合理的深度学习框架可以输出经过分割的图片,从而达到对目标和背景进行区分的目的。这种分割方法与传统的图像阈值分割技术相比节省了大量人力,尤其在医学与工业CT 等专业领域,对这些图片进行图像分割往往需要由专业的医师或工程师来进行区分,无法广泛的应用于实际生活中;但通过与深度学习方法进行结合就可以保存网络学习的模型参数,若需对大量图片进行分割只需要重新调用相关参数就可以实现快速准确的图像识别。
卷积神经网络本质则是利用卷积核局部感知的特点,学习微小局部特征,建立输入与输出的映射,通过总结样本,最终使得网络能够根据输入预测输出,主要包含卷积层、池化层、全连接层三种结构,为了让网络具有非线性的学习能力还要使用激活函数。
热结构CT 图像的通道数一般为单通道,单通道的卷积过程如图2(a)所示,使用的卷积核大小为3×3,stride 设置为1,不进行0 填充。图2(b)显示了最大池化的方法过程。图2(c)显示了全连接层的基本结构,在输入层、隐藏层、输出层中的每一个节点也都使用激活函数用来改善网络的非线性拟合能力。对于复合材料,多相组分造成CT 图像更为复杂。为此,本文将多尺度图像分割框架与注意力机制进行结合用来解决CT图像中小孔以及连通区域的图像分割,使用PyTorch 进行深度学习框架的搭建,该框架可分为图像分割模块、图像重建模块、判别器以及注意力机制通道。
图2 深度学习网络Fig.2 Deep learning network
图3 细观缺陷分割效果Fig.3 Image segmentation of microscopic defects
图4 热结构孔隙缺陷分形维数计算结果Fig.4 Fractal dimension of total pore defects in single CT slice
图5 典型孔隙缺陷形貌与分形维数结果Fig. 5 Typical pore defect morphology and its fractal dimension results
图像分割模块:主要作用是对图像进行基本的特征提取并进行初步分割,网络架构通过使用三个编码器解码器模块来输入三个尺度的图像信息,其中尺度较低的两个输入是通过对原图进行两次下采样分别输入的。针对热结构CT 图像信息单一的特点,编码器中使用的通道数依次上升,其分别为8、16、36、64,并在每一层中都添加BN 层来对数据进行归一化处理,BN 层的主要作用即是将每一层卷积层的输入进行归一化处理,这种归一化处理可以避免由于某些数据分布发生改变而导致网络泛化能力降低。在本文中所有的模块均采用LeakyReLU作为神经网络的激活函数。LeakyReLU函数如式(1)所示
α 为超参数设置为0.2,使用LeakyReLU 作为神经网络的激活函数可以防止当输入小于0 时导致零梯度问题,零梯度会使网络无法正常更新权重从而失去学习能力。
注意力机制模块:针对CT 图像中可能会出现大量小孔以及连通区域,本文主要将attention-unet中的注意力机制融合进入原始多尺度三分支框架,为计算过程中网络特征图的像素做加权处理,使得网络能够学习到图像中需要被重点观察到的对象,通过对区域赋予较大的权重可以帮助网络快速的定位目标并提高整个模型的表示能力。
图像重建模块:在训练的过程中需要将该合成图与原始图片进行比较训练,其目的则是获取更接近原图的合成图,同时该预测原图还代表了图像分割模块的预测能力以及图像重建模块重建能力,两种信息的结合可以更好的帮助网络学习图像中存在的其他不容易被注意到的信息。
判别器:包含了四个卷积层以及全连接网络用于判断真假,其输入则为标签图与真实原图,同时还输入了预测图以及合成图,其主要的判断目的则是将标签图与真实原图经过最后一层网络后获得输出为1,即判断为真,将预测图以及合成图最后一层网络的输出为0,即判断为假。利用这种方式可以更好的训练图像分割模块与图像重建模块。
在CT图像中选择水平面的断层图像作为导出平面并按照坐标信息从0 开始命名,用以方便后续三维重建。通过切分数据集的方式来增加训练的数据量,切分后的数据量由原来的188 张图片扩充为752 张图片,选择其中617 张图片训练集为,验证集为75 张。所有图片的标注均在专业人士的指导下进行,在Labelme 中进行划分。为了获取高精度的CT 图像分割结果,本文使用了类似于原始多尺度三分支图像分割框架的训练方式,整个训练过程包含了两个阶段,分别是分割模块的预训练阶段以及判别器和分割模块交替进行的训练方式。由于我们拥有更多的标记数据,在训练方式上与原始方法的主要区别即在交替训练阶段使用的无标签图像其实是有标签的,因此,这部分图片也可以计算损失函数从而提高网络分割的精度。本文使用以下5种常用的评价指标对分割后的图像进行评估,分别为PAC、REC、PRE、Dice、IoU。PAC 代表了模型通过预测后与标签图相比分类正确的像素点占整张图像的比例;REC 为标签图的真值下正确分类所占的比例;PRE 表示输出的分割图中正确分类的比例;Dice 表示分割图与标签之间的交集占所有图像像素的比例;IoU 表示在整体目标区域中正确分类的集合占原图与标签图像并集的比例。
模型训练的Batch size 选择为4,采用动态学习率调整方法来不断减少学习率。训练结束后对图像分割效果进行评价,对比了使用DeepLabV3、商用软件阈值分割的结果,如下表1 所示。根据指标显示本文使用的方法在识别C/SiC 在不规则缺陷图像方面有较高的精度,相比于DeepLabV3 平均提升量为4.12%,相比于商业软件Aviso 直接使用阈值分割方法的平均提升量为31.45%。
表1 热结构CT 图像分割对比Table 1 Comparison of segmentation accuracy for CT image
在热结构CT 图像的孔状缺陷分割结果显示,本文方法在面对细小微孔颗粒处有较好的识别精度,同时连通缺陷的分割结果则显示了本文的方法在面对两块有细小连通趋势区域的地方可以准确识别出中间的细小空隙,但在其他深度学习模型中却往往会将其识别为连通的区域。与商用软件直接阈值处理结果相比,能够识别到更完整的更容易影响材料性能的缺陷。商用软件的直接阈值分割则通常由于灰度不均匀而产生大量错误识别以及缺陷区域选取的遗漏。因此使用本文的方法与传统阈值分割方法进行对比,精度更高。
当前国内外主要是对内部孔隙缺陷图像进行统计分析,假定孔隙为圆形或者椭圆形。然而已有许多研究表明孔隙并非简单的圆形,而是存在类似裂缝等长条状的空间分布。为此,本文提出采用分形维数的数学方法来表征孔隙的细观尺度分布。
分形维数能够评价复杂形体占有空间的有效性,它是复杂形体不规则性的量度。数值越大,分形图像的复杂程度就越高。欧几里德几何中直线或曲线是1 维,平面或球面是2 维。然而对于分形如海岸线、自相似曲线等的复杂性无法用维数等于1、2、3 的数值来描述,热结构内部缺陷的细观形貌在不同尺度下也是不相同的。本文选用 Box Counting 方法定义的计盒维数如下
式中,ε是小立方体一边的长度,N(ε)是用此小立方体覆盖被测形体所得的数目。维数公式意味着通过用边长为ε的小立方体覆盖被测形体来确定形体的维数[14]。
对CT 分割图像提取单个缺陷,分别计算分形维数,共获取28 种高度切片、308 组不同形貌缺陷的数据。任意选取一张孔隙缺陷的分割图片如下图所示,孔隙缺陷的分形维数为1.545,并非整数,这表明基于CT切片得到的孔隙缺陷空间形态是介于一维与二维。
根据单个缺陷的分形维数D 计算结果、统计占比百分数、形貌典型特征,可以将其分为三类:狭长主枝型,D<1.6,维数低至1.3;主枝+分枝型,1.6≤D<1.7,维数中等偏上居多;随机弯曲型,1.7≤D<1.9,维数上限不超过1.9。
图6为任选一张CT 切片的计算结果,可以看到分形维数在1.5-1.6 之间的缺陷居多,分形维数1.8 以上缺陷很少,说明缺陷形貌以狭长形状为主,圆形或者椭圆形很少。另外基体孔隙缺陷也并非完全是长条状,而是存在部分分枝状。
图6 单张CT 切片孔隙缺陷形貌与分形维数结果Fig.6 Each pore defect morphology and its fractal dimensions in single CT slice
任意选取5 种不同高度的CT 切片(垂直于纤维方向),计算孔隙的分形维度。图7a) 可以分形维数的数值差异明显。图7b) 为这些切片分割得到的孔隙形貌,狭长形状居多。已有研究多是统计孔隙的空间占比,并未考虑细观几何形貌特征,并据此进行复合材料单胞的等效刚度与强度计算。多数结果表明[9]考虑孔隙缺陷的复合材料刚度下降不明显,而强度与孔隙占比关联明显。本文工作进一步表明孔隙的空间形态并不是传统默认的圆型或椭圆型,其对强度计算结果的影响需要进一步深入研究。
图7 多个CT 切片的孔隙缺陷形貌与分形维数Fig. 7 Pore defect morphologies and fractal dimensions of CT slices
图8和表2 给出了208 组CT 切片中孔隙缺陷的分形维数分布数据。可以看到,沿高度方向计算分形维度,发现1.5-1.6 之间的狭长形状缺陷较多,占比34.69%。分形维数大于1.8 与小于1.4 的占比都很小。
表2 孔隙缺陷分形维数占比分布Table 2 Percentage distribution of fractal dimension in total pore defects
图8 沿着样件高度方向的孔隙缺陷分形维数结果Fig. 8 Fractal dimensions of pore defects along the height direction
由此说明,采用圆形假设等效描述缺陷形貌并不完全符合其真实的空间形态,在研究需要重点分析维数1.5-1.6 之间的孔隙缺陷影响机理。
热结构制备过程中引入的各种细观尺度制造缺陷对其服役性能产生不可忽视的影响,准确识别与定量描述这些缺陷的几何形貌对于预报力学性能有重要意义。本文基于深度学习图像分割方法,建立了含有注意力机制的多尺度三分支图像分割框架,成功识别复杂的细观缺陷。将CT 断层图片按照扫描间隔进行图像重建可以还原实际三维缺陷几何形貌,并通过分形维数参量对CT 切片图像中几何形貌进行了定量评价,结果表明,分形维数在1.5~1.6之间的狭长形状缺陷较多,占比34.69%,分形维数大于1.8 与小于1.4 的占比都很小,这些缺陷对复合材料强度计算结果的影响需要进一步深入研究。