基于结构张量特征的机体损伤区域动态划分

师利中

中国民航大学 航空工程学院，天津 300300

随着飞机智能维修技术的发展，模型重构技术为飞机结构的损伤分析与修复设计提供了新的解决途径。而损伤区域的划分为结构损伤模型的重构提供了关键的数据基础。飞机常见的结构损伤图像存在色度变化、明暗区别、纹理差异等显著特点，为损伤区域划分提供了充分的特征依据。然而，传统图像分割中特征表示的单一性[1]不能充分利用结构损伤图像的多样化特征，成为影响损伤区域划分效率和精确性的重要因素。结构张量理论以其完备的信息表示方式能够区分不同结构特点区域[2]，成为一种新的图像分割方法。

近年来针对基于结构张量理论的图像分割的研究不断深入，结构张量理论以其完备的信息表示成为一种新的图像分割方法。20世纪90年代，结构张量开始应用于描述图像纹理的研究中，可通过其基本特性的分析，确定图像边界、拐角、纹理等重要信息。多种基于结构张量的图像分割方法也随之提出。谢晓振和吴纪桃[3]利用扩展的结构张量，使一幅图像生成多个特征通道，从而提取更多的纹理特征。Ge等[4]提出了基于区域主动轮廓模型的图像分割，利用结构张量的各向异性扩散过程，定义了正则化项，以提高识别几何特征角点的能力。张善卿和张坤龙[5]提出了一种基于结构张量特征值的标量型纹理特征描述。Yin等[6]提出了基于图像结构张量的多区域图像分割方法。Yuan等[7]利用结构张量表示纹理特征，依据局部谱直方图有效分割纹理图像。Mewada等[8]将线性结构张量与Chan-Vese模型相融合实现了预防边界错位的纹理分割。李梦[9]基于水平集方法和结构张量，提出几何活动轮廓模型，并应用于图像分割中，解决水平集方法轮廓初始化和弱边缘处易于边缘泄露问题。Han等[10]通过多尺度非线性结构张量设计实现纹理特征描述，进而实现了基于相似约束的颜色纹理分割。Zhang等[11]定义非线性结构紧凑张量使用GrabCut方法进行分割，实现了纹理信息和颜色信息的非参数融合。Xu等[12]利用传统的多尺度结构张量，提出了基于GrabCut的交互式纹理分割方法。杨勇等[13]将多尺度特征进行融合，定义能量函数，提出多类无监督彩色纹理图像分割方法。在应用方面，基于结构张量的图像分割己表现出良好的应用前景。Zhang等[14]将结构张量应用于大尺寸低质量的生物细胞医学图像的几何信息提取中。Wang等[15]利用结构张量提取干涉条纹特征，实现测量齿轮齿面的形状偏差。Nergiz和Akin[16]将结构张量与Frangi滤波相结合应用于视网膜图像的血管分割。

然而，基于结构张量的图像分割方法在机体损伤区域划分的应用中仍存在不适应性。飞机结构损伤有一定的作用范围，损伤邻接区域的形貌存在不同程度的改变[17]，使得图像产生噪声混淆，严重影响损伤区域划分的精确性。同时，由于结构损伤的多样性，不同损伤图像个体差异大，基于结构张量的各种损伤划分方法的适用性均受较大影响，兼之损伤邻接区域的不确定性，损伤划分模式难以统一，使模型重构技术的智能化程度显著降低。

本文通过引入结构张量特征表示，以获取颜色结构纹理等局部完备特征信息；形成结构张量特征空间，将多样化飞机损伤图像的划分转化为相似分布的特征空间的划分，实现多样化损伤区域划分流程的一致性；通过定义动态阈值分割算子，根据实际结构损伤及邻接区域特点，实现动态阈值的损伤划分，降低损伤临界区域的影响，实现损伤区域完整高效的划分。

1 基于结构张量的特征表示

设损伤图像大小为M×N，其中任意像素点P坐标为x,y，对应特征值为Ix,y，相邻区域为R(P∈R)，则邻域R内像素点P的结构张量Tp定义为

(1)

式中：GRx,y为像素点Px,y基于邻域R方差为σ的高斯核函数，是以像素点P为中心的邻域R的平均算子。

(2)

Dp表示邻域R中像素点P的梯度向量，点P的梯度算子Dp为

(3)

式中：Ix(p)和Iy(p)为像素点P在x和y方向上的偏导数。

将式(3)代入式(1)，可得到

(4)

(5)

λk(k=1, 2)反映损伤图像某一方向上的特征变化程度。

通过损伤图像的结构张量特征表示不仅能够描述像素点的灰度信息，同时涵盖了其周围重叠邻域的结构信息及纹理信息，丰富了损伤图像的特征表示，使用于损伤区域划分的特征信息更加充分完备。

2 动态阈值损伤区域划分方法

传统基于图像特征的分割方法通常假定基于颜色特征或纹理特征的划分结果是全局一致的，这使得划分阈值为固定数值[18]。然而实际应用中，飞机结构损伤图像特征分布并不均匀，划分目标和背景的特征区分并不显著，采用固定阈值的全局一致性约束划分结果不尽理想。

动态阈值划分针对存在信噪比低、光照不均、阴影干扰等复杂图像[19]，以其特征分布特点为依据，不同特征区域计算不同阈值进行图像划分。然而在飞机结构损伤划分的实际应用中，由于结构损伤图像的多样性使得特征区域划分的复杂性增加，划分模式难以统一。

因此，在结构张量表示图像特征的基础上，建立λ1-λ2特征空间，以结构张量特征分布的共性，将多样化损伤区域的划分转换成对于特征分布的划分，并引入动态阈值划分思想，定义动态阈值划分算子，通过计算生成划分算子参数，从而实现损伤区域的动态阈值分割。

2.1 动态阈值划分算子定义

结构张量特征值表示了图像在某一方向上灰度、结构、纹理等信息的特征变化程度[20]。可以此为依据，建立λ1-λ2特征空间，以表示图像的特征信息。由于图像中特征变化较小的点，对应特征值取值为零，集中分布于原点附近区域。因此对于任意图像，可表示为λ1-λ2空间中，原点附近区域密集分布，并向外发散分布的特征散点图。

在固定阈值下，结构张量特征值λ1、λ2的分割阈值为固定数值，单独计算，不考虑两者的关联，如图1(a)所示。对应划分算子为

(6)

式中:w1、w2为动态阈值划分算子参数。

动态阈值分割将依据图像特征分布特点，考虑特征关联关系，定义划分算子。

1) 最大斜率算子

在λ1-λ2特征空间中，计算原点到特征点的最大斜率kmax=maxλ2/λ1，定义最大斜率特征点的法线方程为动态阈值分割最大斜率算子，如图1(b)所示。对应划分算子为

(7)

2) 对角线法线算子

在λ1-λ2特征空间中，计算特征点的最大斜率，以该点与坐标轴形成夹角α的对角线为基准，定义该对角线的法线方程为动态阈值分割最大斜率算子，如图1(c)所示。对应划分算子为

(8)

3) 椭圆算子

在λ1-λ2特征空间中，以原点为中心，定义椭圆方程为动态阈值分割最大斜率算子，如图1(d)所示。对应划分算子为

图1 动态阈值划分算子Fig.1 Dynamic threshold division operator

(9)

2.2 基于结构张量特征的动态阈值划分方法

基于结构张量特征的动态阈值区域划分方法具体流程如图2所示。该方法输入的图像需预先去除图像采集过程中引入的噪声。

1) 确定邻域

确定像素点P邻域R的大小，表示为R=m×n，其中P∈R。以此为依据补齐损伤图像后，图像大小为M+m×N+n。

图2 动态阈值区域划分方法流程Fig.2 Process of dynamic threshold region division method

2) 计算特征偏导数

遍历图像，依据像素点pij特征值Ii,j，利用式(3)计算特征偏导数。为简化运算，可利用有限差分法进行离散。

(10)

(11)

3) 计算结构张量特征值

利用式(4)和式(5)计算结构张量Tp特征值λ1和λ2，λ1表示x方向上的特征变化程度，λ2表示y方向上的特征变化程度。

4) 分析结构张量特征值频数分布

5) 计算动态阈值划分算子参数

对于结构损伤图像，由结构张量特征值频数分布可知，结构张量特征值接近于0的区域频数值较高，表示损伤图像中特征变化较小区域面积相对较大；随着结构张量特征值增大，对应频数分布值显著变小。

选取分组频数分布中的首个拐点所对应的特征值，为该结构张量特征的动态阈值划分算子参数。

对于结构张量特征值λk，遍历其所有特征频数分组，若分组sk满足：∀10，且f″(sk)<0，则mink对应的分组sk值域上限为该结构张量特征值λk的动态阈值划分算子参数wk。

6) 图像划分

依据式(6)～式(9)，代入参数，生成动态阈值划分算子，对图像进行分割。

3 方法验证与结果分析

为了验证基于结构张量特征的动态阈值损伤区域划分方法，选取蒙皮表面剥层腐蚀图像、蒙皮表面补片裂纹图像、漆层破碎损伤图像、螺钉锈蚀脱漆图像、机翼前缘鸟击损伤图像、机翼后缘面板断裂图像、整流锥脱蜡图像、机体表面裂纹图像等为实例，如图3所示。依据算法计算得到的像素结构张量特征值，生成动态阈值划分算子，实现对飞机结构图像损伤区域的划分。

首先采用传统灰度方法，为本文方法作对比验证。各实例选用了灰度熵法划分损伤结果，如图4所示，计算结果如表1所示。

通过对比验证结果可以看出，传统灰度方法运算速度较快，均能够在毫秒级时间范围内完成运算过程。然而对于损伤区域的划分效果不尽理想。

从实例的划分结果可以看出，实例a原始图像损伤区域边界较为清晰，损伤邻接区域面积小、形貌改变微小，而划分结果图像中邻接区域面积过大。实例b原始图像损伤邻接区域的形貌有显著的改变，且邻接区域面积较大，损伤划分仅依据灰度值，无法区分邻接区域的噪声，划分效果较差。实例c损伤有很多紧密闭合裂纹，使得损伤区域有大量损伤细节信息，划分后细节信息基本保留，出现少量非损伤区域信息。实例d原始图像损伤区域边界清晰，但损伤邻接区域的颜色变化复杂，划分后出现大面积非损伤区域信息。实例e原始图像损伤形式复杂，含有镂空损伤结构，划分后无法准确表示损伤结构，并引入大量非损伤区域信息。实例f原始图像存在轻微明暗变化，严重影响了损伤划分结果。实例g原始图像色彩跨度较大，划分结果包含了大量颜色相近的非损伤区域信息。实例h原始图像损伤区域清晰，损伤邻接区域小，但划分后仍存在大量非损伤区域。

图3 机体损伤图像Fig.3 Airframe damage images

综上可知，仅考虑灰度的传统方法在飞机结构损伤区域划分中存在显著缺陷，且不同的损伤图像其划分效果差异较大。

下面对本文提出的基于结构张量特征的机体损伤区域动态阈值划分方法方法进行验证。首先根据式(10)、式(11)和式(4)、式(5)计算损伤图像实例的结构张量特征值λ1、λ2，其λ1-λ2特征空间如图5所示。

由损伤图像实例的λ1-λ2特征空间可以看出，不同损伤图像生成的特征分布具有共性。特征点在原点处聚集，向外发散分布，并存在明显的斜率边界。

图4 基于灰度熵的损伤区域划分结果Fig.4 Results of damage region division based on gray entropy

表1 基于灰度熵的损伤区域划分计算结果

通过结构张量特征值计算，将不同的飞机结构损伤图像转化成了具有相似分布特点的λ1-λ2特征空间，将对图像中损伤区域的划分转换成对特征空间的划分，使得不同损伤图像的划分流程具有一致性，有效提升了方法的适用性。

图5 λ1-λ2特征空间Fig.5 λ1-λ2 feature space

对结构张量特征值频数分布进行分析可知，对于不同损伤图像，其任一特征值频数分布均具有单调递减特性。

在损伤图像实例的结构张量λ1-λ2特征空间中，结构张量特征值接近于原点的特征点较多，因此，损伤图像实例特征值频数分布图中，对应分组频数值较大。λ1-λ2特征空间中，随着结构张量特征值增大，特征点发散分布，因而对应分组频数分布值显著变小。

由结构张量特征值的频数分布，计算动态阈值划分算子参数，结果如表2所示。

依据动态阈值划分算子参数，生成动态阈值划分算子，对损伤图像实例的λ1-λ2特征空间进行划分，从而实现损伤区域划分，结果如图6～图13所示。

基于结构张量特征的动态阈值损伤区域划分方法运算速度较快，不同算子均能够在毫秒级时间范围内完成运算过程。

对于实例a，在动态阈值区域划分过程中，椭圆算子可获取精确损伤区域，边界完整，噪点较少，与传统灰度方法相比(如图4(a)所示)，细化了损伤邻接区域的划分；最大斜率算子提取的损伤区域，由于最大斜率的影响，删除了部分x方向结构张量特征值大于固定阈值的点，结果图像中可明显看到x方向上变化显著的点出现明显缺失，造成损伤区域过分割；对于对角线法线算子，由于对角线斜率的降低，损伤区域划分时，删除了部分x方向和y方向结构张量特征值大于固定阈值的点，从损伤区域划分结果图像来看，存在严重信息丢失；固定阈值分割对于λ1-λ2特征空间中不同区域的特征分布，采用相同阈值，使得x方向和y方向大量变化显著的点被删除，无法实现损伤区域划分。

表2 动态阈值划分算子参数Table 2 Parameters of dynamic threshold division operator

图6 实例a损伤区域划分结果Fig.6 Results of damage region division of instance a

图7 实例b损伤区域划分结果Fig.7 Results of damage region division of instance b

对于实例b，椭圆算子可获取损伤区域，但由于原始图像损伤邻接区域的形貌有显著的改变，且邻接区域面积较大，划分结果图像出现噪点，后续可通过去噪算法处理，与传统灰度方法相比(如图4(b)所示)，划分的损伤区域更加清晰；最大斜率算子可减少损伤邻接区域引入的噪点，但是以损伤区域边界的完整性为代价；由于动态阈值划分算子参数w2值较小，使得对角线法线算子所形成的分割区域较小，损伤区域的划分结果包含了大量的背景信息，无法完成损伤区域划分。

对于实例c，椭圆算子可获取完整损伤区域，其中包含损伤周边微裂纹的细节信息，去除了传统灰度方法(如图4(c)所示)中出现的少量非损伤区域信息；最大斜率算子由于对结构张量特征值λ1的过分割，使图像在x方向存在明显信息丢失，使得损伤边界不完整；对角线法线算子删除了部分x方向和y方向变化显著的点，结果图像明显看出其信息缺失严重。

图8 实例c损伤区域划分结果Fig.8 Results of damage region division of instance c

图9 实例d损伤区域划分结果Fig.9 Results of damage region division of instance d

对于实例d，椭圆算子可获取完整损伤区域，但由于损伤邻接区域颜色变化复杂，有明显噪声，后续需去噪算法处理，去除了传统灰度方法(如图4(d)所示)中存在的大面积非损伤区域信息；最大斜率算子和对角线法线算子删除特征点过多，无法完成损伤区域划分。

对于实例e，椭圆算子未受到复杂损伤形式的影响，完整划分含有镂空结构的损伤，去除了传统灰度方法(如图4(e)所示)中引入的大量非损伤区域信息；最大斜率算子和对角线法线算子删除特征点过多，无法完成损伤区域划分。

图10 实例e损伤区域划分结果Fig.10 Results of damage region division of instance e

图11 实例f损伤区域划分结果Fig.11 Results of damage region division of instance f

图12 实例g损伤区域划分结果Fig.12 Results of damage region division of instance g

图13 实例h损伤区域划分结果Fig.13 Results of damage region division of instance h

对于实例f，椭圆算子可获取裂纹损伤区域信息，未受到图像明暗变化的影响，与传统灰度方法相比(如图4(f)所示)，划分的损伤区域更加清晰完整；最大斜率算子和对角线法线算子删除特征点过多，无法完成损伤区域划分。

对于实例g，椭圆算子可根据纹理信息区分颜色相近的非损伤区域信息，获取完整损伤区域，但由于结构外观涂装影响，引入若干弧线，需对其进行判别，与传统灰度方法相比(如图4(g)所示)，划分的损伤区域及其边界更加清晰完整；最大斜率算子和对角线法线算子删除特征点过多，无法完成损伤区域划分。

对于实例h，可获取精确损伤区域，边界完整，噪点较少，与传统灰度方法相比(如图4(h)所示)，细化了损伤邻接区域的划分，消除了非损伤区域信息；最大斜率算子和对角线法线算子删除特征点过多，无法完成损伤区域划分。

4 结 论

1) 运算速度方面，本文方法能够在毫秒级时间范围内完成运算过程，时间复杂度较低。

2) 划分区域质量方面，通过对传统灰度方法和不同算子划分结果的对比可以看出，采用椭圆算子的动态阈值区域划分方法得到的损伤边界连贯完整，能够有效分割微小裂纹，噪点较少；对于形貌改变显著的大面积邻接区域会出现噪点影响，但整体效果优于传统灰度方法、固定阈值划分和其他动态阈值划分算子。

3) 通过结构张量特征值计算，将不同的飞机结构损伤图像转化成了具有相同分布特点的特征空间，使得不同损伤图像的划分流程具有一致性。

因此，本文提出的基于结构张量特征的动态阈值损伤区域划分方法能够快速有效地实现机体损伤区域的划分，为飞机结构损伤模型重构、飞机结构损伤分析与修复设计提供了数据基础和技术支持。