基于半监督学习的航空导线切断标识图像识别

金莹莹， 唐健钧， 叶 波， 蒋 伟， 章 文

(航空工业成都飞机工业(集团)有限责任公司，四川 成都 610092)

线束是飞机神经系统的重要组成部分，贯穿于飞机各个重要系统部件，为各系统传输配电信号(如飞控、发动机、起落架、航电等重要系统的信号)。现如今，为了满足飞行器强大的功能，航空线束往往主干庞大，分支较多，其布线集束过程也是错综复杂。随着智能制造的发展，自动布线机成为航空线束制造的大趋势。然而，在航空线束自动布线过程中，用于集束的导线种类繁多且布线路径复杂，如何在自动布线过程中根据布线图及布线规则精准定位某一牌号导线的布线长度是必须要解决的关键问题。

常见解决方法是集成计米器来确定布线过程中某牌号导线的长度。由于被测导线包裹材质(橡胶、塑料等)不同，其摩擦系数不同，与测量轮之间产生的摩擦力也不一样，引起打滑使得测量结果不准确，并且计米器本身的误差也会导致过程中线束误差积累，出现导线误剪问题，进而影响航空线束制造质量。

在导线激光印字阶段按照布线规则中的导线理论长度在导线自身热转印处区别于线号的特殊标识如图1所示，然后利用机器视觉技术，实时识别切断标识图像进而精准切断线束[1]。然而，由于导线本身线径不一、扭绞导线表面材质不同、表面不平导致切断标识图像不清晰，存在扭曲、倾斜、断裂等特征，且导线自身线号均使得切断标识图像识别难度加大。

图1 切断标识样图

针对切断标识图像漏识别及误识别现象，分析导线切断标识图像特征，提出一种基于多特征及最小重构误差传播的加权K近邻(Minimum Reconstruction Error Probation K-Nearest Neighbor,MREP-KNN)半监督切断标识图像分类识别方法。有效提升切断标识图像识别精度，为航空线束布线过程中导线长度确定提供技术思路。

1 导线切断标识图像采集

1.1 导线图像采集装置

为了能够实时获取导线切断位置，采集导线图像。采用一种导线图像采集装置获取导线图像，装置结构图如图2所示。该装置包括工业相机、导线固定支撑装置、导线全视角反射镜、光源等关键组件。布线机械手在布线过程中，导线经过全视角反射镜前的固定支撑装置，相机采样帧率为25 f/s，采集到的导线图像尺寸为1500像素×800像素，格式为TIFF。

1.2 导线图像采集及建立样本数据库

为验证提出的切断标识识别分类算法的准确性，需要采集大量导线图像并手动标记类型。对导线切断标识图像及非导线切断标识图像进行分类。对20种线径不同、类型不同的导线进行图像采集。每种导线切断标识图像采集10张，共200张样本，形成切断标识图像样本库。每种导线非切断标识图像如图3所示采集10张，共200张图像，形成非切断标识图像样本库。

图2 导线图像采集装置

图3 导线非切断标识图像示例

2 算法设计

2.1 算法框架

所提出的航空导线切断标识识别及分类方法流程如图4所示，主要包括图像预处理、图像分割、目标特征提取和分类算法设计几个步骤，即首先对图像进行灰度化、滤波预处理，然后采用改进OTSU阈值分割提取前景目标，之后提取目标灰度图的旋转不变模式LBP纹理特征和目标二值图的几何特征如Hu不变矩、矩形度、面积特征，将纹理特征和几何特征结合作为描述图像中目标的特征向量，最后将特征向量输入到训练好的MREP-KNN分类器中进行分类。

2.2 图像分割

如果对灰度变化、滤波后的整张图像进行特征提取，由于目标在整张图像中占据的像素点较少且有些特征提取方法如LBP 算法是基于空间域即从空间位置反映图像灰度变化，整张提取特征并不能明显表示目标特征。因此，待识别目标的分割是影响图像目标识别分类的关键基础，分析大量采集的导线图像灰度直方图，首先采用自适应能力较强的OTSU阈值分割方法对图像进行分割，如图5中标记的OTSU阈值，该阈值并没有真正地分割出待识别目标，图中标记的“前景灰度区间”才是真正想要提取前景目标的灰度分布范围[2]。因此结合导线切断标识图像自身特点，提出一种针对待处理目标分割方法(分割图见图6)，该方法能够很好地提取前景目标，具体步骤如下。

图4 导线切断标识识别方法流程图

① 首先对预处理后的图像进行OTSU阈值分割，得到结果T1，如图6(b)所示;

② 分析待提取目标特征，对步骤①中T1进行孔洞填充，得到T2，如图6(c)所示;

③ 用T2-T1，成功分割出切断标识前景目标T，如图6(d)所示。

图5 导线图像灰度直方图

2.3 特征提取方法

得到上一步骤分割出的目标对象图像T后，为充分全面地表示导线切断标识目标的特征，进一步准确区分导线切断标识与非切断标识，采用纹理特征和几何特征结合的方式表达待识别目标图像T(TP代表目标图像灰度图，TB代表目标图像二值图)。

2.3.1 纹理特征提取

首先用局部二值模式(Local Binary Pattern，LBP)提取目标TP的纹理特征，LBP算法由Ojala等[3]提出，是一种用于描述图像局部纹理特征的方法，该方法的基本原理是通过比较周围邻域像素点灰度值与中心像素点的灰度值，获得图像的LBP特征，其规则如式(1)所示，若周围邻域像素值大于中心像素点的灰度值，则该像素点的位置被标记为1，反之被标记为0。

图6 导线图像分割

(1)

(2)

式中，P为邻域像素点的数量;R为邻域半径，即邻域像素点到中心像素点的欧式距离；gi为其邻域像素点的灰度值；gc为中心像素点的灰度值。基于LBP的原始算子,Ojala等提出了几种模式的算法改进和优化，改进后算法对比如表1所示。

通过对比不同模式LBP算法的优缺点，考虑待处理图像存在扭曲、歪斜的特点以及算法的运算时间，选择P=8条件下的LBP旋转不变模式作为目标图像LBP特征提取的算子。因此，对前景分割后获得的目标图像T提取图像的 LBP直方图，归一化形成36维LBP 纹理直方图特征向量fLBP={f1,f2，…，f36}。

2.3.2 几何特征提取

研究目标特征，导线切断标识目标与非切断标识在几何上差异较大，选取目标Hu不变矩、矩形度、面积作为目标的几何表现。

表1 不同LBP模式对比

Hu不变矩是Hu提出的，在描述图像几何特征时具有平移、旋转、缩放不变性优点[4]。对于离散的某一M×N数字图像，f(x，y)表示图像某一点的灰度值，其(p+q)阶标准矩mpq、中心距μpq、归一化中心距定义如下：

(3)

(4)

(5)

式中,x0，y0为图像的中心坐标。

利用图像的二阶以及三阶的归一化的的中心距能够得到Hu提出的7个不变矩即Hu不变矩Δ={δ1,δ2,…,δ7}如式(6)所示。

δ1=ω20+ω02

δ2=(ω20-ω02)2+4ω11

δ3=(ω30-3ω12)2+(3ω21-ω03)2

δ4=(ω30+ω12)2+(ω21+ω03)2

δ5=(ω30-3ω12)(ω30+ω12)[(ω30+ω12)2-3(ω21+ω03)2]+

(3ω21-ω03)(ω21+ω03)[3(ω30+ω12)2-(ω21+ω03)2]

δ6=(ω20-ω02)[(ω30+ω12)2-(ω21+ω03)2]+

4ω11(ω30+ω12)(ω21+ω03)

δ7=(3ω21-ω03)(ω30+ω12)[(ω30+ω12)2-3(ω21+ω03)2+

(3ω12-ω30)(ω21+ω03)[3(ω30+ω12)2-(ω21+ω03)2]

(6)

本文对目标图像TB提取几何特征步骤如下。

2.3.3 特征融合

将归一化后的纹理特征fLBP和几何特征farea，frect，fHu按行线性排列组合，得到标识目标T的45维纹理几何融合特征向量[5]F={fLBP,farea,frect,fHu}={f1,f2,…,f36,amean,rmean,δmean1,δmean2,…,δmean7}。

2.3.4 分类方法

构建强健的切断标识分类模型需要大量的已知类别样本进行训练，然而在实际工程应用过程中，以少量人工标记样本构建较为稳定的分类模型成为一种趋势，利用半监督分类理论[6]，提出一种基于最小重构误差传播的加权K近邻半监督分类方法，该方法首先利用最小重构误差标签传递方法获取部分无标签数据的类别信息增强有标签数据样本，最后利用加权KNN分类方法进行分类。

(7)

(8)

重构误差表示待分类数据xi与已知类别样本在流行上的距离，能够度量xi与xj的相似性，重构误差越小则表示xi与哪一类越相似。使用带标签数据和式(8)得到的重构函数来预测xi的标签信息。利用迭代收敛的方式预测中：0<α<1代表xi从邻域结构获取标签信息的尺度；经过t次迭代收敛后的得到xi的标签预测值如式(9)所示。

(9)

式中，yi为样本标签类别,取值为-1代表非导线切断标识，取值为1代表导线切断标识。

(10)

式中，ωj为xt与x0j的权值。

式中，[xt1,xt2,…,xtk]是xt的近邻距离的升序排列。

3 实验结果及分析

为了验证MREP-KNN方法的工程有效性，实验采集不同导线切断标识图像200张，非切断标识图像200张。随机选取带标签样本6个(包含3个切断标识和3个非切断标识)、8个(包含4个切断标识和4个非切断标识)、10个(包含5个切断标识和5个非切断标识)，12个(包含6个切断标识和6个非切断标识)，剩余不带标签数据集作为测试数据。MREP-KNN中k=8，k0=8，t=20。相同条件下，将文本方法与传统监督分类器K近邻分类器(k-Nearest Neighbor Classifier,KNN)[8]、随机森林分类(Random Forest Classifier,RF)[9]和支持向量机(Support Vector Machine,SVM)[10]进行比较。不同方法分类结果及识别正确率如图7和表2所示。为削弱偶然样本因素的影响，实验结果均采用20次重复试验的均值作为对比分类结果。

由表2可知，MREP-KNN方法在小样本标签情况下,当标签数为12(包含6个切断标识，6个非切断标识)时识别正确率达93.69%，从图7中可以看出， MREP-KNN半监督分类方法识别正确率随着样本标签数的增多而提高。

从表2及图7中MREP-KNN方法与现在常见有监督分类方法识别正确率对比结果可以看出，采用的最小重构误差传递标签方法能够有效利用未知标签，增强标签样本集，提高KNN分类器学习效果，在样本标签数较少的情况下，能达到很好的分类正确率。

图7 不同方法分类结果

表2 不同方法分类识别正确率 单位：%

4 结束语

针对航空导线切断标识图像分割及识别问题，分析待处理图像特点，本文提出的改进OTSU阈值分割方法能够有效分割待处理图像前景目标。MREP-KNN方法能够有效利用未标记样本数据，增强分类器学习效果，在标签样本数少的情况下能够有效提升切断标识图像分类正确率,为航空导线自动布线切断识别提供方法支撑。但本方法仍需进行少量样本标记，未来研究方向则是基于无监督理论，在不需要样本标记的条件下进行识别并分类。