人工智能在门窗检测中图纸识别的应用

王 沣

（福建省建筑工程质量检测中心有限公司）

门窗图纸有扫描文档、印刷图集、CAD电子图集等多种展现方式，这些格式可统一转换为扫描文档。本文最终的型材样本数据集为各种图纸的扫描件。基于深度学习的门窗图纸识别的难点在于数据样本的获取，也就是图纸的收集，还有图纸的标注，以及合适的图像预处理方式。实现人工智能识别图纸，有两种处理方法，图像分类和目标检测。本文提出的问题需要在同一个图纸中对多个目标分别进行检测，所以属于目标检测的范畴。

本文建立了采用回归算法的深度学习模型，即是基于 YOLO网络的目标检测模型，针对门窗数据样本不足的问题，使用了GAN网络进行迁移预训练，利用Generator模型生成的图片数据，预训练YOLO模型，同时利用了数据增强的方法对数据集进行扩增。使用扩增后的数据集对模型进行调整训练，防止模型过拟合情况的发生，增强检测网络对各种型材的识别能力。

1 检测图像概述

门窗由是各种型材组合而成的一个整体。推拉窗包含上滑、下滑、边封、上方、下方、光企、勾企，平开窗包含窗扇、窗框、中挺等。本文主要对推拉窗的型材进行识别。如下图所示，图（1）展示了边封，图（2）为勾企，图（3）展示了下滑，图（4）展示了上滑。

本文使用铝合金型材生产商的门窗图集，以及门窗检测工作中收集的门窗三项物理性能检测图，制作了铝合金推拉窗型材数据集，数据集包含了福建省南平铝业股份有限公司、福建省闽发铝业股份有限公司、福州奋安铝业有限公司、广东凤铝铝业有限公司、广东兴发铝业有限公司、肇庆亚洲铝厂有限公司、广东坚美铝业有限公司等1200张具有各种尺寸的门窗大样图，节点图，型材断面图的图纸数据。使用Labelimg软件，通过手动标注的方式对门窗图纸进行型材的位置标注，主要标注了边封、勾企、下滑、上滑等型材。

2 基于深度学习的门窗检测图像识别

随着人工神经网络的不断进步，在图像识别领域，利用卷积神经网络对检测图像的特征进行抽取，分类，是现在深度学习领域通用做法。其中目标检测算法中，YOLO网络通过一个神经网络，端到端就可以实现目标的检测。而在 YOLO之前图像检测算法SPP-NET,FAST-RCNN,FASTER-RCNN首先需要依据候选区域，统计出很多可能含有识别目标的潜在边框，再识别其中是否包含物体和物体的类别,这样增加了计算的复杂性，也耗费了更多检测时间。

2.1 YOLOv3网络结构

YOLOv3网络是YOLO网络的最新版本，采用darknet-53或者tiny-darknet作为基础神经网络框架，可以输出多个尺度的特征图，它借鉴了FPN特征金字塔，分别在尺度为13×13、26×26、52×52的特征图上对目标进行预测，通过对前述3个尺度特征图的检测和张量的拼接，增强了对精细目标的识别能力，因此对神经网络的整体性能有了很大提升。

YOLOv3的网络由很多个包含卷积层、BN层，以及Leaky Relu激活层的基本组件构成。对于一张输入图像，首先将图像大小变换为416×416，作为神经网络的输入，然后通过基础神经网络对图像进行特征的提取和张量的Add操作，接着对生成的不同尺度的特征图，进一步进行卷积计算，通过对上采样后的结果与前一层得到的结果进行张量的Concat拼接，再经过一系列卷积、批标准化处理、激活等操作之后，在不同尺度特征图上进行目标识别，最后通过检测层输出目标的位置和类别。

2.2 生成对抗网络

门窗型材由于没有公共的数据集，而通过个人收集标注的数据集规模较小，神经网络无法得到足够的训练。本文尝试利用生成式对抗网络生成新的型材图纸数据集，通过迁移训练应用到门窗模型中。

生成式对抗网络GAN，通过学习输入的数据集分布，然后生成相似性分布的数据集。首先给予噪声变量Z，生成模型通过将它映射为新的数据集合，接着由判别模型计算真实数据分布与生成数据分布之间的近似程度。判别模型训练自身参数使生成数据分布远离其分类面，直到最终生成模型输出的数据，判别模型无法区分生成图像和真实图像。

本文利用ACGAN对型材数据集进行学习，ACGAN和GAN相比在于：1、输入数据不同，GAN只有噪声Z作为输入变量，ACGAN同时需要输入分类变量。2、输出数据不同，GAN输出只判断图片真假，ACGAN在判断图片真假，同时判断图片所属类别。

本文在Keras框架实现ACGAN，首先通过Embedding层的输出和噪声进行相乘，然后将型材类别信息融合到噪声里面。最后使用两个损失函数分别对应之前的两个输出，两个损失函数加起来的结果就是总的损失函数。

ACGAN训练结束后，对生成的型材图像也进行位置标注，生成预训练数据集。预训练型材数据集与真实型材图像非常相近，也分类为上滑、下滑、边封、勾企等。训练过程中首先使用生成数据集对模型进行初始的训练操作，再将训练生成的模型使用真实型材数据集进行训练，最后生成型材识别网络。

2.3 数据增强算法

为了防止模型过拟合，需要对训练的铝合金型材数据集进行数据增强，通用的做法有：

图像旋转，通过旋转原始图像，使得图像中的方向发生改变。翻转变换，对原始图像沿着水平或垂直方向进行翻转。缩放变换，对原始图像按固定的比例进行放大或者变小。平移增强，不变换图像的形状和大小，平移原始图像的方位。尺度变换，是使用图像Filter变换原始图像模糊程度或图像大小，使用一个或多个卷积核，通过卷积操作对图像进行改变。对比度变换，保持色像H分量不变，改变饱和度S和亮度V，变换对比度。噪声扰动，对原始图像的RGB通道增加随机噪声，比如添加椒盐噪声和高斯噪声，使图像产生变化。

本文对标注的型材数据集数据增强使用的方法主要包括图像旋转、翻转变换、平移增强、亮度对比度变换，噪声扰动等。

3 实验结果分析

本文中型材识别训练过程如图(6)所示：

图(6)型材识别训练过程

经数据扩增后，原始型材数据集及实验型材数据集包含型材类别数目如表1所示，同时由表1中检测准确率数据可知，当无预训练步骤时，检测模型对上滑检测的平均准确率为 0.88，对下滑检测的平均准确率 0.87，对勾企检测的平均准确率0.88，边封检测的AP为0.84，模型对窗型材的识别率不高，尤其是对边封的识别率，由于型材数据集样本不均衡，型材的样本数量偏少，模型无法充分学习到型材特征，识别效果有限。使用数据增强和ACGAN对抗网络，进行型材数据扩增，生成新的型材数据集并进行迁移学习后，检测模型对型材检测的平均准确率由0.87，提高了10.0%。在识别时间上，两种模型的图像的识别时间都是12ms，有很高的识别效率，符合图纸实时识别的要求，型材识别效果如图(7)所示。

图(7)

表1 型材数据分布和检测准确率

下滑5012000 2000 2000勾企211边封356

AP统计ACGAN迁移预训练YOLO模型和无预训练的原始数据模型对型材的检测平均准确率（Average Precision,AP），结果如表2所示。

images/BZ_146_1290_557_1645_600.pngimages/BZ_146_1647_557_1944_600.png YOLOimages/BZ_146_1290_602_1645_645.png images/BZ_146_1647_602_1944_645.png0.88images/BZ_146_1290_647_1645_690.png images/BZ_146_1647_647_1944_690.png0.87images/BZ_146_1290_692_1645_735.png images/BZ_146_1647_692_1944_735.png0.88images/BZ_146_1290_737_1645_780.png images/BZ_146_1647_737_1944_780.png0.84

4 结论与展望

本文阐述了门窗型材识别方法，包括识别模型的训练，数据集扩增和ACGAN对抗模型的训练。实验结果表明，基于 YOLO的人工智能型材识别模型，在识别精度上和识别速度上都能获得非常优秀的效果。对型材测试集，进行测试统计，取得了97%的准确率。未来可以在增加型材训练样本的多样性，增加不同的型材类别，提高型材样本质量和数据上，进行深入研究。