基于卷积神经网络的多场景施工质检应用研究

冯强中

（科大国创云网科技有限公司 安徽省合肥市 230088）

在施工任务中，施工质量和规范成为评价工程质量的重要标准，然而施工现场的质检存在很多不便因素：施工场景多，全面质检困难，通过抽查的方式检查范围小，覆盖率低；质检人员在对抽查的照片与质检标准进行对比时，工作重复枯燥，消耗大量人力；由于施工场景质检具有一定的滞后性，因此从出现问题、发现问题，到整改的周期较长。要保证工程规范管理及质量, 必须快速并且准确地识别出施工现场所需质检的物体，越早开始检测质检，所需时间也越短，可以增加容错性，提高效率。因此本文针对施工场景中所产生的大量施工图像数据，提出一种基于卷积神经网络和无监督数据增强技术的多场景施工质检，通过多次的迭代后模型对施工场景进行预测，结果表明我们提出的算法能够准确和高效的完成质检任务。

1 相关工作

近年来，人类正试图通过减少和自动化人力来在数字系统上完成日常生活中的所有操作。这种自动化要求使智能系统的创建成为可能，并为被称为人工智能和机器学习的系统的应用提供了环境。许多关于深度学习的研究已经完成并在继续进行。深度学习是一种模拟人脑结构的方法。该方法是一系列算法，通过模拟人类大脑在任何时候都能接触到的一组感观数据中重要信息的模式，从而得到输入数据的表示方式。深度学习基础的思想出现在1950年代，定义为感知器，感知器是第一台具有学习能力的机器。在 1980年代，多层感知器结构被确定。但是感知器的学习能力有限。因此，在 2000年代出现了多层神经网络的提议，与此提议一起的结构具有更好的学习能力。

卷积神经网络在对图像的各种研究中显示出高性能和成就，被认为是一种能够提供增强结果的深度学习模型。深度学习模型通过图像中的特征来识别目标、人脸和场景，该模型具有多层结构，每层结构含有多个二维平面和每个平面的多个神经元。具体可分为输入层、隐藏层和输出层三部分。学习所需要的复杂过程都发生在隐藏层中，数据输入到系统由输入层接收，结果由输出层获得。此外，在经典机器学习中，标签一般只有1或0两种，而在研究卷积神经网络结构的输出中，输出结果可为0到1之间的任何值，这增加了网络结构学习的成功率。

2 基于CNN的多场景施工质检建模

2.1 整体建模思路

对于多场景施工质检任务，利用深度学习检测的步骤代替人工检测，可以有效快速的进行图片识别。在图片检测建模中，主要分为图片数据标注、数据增强，模型训练和模型优化三个阶段。对于图片数据处理，不同的场景有不同的数据处理，例如光交箱安装场景中对数据进行分类处理，分光纤盒安装、光缆接续和架空光缆场景中对数据进行目标标注处理，在标注完后利用对抗生成网络进行无监督的数据增强，提高模型的性能；模型训练阶段应用卷积神经网络训练模型；模型优化阶段主要是通过后续数据集的收集持续对模型进行优化。

多场景施工质检构建思路如图1所示。

图1：整体质检模型构建流程图

（1）输入施工现场收集的图片；

（2）将图片数据集分别进行分类与标注，并且对标注后的数据进行增强处理。对于光交箱安装场景利用InceptionV4算法进行分类训练，得到训练模型；对于光交箱安装、分光纤盒安装及光缆接续场景利用YoloV3场景进行目标检测训练，得到训练模型；然后在质检模块嵌入AI训练模型；

（3）通过AI模块中质检模型进行在线自动判别得到结果，设置置信度为0.5，当预测图片置信度小于0.5时，图片存入质检系统以便后期模型优化，完成模型的多次迭代升级。

2.2 场景数据处理

场景数据处理分为两个流程，第一场景数据标注，完成对于图像类别标签的确定和目标检测算法的标注，第二，由于数据的数量过少，需要对数据进行数据增强，本文采用的算法是基于对抗生产网络的无监督生成算法。

图2：质检场景不规范或标注处理示例

图3：GAN网络结构示意图

图4：InceptionV4网络结构示意图

2.2.1 场景数据标注

在多场景质检中包括两大类四个场景，分别为光网类光交箱安装、分光分纤盒安装及光缆接续三个场景以及光缆类架空光缆场景。前期场景图片数据集偏少，利用无监督的数据增强技术完善数据集，强化数据的规模，提高后期模型准确率。

在不同的场景中首先需要相关专家确定对应的规范要求，通过规范要求对原始数据进行标注。

在光交箱安装场景中主要是识别光交箱体防雷接地保护装置与黄绿色地线是否连接，数据处理是将场景分为两类：光交箱体防雷接地保护装置与黄绿色地线连接、光交箱体防雷接地保护装置与黄绿色地线没有连接。分光纤盒安装场景、光缆接续场景、架空光缆场景中数据处理主要利用labelImg软件进行图像标注。其中分光纤盒安装场景主要是识别箱体四角是否有固定的穿钉或螺栓，将场景目标分类两类：箱体四角是有固定的穿钉或螺栓、箱体四角是无固定的穿钉或螺栓。

在架空光缆场景中主要是识别光缆加强芯是否通过黄绿色线缆与光交防雷接地装置连接并且铁丝部分是否穿过光交防雷接地装置，将场景目标分类两类：光缆加强芯通过黄绿色线缆与光交防雷接地装置连接并且铁丝部分穿过光交防雷接地装置、光缆加强芯没有通过黄绿色线缆与光交防雷接地装置连接并且铁丝部分没有穿过光交防雷接地装置。在光缆接续场景中主要是识别引上钢管是否存在，将场景目标分类一类：引上钢管存在。

2.2.2 场景数据增强

生成式对抗网络框架由生成网络和判别网络构成，已广泛用于计算机视觉和人工智能领域的数据生成和分类。对于可以通过在训练数据集中添加新的图像来提高图像分类器的精度，利用了无监督学习的数据增强方法GAN。

在生成网络中，输入随机噪声并得到输出图像。判别网络对生成的图像样本进行推理，判别其真假，并输出一个概率分布。生成网络和判别网络同时进行训练，参数根据优化损失和改变进行随机性进行调整。随着判别器产生的误差和损失，生成器的随机性被更新，使得生成的图像为真实的。生成网络和判别网络相互对立，通过不断迭代训练，使得最终生成网络生成的图像和实际场景图像接近，人眼和机器都无法判别真假，以达到扩增数据集的目的。

训练GAN所需的两个主要因素是判别器和生成器的神经网络架构，架构遵循非线性映射函数，为简单的感知器模型或卷积模型。

图3是GAN网络的图解表示，判别器网络中最常用的激活函数是sigmoid 函数，其用于图像分类器得最终预测。真实数据被发送到判别器，且判别器网络为一个卷积神经网络模型。

2.3 施工质检图片识别建模

图片识别建模可以分为两个大类建模：场景分类和场景检测。场景分类为光交箱安装的需求，即将场景光交箱体防雷接地保护装置与黄绿色地线是否连接分为两类，主要利用Inception V4算法进行模型建模；场景检测为分光纤盒安装、光缆连接和架空光缆，即指不仅要识别图像中是否包含待检测物, 还要具体定位出待检测物的位置，主要利用Yolo V3算法进行模型建模。这两大类场景建模都是基于CNN的不同深度和不同层次结构的深度学习网络实现的。

InceptionV4是在InceptionV3的基础上发展得来的，在利用了部分InceptionV3网络结构，同时使用了更多的Inception模块。这种网络结构表现得测试性能更优秀，而且在某些方面得性能相比于InceptionV3也有一定的提高。其可以应用在图像场景预分类、翻拍检测等。

在YOLO的目标检测中，引入特征网络Darknet-53结构，其功能为对输入数据进行图像特征提取，同时参考特征金字塔网络(FPN)，利用网络种的特征图对目标进行检测。Darknet-53由若干个DBL模块和残差结构组成，其中DBL模块能够有效解决在训练过程中遇到的梯度消失以及过拟合等问题。

3 实验结果与分析

3.1 数据介绍

在建模前将标注好的样本数据按照2：1的比例，划分为训练集和测试集。由于数据集中数据量较少，利用数据增强操作方便网络训练。

本文施工场景包括2大类四个场景，其中光交箱安装场景数据集为1209张图像，分光纤盒安装数据集为300张图像，光缆连接数据集为500张图像，架空光缆数据集为530张图像。服务器为GTX1080，模型训练参数如表1所示。

表1：场景模型训练参数

3.2 模型部署与测试

模型以docker镜像形式部署到服务器，集成为API服务。模型置信度设置为0.5，当场景图片预测置信度小于0.5时会将图片存入质检系统进行收集处理，以便后期进行持续优化。在光交箱安装场景中是对场景采用分类算法InceptionV4进行训练，得到训练模型。通过输入场景图片，返回一个场景结果描述值。最后通过模型的准确性和推理时间来评价模型的性能。

在分光纤盒安装、光缆接续以及架空光缆场景是采用YoloV3算法进行AI模型训练，数据集越丰富模型准确率越高，通过模型得到每个场景中需要检测得目标。模型的性能分析如表2所示，其中图6(a)为分光纤盒预测后的图像，其中bolt表示有固定的穿钉或螺栓，nobolt表示没有固定的穿钉或螺栓；图6(b)为光缆接续预测后的图像，其中yes表示连接并穿过光交防雷接地装置，no表示没有连接也没有穿过光交防雷接地装置；图6(c)为架空光缆预测后的图像，得到引上保护管安装情况，其中tube表示引上保护管存在。

表2：场景模型性能分析

图5：YoloV3网络架构示意图

图6：部分模型推理示例

4 总结与展望

针对施工现场人工审核目标数量多、定位困难及审核准确率低等问题，本文提出基于YoloV3与InceptionV4提出的多场景质检构建，通过对多场景图像数据的标注以及基于CNN模型的训练，可以有效时间内提升人工审核的效率与精度，以满足实际生产应用需求，还可以规范和验证现场施工作业行为，促进施工质量的提升，实现工程建设数字化、智慧化。