摘要:水利工程施工进度是工程建设方关注的重要事项。为实现水闸工程的智慧化建设,基于BIM技术和图像识别技术提出了一种虚实结合的闸墩浇筑高度识别方法。通过BIM技术建模,生成了包含不同闸墩浇筑高度的虚拟图像数据集;利用深度学习的目标检测算法YOLOv5对虚拟数据集进行训练,得到能准确识别不同浇筑高度闸墩的智能模型。在实验室搭建具有不同浇筑高度的闸墩模型,通过摄像机拍摄获取不同高度闸墩的实景图像,再利用该智能识别模型对实景图像进行验证。研究结果表明,该模型能够准确识别实际场景中闸墩的浇筑高度,可广泛应用于水利工程主体建筑物的实际施工进度识别,为数字孪生水利工程建设提供有效的模型支持。
关 键 词:水闸闸墩; BIM; YOLOv5; 计算机视觉技术; 深度学习
中图法分类号: TV511
文献标志码: A
DOI:10.16232/j.cnki.1001-4179.2024.09.032
0 引 言
水闸闸墩是支撑闸门和上部结构的重要建筑物,为确保安全运行,需严格控制施工进度和质量,尤其是浇筑高度的控制至关重要。对于大体积闸墩,多采用分层浇筑,以减少裂缝和加快施工进度[1]。在浇筑过程中,混凝土流动性差、热胀冷缩、模具变形等导致闸墩高度不足或者超高问题。必须通过有效的管理措施,严格控制水闸闸墩的每次浇筑高度。除使用模板来控制分层浇筑高度,传感器技术也被应用于此,例如方宏伟等人发明了基于压力传感的混凝土浇筑高度控制杆[2],但采用有线方式采集数据,可能会引起施工不便和干扰。因此,探索采集非接触方式的建筑信息模型(Building Information Modeling,BIM)和图像识别技术来进行闸墩浇筑高度识别是有意义的,这种方法可以提供更高的准确性和可追溯性,同时也有提高施工效率的潜力。另外,它还可以减少人为操作带来的误差并且降低人工成本。
BIM技术可将施工计划和进度表现为三维数字模型。王胜军采用BIM技术将施工信息高效整合,通过不同阶段的比对,实现施工进度的控制和管理[3]。李瑛等用循环网络建立围堰施工运输仿真模型,结合BIM技术实现优化方案施工可视化[4]。陈丽芳借助BIM技术促进设计与施工一体化,通过对上海市张泾河南延伸整治工程的研究,验证了设计BIM模型在施工阶段应用的可行性[5]。李成等通过BIM技术,在都匀市大河水库工程施工中实现了施工布置、场地规划、工艺模拟和4D仿真等应用[6]。因此,BIM技术的数字化建模能力可助力水利工程施工进度控制。
图像识别技术涵盖分类、目标检测和图像分割。水利行业中,此技术主要应用在三维预测、水位监测、河道流速测量、遥感水体识别等[7]。赵薛强等研发无人机巡检系统,利用图像识别等技术提高水利工程监管效率,实现巡检数据实时可视化,为防汛和监管提供强有力支持[8]。其中,目标检测旨在识别并定位图像或视频中的特定物体。自2014年R.Girshick就R-CNN提出“两阶段检测”后,出现了SPP、Fast R-CNN、Faster R-CNN、FPN等方法[9-13]。2015年后,基于深度学习的一阶段目标检测器如YOLO、RetinaNet相继涌现[14]。常见算法见表1。
1 YOLO算法
YOLO是一种高效、快速、准确的实时目标检测算法,已广泛应用于多个领域。Zhang等采用YOLOv3算法,自制数据集,结合预训练权重和Focal loss,优化桥梁病害检测效果[15]。向伟等使用YOLOv4模型训练检测含硫天然气中的火焰和烟雾,平均精度达99.62%,为井站火灾预警和救援侦察提供新方法[16]。张楠楠等在YOLOv7基础上,引入CBAM注意力机制,显著提高了对黄萎病、棉盲蝽、红蜘蛛棉叶病虫害图像的检测准确率[17]。其中,YOLOv5是一种轻量级网络结构,采用自适应多尺度训练和各种数据增强技术,以提高模型的鲁棒性和泛化性[18-19],整个网络结构可以分为3个主要部分:Backbone主干层、Neck特征融合层和Head检测层[20]。
YOLOv5使用多种算法和技术来提高模型性能。数据增强方面,采用Mosaic、CutMix和MixUp等技术来丰富训练集;采用组合损失函数进行优化,包括交叉熵损失和L1损失;超参数方面采用多尺度训练、自适应步长调整等技术,同时使用小批量随机梯度下降(mini-batch stochastic gradient descent)和动量优化器(momentum optimizer)等训练技巧。评价指标方面,使用PmA和F1-score来评估模型性能。相应的计算公式如下:
交叉熵损失函数:
LCE=-1NNi=1Cj=1yijlgy^ij+1-yijlg1-y^ij(1)
式中:N为训练样本数,C为类别数,yij表示第i个样本的第j个类别是否存在,y^ij为网络预测的该类别存在的概率。
L1损失函数:
L1=Ni=1j∈{xywh}yij-y^ij(2)
式中:j表示边界框的4个坐标(中心点x,y和宽高w,h)。
PmA:
PA=∫10P(R)dR(3)
PmA=1nni=1PAi(4)
F1:
F1=2(P×R)/(P+R)(5)
式中:PA表示单个检测类别的精度;P表示所有被预测为正的样本中实际为正样本的概率;R表示实际为正的样本中被预测为正样本的概率;PmA表示所有检测类别的平均精度。
模型评价指标见表2。
2 水闸闸墩施工进度控制
准确及时了解闸墩的浇筑高度是水利工程施工中不可或缺的一项任务,它对工程的进度和质量具有重要的影响。本文利用BIM技术创建闸墩的三维模型,并设置不同的高度参数,根据施工组织设计得到闸墩在不同高度下的虚拟图像集合;然后,通过应用基于图像识别技术的目标检测算法YOLOv5分析学习虚拟图像,得到能够识别闸墩浇筑高度的智能识别模型;最后,在实验室制作闸墩模型获取闸墩实际浇筑高程图片集合,再用训练好的算法模型对闸墩实际浇筑高程图像集进行检测,从而预测闸墩在施工过程中的高度。
2.1 闸墩浇筑高程虚景图像
使用Revit和Lumion软件对水闸闸墩进行建模和渲染。在Revit中进行建模,并将其导入Lumion进行渲染。调整太阳高度、亮度和物体材质等参数,以尽可能准确地还原实验室场景,如图1。然后在Lumion中调整摄像机的角度和高度,使其与实验室场景一致,并录制视频,生成闸墩浇筑高度变化的虚景图像集。
2.2 闸墩浇筑高程实景图像
作为方法研究及模型验证,本文采用在实验室搭建实体模型的方法来获取闸墩浇筑高度实景图像集。根据某水闸闸墩实际尺寸按1∶5比例缩放,尺寸见图2。采用XPS挤塑料板作为模型制作材料,按图2尺寸进行切割,每2块粘贴后作为一个闸墩模型单元,厚度10 cm,并在中间高度位置粘贴2 cm宽红色胶带作为识别标记,见图3。通过叠加不同的闸墩模型单元,可以模拟闸墩浇筑到不同高程的状态,同时通过摄像机记录不同高程的视频图像,见图4。
2.3 虚实结合对比中的关键问题
在利用虚景图像集进行闸墩浇筑高度识别模型训练时,可能会遇到类别数量分布不均匀和数据集多样性不足的问题。为了解决这些问题,可以在制作标签时每类取同等数量的照片,并且进行数据增强和迁移学习。同时,虚景和实景之间存在微小差异,如色彩、纹理和环境光照度等问题,这里选用YOLOv5算法,并优化预处理算法,以便更好地观察虚实物体的角度和距离微差,从而更好地处理虚实差异性问题。
3 基于YOLOv5算法的闸墩高度识别
考虑到施工现场的复杂环境和噪音干扰,采用基于深度学习的目标检测算法YOLOv5。以下为基于此算法进行闸墩识别的流程,如图5所示。
oHXN31jUSz+HEIZXRhafHQ==3.1 数据集准备
对于YOLOv5算法来说,所有虚景照片中的每一根红色条带都为相同目标,所以检测类别为单类别。但是虚景照片因为红色条带的数量不同,共分为10类,即10个不同高度。通过Labelming软件对不同类别同等数量的图片作出标注便可解决数据集类别分布不均匀的问题。标注后生成仅包含一个类别“red”标注信息的xml文件。利用镜像、模糊、亮度调整、旋转等方式扩充数据集和模拟真实环境,并转换成模型训练所需的文件格式(txt格式)。将数据集划分为训练集(80%)和验证集(20%)集,制作可供模型训练的数据集coco.yaml。变换方式见表3。数据集照片见图6。
3.2 模型选择及训练
采用官网预先训练好的yoyo5s.pt轻量级模型,并使用处理过后的数据集进行迁移学习。模型训练时,设置每批处理尺寸为16,模型训练迭代次数为200,预设一组超参数并自动进行超参数调优。训练时,模型会通过Mosaic数据增强技术,将4张随机选取的训练图像组合成一张新的训练图像,见图7。图上的检测框为实际边界框(真实框),0表示类别“red”。
3.3 模型评价
通过对不同超参数训练的模型进行评价,可得到最优模型。评价指标见图8。
在本次研究中,考虑采用平均精度PmA对模型进行评价。由PmA曲线图可以看出,模型在训练初期很快收敛。说明模型在前几轮训练中学习到了大量的特征,使其能够很快地准确地识别目标。随着训练次数的增加,模型在优化参数和减小损失方面变得越来越困难,因此在训练后期,PmA值的增长速度会变得缓慢。PmA_0.5和PmA_0.5:0.95为常用的两种指标,分别表示置信度阈值为0.5和0.5~0.95的平均精度均值。两个指标的变化趋势类似,其中在阈值为0.5的时候,PmA曲线最终趋近于0.995,说明模型在不同的值下都能够达到较高的检测精度,即模型正确分类闸墩高度的能力和检测出所有闸墩上红色条带的能力很强。同样,模型的精度和召回率都很快收敛并且都趋近于1,表明训练的模型在闸墩检测任务表现出了很高的准确性和可靠性。在3类损失上,box_loss和obj_loss曲线快速下降并趋近于0,表明模型在训练过程中能够准确地识别和定位图像中的目标对象,并且有效地减少了误检和漏检的情况,模型表现出了较高的稳定性和鲁棒性,能够适应不同的数据集和环境。而cls_loss恒为0是因为只有“Red”这一个类别。综上,该模型是一个优秀的模型,能够准确识别出红色条带。
3.4 模型验证
使用已训练好的YOLOv5模型对实景照片进行检测,并新增了红色条数和高度信息的输出。这些信息通过计算检测框数量获得,并在图像左上角显示,以便用户查看。可以发现预测结果与实际情况相符,证明了模型的准确性和有效性,如图9所示。
4 结 语
本文利用YOLOv5算法进行闸墩浇筑高度图像识别,通过实验表明该技术具有较高的识别精度。同时,本文还采用BIM技术模拟水工建筑物施工过程,获取虚拟图像集,并利用图像识别技术对其进行训练得到识别模型。此模型能够对实际施工过程中采集的图像进行识别,从而实现对施工进度的监测。这一研究思路具有广泛的推广应用价值,可为水利工程领域提供一种新的数字化施工管理方法,实现更高效、精准的施工进度监测。
参考文献:
[1] 谭峰屹,何坦,郭留锋,等.长江流域水闸工程安全运行专项监督检查分析[J].人民长江,2023,54(增1):25-28.
[2] 方宏伟,王宽,李路平,等.一种基于压力传感的混凝土分层浇筑高度控制杆:CN215803295U[P].2022-02-11.
[3] 王胜军.BIM4D虚拟建造在施工进度管理中的应用[J].人民黄河,2019,41(3):145-149.
[4] 李瑛,林楚凌,惠建伟,等.邕宁水利枢纽一期临时土石围堰施工仿真及BIM可视化[J].中国农村水利水电,2020(5):92-97,102.
[5] 陈丽芳.主流BIM平台在水利工程设计施工中的应用研究[J].人民长江,2021,52 (2):128-131,136.
[6] 李成,王奋,江涛.BIM技术在大河水库工程施工阶段中的应用[J].水电站机电技术,2021,44(3):78-81.
[7] 李涛,徐高,梁思涵,等.人工智能图像识别在水利行业的应用进展[J].人民黄河,2022,44(11):163-168.
[8] 赵薛强,凌峻.无人机自动巡检智慧监控系统研究与应用[J].人民长江,2022,53 (6):235-241.
[9] GIRSHICK R,DONAHUE J,DARRELL T,et al.Region-based convolutional networks for accurate object detection and segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,38 (1):142-158.
[10]HE K,ZHANG X,REN S,et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37 (9):1904-1916.
[11]GIRSHICK R.Fast r-cnn[C]∥Proceedings of the IEEE international conference on computer vision,2015:1440-1448.
[12]REN S,HE K,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[C]∥IEEE Transactions on Pattern Analysis and Machine Intelligence,2016,39 (6):1137-1149.
[13]LIN T-Y,DOLLR P,GIRSHICK R,et al.Feature pyramid networks for object detection[C]∥Proceedings of the IEEE conference on computer vision and pattern recognition,2017:2117-2125.
[14]REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:Unified,real-time object detection[C]∥Proceedings of the IEEE conference on computer vision and pattern recognition,2016:779-788.
[15]ZHANG C,CHANG C,JAMSHIDI M.Concrete bridge surface damage detection using a single4S4T1aUKUIJh3nX/fqK/3cu+5TbsCvN6LRqmZTSvFXw= stage detector[J].Computer Aided Civil and Infrastructure Engineering,2020,35(4):389-409.
[16]向伟,龚云洋,李华昌,等.YOLO V4模型在含硫井站火焰和烟雾检测中的应用[J].机械设计与制造,2024(1):261-264.
[17]张楠楠,张晓,白铁成,等.基于CBAM-YOLO v7的自然环境下棉叶病虫害识别方法[J].农业机械学报,2023,54(增1):239-244.
[18]杨锋,丁之桐,邢蒙蒙,等.深度学习的目标检测算法改进综述[J].计算机工程与应用,2023,59(11):1-15.
[19]段升位,程欣宇,王浩舟,等.基于改进的YOLOv5的大坝表面病害检测算法[J].计算机应用,2023,43(8):2619-2629.
[20]王洪义,孔梅梅,徐荣青.基于改进YOLOV5的火焰检测算法[J].计算机与现代化,2023(1):103-107.
(编辑:郑 毅)
Intelligent identification method of pouring height of sluice pier based on BIM and YOLOv5
LIU Yiwei1,CHEN Mingxuan1,NIU Zhiwei1,DING Yi2,CHEN Rong3
(1.College of Water Resources and Hydropower,Hohai University,Nanjing 210098,China; 2.Nanjing Hongyuan Information Technology Co.,Ltd.,Nanjing 210000,China; 3.Yizheng Municipal Water Conservancy Bureau,Yangzhou 225000,China)
Abstract:
The construction schedule of water conservancy projects is an important matter of great concern to the construction parties.Based on BIM technology and image recognition technology,this paper proposed a virtual and real combining method for pouring height recognition of sluice piers,so as to realize the intelligent construction of sluice projects.Through BIM technology modeling,virtual image data sets containing different pouring heights of gate piers were generated.The object detection algorithm YOLOv5 of deep learning was used to train the virtual data set,and an intelligent model of accurately identifying piers with different pouring heights was obtained.The real pier models with different pouring heights were built in the laboratory,and the real images of the piers with different heights were captured by the camera and verified by the established intelligent recognition model.The results showed that the model can accurately identified the pouring heights of piers in actual scenes.This method can be widely used to identify the actual construction progress of buildings in hydraulic engineering,and provide effective model support for the construction of digital twin hydraulic engineering.
Key words:
sluice pier; BIM; YOLOv5; computer vision technology; deep learning