王晓玲,王 栋,任炳昱,陈文夫,谭尧升,关 涛
(1. 天津大学 水利工程仿真与安全国家重点实验室,天津 300072;2. 中国三峡建工(集团)有限公司,四川 成都 610041;3. 中国长江三峡集团有限公司,北京 100038)
混凝土振捣是常态混凝土浇筑密实的关键环节[1-2],其施工质量对于混凝土坝坝体结构抗震、防渗、抗冻等性能具有重要的影响。混凝土振捣主要是通过振捣器的高频振动,使得可塑性混凝土内部组成进行空间重构,进而排出混凝土中夹杂的空气,以达到密实的过程。常态混凝土拱坝建设主要依靠人工操控机械或者手持振捣器进行施工作业[3],其中,人工振捣作业存在工作强度高、效率低、主观性强等不足;此外,质量控制主要通过监理旁站方式评估振捣操作和混凝土表面图像特征是否满足规范要求[4-5]。该方式受旁站人员经验差异的影响,振捣施工质量难以得到有效控制。随着我国高混凝土坝建设逐渐向高寒、高海拔等地区转移,恶劣的施工环境带来的人机效率下降、劳动力短缺等难题进一步给浇筑质量控制带来了巨大挑战。此外,新一代信息化、智能化筑坝技术的兴起驱动着新理论、新技术、新装备的快速发展,推动传统人工施工方式迫切需要转型升级。因此,亟待突破现有仓面人工振捣施工技术瓶颈,研究可替代人工振捣作业的混凝土振捣机器人技术,研发混凝土振捣机器人系统对于解决这一关键问题具有重要的科学与现实意义。
近年来,机器人技术的飞速发展以及与建筑领域学科知识深度融合为解决该问题带来了曙光[6-7]。世界最早用于施工的建筑机器人可追溯至1982 年日本清水公司研发的名为SSR-1 耐火材料喷涂机器人[8]。此后,大量建筑机器人研究内容围绕建筑全生命周期的各个环节展开,包括施工前准备工作、施工过程中建造活动以及施工完成后的维护和拆除等[6]。总体来讲,现场建筑机器人可以归纳为两类:基于现有机械进行改装制造和针对特定任务研发的建筑机器人,从而实现无人化作业。
对于改装机械研发的建筑机器人,全自主智能建筑机器人是研究的最高目标,少数研究实现了特定场景下的全自主智能无人施工,如时梦楠等[9]研发的多料种全覆盖自主碾压机群协同作业系统实现了全天候无人碾压机群作业,并成功应用于300 m级两河口水电站大坝碾压施工,开创了世界大规模无人碾压机群筑坝的先河;Zhang 等[10]研发的自主挖掘系统实现了24 h 无人接管自主挖掘作业;苏黎世联邦理工学院研发的自主行走挖掘机在沟壑挖掘、石墙组装、森林作业等实际施工场景下表现突出[11]。相比于全自主智能机器人,基于人-机协作的建筑机器人研究成果更多且应用更为广泛[12-15],该类型建筑机器人解决了其应对复杂多变施工环境时感知能力匮乏及分析决策欠佳的不足,充分发挥了人的知识与机器人的自动化专长,提高了建筑机器人作业的普适性。对于特定任务的建筑机器人,目前已有大量研究成果将建筑机器人应用于现场特定任务施工过程中,如基于“轮廓工艺”技术的3D打印机器人[16-17]、墙体砌筑机器人[18-19]、房屋装饰机器人[20-21]等,非标准化钢筋结构制作[22-23]等。上述建筑机器人基本结构组成主要包括移动式行走装置、多自由度机械臂和末端执行机构,该设计能够满足大型施工现场跨度大和空间复杂性强的作业任务要求。上述研究成果对机器人技术应用于建筑施工领域进行了有益探索,为本文研究提供了良好借鉴思路。在水利工程施工领域,天津大学水利工程智能建设团队针对碾压工艺开展无人碾压机群施工技术研究[9,24]并成功应用在工程建设现场。由于不同坝型施工工艺的区别,对于高拱坝复杂环境下混凝土浇筑振捣过程,尤其是涉及到混凝土材料分区、振捣工艺变化、非结构化地面等复杂不确定工况,有必要开展满足高拱坝仓面复杂施工环境下振捣工艺的机器人技术研究,实现无人振捣作业,从而解决人工振捣作业方式面临的振捣质量控制难题。
振捣质量的智能化分析与控制是实现无人振捣作业的核心。在混凝土振捣质量分析与控制方面,现有研究主要集中在对振捣设备进行智能监控[5,25-27],通过采用高精度GNSS、测距传感器等实现振捣位置、作业时间、插入深度等参数的实时监控。然而,规范要求一次振捣是否结束应根据混凝土表面图像特征进行定性评估[4],现有研究采用预先设定的振捣时间策略,从而间接满足该项要求,未能考虑混凝土异构性对振捣时间的影响。因此,在作者团队研究基础上[28],引入机器视觉方法建立混凝土表面图像智能识别模型,并在振捣过程中实时分析混凝土表面图像,从而满足规范对振捣结束时表面图像的要求,实现振捣质量的智能分析。
针对上述问题,综合考虑混凝土坝仓面非规则性、多障碍物的环境特征,本文基于工业机器人、自动化控制、机器视觉等技术,以高拱坝仓面混凝土振捣环节为研究对象,开展无人振捣施工智能化关键技术研究,研发无人振捣机器人系统,该系统能够实现仓面复杂环境下行走、振捣、避障等功能,以及高拱坝仓面混凝土振捣效果的机器视觉识别。此外,能够实现云端可视化监控和远程操控。
2.1 系统总体设计振捣机器人系统总体结构如图1 所示,包括振捣机器人本体、云端监控平台和通讯三大子系统。振捣机器人本体能够在复杂环境下实现外界环境及振捣作业等多源信息的感知与集成,并通过运动学模型、图像识别算法等实现振捣动作、质量等属性的分析与决策,进一步实现行走、振捣、避障等行为控制,确保振捣机器人本体能够安全、有效作业;云端监控平台通过无线网络连接云服务器实时可视化振捣机器人本体作业过程中产生的多源信息,并能够对质量进行监控,同时下达相关控制指令,实现对车体的运动控制;通讯子系统是振捣机器人本体不同模块间以及振捣机器人本体和云端监控平台间连接的通信桥梁。
图1 振捣机器人系统总体框架图
2.2 振捣机器人本体设计
2.2.1 振捣机器人本体结构设计 振捣机器人本体结构包括行走模块、机械臂模块、振捣棒组模块、能源模块、感知模块和机载控制器,如图2 所示。主要参数如下:车体总质量8.7 t,长×宽×高为5.5 m×2.4 m×3.1 m;机械臂具有6自由度,运动范围≤2.60 m,控制精度达0.1 mm,最大载重200 kg。
(1)行走模块。行走模块通过接收车体遥控器或者云端监控平台下发的指令实现振捣机器人本体的启动、行走、转弯、急停等功能。
(2)机械臂模块。考虑复杂振捣工艺及精准姿态控制的需求,采用多关节ABB IRB 6700-260型工业机器人夹持振捣棒组单元进行振捣作业,并在车体尾部设计了动平衡机构,防止机械臂运动过程中因重心偏移导致车体倾覆,从而提高车体稳定性。
(3)振捣棒组模块。该模块是振捣机器人振捣作业的核心部件。考虑高拱坝仓面横缝凹凸形状以及上下游复杂钢筋网的特点,设计了满足系统振捣和复振两种施工工艺类型的振捣棒组(3 支振捣棒)。其中,适用于系统振捣工艺的振捣棒能够实现棒间横向30 ~60 cm 间距调整(“一字型”排列),以及中间振捣棒5 ~20 cm 纵向移动(“三角形”排列),以满足横缝周边凹凸键槽模板的非规则区域的施工要求,结构如图2(b)所示。适用于复振工艺的振捣棒采用下放和回收方式,满足狭窄钢筋网环境下振捣棒穿越钢筋网障碍物并进行振捣作业要求,结构如图2(c)所示。
图2 振捣机器人本体结构图
(4)能源模块。综合考虑振捣机器人本体能源需求不均衡、工作时间长的特点,配备一套凯马柴油发动机以满足振捣机器人多模块、长历时能源需求。
(5)感知模块。感知模块是由安装在车体上的多源传感器构成。采用兼容北斗定位的高精度GNSS、姿态传感器等实现位姿的感知;采用混合激光/超声传感器进行测距感知;采用RGB相机实现振捣图像智能感知;采用避障雷达和32线固态激光雷达等传感器实现仓面环境下多尺度、动/静态障碍物的感知。
(6)机载控制器。该模块为振捣机器人的核心部件,采用满足多种通讯方式和高性能计算要求的工业控制器。一方面集成感知单元的信息,基于相关智能算法进行分析与决策,实现振捣机器人本体的控制;另一方面,接收云端监控平台的指令信息,同时上传振捣机器人运行中多维度信息。
2.2.2 振捣机器人本体运动学模型 运动学模型旨在通过几何关系构建车体运动的模型。振捣机器人本体运动学建模是实现振捣机器人本体空间运动分析、轨迹规划,以及振捣位置参数计算、运动控制等的基础,亦是振捣机器人系统实现自动振捣的关键内容。本文研发的振捣机器人系统是一个复杂的装备系统,通过各模块间有机配合与联动,从而实现系统智能无人振捣的功能。建立振捣机器人D-H 运动学模型,如图3 所示,包括世界坐标系{O-XOYOZO}、车体坐标系{A-XAYAZA}、机械臂基坐标系{B-XBYBZB}、机械臂末端工具坐标系{C-XCYCZC} 。不同坐标系间关系可通过齐次变换矩阵进行关联[29]。以右边振捣棒末端点L为例,则点L在世界坐标系{O} 的空间位置OLP可表示为:
图3 振捣机器人D-H坐标系
式中:OAT、BAT、BCT分别为坐标系{O} 和{A}、{A} 和{B}、{B} 和{C} 之间转换关系;CLP为L点位于坐标系{C} 中的位置。
笛卡尔空间下坐标系{O} 和{A} 关系可采用4×4维度的齐次变换矩阵表示。设坐标系{A} 原点与车体上安装的GNSS天线中心重合,故OAT可表示为:
式中:c1、c2、c3分别为cosθ1、cosθ2、cosθ3;s1、s2、s3分别为sinθ1、sinθ2、sinθ3;θ1、θ2、θ3分别为ZA、YA、XA方向旋转的欧拉角度,以右手定则判别旋转正方向,单位为°;xgnss、ygnss、zgnss为GNSS 测量的大地空间坐标,单位为m。
车体为刚性,坐标系{}A与{}B相对静止,故二者间关系可表示为:
式中:XAB、YAB、ZAB分别为坐标系{}B原点相对于坐标系{}A原点在轴XA、YA、ZA的欧式距离。
由机器人学[29]可知,6 自由度机械手末端坐标系{}C原点在基坐标系{}B可表示为CBT=(XBC,YBC,ZBC,q1,q2,q3,q4),其中(XBC,YBC,ZBC)和四元数(q1,q2,q3,q4)分别为坐标系{C} 原点位于坐标系{B} 下的空间位置以及姿态,可表示矩阵形式:
进一步,由于振捣棒与机械手末端中心点刚性连接,故振捣棒末端L、R、K三点位于坐标系{}C中可表示为:
式中:lmw、lmb、lh分别为振捣棒L点位于坐标系{C} 下C-XC、C-YC、C-ZC方向的投影距离;lkw为中间振捣棒在XC方向的移动距离。其中,lmb和lkw变化范围分别是[30,60]和[5,20],cm。式(2)—(5)代入式(1)中,求得振捣点空间坐标。同理,若已知振捣作业点位于坐标系{O} 下的坐标,可通过矩阵逆运算求得振捣点在机械臂基坐标系{B} 下的位置,从而进行轨迹规划、运动分析等。
2.2.3 振捣机器人系统工作流程 振捣机器人自动振捣流程如图4所示,主要步骤概括如下:
图4 振捣机器人自动振捣工作流程
步骤1,启动振捣机器人系统,对系统本体各组成模块进行上电操作,并初始化系统参数(图像识别算法、振捣施工标准参数等),确保系统正常启动及各模块间信号连接正常。
步骤2,信息感知与集成。多源信息感知是振捣机器人工作的基础,机载感知模块实现振捣参数信息和外界环境信息的采集。采用基于Linux 的机器人操作系统(Robot Operating System,ROS)建立多个单元节点,每一个节点对应一个传感器采集的信息,通过发布消息与订阅消息的方式实现节点间的通信,从而实现多源信息的集成、共享与管理。
步骤3,自动导航与避障。车体控制器接收云端监控平台或遥操作指令信息后,基于CAN 通讯将指令信息转换后输入车体可编程逻辑控制器(Programmable logic controller,PLC),PLC 通过继电器对车体发动机进行控制,实现车体行走模块的启动、行走、转弯、急停等。行走过程中,高精度RTK-GNSS用于车体定位与定向,机载毫米波雷达用于障碍物的感知与避障。
步骤4,轨迹规划。轨迹规划是振捣机器人进行自动振捣的核心。考虑振捣动作可以分解为“插入-振捣-拔出”的循环步骤,振捣运动路径可以分解为经过一系列关键点集合M{P0,P1,P2,P3} 的空间运动,如图5(a)所示。其中,图5(b)至5(e)分别为振捣棒初始位置P0、振捣棒展开位置P1、振捣作业点上方位置P2、满足插入深度要求的振捣位置P3。基于2.2.2 节建立的运动学模型,将集合M转换到机器人基坐标系{B} 下的坐标,实现机械臂经过关键点位的轨迹规划,进一步基于相关插值算法实现关键线路间的运动插值规划,其中,起始点P0与P1之间采用关节空间多项式插值方法[30],其他关键轨迹点间采用笛卡尔空间直线插值方法[30]。
图5 振捣机器人作业轨迹规划
步骤5,运动控制。根据步骤4轨迹规划结果,采用RAPID 语言实现机械臂模块的运动控制。基于CAN 总线接收机载控制器下发的控制指令,机械臂控制器将数字信号转换为电流信号,驱动器接受脉冲信号驱动伺服电机转动,编码器对伺服电机执行情况精准测量并反馈至控制器,基于PID[31]算法消除伺服电机期望转角和实际转角间的误差,实现机械臂关节运动的闭环控制。进一步,机械臂控制器根据各个关节的转角进行运动学分析计算振捣棒组位置和姿态,并反馈给机载控制中心,结合测距传感器等实现振捣棒组模块插入角度、插入深度和插入速度等振捣参数的精准控制。
步骤6,质量评估,包括混凝土表面图像智能识别和振捣时间的分析。表面图像智能识别模型参见第3节。当表面图像连续N帧判别为合格类时,则可以结束振捣;另一方面,考虑图像识别算法在应对外界复杂环境(如光照不足、夜间环境等)干扰导致准确性无法满足要求时,采用设定的振捣时间(t单位:s)来辅助质量评估,即t∈{Tmin,Tmax} ,随机生成满足区间[Tmin,Tmax]的振捣时间t设,当振捣时间t达到t设时,则结束振捣。以上两种分析方式满足其中一种,认为本次振捣合格。其中,表面图像分析级别高于振捣时间分析。
步骤7,继续振捣或复位。若下一次振捣位置在机械臂运动空间范围内,则重复步骤4—步骤6,否则重复步骤3—步骤6。如果仓面振捣作业完成,则结束振捣,控制机械臂运动至初始状态(即图5(b)),其他工况下轨迹规划如图5(c)—(e)所示。
2.3 云端监控平台及通讯子系统设计云端监控平台主要实现振捣机器人施工作业实时信息、多源传感器信息、仓面规划信息、车体状态等信息集成展示、指令下发等,监控界面如图6所示。基于B/S架构研发了云端监控平台,具有跨平台、跨区域、多人协同操作的优势。通讯子系统主要负责振捣机器人本体、云端监控平台、云服务器等之间的通讯,一方面,振捣机器人各子系统间的无线通讯,如振捣机器人本体产生的信息通过4G 网络实时传输至云服务器,云端监控平台通过无线通讯方式与云服务器间进行信息交互;另一方面,振捣机器人本体各模块间的有线通讯,如机载控制器与机械臂控制柜之间通过CAN方式通讯。
图6 云端监控平台界面图
针对传统振捣质量依靠监视人员根据混凝土表面图像特征评估的方式存在主观性强的不足,提出基于改进深度残差网络(Residual Network,ResNet)[32]模型的机器视觉技术,对混凝土振捣过程中表面图像进行分类,实现振捣质量的识别。
3.1 改进ResNet模型结构在网络搭建过程中,网络结构、训练样本大小等对模型性能有着重要的影响。本文从数据输入以及网络结构两方面对模型进行改进。在数据层面,采用在线数据增强方式通过扩大样本输入,使得ResNet 模型能够学习到更多图像特征,进而提升模型的性能和防止模型过拟合。在网络结构方面,首先,针对残差单元的结构形式对模型性能的影响,采用预先激活方式的ResNet-V2[33],使得模型易于优化;其次,在ResNet 的每一个部分残差模块中融入卷积块注意模块(Convolutional Block Attention Module,CBAM)[34],使得残差网络有偏向地选择重要的特征图进行特征提取,从而提高模型精度;最后,在卷积完成后,采用全局平均池化层代替原有的平均池化层以及全连接层,从而保留提取的空间和语义特征,有利于减轻过拟合的风险,同时降低模型的参数。为了平衡计算时间和模型性能,本文采用50 层深度的ResNet 模型。所构建的ResNet-50 模型输入图像大小为224×224,网络最后一层连接层神经元为3个,以对应输出混凝土表面图像预测类别,即不合格类、过渡类和合格类。改进的ResNet-50模型结构如图7所示。
图7 改进ResNet-50结构图
3.2 混凝土表面图像识别模型的建立在建筑施工领域,尚无开源的混凝土振捣表面图像数据集。因此,本文通过现场拍摄混凝土振捣过程中表面图像,通过归纳总结其演变特征,将其划分为3个阶段,即混凝土表面图像分为不合格类、过渡类以及合格类3个类别。建立的混凝土表面图像数据集中不合格类、过渡类和合格类图像数量分别为5056、4476和5474张,共计10 056张图像。本文将数据集随机划分为训练样本和测试样本,二者比例分别为0.85和0.15。模型训练参数如下:训练200个迭代轮次(即完整数据集输入模型训练的过程);采用SGD 优化算法,初始学习率和动量分别为0.001 和0.9;批处理大小为32。运行物理环境为Ubuntu 16.04操作系统,GPU 显卡型号为NVIDIA TITAN XP,运行内存128 GB。基于Keras框架进行模型的训练。
图8 为模型训练过程中原始ResNet-50 和改进ResNet-50 的精度与损失函数变化曲线。随着训练迭代轮次的增加,模型的损失函数曲线逐渐下降并趋向平稳,精度曲线逐渐上升最后趋于平稳,表明模型训练达到优越性能。相比于原始ResNet-50,改进的ResNet-50 训练曲线波动小,测试样本的精度和损失函数曲线均表现更优,且模型未有过拟合现象。常用指标[28]精确率Precision、召回率Recall 用于评估所提模型性能,所建立模型在测试数据集上平均分类精度分别为98.36%和98.33%,表明模型性能优越,模型有效。
图8 训练过程中精度与损失函数变化曲线
以中国西南地区白鹤滩水电站300 m级特高拱坝仓面混凝土浇筑施工为例,对振捣机器人系统的功能进行现场验证。该混凝土坝为双曲拱坝,坝顶高程834.0 m,最大坝高289.0 m,共分31个坝段,大坝混凝土方量约800 万m3。现场混凝土浇筑采用人工驾驶振捣台车施工为主,钢筋网及模板周边等区域以人工振捣作业为辅的方式开展施工。根据振捣机器人系统组成结构设计,进行振捣机器人系统软件和硬件的研发,振捣试验区域及振捣机器人本体实物如图9所示。
图9 振捣机器人系统现场试验
4.1 振捣现场试验开展两种设计的振捣棒组在不同施工区域的振捣试验。第一种振捣棒组直径为100 mm,振捣频率可在100 ~200 Hz范围调整,间距可在30 ~60 cm 范围调整,上述参数设置能够有效适用于横缝周边1 m 范围内斜拉钢筋、水管等障碍物密集区域施工作业。振捣试验过程如图10 所示,包括插入混凝土、平稳振捣以及缓慢拔出等过程,振捣参数为垂直插入、间距设置60 cm、插入深度为60 cm、振捣频率为150 Hz,振捣前后效果分别如图10(c)和图10(f)所示,振捣完成后表面微泛浆、无大气泡排出,满足规范对混凝土表面图像特征的要求,振捣效果良好,验证了系统振捣棒组结构设计的合理性。第二种振捣棒组为长度30 cm,间距30 cm,振捣频率为200 Hz,通过滑轮控制振捣棒连接软管的下放和回收,满足穿越复杂障碍物进行振捣的特殊需求。振捣过程如图11 所示,包括振捣棒释放、振捣、回收等过程,验证了复振捣棒组结构的合理性。
图10 系统振捣棒振捣作业
图11 伸缩式复振捣棒振捣作业
4.2 振捣试验分析开展混凝土振捣过程参数的分析,包括混凝土振捣参数分析和混凝土表面图像识别结果分析。
4.2.1 混凝土振捣参数分析 振捣机器人系统作业过程关键施工参数变化如图12 所示。图12(a)展示了机械臂运动过程6 个关节角度变化(J1 ~J6),曲线平滑连续,未发生明显的突变,表明空间运动平稳、运动过程未发生异常振动,运动轨迹控制有效;图12(b)为振捣插入深度及垂直插入角度偏差曲线(其中,负数表示未插入至混凝土),最大插入深度接近60 cm 且维持稳定,插入深度受控;同时,从图12(b)中可得,插入前角度发生微小波动(范围为0.002°),这可能原因是振捣棒组开启过程中高频振动对机械臂的轻微影响,振捣作业过程中角度偏差基本保持在0.078°左右,波动范围在0.001°以内,表明垂直振捣作业严格受控。相比于人工经验性振捣,本文通过对振捣参数的精准控制,提高了振捣作业的规范化和标准化。
图12 混凝土振捣过程参数分析
4.2.2 混凝土表面图像识别结果分析 通过在振捣臂手抓前端安装摄像机实时拍摄振捣过程中表面图像,并应用第3节建立的模型对采集的图像进行识别。考虑外界光照强度对识别结果的影响,采用限制对比度自适应直方图均衡化方法(Contrast-Limited Adaptive Histogram Equalization,CLAHE)[35]对原始图像进行预处理。振捣过程中代表性表面图像的人工识别及图像识别结果如图15 所示,其中,所选三张图像的真实类别(由专业人员进行图像类别评估的结果)分别为不合格类(图13(a))、过渡类(图13(e))以及合格类(图13(i)),其对应的预处理图像分别为图13(c)、图13(g)和图13(k)。未经过预处理的图像识别结果分别为不合格类(图13(b))、过渡类(图13(f))以及过渡类(图13(j)),预处理后识别类别分别为不合格类(图13(d))、过渡类(图13(h))以及合格类(图13(l))。其中,图像识别结果中,类别标签后的数字表示分类概率大小。结果表明,基于CLAHE 方法对原始图像进行预处理,有利于提高原始图像表面轮廓及纹理的清晰程度,且平衡了原始图像的曝光程度,降低了外界光照的影响,有利于图像的准确分类。同时,验证了所提模型能够准确实现振捣过程中表面图像的分类(识别结果与技术人员判别一致),从图像角度实现了混凝土振捣过程的智能分析,解决了传统旁站人员根据混凝土振捣过程中表面图像特征经验性评估振捣是否密实的不足。
图13 振捣过程中表面图像人工评估及图像识别评估结果
4.3 对比与讨论
4.3.1 与人工振捣对比分析 采用相同型号的振捣棒(Φ100 mm,振动频率为150 Hz)作业,振捣机器人和人工作业的振捣效果定性对比如图14所示。其中,振捣机器人的振捣棒间距为60 cm。图14(a)和图14(c)分别为振捣机器人作业和人工作业,图14(b)和图14(d)为对应的效果。根据专家经验及规范评估,振捣结束后表面泛浆、无大气泡排出、粗骨料不显著下沉,表明振捣效果良好(如图14(b)和图14(d)所示)。相比于传统人工手持单根振捣棒作业,本文所研发的系统具有三个方面的潜在优势:(1)安全方面:振捣机器人系统作业避免了施工人员受到复杂环境下钢筋的潜在伤害,以及因接触振捣棒高频振动带来的影响;(2)质量方面:振捣机器人系统作业过程更加规范化和标准化,基于机器视觉对混凝土振捣过程进行智能识别,相比于人工主观评估方式,提高了质量保障率;(3)效率方面:振捣机器人系统同时采用3支振捣棒作业,作业效率更高,且长时间工作免受体力的约束,该优势在高寒高海拔环境下将更加明显。
图14 振捣机器人系统与人工振捣作业效果对比
4.3.2 机器视觉算法对比分析 对比浅层神经网络BPNN 和其他深层VggNet-16 及ResNet 网络方法,不同方法建立的混凝土表面图像识别模型性能如图15 所示。相比与传统神经网络BPNN 模型,基于深度学习的网络模型(VggNet 和ResNet)具有更优越的性能。对比VggNet 和ResNet 模型分类性能,验证了不同网络结构对模型性能的影响。相比于原始的ResNet-50 模型,改进ResNet-50 在Precision 和Recall 指标上的分类平均值分别提升了2.83%和3.74%。此外,相比于文献[28]所建立的混凝土表面图像分类模型,改进的ResNet-50 通过引入CBAM 以及全局平均池化层后,在Precision 和Recall 指标上的分类平均值分别提升了0.29%和0.43%,这表明所引入的策略可行、有效。
图15 不同图像识别算法对比
进一步讨论模型分类准确的原因,采用Grad-CAM[36]模块对最后一个卷积输出层(即图7 中Conv5_x 的输出层)的特征进行可视化分析。每一类别选取3 张代表性图像作为分析对象,模型识别图像类别结果与真实标签一致,不同模型分类结果及特征可视化如图16 所示。结果表明,图16 中No.1—No.3 中模型更加关注图像表面起伏较小的泛浆区域,这符合振捣合格的图像特征;图16 中No.4—No.6 中模型更加关注水泥浆液和骨料交错的区域,尤其是图16 中No.4 和No.6,与振捣过程中骨料下沉的特征一致;图16 中No.7—No.9 中模型更加关注图像中有分界的区域,图16 中No.7 和No.9 较为明显,关注大骨料或者浆液少的区域。通过Grad-CAM 可视化分析,表明模型能够有效提取输入图像的关键特征,一定程度上解释了所提模型实现正确分类的内在原因,验证了模型的可靠性。
图16 测试集图像分类及其特征可视化
针对传统人工振捣作业工作强度高、作业主观性强,且现有振捣监控方法忽略了反映振捣过程混凝土密实性的表面图像分析等不足,研发了基于机器视觉的无人振捣机器人系统,并在施工现场进行了验证,取得如下成果:
(1)研发了无人振捣机器人系统,该系统包括振捣机器人本体、云端监控平台以及通讯子系统,基于工业机器人、自动化控制、机器视觉等技术实现了高拱坝仓面环境下无人振捣;
(2)提出了基于改进ResNet 的混凝土表面图像分类模型,模型的评估指标Precision 和Recall 平均值分别为98.36%和98.33%,实现了混凝土表面图像的智能识别,为自动振捣提供操控依据;
(3)现场试验验证了振捣机器人系统在高拱坝仓面环境下作业的有效性和可靠性,实现了精准化振捣参数的控制以及基于机器视觉的混凝土表面图像识别,解决了人工经验性评估振捣效果存在主观性的不足,有效保障了振捣施工质量。
本文研究成果为高拱坝实现无人化振捣施工提供了新的技术手段,推进了水电工程建设中混凝土浇筑振捣作业向智能化发展,尤其是对未来高寒地区工程实现少人化或无人化建设具有显著的工程意义;此外,可以推广应用于其它大体积混凝土施工过程,具有一定普适性。由于振捣机器人本身是一个复杂的非线性系统,未来需要进一步在不确定性环境下实现智能化无人振捣施工。