基于图像识别的塔式起重机异常预警方法及应用*

王建玲

(河南工学院 电子信息工程学院,河南 新乡 453003)

关键字:塔式起重机;图像识别;深度学习;异常预警

0 引言

在房屋建筑、桥梁隧道等工程领域,塔式起重机作为重要的材料转运设备,所发挥的关键作用非常大,在实际应用中具有不可替代的作用[1-5]。

在实际的转运过程中,塔式起重机非常容易受到各种因素的影响,例如各种类型的环境、起重机构件的受力情况[6-11]、操作人员的熟练程度[12-15]等等。当塔式起重机缺乏有效的预警方法时,由于管理和维护不足、检查不到位,甚至是违规作业,非常容易造成严重的安全事故。因此,如何利用现有的图像智能化技术建立有效的塔式起重机异常预警[16-22],时刻检测塔式起重机的安全运行状态已经成为亟待解决的问题。

应用图像识别技术[23-31]可对起重机的超速、运动异常、结构受力过大等情况进行有效的监控和预警。本文主要针对塔式起重机违规作业、故障诊断、运行状态检测等问题,利用图像识别技术来采集起重机运行图像,智能化评估起重机的运行状态,构建起重机预警网络,以增加起重机的安全性和可靠性。

1 相关工作

1.1 图像识别

图像识别是人工智能的重要领域,是指利用计算机技术对图像进行处理、分析和理解,用来识别不同类型的目标和对象的技术。智能化图像识别技术的应用范围非常广泛,例如姿态估计、人物识别、车辆识别、图像分类等领域。图像识别在实际工程中可以识别出物体运动轨迹、位置、速度、物体变形情况,在人体识别中可以通过识别人体姿态检测人体疲劳状况等,在检测环境方面可以有效识别外界环境如雾雨雪天气等。图像识别应用场景广泛,成本低,效果好,可以进一步推广到建筑设备当中,以提高设备的智能化程度和水平。

1.2 塔式起重机预警

为了实现塔式起重机的结构安全,基于塔式起重机的安全检测参数选取与布置检测点,利用实时数据采集与安全风险分类识别模型,可构建塔式起重机的安全检测预警模型[16-19]。通过人工巡检获取构件磨损情况,使用性能损伤信息,同时利用传感器设备获取检测点的实时信息,可分析得到检测点、断面以及整体结构的损伤情况,并且可划分为不同的预警等级[20-22]。塔式起重机安全检测内容主要有最大应力、最大变形、温度、载荷等。塔式起重机结构系统的数值分析可以确定检测点的分布,结合实际经验以及传感器安装可行性确定关键参数点布置位置。在塔式起重机的使用中,通过对应力检测点的检测数值与有限元分析结果进行对比确定塔式起重机异常预警的等级。

2 图像识别的塔式起重机预警方法

2.1 塔式起重机工作原理

塔式起重机的顶升是塔机施工的必要过程。受到不同负载的影响,塔机顶升时候受力情况复杂,对工作人员的技术要求较高。多数情况下,安全事故主要是由于工作人员在顶升时候操作不当和钢架结构受力过大造成的。

本文主要依据起重机的事故分析统计选取了较为合适的安全检测点,对事故多发的位置和机构进行视频数据采集和实时监控,主要分为起重机构件图像、环境图像和操作人员图像三类,如图1所示。

图1 塔式起重机图像采集点分布方案

为了方便快捷地判断塔式起重机的安全性,需要动态显示其运行状态参量的变化趋势,例如起升高度、回转角度等数据。通过统计塔式起重机参数运行的正常范围,确定检测程序中其实际参数变化阈值,变化幅度在设定的阈值内表示安全,反之表示危险,并提出预警。

起升力矩由多个检测参数复合表示,需要确定塔机的起升特定曲线,表达式如下:

(Q+q)×(X-r)=M

(1)

式中:Q为最大幅度的额定起重量,q为吊具系统重量,X为当前幅度,r为吊臂根部铰点至回转中心距离。

塔式起重机的金属构件在负载较大的作用下,关键部位容易产生疲劳损伤,甚至产生疲劳裂纹。为了对塔式起重机金属构件部位进行实时检测,通过现有的损伤理论和计算的局部疲劳损伤,得到塔式起重机的安全服务年限。在忽略载荷间相互作用前提下,利用线性积累损伤理论计算当量损伤,公式如下:

(2)

2.2 图像分类网络

基于神经网络的深度学习模型广泛应用于文本、图像、视频、语音等领域,具有较高的预测精度和较快的推理速度,目前已经被扩展到很多的应用任务当中[32]。环境图像和操作人员图像的处理都属于图像分类问题。图像分类是计算机视觉的核心,涌现出许多模型,如LeNet、GooLeNet、ResNet等,在不同的阶段和侧面有优秀表现。

模型设计包括三个步骤:模型假设、评价函数和优化算法。模型假设是选择一个模型结构来在输入和输出之间建立联系,参数待定。评价函数是服务于寻找最优参数的判断好坏的指标。优化算法就是获得使评价指标最优的参数的方法。深度学习模型网络参数众多,从零开始确定参数需要海量数据和强大算力支持,这对普通用户来讲是使用优秀模型解决问题的障碍。经过公共海量数据库调优的模型参数就用来解决这个问题,在此基础上,用户只需要小批量的私有数据、普通算力就可以获得适用的模型。

残差网络ResNet是实践中应用较为有效的处理图像的网络结构,常做为baseline模型使用。在本文中,以经过ImageNet数据集训练的ResNet50为基础,输入和输出分别为图像和类别标签的格式,方便网络结构进行预测和学习。

模型生成过程如图2所示,包括六个步骤。数据处理是将收集的用户数据分割为训练集、验证集和测试集,并生成各数据集的包含图片路径和标签的文本文件。模型设计中导入经过公共数据集训练的ResNet50参数模型。训练配置指定训练策略。训练过程中循环进行前向计算、损失函数计算和后向传播计算,寻求最优参数解。模型保存是将训练好的模型保存成文件,在模型预测中使用,从而使训练和预测不必在同一个设备上实现。

图2 图像分类模型生成步骤[32]

2.3 起重机预警方法

为了实现有效的预警,在图像处理中,本文主要做了三方面的工作。首先是起重机构件图像,主要是检测图像中物体的变形程度、运动的速度和位置,根据检测数据计算起重机的构件受力情况,并且设置一个向量表示起重机构件的状态。其次是环境图像,通过目前的图像算法实现风力状态、湿度和雾霾的分类与检测,并且设置状态参数作为网络模型学习的输入。最后是操作人员图像,通过姿态估计算法、目标识别算法和疲劳检测算法识别操作人员的状态,并且将这些整理好的数据输入网络进行预警归类。由于本文中使用的图像处理算法较多,因此我们以开源的算法为基础,对网络模型和算法进行了改进,以更好地适用于预警任务。

图3 图像数据采集

为了实现实时监测塔式起重机结构安全,基于其安全监测参数点选取与布置,利用视频监测数据采集与安全分析模块,构建塔式起重机结构安全监测预警模型如图4所示。通过图像传感器实时获取监测点的信息,以这些采集图像为输入,对各个监测点的状况进行分类,得到塔式起重机构件、环境和人员方面的分类结果。包括构件损伤状况、连接状态、受力情况、连接界面、牢固性等方面的量化结果,天气的风力、雾霾、雨雪等情况的类别,以及人员的操作状态的分类结果。三类结果作为一个经过学习的全连接层网络的输入,获得对应的预警等级。工作人员根据这些数据信息进行检查和维修,保障设备的正常运行。

图4 塔式起重机异常预警系统

预警等级包括I—IV级4个级别,整体层次划分取决于数据变化状况。安全人员可以根据不同的预警等级制定不同类型的应急预案,及时排除风险。如整体预警等级达到III级时,应立即停止作业,并报安全主管部门,及时安排专业维修人员采取紧急措施,重点排查监测数据异常区域,直至排除风险后等级稳定到I级方可继续作业。

3 实验结果与分析

3.1 数据集及相关设置

本文基于深度学习网络模型进行分类预测。以经过海量公共数据集训练的网络模型为baseline,运用小批量的用户数据对模型进行微调,使之经过小规模的训练就可以生成适用的网络模型。

如天气状况的分类中,以小型的五类天气分类数据集作为输入,采用Adam优化器,学习率10-3,训练遍历5次准确率就稳定到0.95以上。充分显示出基于大型数据集训练的模型经过小批量数据调优在确定模型参数中的效率。

3.2 实验结果与分析

疲劳寿命指具有特定材料和结构的物体从开始到最终破坏所经受的循环负载的次数或者是时间。一般来说,物体的疲劳寿命主要与材料的力学特性、结构特点、施加应力程度相关。通常来说,材料的弹性形变越好、施加的应力越低、物体结构越稳定,则这种物体构件的使用寿命越长。目前在材料领域,广泛采用S-N曲线来反应外加应力S和疲劳寿命N之间的关系,通常曲线分为三个部分,分别是低疲劳区(LCF)、高疲劳区(HCF)和亚疲劳区(SF),曲线如图5所示。

描述材料S-N曲线的经验公式:

σmN=C

(3)

mlgσ+lgN=lgC

(4)

σ=σ/KfKs

(5)

lgN=-4.04·lgσ+13.8,σ≥47.5

(6)

lgN=-5.26·lgσ+15.12,σ≤47.5

(7)

从图6中,可以观察到塔式起重机在重复性位移时对起重机构件的影响。在重复性运动时,对于起重机构件的影响始终是动态变化的过程,对应的受力情况呈现周期性的变化。在小车的速度发生变化时,对应的塔式起重机的构件受力情况也会随着发生变化,有随着速度增大变大的趋势。

图5 材料的S-N曲线

图6 位移和速度对起重机构件的影响

图7表示起重机两构件连接处的应力变化趋势,颜色越深表示受到的应力越大。从图中可以清楚观察到A、C两构件的受力从中心向边缘不断减弱。

图7 构件连接处应力变化情况

图8表示模型根据收集和分类的数据进行预测的预警等级,预警等级越高说明塔式起重机的情况越差,正常情况下在I和II等级下均能正常运转。考虑到模型最终输出的数据为热力图,因此我们在标注数据时也采用热力图作为标签标注模型的预警等级,设定不同类型的阈值范围,并在超过某个范围后进行预警提示,以便进行检修和维护。

图8 I—IV预警等级热力图

4 总结

本文研究了将图像识别技术应用于塔式起重机预警的方法,在实验数据上,能够获得精确的预警等级。本文采用了基于海量公共数据集学习的深度学习图像分类模型作为baseline,再通过小批量用户数据进行微调,以快速获取适用的模型进行预测。其次,本文以深度学习网络模型为基础,根据三类图像数据分类处理过的标签数据来预测塔式起重机的预警等级,以提高塔式起重机的综合效益。该工作基于国内的开源AI平台进行,在后续的工作中,应将更多的深度学习技术成果运用到实际的生产环境中,以提高社会效益和经济效益。

(责任编辑王 磊)