一种基于鱼眼视觉的强夯作业监测方法

杨佳男，周崇华

（1.中国交通建设集团有限公司，北京 100101；2.中国科学技术大学/中交疏浚（集团）股份有限公司，北京 100101）

引言

傅温[1]在其文章中对强夯法有明确定义，其指使用起重机械（如起重机配三脚架、起重机配龙门架、或单台起重机）将8～30 t 的大吨位夯锤起吊到6～30 m 高度后，使其夯锤自由落下，以强大的冲击能量夯击地基土，致使地基土中出现很大的冲击波和冲击应力，迫使地基土的主体孔隙压缩，排除地基土中孔隙的水分，使得土粒能够重新排列，以致使土粒迅速固结，从而以达到提高地基承载力、降低其压缩性的一种被青睐、被广泛应用的地基加固方法。因其效率又高、质量又好、造价低廉等优点，受到机场、港口、公路等行业的青睐，并在其地基处理中被广泛应用。强夯机是用于对基地进行压实处理的一种机器，其种类很多，可根据工程需要运用不同类型的强夯机。对于强夯机械设备的类型和数量的选择，一般是根据地基处理工程的特点，包括工程所处地域、工期、工程量和采用的施工方法来选择。如在我国2021 年开工新建西藏普兰机场飞行区场道工程（二标段）强夯专项施工中投入的设备包括宇通350B 的履带式强夯机20 台、宇通450B 的履带式强夯机5 台、杭重3000C 的履带式强夯机5 台，17 t 的强夯锤25 个、20 t 的强夯锤5 个等。观察宇通350B、宇通450B 及杭重3000C三种类型的强夯机，其构成包括底盘、上车、主臂、H 梁、卷扬机、驾驶室、液压系统等。现场操作以上三种类型的强夯机进行地基夯实作业时，需要操纵强夯机的卷扬机，将夯锤吊起到所需高度（一般是6～30 m 范围内），然后释放夯锤让其自由落下，给地基土以强大的冲击能量以实现对地基土层夯实处理。

在强夯作业时，时常发生死人伤人安全事故，如夯锤砸中伤人、石子飞溅伤人和机械设备伤人及其他安全隐患，这给施工现场的安全保障提出了极大的挑战。目前，强夯作业现场的安全监管主要靠安全员，科技手段缺乏。本文提出一种基于鱼眼视觉的强夯作业区安全隐患监测的方法，通过鱼眼视觉非接触式、不间断的获取强夯作业现场复杂环境的图像，采用“云大物移智”技术，特别是人工智能技术，无感智能的实现对强夯作业施工现场一定范围内安全隐患的自动识别，并对其建立起安全隐患预警和安全风险控制，从而有效减少或避免安全事故的发生。

1 系统设计

近年来，随着人工智能和AI 技术的快速发展，特别是机器视觉的成熟应用，给安全和监控行业带来更大的突破性的发展。鱼眼视觉系统因其体积小、视觉广等优点，并在不需要移动和旋转的条件下就能摄取更多的内容信息，因而得到青睐，已被广泛应用于特殊的图像采集行业，包括安全系统和监视系统等。基于鱼眼视觉的强夯作业区安全隐患的监测方法，是借鉴鱼眼摄像机在监视系统和安全系统的广泛应用，实现在施工现场的安全隐患监测。其系统采用集成化设计，在施工现场实现数据采集与数据处理的基础，即在鱼眼摄像机内嵌入数据处理软件以实现在强夯作业区的安全隐患监测。本系统由四部分组成，第一是视频图像采集部分，其主要是由鱼眼镜头和图像传感器组成，无感及不间断实现获取强夯作业环境的视频图像的采集。第二是智能一体机（数据处理）部分，将芯片算法和处理软件嵌入一体机中，实现图像矫正和安全隐患检测等功能。包括图像矫正芯片、危险区域标定模块、安全隐患检测与预警模块、数据存储模块及4G/5G 通讯模块和其它（供电模块等）组成。第三是报警部分，主要由报警器组成，实现安全隐患报警功能。第四部分是应用部分，主要由后台电脑和应用软件APP 等组成，实现其应用。其系统架构如下：

1）图像采集：针对强夯作业施工现场的安全隐患监测需求，结合目前视频监控的软硬件条件，选择采用集成了鱼眼镜头和图像传感器一体的产品，其具有更好的视角来监测强夯作业环境下的安全隐患（人或机械设备）。崔鑫[2]在其论文中指出，鱼眼镜头具有焦距短、视场大的特点，可以得到更大视角的空域信息，在很大程度上消除视觉上存在的盲区，因此得到青睐和广泛的应用。虽然其具有超大视角特点，但是它也有严重的畸变现象，需对其进行畸变修正，实现高精度还原。

2）数据处理：图像采集部分把实时采集视频图像的传给智能一体机（数据处理）部分，该部分是利用其植入的芯片和嵌入式处理器的强大运算能力实现数据处理，包括2 个数据处理模块，其一是FPGA 芯片对图像进行矫正处理（畸变修正），实现高精度还原；其二是，嵌入式处理器对安全隐患的自动识别（检测）等。植入的FPGA 芯片实现对图像矫正（畸变修正），具体算法详见“矫正算法”章节。后续的数据处理流程如下：安全隐患检测与预警模块接收到矫正后的图像，首先进行危险区域场景标定，查找有关法律法规文件获得安全隐患相关的行为定义和危险区域范围数值，再对其进行标定。对标定后的图像进行安全隐患检测，主要是对在强夯作业环境下危险区域的人或机械设备的检测。安全隐患的自动识别（检测）是该模块的核心，具体算法详见“安全隐患目标检测算法”章节。由安全隐患检测与预警模块检测出结果，若存在安全隐患，一方面发生送给报警器进行报警，另一方面把结果存储在数据存储模。数据存储模块根据应用需要，通过4G/5G 通讯模块，发送给应用部分的后台电脑和应用软件APP。

3）报警部分：接收来自智能一体机的报警信号进行警报。

4）应用部分：通过4G/5G 通讯模块实现接收和查看安全隐患检测及报警数据等方面信息。

图1 基于鱼眼视觉的强夯作业安全隐患监测系统架构

2 算法说明

2.1 畸变矫正算法

前文提到鱼眼镜头具有超大视角特点，但是它也有严重的畸变现象。特别是其焦距越短、视角越广的场景下，所获取的图像畸变也会变得越大，以导致完全不能达到正常视觉效果的要求，这样就需要对需对其进行畸变修正，实现高精度还原。在说明矫正算法之前，先对鱼眼成像进行阐述。

1）鱼眼成像算法

在文献[3-5]中说明了鱼眼镜头成像的基本原理，其采用的是球面坐标模型，Oc-XcYcZc代表相机坐标系，O-XY 为成像平面。P 代表现实世界的一点，θ代表其入射角度。依据孔针相机模型理论，点P 经光心Oc形成入射光线POc经过镜头其光线路线是不改变的，P、Oc、P0即为三点是在一条直线上（三点共线），且P0为P 的像点。但是在鱼眼镜头中采用的是球面坐标模型，入射光线POc经过鱼眼镜头后会发生一定程度的折射，因此P 的像点在鱼眼视觉成像点为p'。如图2。

图2 鱼眼镜头成像模型

成像算法包括如下步骤：

①根据孔针相机的模型理论，可得到以下参数：P0(a，b)、(r，ψ)、θ。其中P0(a，b)表示点P在孔针相机的像点，(r，ψ)为其极坐标形式表示，θ代表其入射角度；

②实际上由于鱼眼镜头所采用的是球面坐标模型，其存在一定程度的畸变，其光线的入射角θd≠θ，实际的像点p'(x'，y')；

③采用等距离投影公式和Taylor（泰勒）展开公式原理，可求得：θd=θ(1+k1θ2+k2θ4+k3θ6+k4θ8)；

④基于rd=θd，所以点p'的极坐标为(θd，ψ)，从而得到其卡迪尔坐标值x'=(θd/r)a，y'=(θd/r)b；

⑤最后，可根据鱼眼镜头的参数将p'(x'，y')转换到熟知的像素坐标系（U，V），u=fxx'+cx，v=fyy'+cy。

2）图像矫正算法

图像矫正中的坐标点对应关系需要采用矫正算法，把鱼眼成像算法的步骤A5 中的像点p'(x'，y')矫正为像点P0，包括以下步骤：

①在上述鱼眼成像算法中可知，鱼眼镜头成像过程是利用现实世界点P 的入射θ（已知）求出射角θd。而畸变矫正（鱼眼镜头）的过程是逆过程，已知畸变后的像点位置p'(x'，y')得出现实世界点P的入射θ。由于鱼眼镜头的参数是可以得知，可根据像点位置p'(x'，y')以及参数焦距f 求得θd的值。所以鱼眼镜头的畸变矫正的实质就是求解关于θ的一元高次方程：θd=θ(1+k1θ2+k2θ4+k3θ6+k4θ8)，其中k1、k2、k3、k4是畸变参数，其数值是由鱼眼镜头的标定结果提供。学术界求解一元高次方程的方法，常有二分法、不动点迭代、牛顿迭代等方法。本文利用牛顿迭代求解：

f(θ)=θ(1+k1θ2+k2θ4+k3θ6+k4θ8)-θd，，通过循环迭代直到f(θ)≈0，或达到迭代次数上限，求得θ；

②求得θ后，未畸变的像点P0(a，b)到像平面（O-XY）中心的距离，可以求得：r=tanθ，其P0的坐标为：a=(r/θd)x'，b=(r/θd)y'；

③利用相机内参数将P0(a，b)转换到像素坐标，既可得到未畸变的像素坐标。通过矫正算法把鱼眼镜头拍摄的畸变的图像（p'）还原成正常图像（P0），反映了矫正图中的像素坐标和正常图像素坐标之间的对应关系。

2.2 安全隐患目标检测算法

在强夯作业环境下，安全隐患目标主要是在危险区域行走的行人和机械设备。付苗苗[6]指出，目前用于深度神经网络的目标检测算法主要有2 大类型，即是两阶段和单阶段检测，其主要区别在于是否存在候选框生成过程。本文采用单阶段检测方法，即可视为一个基于回归的检测问题，在一个单独的网络中直接完成从图像输入到物体的定位和分类。YOLO-v5[7]是当前比较先进的单阶段目标检测算法之一，本文将该算法用于安全隐患目标（人和机械设备）检测，其算法说明如下：

1）算法原理

YOLO-v5 算法是将目标检测转化为回归与分类的综合任务，其原理是将输入图片分割成m×m网格(grid cell)，对于上述分割好的每一个网格，算法对其进行预测，包括n 个预测框。在每个预测框中包含预测物的类别和置信度，从而得到m×m×n个目标检测窗口。根据YOLO-v5 算法在其预先设置的阈值，网络清除置信度较低的目标窗口，根据非极大值抑制算法筛除冗余窗口，得到最终目标的检测结果，其结果是目标物的类别和置信度。

2）YOLO-v5 算法结构

其算法由四部分租出，包括输入端、主干网络、瓶颈块和预测。第一是部分是输入端，完成Mosaic数据增强和自适应锚框计算的功能；第二部分是主干网络，是对图片进行特征提取，Focus 算法模块用于对输入端图片（608×608×3）进行切片和卷积，进而得到特征图（304×304×32），第三部分是瓶颈块，该算法是FPN+PAN 网络，实现对不同等级特征的融合；最后部分是预测部分，主要功能是完成对输入图像的预测。

3）损失函数

YOLO-v5 算法在得到最终预测结果前，得完成“目标物的分类”、“目标物预测框位置回归”和“目标物的置信度回归”等三个预测。本文的损失函数就是对以上三个预测的损失函数，三者之和为最终的损失函数。

3 系统部署

3.1 硬件部署

在我国的机场、港口、高速公路及工业厂房等大面积的地基处理都采用强夯法，图3（b）是我某机场在强夯作业的实拍照片。基于鱼眼视觉的强夯作业区安全隐患监测系统的硬件装置（采集部分、智能一体机和报警部分），可根据强夯作业现场情况安装于强夯机的臂头上，如图3（a）所示。其夯点A 位于相机坐标系Oc-XcYcZc的Zc轴上，距离Oc点距离为h。h 的数值与具体强夯机的具体型号有关，如HZQH7000 的h 值约为26 m 左右，可具体测量。

图3 监测系统硬件部署示意图

3.2 软件部署

为实现强夯作业环境下安全隐患监测需要对危险区域场景标定，再对在强夯作业环境下危险区域的人或设备的检测。1）危险区域标定：根据重锤夯实法的安全措施[8]，明确要求 “夯锤起吊后，臂杆和夯锤下15 m 内严禁站人，且不得在起重臂旋转半径范围内通过”“非工作人员应远离夯点30 m 以外”。本文以“夯点30 m 内”界定为危险区域。在系统硬件部署安装固定后，其离地面高度h 已经确定，通过h 值和实际照片尺寸计算，在图像矫正算法处理后的图片上标定危险区域。如图3（b）中所示，以夯点A 为圆心半径为30 m 的圆。

2）安全隐患目标检测：从重锤夯实法的安全措施要求可知，人是最主要的安全隐患目标，也包括少量的机械设备。为实现强夯作业环境下安全隐患目标检测，需要首先构建检测模型，再部署模型应用。在上一节已经明确了“危险区域”的范围，即是“夯点30 m 内”。对安全隐患目标检测可表达为“人和机械设备入侵以夯点A 为圆心半径为30 m 的圆周界的检测”，可转换为异物入侵检测。异物为人和机械设备，入侵红线为以夯点A 为圆心半径为30 m 的圆周界。图4 为异物入侵检测模型的构建与应用流程图。

图4 模型构件与软件部署上线应用

首先，通过数据准备和算法培训构件异物入侵检测模型，再对其进行部署上线进行异物入侵自动检测，实现安全隐患目标检测和预警。

4 结语

本文提出了一种基于鱼眼视觉的强夯作业区安全隐患监测的方法，重点对其系统进行设计、算法进行说明，并对其软硬件部署进行阐述。本方法很好的实现对强夯作业施工现场安全隐患的识别与预警，从而有效减少或避免安全事故的发生。此外，采用嵌入式和集成化设计，在前端摄像机内将处理软件嵌入其中完成监测功能，可操作性强。最后是深度学习算法，方案成熟，不存在漏检、错检等不足，识别率高。