基于视频摘要的地铁工程施工项目安全培训素材获取方法*

余宏亮 彭 震 金 媛 黄金艳

(1.武汉科技大学恒大管理学院，430065，武汉； 2.华中科技大学BIM工程中心，430074，武汉∥第一作者，高级工程师)

0 引言

施工工人(以下简称“工人”)的不安全行为是导致地铁车站施工项目安全事故发生的主要原因，对工人进行安全培训是降低不安全行为的重要手段。目前，在地铁工程的施工过程中，工人的安全培训效果并不理想。究其原因主要有以下几点：① 现场工人文化程度普遍不高，对传统纸质教材难以吸收消化；② 开展培训的方式多采用课堂集中教学，培训内容主要来源于操作规程和安全规范，存在学习内容枯燥等问题；③ 安全培训重视程度不高，培训内容和形式更新不及时。

针对现有安全培训中的培训内容脱离实际、难以吸收消化、培训方式枯燥等问题，文献[1]认为培训材料需要以多样化、图形化的表现形式呈现，用多媒体或图片等计算机辅助手段可以提升培训效果。文献[2]根据培训图片的内容特征，利用相似度算法个性化推送给相应地铁项目中进行该环节施工的工人。文献[3]开发了一个图示语言安全培训系统，该系统从施工现场照片中获取工人的危险动作，并将其作为培训素材，以更趣味的形式改编和转化为工人施工法则规范，极大地增添了参与者的培训积极性。文献[4]以武汉地铁双墩站为例，利用漫画和图片的形式建立图示语言培训库，研究结果表明其具有高实用性，能够有效改善工人的危险行为，提高施工安全管理水平。但上述研究的实施效果均依赖于高质量的培训照片，而现场安全培训照片素材收集难度较大，若通过人工从海量巡查照片中筛选出合适的素材，工作量极大且效率极低，这就造成了安全培训照片库更新较慢，不能及时反映各工地的实际安全状况。同时，安全培训照片库更新较慢还会导致经过几轮培训的工人反复抽取到已培训过的测试题等情况。因此，安全培训素材需要更有针对性的个性化数据库。

视频摘要是利用近似算法和计算机技术从海量多媒体视频中筛选典型的、有利用价值的帧，对原始视频进行浓缩概括的一项技术。随着视频摘要技术在监控领域的广泛应用，可以借助该技术筛选出地铁车站施工项目中工人的不安全行为。视频摘要分为静态视频摘要和动态视频摘要。静态视频摘要通过原始多媒体图像摘选典型视频帧形成关键帧。动态视频摘要是由一些图像序列及其对应的音频组成的一个视频片断。视频摘要提取技术有助于直接从地铁工程施工项目现场获取反映工人不安全行为的图像数据，相比于传统的培训素材，该技术的应用具有极高的工程价值和实用性。

本文提出在地铁工程施工项目现场的视频监控图像中，根据工人的不安全行为特征抽取典型视频帧和视频段，分别形成静态视频摘要和动态视频摘要。利用动态视频摘要获取地铁车站施工项目的不安全行为视频，极大地丰富了安全培训素材，解决了素材单一及获取困难等问题。本研究可为接受安全培训的工人提供更加生动的培训体验，提高实际培训效果。

1 地铁工程施工安全培训素材获取方法

1.1 地铁工程施工远程监控及视频图像管理

远程视频监控是加强地铁工程施工现场安全监管的有力措施，因此国家和地方安全监管部门颁布了各种法规大力推行远程视频监控。2012年，中华人民共和国住建部发布了JGJ/T 292—2012《建筑工程施工现场视频监控技术规范》，随之天津、北京、南京和上海等地也出台了相应的施工现场远程视频监控管理实施办法，其中《上海轨道交通施工现场视频监控管理办法》对监控区域范围、监控视频保存与备份等具体问题进行了规定。视频监控系统在北京、上海、广州、深圳和武汉等城市的地铁工程项目施工现场获得了广泛应用。

国内许多学者对地铁工程施工视频监控系统的总体架构、主要功能、关键技术等方面进行了研究。用于施工安全培训的素材往往是Near-miss事件(或称为险兆事件),为了能捕捉这些事件，地铁车站视频监控应实现施工区域全覆盖，包括出入大门、各类车辆出入区域、材料堆放加工区域和施工作业面。文献[5]制定了施工阶段施工层、施工现场空间视频监控全覆盖、视频监控点最少等布设原则，并开发了施工视频监控点动态布置模型。文献[6]通过专家调查和层次分析法，得出了地铁盾构区间视频监控摄像头最优布设位置为盾构机出土口、吊装井口、盾构尾端、管片拼装区、吊装运输区和盾构机操作室的结论。基于上述研究可知，地铁工程现场施工视频监控系统部署是识别和提取基于视频摘要险兆事件图像及数据的基础。

1.2 险兆事件危险区域监控视频图像的辨识

为了获取险兆事件的视频图像或照片作为安全培训素材，必须对险兆事件发生的危险区域进行识别和划分，总结发生此类不安全行为的监控视频图像特征并生成所需的安全培训素材。

1.2.1 险兆事件危险区域的识别与划分

地铁工程施工技术难度高、施工环境复杂、施工人员安全意识参差不齐，现场安全管理难度较大。当工人进入易发生安全事故的危险区域时，发生安全事故的概率会相应增大。文献[7-8]的研究发现：地铁工程施工现场易发生安全事故的危险区域主要分布在基坑工程、脚手架工程、模板工程、混凝土工程、起重吊装作业、动火作业、用电作业、运输作业、施工机械作业和地下施工作业等区域，这些危险区域也是险兆事件高发区域，所以对这些危险区域实施重点监控是预防事故发生的有效技术手段。分析地铁工程施工现场危险区域的识别条件、划分规则和事故类型，结果如表1所示。

1.2.2 险兆事件危险区域的监控视频图像特征

监控视频是由一系列相关的图像帧组成，除了具有图像的一般特征外，由于拍摄设备、手段、目的及内容的不同，还具有一些显著特征：

1) 静态特征：颜色、纹理、形状和空间关系等特征。

2) 运动特征：反映监控视频的动态信息，如运动目标的位置、大小、速度等变化。靠近或进入危险区域工人的运动特征可通过跟踪工人所在危险区域的行为来反映。

3) 结构特征：监控视频是对某个固定地点长时间连续拍摄形成的，主要记录特定空间内(即险兆事件危险区域)运动对象的活动情况。

4) 视频内容特征：背景变化较小、监控场景相对稳定、信息密度低，存在大量无险兆事件发生的片段，且处于险兆状态的目标对象相对较少。

表1 地铁工程施工现场危险区域的识别与划分Tab.1 Identification and division of dangerous areas in metro project construction site

1.3 险兆事件视频摘要的生成算法

险兆事件视频摘要生成的基本步骤为：基于险兆事件危险区域划分规则，通过施工现场的摄像头聚焦预先划分好的险兆事件危险区域，对其进行重点监控，并将监控视频中划分的危险区域范围在视频中框选出来，围绕着框选的危险区域进行险兆事件识别和处理；通过背景建模获得视频背景图像，当检测到运动目标进入险兆事件危险区域的行为时，自动开始进行运动目标识别，并跟踪运动目标的运动轨迹信息；运用关键帧提取算法生成视频摘要。

1.3.1 运动目标检测

检测监控视频框选险兆事件危险区域中的所有运动目标，是险兆事件识别的关键工作。基于混合高斯背景建模和背景差分运动目标检测方法对复杂的监控场景有良好的适应性，运动目标检测包括两个主要步骤：背景建模和背景差分法运动目标检测。

1) 背景建模。背景图像中的每个像素由k(3≤k≤5)个高斯分布构成混合模型P(Xt)可以表示为：

(1)

式中：

βi,t——协方差矩阵；

η(Xt,μi,t,βi,t)——t时刻第i个高斯模型的概率密度函数。

2) 背景差分法运动目标检测。背景差分法是根据当前视频帧像素点集合Xt(x，y)与背景图像帧像素点集合Bt(x，y)作差分运算，比较差分图像灰度值dt(x，y)与差分法计算时设定的阈值T，大于T的部分为运动目标，其余为背景部分。背景差分法运动目标检测公式为：

dt(x,y)=|Xt(x,y)-Bt(x,y)|

(2)

(3)

式中：

Dt(x，y)——运动目标检测结果值，取0或1。

1.3.2 目标跟踪与轨迹提取

目标跟踪的目的是获取监控图像序列中运动目标在险兆事件危险区域中的位置、行为及运动轨迹等信息。卡尔曼滤波法是一种快速准确的状态估计跟踪算法，采用5个步骤实现跟踪算法：①列出状态向量预测方程；②列出误差协方差预测方程；③计算卡尔曼滤波增益；④修正状态向量；⑤修正误差协方差矩阵。

通过对险兆事件危险区域中运动目标的检测与跟踪，可以获得视频图像帧中运动目标的位置变化信息。以视频图像帧中运动目标的质心坐标(xm，ym)作为位置坐标，m为监控视频图像帧序号，且m=0,1,…,n-1，将这些位置坐标连接起来即为视频图像帧中运动目标点坐标集合G，可以表示为：

G={(x0,y0),(x1,y1),…,(xn-1,yn-1)}

(4)

1.3.3 关键帧提取

采用基于内容分析的关键帧提取方法，以运动目标出入框选危险区域的起始帧及结束帧作为参考关键帧，反映运动目标进出危险区域的行为。对运动目标进入危险区域前与离开危险区域后的运动目标状态，根据参考关键帧以固定帧间隔各抓取一个关键帧；对运动目标进入危险区域内的视频段，只要运动目标进入危险区域内，其所有行为均可认为是险兆事件，即运动目标进入危险区域内的所有视频帧都可作为关键帧，所以选取中间帧作为关键帧。

1.3.4 动态视频摘要形成

根据运动目标检测与跟踪算法检测出框选危险区域内含有运动目标视频片段的定位信息，即运动目标出入框选危险区域的起始帧及结束帧。

1.3.5 静态视频摘要合成

运用泊松图像编辑技术合成摘要，对取得关键帧中的运动目标进行扣取，将其按照时间顺序放入背景图片中的对应位置，加入关键帧序号与时间标签，并将G中存储的各运动物体的运动轨迹在图像帧中显示出来，形成地铁工程施工险兆事件静态摘要。静态视频摘要可以直观地了解运动目标在地铁工程施工险兆危险区域的运动情况及行为信息，以便监控视频管理者对险兆事件作出判断并及时处理，避免安全事故的发生。安全培训素材库生成过程及应用如图1 所示。

图1 安全培训素材库生成过程及应用

2 应用案例

2.1 项目概况

武汉地铁某车站主体结构全长359.80 m，标准段宽为33.65 m。车站顶板覆土厚度为3 m。地铁车站工程采用明挖顺作法施工，车站主体基坑围护结构采用地下连续墙。根据企业技术文件《武汉地铁工程施工现场监控中心技术导则》规定，沿基坑前端、后端、左端、右端和中心制高点部位布设了5个动点高清红外网络高速智能球机(摄像头)。通过5.8 GHz频段无线网桥设备(最高带宽可达300 Mbit/s)将监控视频传输至监控机房千兆交换机，监控机房放置一台内置9 TB硬盘的NVR(网络视频录像机)和显示设备。

2.2 生成险兆事件视频摘要

通过施工现场监控高速智能球机获取基坑临边危险区域险兆事件监控视频，将其作为试验案例，采用Matlab 2017b软件进行程序编译。首先，根据临边危险区域划分规则划定危险区域范围；然后，基于1.3节提出的视频摘要算法对临边危险区域险兆事件进行自动监测，进而生成险兆事件视频摘要，将其作为个性化安全培训素材，通过安全培训系统推送给地铁车站项目工人。

本文案例为一个正在施工的地铁车站基坑，基坑防护栏杆已安装完毕，监控高速智能球机对此区域进行24 h监控。由于现场施工人员安全意识不够，出现了施工人员跨越防护栏杆在基坑边缘行走的险兆事件。根据危险区域划分规则在施工监控视频中已标记了临边危险区域，当施工人员进入红色边框区域时，基于运动目标检测与跟踪算法，识别程序开始自动响应并进行运动目标检测与跟踪，其示意图如图2所示(现场中的红色边框区在图中用白线表示)。

图2 运动目标检测与跟踪示意图Fig.2 Diagram of moving target detection and tracking

基于关键帧提取与摘要合成算法，对施工人员进入危险区域的视频段提取关键视频帧。根据险兆事件特征，在所获得的监控视频中选取了3个关键帧，其中包含工人违规跨越护栏进入临边危险区域(见图3 a))、在基坑边缘行走(见图3 b))、离开临边危险区域(见图3 c))这3个关键信息，结合人物运动轨迹和时间标签，合成视频摘要图片(见图3 d))。

图3 视频摘要生成示意图Fig.3 Diagram of video summarization generation

3 结语

针对目前地铁施工安全培训素材缺乏等问题，本文充分利用地铁工程施工现场视频监控图像，分析工人不安全行为特征，对危险区域中的运动目标进行检测与跟踪，利用视频摘要算法提取工人危险行为关键帧，构建动态和静态视频摘要作为工人安全培训素材。以武汉某地铁车站深基坑施工项目为例，从监控视频中抽取工人违规跨越护栏的危险行为作为典型帧视频，形成一条防止高处坠落的安全培训素材。此方法所形成的安全培训素材客观真实、形象生动、更新及时，解决了传统安全培训图片式、漫画式素材单一及获取困难等问题。后续研究中将进一步拓展识别规则，丰富检测不安全行为的种类，在视频摘要算法中加强人工智能属性，以构建更完善的工人安全培训素材库。