基于工业互联网的隧道监控视频语义分析

刘文璇，巫世峰，夏红霞，钟 忺，3

（1.武汉理工大学计算机与人工智能学院，湖北 武汉 430070；2.中乾立源工程咨询有限公司，湖北 武汉 430071；3.武汉理工大学交通物联网技术湖北省重点实验室，湖北武汉 430070）

0 引言

随着计算机技术的蓬勃发展，人工智能（Artificial Intelligence，AI）的应用需求急剧增长。自AI 步入商业领域，单一地利用CPU 或GPU 进行计算已经无法满足工业化应用的需要，在此背景下工业互联网应运而生。2019 年于我国召开的工业互联网全球峰会提到：“工业互联网是工业经济实现数字化、网络化、智能化发展的关键支撑。”因此，不断提升工业互联网的创新能力，为工业领域的发展注入新能量是目前关注的重点［1］。近年来，各种规模的企业纷纷参与建造工业互联网，增强我国在国际工业领域的竞争力。例如，沈阳格微软件有限责任公司面向航空制造企业的工业设计智能化需求，通过机器学习等技术完成了数据挖掘与关联；上海汽车集团股份有限公司通过数据同步技术搭建汽车供应链制造平台，对汽车数据进行协同管理等智能分析。工业互联网与人工智能技术相辅相成，为工业生产、产业制造提供了强有力的支撑。

通过梳理相关案例发现，目前关于城市隧道交通领域的工业互联网技术研究尚显不足。城市隧道中存在超大规模的常态化高强度运营，隧道监控分布范围广，监控对象定位难，对设备性能的要求非常高。同时由于光照、天气、角度等原因，隧道场景复杂多样，设备维护与整修难度大。随着城市隧道的逐渐增多，维护人员的工作压力日益增长。此外，不同的环境条件会对隧道数据产生不同程度的噪声干扰，给算法的精度与计算效率造成负面影响［2-3］。为此，许多新算法被提出。例如在隧道场景分割任务中，FCN 算法利用卷积层替换全连接层实现对每个像素的分类［4］；SpyGR 算法引入空间金字塔的图推理以识别图像特征［5］；RAPNet 采用残差多孔金字塔网络检测目标［6］。然而以上算法计算成本较高且效率低下，在实际应用场景中不能与工业互联网很好地结合，从而导致分割精度下降。在行人搜索任务中，MGTS 方法通过区分前后景，将检测和重识别作为两个不同的网络分开训练，从而达到搜索的目的［7］；CGPS 方法以图学习为基本网络框架，通过图像中的上下文信息辅助搜索任务［8］；IGPN 方法探索全局与局部的关系，通过学习人员候选区域与目标人员之间的相似度提升搜索精度［9］。然而以上方法忽略了实际监控场景的复杂性，无法解决因目标之间互相遮挡而导致的不对齐问题。在隧道异常事件识别任务中，简单使用卷积神经网络（CNN）或融合通道信息等方法无法解决隧道场景的复杂噪声问题。

因此，本文针对城市隧道监控系统，基于隧道应用措施，结合实际复杂场景中存在的问题提出基于工业互联网技术的城市隧道视频监控信息采集与语义分析方法，为城市隧道监控的工业设计与算法设计提供参考。本文主要关注以下几个方面的问题：①基于工业互联网，通过检测隧道内交通情况、预警危险环境对隧道交通进行管控，提高应对突发情况的效率；②通过对隧道监控大数据进行分析，更加科学地进行值班人员的周期性与区域性分配；③利用数据整合处理等工业大数据技术，结合人工智能算法模型，实现对视频图像数据的理解，采用视频图像语义分析算法进行异常事件识别、行人搜索、对象分割等实际应用，为技术人员进行视频搜索以及隧道异常环境预警提供有力的数据支撑。

1 相关研究

工业互联网的发展历程如图1 所示。从200 年前水利、畜牧业的动力设备到蒸汽机时代的机械调节器，这个阶段的机械操作基本上依靠人工完成。20 世纪70 年代，电子计算机的发展使得可编程逻辑控制器（Programmable Logic Controller，PLC）得以应用。随着传感器进入工业产线，现场总线于20 世纪80 年代被用于工业领域，传统的现场总线架构借鉴了ISO/OSI 模型。与商业互联网的7 层架构不同，工业网络由于有实时性需求，通常将工业总线设计为由物理层、数据链路层、应用层组成的3 层架构［10］（见图2）。现场总线的快速发展在带来一定便利的同时，也暴露出许多问题。工厂之间的互联需要彼此适配的现场总线，但差异巨大的物理介质、传输机制、带宽等导致了不良互联效果。为使整个工厂的设备实现良好连接，需要花费大量硬件成本配置中转模块。此外，在通过中转模块进行互联的过程中，不同的中转模块需要不同的驱动程序，导致成本进一步增加。21 世纪初，实时以太网引入高精度定位的控制技术，降低了生产系统中现场总线的成本。其统一化现场总线的物理层与数据链路层，逐渐成为工业互联网的主流，代表性实时以太网包括POWER LINK、Ether-CAT 等。2015 年，“互联网+”行动计划被确立为国家战略。2019 年3 月，“工业互联网”被写入政府工作报告。

Fig.1 Development of Industrial Internet图1 工业互联网发展历程

Fig.2 Three-layer architecture of industrial network图2 工业网络的3 层架构

传统的隧道交通监控系统往往由不同厂家提供的设备及配套操作软件组成，各个子系统独立割裂，限制了信息共享，增加了操作人员的工作量。产线互联需要在异构网络中获得信息与语义的互操作，OPC（OLE for Process Control）的出现恰好可以解决平台管理系统的集成问题，实现“集中管理、分散控制”的管控一体化［11］。然而，OPC 需要基于Windows 操作系统，一直无法得到大范围推广，同时工业互联网中数据传输存在的驱动程序问题也限制了交流互通。随后，OPC UA 的跨平台通信功能解决了这一问题［4］。

从工业互联网发展历程来看：继电器逻辑不灵活且维护成本较高；现场总线虽然降低了接线与工程成本，但信息集成能力不强，可维护性较低；实时以太网引入分布式控制与管理，但应用到工业现场时，面对恶劣的工作条件和严重的线路间干扰，会不可避免地降低可靠性。可以看出，工业网络对可靠性、可恢复性和可维护性具有很高要求，而以上几种技术都有其局限性。工业网络中的OPC UA over TSN 结构可覆盖会话层与表示层，TSN 的网络机制与配置管理可理解为以太网、网络层与传输层的覆盖，同时满足了工业4.0、边缘计算等新任务发展语义互操作的迫切需求。因此，本文将OPC UA over TSN 应用于城市隧道监控系统，提供一个实时开放、可靠性高的工业通信网络架构，以满足隧道监控系统的工业生产安全性和可靠性需求，弥补传统实时工业以太网在易用性、语义互操作性、带宽上的不足。

2 基于工业互联网的城市隧道视频监控信息采集与语义分析

2.1 整体架构

以隧道交通企业及政府相关管理部门为服务对象，以隧道监控网、通风照明、交通控制、视频数据、排水泵、广播、电力、无线通信等为管理对象，通过使用工业大数据、异构网络、工业无线网络等技术，构建城市隧道视频监控信息采集与语义分析平台。该平台对海量隧道监控数据进行及时的分析与处理，作出相应处理结果辅助决策，实现交通协助控制、环境灾害预警、应急抢险指挥、节能降损等多种功能，完善隧道资源管理、安全调度及危险预警功能。

如图3 所示，采用工业互联网中的现场总线技术、工业以太网技术，结合语义互操作的需求，将分散、时空隔离的众多监控摄像头集成到一个平台中，通过对车道交通运行参数、隧道环境、交通信号灯等各类信息的自动采集、整合、智能分析与共享，使操作员掌握各级信息，逐步实现系统业务的标准化、流程化、集成化、自动化与智能化。通过对城市隧道监控系统现有集成方法进行分析，结合2020 年6 月OPC 发布的工作方案，可以通过OPC UA 与TSN 融合的方式改进现有集成方法［12］。

Fig.3 Framework of urban tunnel surveillance system information collection and semantic analysis based on Industrial Internet图3 基于工业互联网的城市隧道监控系统信息采集与语义分析整体架构

图3 中，IaaS 云网层基于虚拟化、分布式存储、并行计算、负载调度等技术，提供计算资源、存储资源、网络资源等基础设施服务，实现存储、网络、计算等资源池的优化与管理，根据用户资源使用情况进行资源弹性分配以确保访问安全。

PaaS 平台层提供面向企业与开发者的一站式平台开发服务，支持工业模型开发、调度与管理，支持基于工业模型封装的工业微服务应用的全生命周期管理，并提供大规模容器集群管理、资源调度与中间件服务等通用服务，帮助用户快速构建工业应用。

SaaS 应用层根据隧道视频监控的具体需求，封装了城市隧道视频监控系统不同场景下的工业知识、应用方法和技术软件，如通风控制、隧道洞口变电、电力监控等。

核心层（网络传输与信息采集层）同时兼容4G/5G 传输、工业无线网传输、LAN/WAN 传输等，负责建造架构的数据基础，包括监控视频数据、隧道环境、交通运行参数、信号灯数据等基础信息的采集。

2.2 监控信息采集

城市隧道视频监控信息采集系统主要包括视频监控子系统、交通控制子系统、照明控制子系统、通风控制子系统、排水泵控制子系统、广播/紧急电话控制子系统、电力监控子系统、无线通信子系统、火灾自动报警子系统、联动控制子系统十大模块，主要功能为对采集数据的设备状态进行集中显示，通过监测数据分析不同设备的工作效率、故障情况等。图4 为隧道视频监控信息采集系统架构，具体功能为：

（1）视频监控子系统基于IP 网络实现视频信号的传输、交换与处理，整个子系统包括前端设备采集、网络传输、视频监控管理平台。信息采集的范围包括但不限于隧道交通流参数、隧道及隧道群区域的交通事件、隧道洞口及隧道内紧急电话呼叫信号、隧道及变电所的图像画面、隧道各种设备的检测信息及工作状态反馈信息、隧道事故、隧道内车辆行人信息、外场设备检测及工作状态反馈信息等。

（2）交通控制子系统由车辆检测器、车道指示器、交通信号灯等设备组成。车辆检测器主要用于检测隧道内的车速、车流量和车道占有率；车道指示器、交通信号灯的状态，可变情报板、可变限速板的内容应设置多种预案，以便根据车辆检测器的数据快速启用相应预案。该子系统可通过PLC 进行自动或手动控制。

（3）照明、通风、排水泵、火灾、电力监控5 个子系统主要检测隧道内部的环境情况，通过各隧道节点的电力测控装置实时采集隧道内部的环境数据，对灾害及时预警，保证车辆畅通。

（4）广播/紧急电话控制、无线通信两个子系统通过设置紧急电话和事件预警分析服务器实现对隧道内所有紧急电话、广播的注册配置、号码分配、路由中继等，其还可收集广播信号、无线信号数据，为隧道内抢修与控制管理人员建立无线信号通讯。这两个系统采用大容量主控机设备实现统一管理，具有集中管控的优势。

（5）联动控制子系统通过采集分析视频数据、环境数据、交通数据、火灾光纤传感器监测数据、设备控制参数、交通控制参数、隧道拥塞参数、火灾报警参数等，根据报警区域、事件分类与等级启动预先设置的灾害紧急预案，对相关设备进行联动控制。

隧道视频监控信息采集系统针对隧道内部的海量数据，通过分布式大数据技术，由多个分布结点组成的集群提供服务，提升了数据处理效率，缩短了响应时间。其在存贮上使用FastDFS 等分布式文件系统，对数据进行存储、访问等；分布式内存计算采用Spark 技术，通过弹性分布式数据集实现对分布式内存的抽象使用［13］；在应用开发上，其支持Java 等多种语言。该系统在保证关键数据采集实时性的同时降低了计算量，采用极简工业互联网中的常用数据库对信息采集平台进行优化配置，使其最大程度地满足业务系统的需求，具有高吞吐量、强稳定性、支持Hadoop 并行数据加载等工业特性。

2.3 图像语义分析

隧道数据分析是城市交通系统监管的重要内容。传统方法依靠人力进行视频的搜集、裁剪，手动对目标进行标注，耗时久且无法满足智能交通系统对视频数据的实时性分析要求［14］。因此，本文将深度学习方法与语义特征相结合，对视频图像进行分析建模，得到不同数据流并建立制程数据反馈，提高隧道数据的利用率［15］。本文提出的视频图像场景分割算法、视频图像行人搜索算法以图像识别和语义理解为基础，通过联合机器学习与深度学习方法解决隧道监控系统的复杂场景分割问题；提出的视频图像异常事件识别算法基于知识图谱思想，面向工业知识，解决隧道内异常事件的判识问题。以上3 种算法模型均在GPU服务器或云端通过大数据深度学习平台进行分布式训练。

2.3.1 场景分割算法

视频图像场景分割算法的目的是解析隧道监控视频中的场景。由于不同设备的设置不同，传入视频画面可能存在多尺度问题。为此，本文算法根据网络联机提供的画面解析场景信息，方便后续行人搜索、事件识别等任务的进行，具有解析速度快、精度高的优势。算法步骤如下：

其中，R1、R2、R3、R4为Resnet50［16］得到的不同阶段的特征图；Xi为第i层得到的特征图；σ为sigmoid 函数；H、W、C分别为图像的高度、宽度、通道数；P为SE 模块［17］中得到的特征图；为网络结构中第i层的第j个结点；B为网络中的瓶颈块。

在Cityscapes 数据集上进行仿真实验，以FCN、RAPNET、SpyGR 作为对照，以mIoU 为语义分割评价指标。表1实验结果表明，本文算法的mIoU 高于FCN、RAPNET、SpyGR，在隧道场景中的应用表现优异。该算法的树形结构解决了场景分割任务中的多尺度问题，可根据设备输入的视频进行画面分割，区分隧道背景与车辆主体前景，通过定位车辆主体，减少因突发故障导致的损失［17］。

Table 1 Results of Cityscapes dataset表1 Cityscapes 数据集实验结果

2.3.2 行人搜索算法

视频行人搜索算法的目的是在视频中搜索目标人物［18-19］。具体操作为将前端摄像机拍摄的模拟/数字视频信号输入到检测设备中进行DSP（Digital Signal Processing）前端处理，再提取行人及其背景信息，对相应画面进行裁剪。该算法针对视频画面进行分析，经由网络联机主动提供行人身份信息，与目标人物进行匹配，具体步骤如下：

其中，O′为经分割算法得到的行人检测图像；O″为行人的外观特征图为行人的全局特征。通过辅助插件得到行人图像的8 个部分，Pɑrti为行人的头部、肩膀、胸部、腹部、手臂、腿部、鞋子，Bɑcki为背景部分。Wg、Wq分别为全局特征与查询目标的特征权重。

在CUHK-SYSU 数据集上进行实验，以MGTS、CGPS、IGPN 为对照，以Top-1、mAP 作为目标检测的评价指标。表2 实验结果表明，本文算法在CUHK-SYSU 数据集上的mAP 和Top-1 准确度上分别达到92.8%和95.7%，相较于单纯区分前景、背景进行特征提取再融合的MGTS 方法提高了12.0%和9.2%，相较于以图学习为框架的CGPS 方法提高了9.2%和8.7%，相较于以全局与局部关系解析为基础的IGPN 方法提高了4.3%和2.5%。该算法在隧道应用中表现优异，其可根据设备输入的视频进行工程技术人员的搜索查询，定位其所在位置，经过工业互联网整体架构的传输，实时为隧道整修提供精确指导，减少人力损耗。

Table 2 Results of CUHK-SYSU dataset表2 CUHK-SYSU 数据集实验结果

2.3.3 异常事件识别算法

视频事件识别是指基于视频事件识别算法，将前端摄像机拍摄的模拟/数字视频信号输入到检测设备中进行DSP 前端处理，再提取表征信息，实现自动监视摄像机视野内异常交通事件的功能。视频图像异常事件识别算法针对逆行车辆、停等车辆、行人、抛洒物等进行判定，再经由网络联机主动提供事件报警信息，触发监控中心与数据服务器进行事件记录［20］。具体实现步骤如下：

其中，I为整个概念语义树结构的最大概念节点深度；i为概念节点x、y之间的距离；Nx和Ny分别表示概念x、概念y与对应祖父节点之间的有向边数量；Ns表示WordNet 树中根节点到概念x和概念y的公共祖父节点的有向边数量；Wl为概念x和概念y最近的公共祖先节点密度；Wx、Wy分别表示概念x和概念y的兄弟节点数；Wmax表示整个WordNet 树结构所有分支中兄弟节点的最大值；FA,B(C)为概念节点A、B与其祖父节点C的语义重合度。将概念A、B在WordNet树中所有的祖父节点分别定义为TA、TB，则TA-TB表示WordNet 树中概念A 的独立祖父概念节点，TB-TA同理。I′为图像的概念评分向量；wij为概念语义相似度度量生成的相似度矩阵；L、S 为拉普拉斯矩阵，S=L或S=Lp,p∈ℕ；α、β、γ为融合参数；I k为对角阵；μ为控制函数稳定性的约束条件。

WIDER 数据集来源于日常生活，图像数据中存在较大噪声信息，在该数据集上进行实验，以mAP 为评价指标。表3 实验结果表明，本文算法相较于早期仅使用CNN 和融合CNN 通道信息算法的识别性能分别提升了15.1% 和13.2%，相较于ImageNet CNN 算法提升了5.7%，相较于GoogLeNet GAP 算法提升了3.1%。

Table 3 Results of WIDER dataset表3 WIDER 数据集实验结果

基于概念评分的视频图像事件识别算法在隧道应用中表现优异，其可根据设备输入的视频预测隧道内可能发生的异常事件，通过结果定位异常行为主体，及时通过工业互联网连接应用层使设备作出响应，减少因突发故障导致的损失。

3 结语

以AI 为核心的新一代信息技术与工业互联网持续融合发展，推动城市隧道交通产业不断前进。目前城市隧道监控系统与工业互联网产业的结合仍处于初级阶段，本文结合深度学习语义分析，设计了一个综合全面、技术先进的隧道监控架构，同时提出若干基于该架构的监控视频图像分析算法，与经典算法相比，本文提出的算法在隧道视频图像场景分割、行人搜索、异常事件识别任务中的表现有明显优势。同时，本文提出的算法与工业互联网技术相辅相成，驱动了工业互联网的创新发展，具体体现在：在生产模式方面，借助智能算法升级，以深度学习为基础实现面向个性化和定制化需求的快速响应，充分发挥深度学习的特性优化监控视频中工业线的平衡；在服务模式方面，人工智能驱动服务模式从被动式向主动式转变，视频图像场景分割算法、视频图像异常事件识别算法构建和训练监控系统进行预测性维护，从事故的被动式响应和处置转变成主动式防范；在商业模式方面，本文提出的算法催生了“产品即服务”的新型模式，如隧道监控系统通过嵌入视频图像行人搜索算法，从单纯的监控制造商转变为提供行人搜索、状态检测等综合性服务的供应商。随着产业的变革，需结合人工智能技术，在管理、技术、安全等多方面协同构建基于工业互联网的城市隧道监控系统。此外，在后续工作中，还可探究本文算法与工业互联网在其他复杂工业场景中的还融合情况以及将其拓展到小区智能监控、公共场合安防等场景中的可行性。