基于三维视频融合的隧道运营管理创新应用研究

伍朝辉, 常 莹, 李 青, 蔡蓉宾

(1.交通运输部科学研究院， 北京 100029； 2. 上海城建城市运营(集团)有限公司， 上海 201103； 3. 上海市道路运输管理局， 上海 200011)

0 引言

隧道是交通基础设施的重要组成部分，隧道具有线状工程、半封闭空间、结构隐蔽等典型特点，故其安全运营要求高、交通保通压力大。采用数字化、智能化手段[1-2]，监测隧道交通要素变化、掌握交通运行规律、预测交通发展趋势，并运用于隧道交通运营管理与服务的各个环节，将会产生巨大的社会价值和经济效益。

国内外对于隧道运营场景的监控大多通过矩阵式视频监控的方式实现[3-5]，并基于视频监控开展日常运营管理业务。2004年欧盟颁布了跨欧洲公路网的隧道最低安全要求指令[6]，要求欧盟所有国家基于这一指令进行隧道运营安全风险评估。2008年世界道路协会也提出了公路隧道运营监控与安全管理方法[7]。Cabrera等[8]提出了一种隧道车辆检测、跟踪与识别的综合解决方案，车辆通过隧道中非重叠的相机网络被识别与跟踪，兼顾了实时性、较差的成像条件和分散式架构等实际限制。李峰[9]结合图像拼接与畸变图像校正，选用鱼眼相机对隧道路况进行监控，实现畸变较小、画面较大的隧道场景覆盖。陈一飞[10]设计并实现了一套三维全景隧道监控监测系统，将设计、施工、勘察、监测信息与三维全景图像进行融合，但这一方案只适用于固定点位的全景式数据集成。刘志辉等[11]研发了一种基于IoT的智慧隧道运营管控系统，集成综合监控、应急救援、养护管理、数据分析与辅助决策4个子系统，对隧道内交通及环境数据进行监测，以及时发现险情和事故，但并没有解决子系统数据分离的问题。陈浩等[12]提出一种基于BIM+GIS的高速公路隧道智慧监控平台，采用二三维一体化、动静态数据融合实现隧道的数字化、立体化、精准化监控管理，但并没有对视频进行三维融合。李建利等[13]针对隧道监控构件复杂多样、数据动态更新需求、建模效率低等问题，设计了一种“互联网+智慧高速”BIM隧道数智监控系统，以BIM模型机电信息流为中枢，实现各系统间信息协同和隧道机电全生命周期智能监控，但视频与业务数据仍相互分离。樊小毅等[14]提出了一种基于边缘计算和视频异常感知的隧道视频智能监控系统，根据视频识别结果进行弹性上传，减少无效视频存储，减小网络带宽消耗。刘鹏飞等[15]将高清视频用于邱家垭口隧道模拟视频监控系统的改造升级，解决了原有监控系统视频清晰度低、故障率高、无法实现视频二次应用等问题，但视频仍是碎片化呈现。

目前，已有的隧道视频解决方案在不同程度上提升了隧道数字化运营管理能力，但仍存在一些亟待解决的问题。主要包括： 1)视频碎片化。隧道监控视频的相似性强，海量视频碎片化呈现，日常管理人员对实时视频的认知压力大； 2)视频与业务数据分离。目前视频监控系统与隧道运营的资产、应急、机电等子系统相互分离，数据之间难以互通，跨系统集成成本高； 3)缺少二三维联动的响应手段，传统业务子系统通常以二维方式呈现，缺少可以将业务系统、三维场景、监控视频快速联动响应的方法与工具。

三维视频融合技术将视频实时注册融合到三维虚拟场景中，给定视频间的上下文信息，建立符合人类认知习惯的监控场景，为以上问题的解决带来新的思路。目前国内外常用的视频融合方法包括[16-17]： 视频标签地图方法、视频图像拼接方法、三维场景中的视频叠加过渡方法、视频与三维场景融合方法。视频标签地图方法[18]是将视频点位与二维地图相结合，可以实现不同地点视频的查询与导览，但视频与底图、视频与视频依然是分开展示的，用户在虚拟场景中缺乏三维方向感。视频图像拼接方法[19]采用球面固定式虚拟模型将视频流进行全景拼接，这一方法的不足之处是视点仅限定在拍摄视点附近。视频图像叠加到三维场景方法[20]是将视频窗口叠加到3D模型视图窗口的上方，这一方法仅允许用户在相机视点的转移路径上观看叠加的结果。视频与三维场景融合方法[17，21]是利用相机捕捉真实对象的视频图像，并将视频图像以纹理的方式实时注册到虚拟环境中，这是一种真三维的方法，视频选择范围更加自由。

结合视频与三维场景融合方法的技术优势，针对目前隧道运营监控中存在的视频碎片化、视频与业务数据分离、缺乏联动响应手段等问题，提出一种基于三维视频融合的隧道运营管理应用方法。主要包括： 1)在对隧道运营业务特征分析的基础上，梳理目前国内隧道运营管理对视频监控的具体业务需求； 2)利用BIM、点云扫描、模型轻量化等关键技术，构建隧道场景的结构模型，形成视频融合的模型基础； 3)提出一种隧道视频三维注册与虚实融合方法，将离散的多路监控视频与三维场景模型实时融合，建立视频与场景、视频与视频之间的时空关联关系； 4)在视频融合后的三维场景中，实时汇聚隧道内各类物联传感数据，以动静态标签形式在三维场景中增强显示，辅助业务管理并实时更新； 5)以国内某隧道为试点，开展基于三维视频融合场景的隧道运营管理创新应用示范，探索二三维联动的隧道运营管理新模式。

1 隧道运营业务特征与监控需求分析

国内隧道运营单位日常运营的主要工作目标是“保畅通行”，主要业务包括运营监控、设施维保、土建养护、应急保障等。隧道运营管理中对视频监控的需求主要体现在4个方面[22]。1)隧道保畅。对隧道全线进行定时巡查，通过监控视频及时发现响应隧道通畅运行的事件，结合隧道内交通检测设施分析、预警拥堵事件，结合交通信号控制、广播、现场处置等措施，保障隧道通畅运行。2)事故救援。对于交警转接或电话接警的汽车抛锚、交通事故、突发应急事件、设施故障、重大隐患等问题，利用监控相机快速确认警情位置，及时派出拖车进行事故救援与应急处置。3)设施管理。利用监控视频对隧道内的重要设施设备进行巡查，结合相关物联传感器数据与分析，判断隧道机电设施设备的状态，及时发现设施故障并进行处置。4)应急响应。对隧道运营过程中发生的应急突发情况、恶劣天气等方面事件进行及时响应，利用视频监控与相关物联设施对应急过程提供保障，支持应急预警、处置、响应、善后与恢复。隧道运营的业务特点和管理需求对基于视频的运营管理应用提出了明确的应用目标。

2 基于BIM的隧道基础设施模型快速构建

三维场景模型构建是视频融合的基础，隧道场景包括洞身、衬砌、洞门、道路、隐蔽工程、附属设施、机电设施等多类结构，这些结构通常保持不变或变化较慢，可以采用BIM、点云扫描等技术快速构建隧道场景模型，形成与实际隧道场景基本一致的场景模型基础。图1为某隧道BIM参数化建模示例，利用Revit、Civil 3D等BIM工具，对圆形隧道段、矩形隧道段、引道段等隧道段的基本墙模型、道路模型、防撞墙、排水沟、装饰板进行三维建模，同时针对变电所、通风井、道口值勤亭等设施设备进行建模与渲染，形成具有真实感的整体隧道场景模型。

图1 隧道BIM建模示例

场景模型的构建应以构建与空间拓扑相关的表观特征为目标，不用对非显示结构、局部细节、非必要属性进行重建。复用已有BIM模型时需要对模型进行必要的轻量化处理。通常运营阶段的BIM模型体量较大、精度过高、属性信息过多。对于视频融合而言，过高精度的模型细节会影响多路视频融合与实时绘制的效率，因此需要进行轻量化处理。可通过对数据层次结构的合并、抽取、重组织、减面、修复等操作，实现模型三角面片数量的减少以及文件大小的缩减。

3 隧道监控视频的三维注册与虚实融合

三维视频融合技术的难点是相机三维注册、投影矩阵计算和可见模型筛选。提出一种隧道监控视频的三维注册与虚实融合绘制方法，预先标定隧道场景中多路监控视频的位置、朝向、焦距、型号等相机参数，使用场景图对场景数据进行组织，将不同坐标系下相机的位置和朝向信息转换到统一的三维空间坐标系中。在三维空间中根据相机的位置和朝向等参数信息计算相机的模型-视图矩阵和投影矩阵。根据模型-视图矩阵和投影矩阵建立视频画面与三维模型的投影关系，使用该投影关系将视频画面投影到三维模型上，并在投影时检测对象的遮挡关系，确保视频图像不投影到被遮挡部分，最终实现视频图像与三维场景的融合绘制。

隧道监控视频三维注册与虚实融合过程如图2所示，具体实施步骤包括： 1)在监控视频的三维注册过程中，根据相机点位、朝向、高度等信息，结合场景拓朴结构和重要标志点，恢复三维相机位姿，将相机在真实环境中的位置和姿态信息转换为三维空间中的位置和姿态值。2)利用转换后的位置和姿态计算相机在三维空间中的模型-视图矩阵和投影矩阵。3)使用模型-视图矩阵和投影矩阵计算相机在三维空间中的视锥结构，将视锥的远裁剪面作为远平面补充场景结构。4)使用模型-视图矩阵和投影矩阵渲染相机视点下的场景深度信息，再一遍融合。 5)在显卡中进行片元纹理化和色彩化操作，片元经过光栅化操作后最终转换为屏幕上所见到的像素。通过以上相机三维注册、虚实融合、联合绘制等操作，实现二维视频与三维模型的实时虚实融合。

图2 隧道视频融合过程示意图

通过三维注册与投影计算，将实际隧道场景中的多路监控视频与隧道几何模型依拓扑实时虚实融合。图3(a)为枪机融合后的效果，可以看到车道线与三维模型中的车道线较好地融合到一起； 图3(b)为鱼眼相机融合效果，鱼眼相机具有更广的视场角。这一方法在相机间具有较高重叠度。场景中具有明显标志物和场景空间关系简单时可以达到较好的融合效果，但在处理相机覆盖过小、相机间重叠较少或场景无明显标志物的情况下会出现匹配误差。

(a) 枪机融合效果

(b) 鱼眼相机融合效果

4 基于IoT的隧道业务数据汇聚与场景更新

隧道场景中有温度、湿度、风速、限高检测，可变情报板，通风、照明、排水、消防、火灾报警器，CO/VI检测器，广播系统，限速板，车辆检测系统，紧急电话，信号灯，光照度仪等多类物联设备与控制系统； 在视频融合的三维空间中对设施设备进行数字资产标注与管理，并以消息格式接入物联传感器的实时数据，基于业务需求进行报警联动。物联传感数据包括静态数据和动态数据，静态数据主要用于资产台帐、设备属性等静态数据，动态数据主要指实时监测的交通、设施状态、环境等数据。

图4为隧道资产与标注数据汇聚示例，在多路视频与BIM模型实时融合后的场景中将相机点位、隐蔽工程、辅助标注等信息在场景中进行实时标注，辅助提升管理人员对场景的认知能力。在视频融合后的三维场景中可以对隧道内广播、风机等设施的点位标注、状态监测与增强显示，通过外场监测终端的数据接入，将实际隧道场景中的交通检测、结构形变监测、环境监测、照明、电力、消防、通风、给排水、交通信号、可变情报板、广播与电话等物联传感设备与虚拟场景中的虚拟设备进行关联注册，并以一定频率更新到三维场景中，用户可以在三维空间直接查看设备属性与状态信息，并支持三维场景中异常数据动态标注与应急响应反馈控制。用户还可以在三维空间自主的定义和制作各类三维标签，将与业务管理相关的重要信息进行直接关联，辅助场景认知和业务管理。

图4 隧道资产与标注数据汇聚示例

5 示范应用与效果分析

新技术的应用必定会带来相应管理模式的变化，相比传统的视频墙式运营监控方法，三维视频融合场景中增加了空间三维信息，可以以更加直观的方式进行隧道场景管控，应用创新主要体现在隧道顶视图全局监控、隧道自动视频巡逻、二三维联动应急响应、隧道设施三维集成与联动监管等方面。以国内某隧道场景为例，结合隧道运营管理中隧道保畅、事故救援、设施管理、应急响应等业务实际需求，开展基于三维视频融合场景的隧道运营管理方法探索和效果分析。

5.1 示范选择与实施

选择国内某隧道开展技术应用示范，示范隧道分东线和西线2座，东线隧道长2.56 km，西线隧道长2.55 km，2座隧道中间分南北有2条联络通道。隧道设计车速为40 km/h，隧道横断面为双向4车道，车道宽3.75 m，限高4.2 m，最高通行能力为双向5 248 辆/h。隧道东西两线共有48路监控相机，包括枪机、球机2种类型，以100 m左右间隔、4.5～5 m高度安装，视频采用DVR进行存储管理，视频监控的基础条件较好。隧道运营单位已经集成广播系统、可变情报板、限速板、车辆检测系统、紧急电话、信号灯、光照度仪及现场智能控制终端等各专业子系统，具有较好的场景感知与管控基础。隧道运营单位前期应用BIM、5G、物联网等信息新技术致力于打造全生命周期管理示范隧道和新技术应用样板，具有较好的数据与网络基础。综上可知，所选隧道具有较好的基础条件和示范代表性。

通过数据采集、场景建模、相机标定、场景融合、系统设计、功能开发等，对示范隧道进行三维视频融合的虚拟场景构建与运营管理应用，示范过程示意见图5。

(a) 示范场景BIM建模

(b) 多路视频实时融合

(c) 物联传感数据汇聚融合

(d) 数字孪生场景构建

图5(a)为示范隧道的BIM建模，可以看到模型在轻量化后，内部结构保持了几何完整性； 图5(b)为隧道内监控多路视频实时融合后的效果示例，通过相机点位、朝向标定与投影计算，使得场景与视频画面具有较高的匹配度； 图5(c)为隧道物联传感数据汇聚融合示例，除了在三维场景中进行动静态标签的直接标注外，还可以将温湿度、风速、交通量等实时与历史数据以图表形式进行综合集成显示； 图5(d)为集成以上数据与关键技术构建得到的数字孪生隧道虚拟场景，可以看到隧道场景与数据关联显示更加符合管理人员的视觉认知。

5.2 示范应用效果分析

结合示范隧道建设与运营现状，开展基于三维视频融合的隧道运营管理示范应用验证，研发隧道数字孪生智慧运营系统，开展基于融合场景的隧道保畅、事故救援、设施管理、应急响应等管理应用。

1)隧道保畅全局监控，减轻监控人员认知压力。研发隧道三维视频融合智慧运营管理系统，建立二维视频与三维场景之间的空间关联关系，提供虚拟顶视图的隧道全局通行状态监测(如图6所示)，用户可直观查看隧道运行状态，并支持三维空间的自主漫游查看分析，减轻了监控人员的认知压力。

图6 隧道虚拟顶视图显示

2)全线智慧视频巡逻，降低人工巡逻成本。利用构建得到的隧道三维视频融合场景和系统，用户可以在场景中自定义巡逻线路、巡逻点、巡逻频次、巡逻时间，系统按照设定的智慧巡逻线路，开展符合行车认知的全线自动视频巡逻(如图7所示)，减少了人工现场巡逻、手柄球机查看的次数，降低了人工巡逻的成本。

图7 隧道全线智慧巡逻

3)历史视频全景统一回溯，提高事件溯源效率。利用构建得到的隧道三维视频融合场景和系统，将场景中所有监控视频进行统一时钟控制，可以按用户需求将时钟统一回调到过去某一时刻，用于对某一异常事件的发生、发展与处置全过程进行追溯或取证(如图8所示)，提高了异常事件溯源、追踪的工作效率。

图8 历史视频三维统一回溯取证

4)隧道物联设施汇聚融合，实现三维数字资产管理。利用构建得到的隧道三维视频融合与增强显示(如图9所示)，支持多源物联传感设施、状态与数据的实时接入，实现隧道土建结构、机电设施、专用设备的三维数字资产管理。

图9 物联设施三维融合与增强显示

5)隧道警情二三维联动响应，提高事故救援与应急处置能力。隧道三维视频融合系统包括二维地图和三维场景，用户可在接到警情、发现异常时在二三维之间快速跳转、漫游、确认警情、查看异常(如图10所示)，提高运营单位警情确认、异常定位、事故救援和应急处置的能力。

此外，隧道三维视频融合智慧运营管理系统还支持多级管控、空间追视、相机接力、放大镜等操作，变革了二维矩阵式监控方案，在三维空间中进行管理业务的实现。

图10 二三维双向联动响应操作

5.3 问题分析

通过示范隧道的试点应用，发现仍存在不足，主要包括： 模拟相机分辨率不足、已有相机未能实现隧道场景全覆盖、物联数据的接入依赖于其他子系统等。针对以上问题，给出示范隧道场景智慧化管理进一步优化的建议。

1)提高外场监控相机分辨率。视频融合技术解决不了外场监控分辨率不足的问题，建议有条件情况下提升外场监控终端的相机分辨率，利用高清数字相机取代目前在役的模拟相机，改善外场监控相机的基础条件。

2)提高外场相机覆盖率。目前示范隧道在役相机覆盖区域有限，未能实现隧道场景的全覆盖，建议在后期的外场终端升级改造时增加外场相机覆盖率。①减少相机部署间距，以50 m或70 m的间隔进行场景的相机部署； ②采用枪机、球机、鱼眼等多类相机组合部署方式，增加场景监测的覆盖率与灵活性，如： 在弯道区域采用鱼眼或广角相机进行采集、在重点监控区域加装球机用于空间追视球机联动等。

3)形成动态物联传感数据接入标准。以消息模式进行数据传递、以控件方式进行系统间关联的方式符合目前隧道信息化管理的实际，针对交通检测、环境检测、结构检测等多种类型的物联传感数据，需要结合业务管理实际形成数据接入、分析与应用的规范模式与数据标准。

4)增强隧道前端相机的边缘计算能力。在隧道监控视频的前端增加智能化识别功能，支持隧道场景中人员、车辆、灾害等事件的快速识别能力，并可在三维场景直接接入识别结果，避免海量IoT数据接入引起的实时性、安全性和网络堵塞问题。

5)深化三维实景视频融合的隧道智慧管理模式创新。在试点应用经验总结的基础上，持续深化业务管理与虚实融合技术的融合，推动隧道应急指挥全景化、隧道分舱分级管理等基于三维视频融合技术与数字孪生系统的管理模式创新。

6 结论与展望

构建隧道三维视频融合场景，应用于隧道保畅、事故救援、设施管理、应急响应等各个方面，为隧道运营中复杂交通问题的分析和解决提供新的思路与手段。基于三维视频融合的隧道数字孪生构建与虚实融合运营应用方法展开了研究。

1)在分析隧道保畅、事故救援、设施管理、应急响应等运营业务需求与特征的基础上，利用BIM技术对洞身、衬砌、洞门、道路、隐蔽工程、附属设施、机电设施等对象进行参数化建模，形成与实际隧道场景三维模型。

2)通过三维注册与投影计算，将隧道场景中的多路监控视频与隧道几何模型依拓扑进行实时虚实融合，形成三维实景融合的隧道虚拟场景。

3)汇聚融合多源物联传感数据，将实际隧道场景中的交通检测、结构形变监测、环境监测、照明、电力、消防、通风、给排水、交通信号、可变情报板、广播与电话等设施设备与虚拟场景的虚拟设备进行关联注册、数据接入、动态标注与实时更新。

4)以国内某隧道为例，开展基于视频融合场景的虚拟顶视图全局监控、隧道自动视频巡逻、二三维联动应急响应、隧道设施三维集成与联动监管等隧道运营管理应用。

应用结果表明： 通过隧道三维视频融合场景的构建与应用，解决了隧道运营监控视频碎片化问题，推动了视频与业务数据分离问题的解决，为应急事件的二三维联动响应提供了工具支持，提升了隧道保畅、事故救援、设施管理、应急响应等业务管理的效率，支持对隧道基础设施与交通运行的精准感知与精细管理。

下一步将开展多源物联数据驱动的三维场景迭代、数据驱动隧道交通运行仿真与预测推演、适用于视频融合数字孪生应用的“云边端”架构与功能设计、虚实融合的隧道数字孪生感知与应用场景分析等工作。