面向应急救援的多源数据融合技术①

徐成华,宋雨娇,于振铎,庄子尤

1(中科九度(北京)空间信息技术有限责任公司,北京 100190)

2(中国科学院 电子学研究所,北京 100190)

3(北京市数字城市工程技术研究中心,北京 100190)

4(中国科学院大学,北京 100049)

1 引言

我国是地震频发国家,地震的范围广、频度高、强度大,而且危害也大.最近十年,地震灾害造成中国人员伤亡巨大,地震死亡人数超过全部自然灾害死亡人数的半数.地震灾害发生后,造成建筑物的坍塌和人员的掩埋,极大危害人身健康.掩埋人员的快速搜救和科学救援,对保护生命财产安全具有极为重要的意义.在应急救援过程中,对灾区历史和现场的多源、多类型数据的综合集成和可视化,为救援行动决策提供有力的数据支撑.例如,化工厂、加油厂等危险设施分布数据有助于行动路线和行动措施的科学制定；学校、医院等重点保护单位信息可帮助指挥人员分配救援人员资源；历史遥感影像或三维模型与现有数据比对可有效实施灾害评估；生命探测信息状态和空间分布可辅助制定救援行动方案.因此,应急救援过程中,需要一个空间多源信息综合管理和可视化系统,支持指挥人员进行辅助决策.

目前,三维系统涌现出了很多优秀产品,例如World Wind、Skyline、Google Earth 等,World Wind是由美国宇航局和开源社区开发的三维地理可视化系统[1],可以将卫星图像和航空遥感数据结合在一起,实现遨游地球的效果；Skyline是一套三维数字地球平台软件,由美国Skyline公司开发,可以利用海量的遥感影像数据、数字高程数据以及相关二三维数据模拟三维场景[2]；Google Earth(谷歌地球)是由美国Google公司开发的一款数字地球软件,它以三维地球的形式把卫星影像、航空影像、照片和高程图像组织在一起,用户可在不同角度浏览地球[3].国内超图公司研发的SuperMap iPortal软件产品,将分散、异构的地图、场景等资源进行整合,实现数据统一管理[4].上述系统均为Client/Server模式的三维数字地球系统,需要针对不同系统开发不同版本,使用前需要安装或者以插件的方式与浏览器进行集成,在安全性和易用性上存在差距.

随着浏览器三维渲染技术的发展,以WebGL为核心的跨平台Web图形绘制标准日益完善,可在普通浏览器进行三维渲染,由于无需插件或对浏览器扩展,系统具有良好的易用性和可维护性.朱丽萍等[5]尝试一种不需要插件加载实现三维场景的解决方案.陈燕红等[6]研究了WebGL和HTML5的Web页面三维动态展示技术,实现了新疆民族手工艺品三维动态展示系统.王锐等[7]研究了一种轻量级的三维地理场景构建方法,通过将多源三维模型数据进行同构化处理,充分利用客户端的计算资源,实现三维地理场景的网络发布与共享.杨帆等[8]基于WebGL三维图形开发环境,构建了B/S模式下的多层体系结构,探讨了三维虚拟地球绘制关键技术.马炅妤等[9]基于WebGL技术设计了一种在线动态地图服务架构,实现了海量矢量切片数据的快速可视化和动态更新.焦腾等[10]利用空间关系数据库及分布式数据库技术,实现了海量异构数据的高效存储、检索与定位,提高了空间科学数据的集成可视化显示与应用效率.郭建雄等[11]针对三维复杂模型快速传输和可视化问题,结合三维模型简化与渐进式传输可视化技术,以电力杆塔模型为例,利用Cesium平台进行模型可视化,渲染效率提升明显.上述系统多针对单一地理空间数据进行Web可视化,缺乏多源多类型数据的融合可视化.

面对应急救援中多源异构的复杂环境数据,急需一个三维可视化系统,能够实现海量矢量数据和三维对象模型的高效加载,并实现多源异构数据的空间融合.本文讨论了基于WebGL[12]的生命体探测数据三维空间融合技术,发挥全球统一时空框架的时空表达优势,研制应急救援数据融合可视化系统,实现生命探测设备运行监测、探测信息综合表达以及复杂监测环境融合的多手段、多效果、多维度可视化,提升多源生命探测信息管理、分析与表达能力,为指挥救援提供辅助支持.应急救援数据融合可视化系统建设思路如图1所示.

与已有系统相比,已有系统重点解决地理空间数据的融合问题,本文将动态探测数据、地理空间数据、环境数据以及历史数据等多类型、多结构数据在统一平台上进行管理和可视化展示,体现出更强大的数据管理和可视化能力,同时,利用WebGL技术,实现B/S架构下的高效渲染,在不安装任何插件的情况下,实现数据的管理和分析,使用更加灵活方便,具有更大前景的发展潜力.

2 应急救援中的多源异构数据

应急救援中的数据是复杂多样的,主要包括基础地理信息数据、生命探测设备数据、探测数据和现场环境数据,构成应急救援场景下的多源异构数据集.

图1 应急救援数据融合可视化系统建设思路

1)基础地理信息数据

图2 基础地理信息数据

基础地理信息数据主要包括基础遥感影像、基础电子地图、数字高程模型数据、灾区高分遥感数据和三维模型数据.基础遥感影像,作为基础底图数据,在这些底图数据上实现高分辨率数据、局部三维数据、目标数据和生命探测信息的加载,如图2(a)所示；基础电子地图,显示基本地名、道路、行政区划、河流等信息,为应急救援空间定位起到重要作用,如图2(b)所示；数字高程模型数据,与遥感数据结合,共同描绘地形地貌信息,如图2(c)所示；灾区高分遥感数据,主要采用卫星、航空等高分辨率数据,展示灾区现状和历史信息,三维模型数据广泛应用,当灾害发生后,无人机加载倾斜摄影相机可迅速获取灾害现场的三维场景并进行评估,为辅助决策提供依据,如图2(d)所示.

2)生命探测设备数据

生命探测设备数据(如图3)主要是指用于描述生命探测设备的数据,包括便携式L波段探测设备、车载式K波段探测设备、P波段探测设备等设备的属性数据.具体包括：设备编号、设备名称、设备使用说明、使用寿命、设备图片、探测范围、探测深度、波段类型等.

图3 生命探测设备数据

3)探测数据

探测数据主要是指生命探测设备在使用过程中,监测到的探测结果数据.具体包括：探测范围内生命体个数、生命体的三维坐标、生命探测雷达当前位置、生命体状态信息等,如图4所示.

图4 生命体探测数据

4)现场环境数据

为保障在复杂救援环境下生命探测和救援的高效性,需要接入视频、图片、音频等数据,共同构建逼真的救援现场场景.

3 多源异构数据融合技术

救援现场环境复杂多变,为了保证探测的准确性和救援的高效,通常利用多种探测设备对同一区域进行联合探测,探测得到的多源异构数据需要进行统一管理和处理分析.为了解决多源三维空间数据融合问题,本文通过研究基于统一时空框架的高效三维融合技术,重点突破多源异构数据组织与态势分析、空间数据融合与动态加载、生命体时空演变分析等关键技术,实现多源异构数据的整合.

3.1 多源异构数据组织与态势分析技术

多机联合生命探测下涉及的目标特性数据具有数据内容庞杂,结构松散的特点,这些数据即包括覆盖多时相、多分辨率、多传感器类型的遥感影像数据,也包括微波生命探测仪本身运行数据,同时含有探测到的目标数据.因此,面对如此复杂多样的数据,需要解决海量目标特性信息的组织管理能力,解决目标数据之间快速关联等问题,为海量目标特性数据存储管理、高效访问奠定数据基础.

多源数据组织管理重点在于如何表达、存储、关联和查询现实实体及其随时间变化的状态,采用的组织和存储机制的优劣直接影响到数据的查询检索效率.因此,多源、多分辨率、多时相、异构数据组织管理重点在于如何构建科学、高效的组织管理模型.该模型从时间、空间、业务三个维度组织数据,如图5所示.

图5 统一时空框架下数据组织关联模型

下面主要介绍目标特性信息管理组织模型的几个方面：

1)空间特征：将事物置于统一的空间参照系之中,体现了被描述对象之间的空间关系.空间数据整合要在统一的时空模型、统一的地理基准条件下,选择适合应用的空间表达方式和空间数据组织方式对空间数据进行整合.空间数据的组织方法包括：空间数据结构与模型、空间索引技术、空间检索引擎、空间检索优化策略.空间数据的组织方法不仅用技术手段统一了不同类型数据的空间基准和空间表达,而且优化了数据的空间检索效率.

2)时间特征：是所有事物的天然属性,是事物变化过程的参照.时间体现了事物变化的顺序,通过时间序列可以分析事物的变化过程和事物之间的影响关系.

3)业务特征：数据用来记载现实世界中具有价值的物理实体或逻辑实体.目标以及目标间的时间、空间、逻辑关系,构成了业务体系.业务体系直接描述了目标以及目标之间的关系,同时也是组织数据的重要维度.

3.2 空间数据融合与动态加载技术

应急救援中的数据是复杂多样的,需要将这些数据融合在一起,构建出复杂的三维场景,如图6所示.海量栅格和三维模型数据的快速加载会影响应用系统的运行效率,这将制约以“真实还原客观环境”为主题的可视化综合应用.为了提高系统运行效率,关键在于基于视窗预测的数据动态加载,实现栅格、矢量与三维模型数据的分级处理创建和分析预测.

基于视窗预测的加载技术,解决数据访问和高效加载的问题.为了实现在空间和时间的多条件下数据调用需求,需要对窗口显示的空间范围和视点相关数据,如视点位置、视线目标、视点移动、视点旋转等要素进行分析与预测.窗口显示的区域是一个空间区域,落在窗口显示范围内的空间区域不是一个简单几何体.不能通过计算窗口区域与模型是否相交,也不能通过计算每个模型与视点的距离来决定是否加载模型.需要使用经纬度区域相交,模型高度等参数查询模型索引,再通过计算优先级,重新排列加载顺序,使窗口区域计算简单化.离开窗口后,对于短时间内无需再使用的模型释放空间,释放策略要考虑：位置、分辨率、模型和视点之间的距离、数据量、缓冲区大小、显存大小等多个方面.

图6 多源三维信息空间融合

3.3 生命体时空演变分析技术

基于数据的时空特性,需提供统一时空框架下的数据全生命周期管理演变能力,通过统一的时间空间基准,结合时间轴序列化管理手段,实现各类成果数据的有效组织和管理,有效提升数据的管理能力,为后续数据的融合与可视化展现提供良好基础.

1)时空数据组织模型技术

数据的可视化与管理是基于时间和空间进行组织的,基础空间数据采用基于分层(尺度和时间)组织的时空模型,动态数据采用“时间+空间+业务”的事件模型,实现数据的“时间+空间+业务”三维一体化组织融合,如图7所示.

2)多源异构场景动态展现技术

作为集成展现环境的重要组成部分,需具备“时间-空间-事件/对象”多源异构的场景动态展现能力,能够将各类场景要素以“事件/对象”为中心,以时间轴序列为手段进行综合关联和组织,并能够进行动态可视化展示,便于后续构建统一的动态展现环境.

4 系统架构与实现

面向应急救援领域的数据统一监管、多维分析等应用需求,本文基于WebGL高级渲染技术,实现在统一时空框架下,高精度的生命探测信息和多源复杂环境数据的融合表达,研制应急救援数据融合可视化系统.WebGL解决了Web三维渲染中两个问题：第一,通过HTML脚本实现Web交互式三维动画的制作,无需任何浏览器插件支持；第二,WebGL通过统一、标准、跨平台OpenGL接口实现底层图形硬件的加速渲染.本文利用WebGL高级渲染技术实现了多源数据三维空间信息融合.软件系统的架构如图8所示.

图7 “时间-空间-业务”场景组织展现

图8 应急救援数据融合可视化系统架构图

(1)数据层：主要包括生命探测设备的属性数据、救援现场的复杂环境数据、监测过程的运行数据和属性数据、分析成果数据、基础地理信息数据等多源异构数据组成的数据库.

(2)基础支撑平台层：以全球统一时空属性作为平台框架,研制软件基础平台,集成了标注标绘、可视化管理、可视化工具、空间分析、可视化场景构建、时序信息管理等基础功能.

(3)应用层：面向应急救援等对人体探测的业务应用,基于基础支撑平台,构建微波生命探测设备监测、监测环境融合分析和探测信息综合分析等业务应用软件.

4.1 微波生命探测设备监测

在复杂的应急救援、反恐维稳的典型应用中,一方面监测环境具有范围大而广、环境结构复杂等特点；另一方面针对生命体探测需要满足穿过复杂介质探测、远距离空旷地探测等具体探测场景,基于上述原因需要用到多种类型的生命探测雷达进行探测；第三,通常在应用中往往需要同时投入多台的生命探测仪进行生命体探测,以为提升救援效率.因此,在大范围监测环境下对微波生命探测设备状态的监测与管理尤为重要.

微波生命探测设备监测在全球统一时空框架下,在基础地理信息基础上,充分依托框架的时空模型,以设备数据为核心,对项目中所涉及的环境信息采集、生命探测仪(便携式、车载式)相关设备进行全面管理.主要面向设备运行状态、运行轨迹、探测范围、分布态势等展开分析,并依据用户需求实现成果输出.

微波生命探测设备监测软件的具体功能包括生命探测设备管理、设备空间轨迹可视化、探测范围空间表达、设备空间分布态势分析,如图9所示.

图9 微波生命探测设备监测示意图

4.2 监测环境融合分析

针对微波成像生命探测应用来说,环境数据作为承载各类探测设备、探测成果重要的基础,监测环境的表现将直接影响到搜救业务的开展,具有不可替代的作用.用来描述环境的数据包括卫星遥感数据、航空遥感数据、数字高程数据、现场图片、现场视频数据等多源异构的数据.各类数据从不同的角度对环境进行了表现与描述,本软件的构建需要将多源环境描述数据进行关联、融合,进而全面、多维度的对监测环境进行表达.

监测环境融合分析软件的具体功能包括复杂环境构建、多维度环境描述、环境与目标的立体定位、交互式专业测量,具体功能示意图如图10所示.

4.3 探测信息综合分析

探测信息是生命体探测的核心数据,传统的探测信息以结构化数据形式表达,数据直观性差、易读性差.新一代的微波成像生命探测信息管理方式将依据探测信息的时间、空间属性与全球统一时空框架实现映射,利用全球统一时空框架表达空间关系和时间属性的优势,结合时间、空间、目标/对象模型,实现探测信息的空间化的动态表达.同时充分考虑业务应用现场复杂环境,实现探测数据与环境信息的集成,为探测信息的空间化表达提供支持.面向应急救援现场具体应用,本软件主要功能包括探测数据空间化管理、探测数值空间化、时空演变分析、成果编辑与管理.

探测信息综合分析软件的专题成果主要包括：探测成果空间管理专题成果、探测数值数据空间化专题成果等.探测信息综合分析将对丰富多源的生命探测信息实现统一规范的接入、关联、分析、动态表达等功能,如图11所示.

图10 监测环境融合分析示意图

图11 探测信息综合分析示意图

5 应用验证

2017 年5月11日,塔什库尔干塔吉克自治县发生5.5级地震,库孜滚村是该地震中受灾最严重的村庄,土木房屋或倒塌、或损坏.以该地区为例,利用应急救援数据融合可视化系统将遥感数据、地形模型、地表三维模型和探测数据融合在一起,构建出逼真的三维场景,对灾区现场进行情景再现和动态监测数据跟踪,使技术人员能够在统一界面上,对多源数据开展联动态势分析,指挥人员能够全面了解灾区现场,为救援决策提供辅助支撑.图12、图13、图14分别显示了应急救援资源数据集成、库孜滚地震灾区生命体动态数据监测和生命体探测信息与地理环境数据的融合.

图12 应急救援资源数据集成(图为1990年以来地震分布态势)

图13 地震灾区生命体信息监测

图14 探测信息与空间信息、环境信息融合

6 结论

本文调研了应急救援现场多源数据特点和应用需求,深入开展了面向应急救援的多源探测数据融合技术研究,基于WebGL渲染技术,实现了应急救援数据融合可视化系统.以库孜滚地震灾区现场为例,进行了灾区现场地理数据、环境数据、探测数据等多类型数据的综合展示,实现了在统一的时空框架下高精度的生命探测信息和多源复杂环境数据的融合表达,辅助指挥人员开展救援指挥调度,提高了应急救援的工作时效.