一种面向公共安全应急的多智能终端协同辅助系统

楼夏寅 孙 敏 黄 翔 赵仁亮

(1. 北京大学 遥感与地理信息系统研究所, 北京100871;2. 冀北中原岩土工程有限公司, 河北 廊坊065000)

0 引言

公安系统经常会面临突发公共安全应急事件。当有事件发生时,通常需要组织团队成员,乃至不同职能部门的相关人员,通过团队协作完成对事件的处置。例如,在城市区域出现危险目标时,为了减少人员伤亡和财产损失,需要团队高效协作,才能快速锁定、围捕并控制目标;在野外失踪人员搜救时,需要对目标区域展开地毯式的搜索,高效合理的成员分工与协同合作,以及智能设备的投入可以极大提升任务的执行效率;在军事战场环境,为了最大化作战效益、精确掌握战场动态,团队成员以及与指挥中心之间高效动态的信息与指令互通是快速精准完成任务的必要条件。因此,为了提高公共安全应急过程中团队的协作与任务执行的效率,为日常维安工作提供智能化辅助平台,研究一套面向公共安全应急的多智能终端协同辅助系统具有非常重要的意义。

目前公安系统已经具有一些类似的辅助系统,按其提供的功能,大致可分为三类：一类是目前使用最多的,以交警系统等为代表的信息采集与管理系统,主要使用智能终端进行信息查询与证据采集等工作;一类是会议系统,供指挥人员进行方案制定和任务部署过程中的协商讨论;还有一类是以大数据为基础的分析决策系统,通过构建知识图谱,运用人工智能或深度学习等相关算法,对已有数据进行分析,为任务行动提供决策支持。

但这些系统多为静态系统,当突发应急事件产生时,应急人员在处置任务开始之前需要领取任务,在整个任务执行的过程中,主要通过传统的语音方式进行信息交流。成员之间缺乏对彼此任务位置与状态的感知,从而在一定程度上限制了人员机动灵活地依据事态发展做出调整,主动性与灵活性不足。同时,指挥中心也较难掌握每个智能终端在任务执行过程中的精准状态,影响指挥团队进行任务协同的效率。总体而言,现有系统并不具备应急任务执行过程中的实时指挥与实时协同功能。

随着智能手机、穿戴式智能设备以及增强现实眼镜等轻便型智能终端技术的不断发展,地理信息系统、移动定位技术、定向与姿态传感器技术、增强现实技术、无线通信技术等均可以集成在一个便携或可穿戴式终端上,从而为构建公共安全智能化应急辅助系统提供了软硬件的技术基础。同时,随着微小型无人机技术的不断成熟,可以通过空中视野实时或快速获取事件现场的视频或图像信息,为应急团队掌握事件核心区域的动态发展,提供了非常便捷且重要的技术手段。因而,微小型无人机的集成是智能化应急辅助系统中必不可少的一个组成部分。

为此,我们提出构建一套面向公共安全应急的多智能终端协同辅助系统,通过空地协同、地面多终端协同,指挥中心与远程多终端实时信息互联,以及指挥中心对关键任务进行智能处理等手段,实现对应急事件的高效处置。

1 国内外研究现状

针对如何高效处置重大自然灾害或重大公共安全事件,近年来国内外有许多研究,我们将这些研究粗略地归为两类：一类是系统构建层面的研究,另一类则是技术层面的研究。

就第一类系统构建方面的研究而言,国内学者近几年的研究工作较多：于明博[1]研究了德州社会公共安全应急指挥管理系统的设计,主要提出了解决应急指挥所需图像的远程接入、视频会议与多媒体发布系统的构建以及对指挥系统各职能部门设备的网络管理等系列技术方案。蔺冲[2]研究了服务于地震应急救援的物资信息管理方法;邓志德等[3]设计并实现了基于网络地理信息系统(Web Geographic Information System，WebGIS)的广东省突发地质灾害应急管理平台。文献[2-3]中所述的核心工作基本相似,以地理信息为基础平台,主要解决了人力与物力资源以及灾害隐患信息的数据管理问题。事实上,此类系统在我国许多省市都有构建,原理大致相似,差异主要在于其规模和所用的信息获取手段、管理以及处理的装备与方法等方面。

国际上许多国家均建设有国家级或部门级的应急响应系统,如加拿大政府于2011年就开始建设国家紧急响应系统,系统包含防灾减灾、应急准备、事件应急以及灾后重建等多个方面(https:∥www.publicsafety.gc.ca/)。此类系统很早综合运用了地理信息、遥感以及卫星导航技术。随着技术的不断发展,目前的发展趋势是更多地关注如何将传感器网络、智能终端等各类技术,以及新兴的人工智能、深度学习、大数据分析等深层次的计算分析技术融合到系统中,构建更加优越的智能化应急管理系统[4]。

此类系统的总体特点是涉及部门多、信息量庞大,重点在于信息的采集、灾害状态的研判与视频会议决策商讨、资源的调度与任务的指派等,而对具体救援任务执行过程提供的信息与技术支撑则考虑较少,缺乏具体任务过程中实时动态的信息传输与协同技术支撑。

针对第二类技术层面的研究,近些年国内外也涌现了大量的成果,就国内而言,汤志伟[5]针对公安海量视频的数据管理与分析问题,提出运用模式识别、语义分割、嵌入式系统等诸多关键技术,对相关复杂场景进行建模与分析,从而提高视频数据的管理和使用效率;何丹丹等[6]在顾及现有公共安全数据来源多、类型复杂等特点的前提下,提出构建一套动态警务分析与研判系统,通过计算机辅助分析,可提高对警情信息的研判效率;徐维等[7]提出构建智慧感知系统,通过综合运用多种互联网大数据技术,在提高对多维感知数据的接入与有效管理的同时,通过全景感知、实时监控、数据碰撞和查询等提高对目标的跟踪与案情分析;南京市公安局[8]针对警务数据整合的需求,提出建设一个警务大数据中心,针对业务化需求在其上分别建立警务平台、情指平台以及行政办公平台,从而很好地将业务与数据综合在了一起,提高了应对突发事件的能力。

国际上相关的工作,技术层面的研究更多偏重将一些前沿技术运用于应急救援之中,如Bartoli等[9]提出一种智能公共安全平台构架,综合运用了无线传感网络与社交网络,使每个终端均可成为信息的收集者,同时增加了对信息的分析功能;Milan等[10]则将无线传感网和无人机引入的灾害救援中,认为可以极大地提高获取灾害信息以及救援的能力。

无论是系统层面还是技术层面的研究,现有成果的关注点侧重于突发事件前期以及事件发展过程中信息的获取与态势的研判,而对于突发事件处置或救援任务过程中,实时服务于具体救援团队的智能化辅助系统的研究则探讨不足。

为此,本文提出构建多智能终端应急辅助系统,重点在于解决救援团队在任务执行过程中的目标信息获取与场景分发、多终端实时监控与协同指挥、救援或追踪路径动态规划与引导等技术集成与应用。

2 系统组成框架

基于上述目的,我们构建的系统的组成框架如图1所示,主要包括数据管理与计算服务器、互联网与无线传输网络、智能终端及APP、无人机平台、现场指挥平台、总指挥平台以及为系统提供应用功能的各种软件与算法。

图1 多智能终端协同辅助系统组成框架

首先,系统整体采用了中心化的架构。以数据管理与计算服务器为数据交换的中枢,连接了移动终端、无人机、现场指挥与总指挥中心,并以JavaScript对象表示法(Java Script Object Notation，JSON)文件作为载体为各终端以及指挥平台提供图像、文字以及语音等信息的传输与交换。其中,为了易于扩展和更快地进行开发,我们将后端拆分为3个服务模块,分别为数据管理服务、数据计算服务以及视频直播服务,并部署于不同的服务器之上。数据管理服务主要负责应急任务中所需的各类数据的持久化，并维护不同数据之间的逻辑关系,其通过Spring Boot构建的表述性状态转移(Representational State Transfer，REST)API进行服务构建,而通过 MySQL数据库系统进行数据的持久化存储。

视频直播服务的主要目的是为指挥平台提供由无人机录制的关于现场的实时画面,该服务基于NGINX的实时消息传输协议(Real Time Messaging Protocol，RTMP)模块建立相应的直播服务接口,而无人机地面控制台只需利用FFmpeg进行推流,便可以实现现场画面的实时显示。

数据计算服务实现应急任务中所需的算法,作为应急任务中实际的不同任务类型服务,包括基于无人机视频流的目标识别与跟踪计算、基于目标与移动终端位置的路径规划计算、基于已知区域的多终端协同搜索规划计算等,均由该数据计算服务实现。计算结果再由数据管理服务器发送给指挥中心和应急终端。目标识别与跟踪以及路径规划算法的核心技术,在第3节有进一步阐述。

在本系统中我们将执行人员使用的终端设备称其为智能终端,其硬件具备定位、定向、通讯、网络、影像获取等必要的功能,使用性能良好的手机目前基本可实现智能化目标。针对应急任务的需求,每个终端上均安装了基于Android平台开发的应用,其以地理信息为中心,能够为执行人员提供信息共享、路径规划等功能。对于具备较好财力的单位或特殊行业,如特警,可为人员配备穿戴式终端设备,提高应急任务过程中的响应的便捷性。

系统中还纳入了配备有可见光或热红外相机的无人机平台，能够在不同任务场景下获取必要视频及图像，实时跟踪目标并快速计算其地理位置，同时发送至地面平台，并通过互联网传回指挥中心，而后以广播的方式分发给智能终端。

在此系统组成框架基础上,核心的研发工作是支撑多智能终端协同应急的软件平台开发,下面我们从软件工程的角度出发,阐述系统的对象关系组织模式与系统的功能层次划分。

3 系统主要功能

本文提出的多智能终端应急辅助系统集成了空地协同和任务协同的相关技术,在执行任务的过程中,无人机从空中获取场景与目标信息,辅助地面的智能终端执行任务。指挥中心系统以及智能终端APP均提供必要的交互界面与协同相关的信息显示,方便应急任务所需的操作与响应。系统从功能上主要分为以下五个方面。

3.1 基于地图服务的信息和数据可视化

在指挥中心及智能终端之中都能实时显示警务人员、任务目标、辅助设备等的空间位置及状态变化，以便相关人员能够及时掌握现场的情况并作出应对方案。

3.2 目标监控与跟踪

采用改进的Mask-RCNN算法，可以在实时获取的无人机影像中对目标进行识别与跟踪；同时结合无人机的位置与姿态，通过摄影测量原理，可以快速计算得到目标的地理位置。

3.3 智能终端、设备和监控目标的信息管理

在长期的应急响应或日常业务化管理过程中，积累的大量数据需要进行高效的管理与分析，本系统选用了优秀的数据库管理系统，并为警务人员、辅助设备、目标建立了数据表，指挥中心能够直接查看相关的信息。

3.4 应急任务的管理、调度和协同处置

为了有效地管理应急任务，我们以应急任务为对象，建立数据表对其生命周期进行管理，包括任务的建立，开始，执行，结束和复盘等，并将任务与任务过程使用到的智能终端、无人机设备、监控目标等相关的数据表进行关联，以方便任务相关信息的查询与事后回放，如图2所示。

图2 协同应急任务响应及协同流程图

3.5 复杂任务的智能规划

本系统考虑了协同搜索和协同围捕两类典型任务的智能化规划：对于协同搜索，我们采用了一种改进的STC(Spanning Tree Covering)算法[11]分配各个搜索人员的工作区域及路径；对于协同围捕，由于需要同时监测目标出逃路线和缩小包围圈，因此我们引入了文献[12-13]提出的算法来解决这个问题。智能规划后的路径将会以广播的形式分发给各个智能终端。

4 原型系统及实验

基于第2节和第3节所述的框架以及功能,我们研发了一套原型系统并选取了一个城市小区进行了协同围捕实验。原型系统的构建使用了3台阿里云的CentOS云服务器平台,由于实验过程中终端数量较少,我们采用了较为普通的配置,其中一台采用8核32 GB的配置,两台采用4核16 GB的配置,带宽均为10 Mbps以上。在服务端,对于数据管理服务和数据计算服务,我们基于Spring Boot和MySQL数据库系统构建了服务，并向外提供了可访问的Web API;而对于视频直播服务,则基于NGINX和RTMP搭建了相应的服务系统;在浏览器端我们采用了ArcGIS API for JavaScript等搭建了应急任务管理指挥平台;在移动端采用了ArcGIS Runtime API for Android等开发了适用于执行人员执行任务时所用的APP。在应急任务执行过程中,移动端和无人机端以2 s间隔上传相关的地理位置信息,而服务器端也将以2 s的间隔更新移动终端、无人机以及目标的地理位置,在通讯与网络环境良好的环境下,或对信息传输有更高要求的情况下,可以提供1 s的传输间隔。如果使用特制的应急终端,则位置服务的传输频率可以更好,如10次/s。

图3展示了现场指挥平台的界面,由于我们开发使用了后端网络服务器,几乎所有功能均在服务器上完成开发,所以前端我们仅使用浏览器,输入服务器网址即可使用指挥平台。

图3 应急任务协同辅助系统界面及警情上报效果与说明图

为了方便读者清晰了解图中内容,图3用图框文字对界面的人员给出了说明。圆点显示了警务人员当前值班所在的位置,该位置由警务人员携带的智能终端以恰当的频率不断上传,以便系统实时掌握其位置及动态。中间小圆点位置,显示了巡逻人员或普通民众发现可疑目标并上传现场图片的位置,中间大圆点则显示了用智能终端基于拍照时的位置、姿态等信息推算的目标所在位置，右侧展开了上传的目标及真实场景照片。

现场指挥人员,在得到目标信息,并判断需要对目标进行围捕时,只需点击系统界面上的“规划路径”,则后面服务器会基于目标周边搜索合适的警务人员,为每个警务人员规划其当前位置到目标所在处的路径,然后路径推送到警务人员智能终端上,警务人员接收提示信息,查看智能终端,按收到的路线执行围捕任务。图4展示了系统为附近的3名警务人员规划的路径,以及其中一条规划路径在智能终端上显示的效果。

由于目标在不断移动,因此,指挥人员会视变化情况,不断通过服务器规划路径并推送引导路径给警务人员。

遇到危险目标的情况下,需要尽可能快速地获取目标所有位置,以便高效地调整围捕方案,目前最有效的获取目标动态信息的方法,就是使用无人机在空中进行侦测跟踪。

如图4左上展示了无人机视频流不断跟踪目标的效果图,通过目标识别算法,快速识别出目标在视频中的位置后,我们再基于无人机的位置姿态以及相机参数等信息,快速推算出目标在现实场景中的地理位置,将此位置再推送给指挥平台以及警务人员的智能终端上。由此，现场指挥人员以及警务人员会实时掌握目标的动态信息,方便其联合围捕。

图4 系统用于应急演练的效果图

图4右侧展示了智能终端上目标、无人机以及联合围捕的警务人员位置,地面警务人员可以非常便捷地结合场景影像、实时目标及同伴的动态信息,实施围捕任务。

实验表明,目标在图4所示的3个警务人员巡逻的小区内时,配合无人机,只需3～5 min即可完成围捕任务。在缺乏无人机,无法实时确定目标所在位置的情况下,除非调动整个小区的群众联合搜索,否则仅靠3个警务人员,目标很容易逃逸,几乎无法在小区内完成围捕任务。

5 结束语

利用现有无人机以及智能终端技术,结合地理信息、卫星导航等空间信息技术,构建一套用于公共安全突发事件或户外应急救援过程的空地协同辅助系统，具有重要的现实意义。本文提出了相关系统的框架、功能,并在此基础上构建了原型系统,通过结合实地演练验证了系统的有效性。随着公共安全管理以及应急救援相关领域的不断发展,该方面的技术集成与应用将会具有相当广阔的前景,尤其智能化辅助系统的发展将会成为一个具有潜力的热点发展方向。

在实际应用的过程中,系统目前主要存在两方面的问题有待进一步解决。首先是移动网络的带宽与稳定性问题,在个别存在通讯遮挡的环境中,终端上传数据会有较大延迟,从而会导致指挥中心无法及时获得并掌握现场状况。如果未来能够引入专用通信网络,如公安系统独立的通信系统,将有可能极大缓解这一问题。其次,目前城市路网以车辆导航为主,在一些应急环境,如居民小区、广场、公园等,缺乏通达性描述数据,因此,如何有效完善这些区域的路径数据,供应急系统使用,是未来有待发展的一个重要问题。