文/徐维 梅杨
随着云计算、大数据技术的快速发展,公安大数据战略不断升级,大数据在犯罪打击、管理预防等领域的应用遍地开花,数据存储、管理、分析已经成为社会治理、打击犯罪的利器。公安大数据应用分析的国际研讨会也在不断展开,2018年公安大数据应用分析国际研讨会在北京落幕,此次研讨会围绕“数据治理、知识图谱、情报研判、预警预测、视频大数据、人像大数据、AI赋能公安实战”等前沿问题展开激烈讨论,公安相关专家也强调,实施公安大数据战略的根本目的是提升公安工作智能化水平,以机器换人力,以智能增效能,最大限度地释放警力,具体实施路径就是坚持刀刃向内,自我革命,加快推进数据融合共享,先把智慧公安的大脑建好。基于此本文提出了一种基于公安大数据的智慧感知系统,此系统充分融合公安各类数据,通过大数据技术为公安的工作增能增效。
总体逻辑架构上,系统分为四个层次:资源层、支撑层、应用层、展现层。基于公安大数据的智慧感知系统架构图如图1所示。
系统资源层通过前端采集设备接入视频资源、人脸卡口资源、车辆卡口资源、高点高清资源、RFID资源、Wi-Fi资源等多维度的数据资源,进行统一分类存储、结构化解析,然后汇聚存储,最终实现多种类数据资源融合、共享,为支撑层的算法提供丰富的数据“原料”。
图1:系统整体构架
支撑层主要为系统提供算法引擎,数据实时分析、离线分析、最短路径分析、时空分析、数据管理、存储等基础服务功能,同时也为系统提供数据分类检索、用户管理、日志管理以及权限管等功能。
系统应用层主要包括全景感知、布控预警、时空重现、数据洞察、专题库应用等。
分为C/S客户端、B/S客户端、以及统一门户管理。
3.1.1 数据仓库技术
数据仓库(DataWarehouse,DW)是一个面向主题的、集成的、不可更新的、随时间不断变化的数据集合,它用于支持企业或组织的决策分析处理。通过数据仓库技术,可以全网汇聚的治安卡口数据、社会卡口数据、人脸数据、电子警察数据、ETC数据、点位信息数据等这些原来分散的数据进行抽取、清理,并在此基础上根据车牌、有无违章、活动区域等主题,对原来的数据进行重新组织,归为人脸、车辆、Wi-Fi、RFID四大类数据,以便系统用户方便快速查询所需要的信息,提供决策支持。所存储的数据可支持HDFS文件系统、也可支持HBase分布式数据库或Redis内存数据库,存储文件可表现为多种形式,数据仓库可为交互式统计分析、全文检索、数据挖掘等数据处理功能提供高速的I/O数据访问。
3.1.2 数据接入总线
数据接入总线主要负责数据的抽取、转换、清洗及标准化,支持注册、心跳、校时、注销及采集接口,除了基于GA/T 1400-2017和GB/T 28181-2016标准的数据接入方式外,亦可根据实际情况采用多源的数据接入方式,按照相关标准规则进行清洗、转换,转化为标准化数据格式,保障接入数据的标准安全。
3.1.3 数据跨网络接入
由于公安网与互联网是物理隔离的,在涉及跨网络数据接入时,主要借助网闸技术,通过安全边界实现数据交换,保障网络与数据的安全性。
感知大数据库包括按照GA/T 1400标准建设的视频图像信息数据库(简称视图库)以及Wi-Fi、RFID等标准中未涉及的自定义标准的汇聚库。数据存储整体构架如图2所示。
3.2.1 标准视图库
按照GA/T 1400标准并借助KAFKA消息组件,完成人员汇聚库、人脸汇聚库、机动车汇聚库、非机动车汇聚库、图片汇聚库及视频片段汇聚库等结构化数据的汇聚。利用HDFS组件提供汇聚库子系统所需的数据存储空间。
3.2.2 其他汇聚库
包含Wi-Fi汇聚库、RFID汇聚库等非GA/T 1400标准的数据汇聚库,随着系统的使用,数据会源源不断的增多,这些数据有标准则按照标准进行建库管理、无标准则根据数据特征自定义标准进行建库管理,最终形成统一化的感知大数据汇聚库。
基于公安大数据的数据分析与碰撞主要作为应用支撑层,为应用层的业务提供大数据分析、检索、关联比对等能力,同时提供相关的大数据分析模型,为应用平台提供业务应用接口,应用平台基于大数据系统分析的结果,做人机交互应用。
3.3.1 数据分析
(1)检索及关联分析:基于公安大数据基础,利用Hadoop框架实现对海量数据的秒级检索及关联分析,为应用层提供人脸、车辆、MAC、RFID轨迹侦查,关联分析应用。
(2)时间、空间、事件关联分析:根据“时间-空间”、“空间-时间”、“空间-事件”、“事件-空间”等关联关系,基于公安业务建立多种数据模型,并借助于地图服务进行可视化分析展示,服务于公安实战应用。
(3)多档融合:多档融合主要提供人、车、号码之间时间变化的分析数据,提供以人、车、手机MAC地址、电动车RFID编号、地址、事件之间相互关系的分析数据。通过统一的分析入口,将人,车,地,事等几个专题库关联起来的数据进行分析展现,起到整合各种数据为一个有关联的整体。
3.3.2 数据碰撞
数据碰撞充分利用前端感知的目标(如:车辆、人脸、手机、RFID等),再结合目标的时间、空间等多维度属性特征,基于大数据分析引擎、实时流处理等技术,结合公安民警实战应用训练出成熟的实战分析模型,对目标对象进行分析。通过对多维数据综合研判、数据过滤、时空关联度判断、GIS空间地图多轨重合度比对,实现由车到人,由人到车,由案到车,由车到案的高效关联。具体实际应用实践包括车辆大数据分析、人像大数据分析、手机大数据分析、RFID大数据分析、多维大数据分析等。
基于公安大数据的智慧感知技术的研究分析,本文设计了基于公安大数据的智慧感知系统。主要包括全景感知、实时监控、数据查询、数据碰撞、布控报警等模块。
全景感知以前端多维感知数据为基础,以地图展示为中心,基于大数据统计分析、大数据碰撞挖掘、算法识别比对等技术,分析出有用信息,从宏观层面进行智慧感知相关数据的一屏展示,实现平台重点区域数据概况展现、数据感知概况展现、数据统计趋势概况展现、数据碰撞分析(即异常数据挖掘)概况展现、重点目标布控预警概况展现、智能推荐展示、图像解析展示等内容,有助于公安部门对社会治安的整体把控,对社会治理做出快速有效、全面的决策。
智慧感知系统实时监控模块,对接入的视频数据、实时过车数据、实时人像抓拍数据、实时Wi-Fi捕获数据、RFID监控等多维数据,通过选择设备点位实现实时视频监控、数据监控(包括车辆数据、人像数据、Wi-Fi数据及RFID电动车数据等),并结合布控报警信息,
支持按照设备类型进行选择并支持选择在线设备,如若知道具体设备名称,亦可直接通过搜索设备列表快速找到点位设备,并同步在地图上进行高亮展示,点击即出现点位设备信息弹框,有设备名称、设备编号、设备IP、设备在线状态、设备所在区域等,并可一键进行实时预览、录像回放、告警查询、多维布控等操作,便于公安民警基于实时监控数据进行一键处理。
智慧感知系统数据查询模块,通过对全量感知数据(包括海量过车数据、人脸抓拍数据、行人数据、非机动车数据、MAC数据、RFID电动车捕获数据等)进行统一规划、统一存储,采用全文检索(Elasticsearch)引擎技术,分类建立全文索引,实现根据时间范围、空间位置、目标特征属性等信息进行秒级检索查询,全面提升公安民警的工作水平和办事效率。
智慧感知系统数据碰撞应用模块,充分利用前端感知的目标(如:车辆、人脸、Wi-Fi、RFID等)特征信息,结合目标的时间属性、空间属性等多维度属性特征,进行综合分析研判,挖掘目标出行规律、异常行为特征,为案件的线索发现、案件侦查提供快速高效的分析手段。
采用最短路径、时空分析等技术对人、车、案件等元素进行时空重现,根据案事件的时空属性、嫌疑人的照片、车辆、Wi-Fi、RFID等条件进行检索,生成目标轨迹,同时可根据以车牌、MAC、RFID,或者人脸为目标,搜索一定同行时间、空间位置范围、同行次数内的其他一个或者多个目标(车牌、MAC、RFID,或者人脸)轨迹,形成多轨合一,辅助公安民警快速追踪嫌疑目标。
智慧感知系统布控预警模块,主要对嫌疑人、车辆、Wi-Fi、RFID进行布控,当嫌疑目标触网立即产生告警,实现对嫌疑目标进行实时跟踪,可缩小嫌疑目标的范围,通过查询告警信息可提取有助于案件侦查的线索,加速破案的进度。
通过大数据的相关技术对公安大数据的标准化汇聚,以及智慧感知系统的研究实践表明,此系统有助于公安部门对社会治安的整体把控,对社会治理做出快速有效、全面的决策;有利于公安民警对实时场景的数据进行一键处理,全面提升公安民警的工作水平和办事效率;有助于辅助公安民警快速追踪嫌疑目标;有助于提取案件侦查的线索,加速破案的进度。