东莞公安车辆信息库的建设和应用

2020-03-25 08:51张健生莫浩华徐志辉杨海军
警察技术 2020年1期
关键词:信息库东莞市海量

张健生 莫浩华 徐志辉 杨海军

1. 广东省东莞市公安局 2. 广东冠网信息科技有限公司

引言

随着东莞市社会经济的快速发展,机动车保有量与出行量逐年激增,城市人口数量日渐庞大,车辆交通管理现状和需求的矛盾日渐加剧,各类交通事故及与车辆相关的刑事、治安案件逐年上升,警力严重不足与繁重的车辆管理任务之间的矛盾日益突出,给城市管理提出了新课题。东莞市公安局充分应用人工智能、大数据等新技术,加快对传统侦查打击手段的智能化改造,构建以数据为关键要素的数字侦查打击模式,以机器换人力、以智能增效能,实现对各类违法犯罪活动的精准打击。本文结合已有的建设经验、相关技术的研究理解和实战实证,对车辆视频图像信息库进行介绍。

一、整体架构

按照公安云计算的分层体系并结合公安信息化建设需求,东莞车辆视频图像信息库的整体架构如图1所示。

车辆信息库基于大数据架构设计,遵循公安部和广东省公安厅相关标准,以海量涉车数据的汇聚、融合、共享和分析挖掘能力开发为目标,支撑各警种车辆业务应用,并支持各警种基于平台服务接口开发二次应用。在逻辑上,车辆信息库可分为资源采集层、基础设施层、数据服务层、平台应用层。

(一)资源采集层

外部系统以多种形式记录各种海量且异构多源数据,如何方便快捷地从多途径实时获取、处理这些外部数据,并实时保存到多种数据库中,是车辆信息库设计的重点和难点。车辆信息库采用统一的数据采集汇聚和解析处理,对接入数据格式统一维护和管理。资源采集层具体由级联网关和汇聚接入网关组成,采用分布式消息总线Kafka实现结构化数据和部分半结构化数据的采集和接入,针对直接从前端各类抓拍摄像机采集图片则采用基于C++开发的采集网关实现。所有数据采集网关和级联网关均通过Zookeeper统一配置和管理,并周期性向Zookeeper上报自身服务状态和业务数据状态。其特点在于可以提供高可用、高可靠、分布式的海量数据采集、聚合和传输。目前,东莞市公安车辆信息库汇聚了遍布东莞全市的5000多路治安卡口和电子警察数据、1000多个社会停车场数据、全市高速公路高清卡口等10多类车辆抓拍数据,总数据量已经超过十几亿。丰富的数据为下一步车辆大数据分析挖掘提供了必要的素材。

(二)基础设施层

提供车辆视图库数据存储、计算和系统运行所需的基础资源,包括可支持异构资源的云计算资源、云存储资源池和云网络资源池,并通过云计算资源管理平台实现统一的资源调度。

(三)数据服务层

部署云计算服务和大数据存储所需的支撑框架中间件,包括支撑大数据计算所需的Hadoop、HBase、MPP、Spark、ElasticSearch、HDFS、Redis等基础支撑框架,提供海量结构化数据、半结构化数据和非结构化数据的存储和分析、挖掘等处理能力。在支撑框架中间件上部署车辆视图库,包括基础资源库、专题资源库和元数据库。基础资源库包括视频图像数据、轨迹数据、特征数据、关系数据和档案数据;专题库包括关注车辆专题库、案件车辆专题库、盗抢车辆专题库和套牌车辆专题库等;元数据库主要规范、统一定义平台中所有数据表的数据项的名称、类型、长度、遵循规范等。

(四)平台应用层

是车辆视图库的核心能力层。车辆二次识别服务面向各警种提供车辆车牌号码识别、品牌型号识别和个体特征识别;车辆大数据服务面向各警种提供大数据检索、处理、分析、挖掘服务。

二、关键技术

(一)海量多源异构数据汇聚技术

多源异构是大数据的特点之一,因此东莞车辆信息库需要满足安全、稳定地接入治安卡口、电子警察、社会停车场、随手拍和高速公路等多源数据的要求。车辆信息库在整体规划阶段对不同来源的数据按照元数据定义进行标准化管理,形成标准数据资源。系统在元数据管理模块中对数据内容、使用范围、使用方式、质量、更新方式、更新周期、数据来源、存储位置、数据格式等内容进行统一管理,并按照配置规则对数据进行标准化处理,如数据有效性判断、去重、垃圾过滤、格式清洗等。因此东莞公安车辆信息库仅仅通过少量开发和配置就可以接入新的数据源,支持包括数据库(MySQL和Oracle)、Http服务接口和Kafka消息队列三种方式的数据接入,可接入的标准数据信息包括车辆抓拍信息、车辆告警信息、车辆结构化信息和终端GPS感知信息。

(二)海量多源数据混合存储和处理技术

以Oracle为代表的传统关系型数据库在处理海量结构化数据、半结构化数据和非结构化数据时难以胜任,因此车辆信息库需要使用分布式文件存储系统和分布式数据库技术。东莞市公安车辆信息库采用基于Hadoop的HDFS分布式文件系统存储业务类结构化数据,采用分布式数据库HBase存储车辆结构化信息和半结构化信息,采用图形数据库存储“车-车”等关系类数据,采用关系型数据库存储车辆档案和案事件信息。

数据处理主要体现为大数据实时分析挖掘服务和大数据离线分析挖掘服务。东莞市公安车辆信息库的大数据实时分析挖掘服务使用Storm流式分布式计算框架,车辆结构化数据和业务数据进入Kafka分布式消息系统进行数据缓存,Storm逐一对每条实时数据进行分析,分析后的数据存入分布式数据库等多种存储容器中,同时将有价值的信息和车辆布控告警信息通过消息队列实时推送给相关业务部分。东莞市公安车辆信息库的大数据离线分析挖掘服务使用Spark分布式并行计算框架,系统周期性对海量存储数据按照相关业务模型进行分析挖掘,一旦发现有价值的信息,将根据具体策略推送给相关业务部门,比如全市车流量、汽车品牌分布、外地车占比等数据分析类。

(三)车辆应用中的公安知识图谱技术

公安知识图谱运用多源数据混合存储、关联算法、语义推理等技术,基于实体的属性关系、时空联系、语义联系、特征联系等关系,即可构建一张具有公安特性的多维多层的实体与实体、实体与事件的关系网络,实现公安多年积累的实战经验与技术算法的相互转换。东莞公安车辆信息库通过汇总车辆基本信息、车主信息、租赁信息、违法记录、事故记录、盗抢记录和车辆轨迹等车辆相关信息,构建“一车一档”车辆档案信息。系统使用预置的规则算法,通过大数据流式计算、定时离线批量计算等方式,挖掘海量车辆数据中隐藏的规律和关系,智能归纳车辆的行为习惯和相互的关联关系,比如车辆出行规律等,形成车辆画像,并实现智能研判结果标签化,将公安涉车业务多年的实战经验系统化、智能化。

(四)车辆二次识别技术

传统的卡口设备车辆一次识别仅能识别车牌号码和大致的车辆类型,远远不能满足公安机关车辆管理的实战化需求。随着人工智能技术的飞速发展,基于深度学习的车辆二次识别技术将车辆管控由单纯的车牌或车标扩展到整个车脸,车辆的车灯、格栅、车窗、年检标识、装饰品等均是车辆的重要特征。通过这些特征的引入,实现对卡口、电警视频图像的结构化实时智能分析,包括识别车辆品牌(如大众)、型号(如帕萨特)、年款(如2013款)、颜色、类别(轿车、商务车、越野车、皮卡车、大型货车、小型货车、大型客车、小型客车、三轮车、摩托车等)、异常特征(如遮挡面部、遮挡号牌)、唯一性局部特征(如年检标车、纸巾盒、遮阳板、天窗、货架、挂件、危险品车、出租车)等关键信息。在车型识别的基础上,即使目标车辆中途更换、篡改、遮挡、拆卸车牌,或使用假牌、套牌,系统也能够基于车辆局部特征唯一性进行分析、识别、提取,在短时间内锁定目标车辆,将传统的“以牌找车”升级为“以车找车”模式,解决了使用无牌、遮挡号牌、污损号牌、假牌、套牌等现阶段广泛存在于涉车案事件的问题,为车辆深度分析、智能检索、大数据分析研判、以图搜车等应用提供结构化多维数据基础。东莞车辆信息库二次识别子系统符合GA/T 1399-2017《公安视频图像分析系统》要求,具备每天6000万过车数据的二次识别分析能力。

三、应用成效

东莞公安车辆信息库自2018年底启动建设以来,已经接入全市主要治安卡口、电警、社会停车场、高速公路等数据资源,日均汇聚超过3000万条过车数据,协助破获涉车案事件百余起,在涉车案事件侦查等方面起到了重要作用。

2019年10月21日9时许,东莞市企石分局接事主报称被三名男子以掉钱分钱的方式诈骗了一台手机,案发后嫌疑人驾驶一辆车牌为粤LU***3的黑色大众朗逸轿车逃离现场。同期相似案件发生多起,经排查黑色大众轿车为套牌车,东莞公安依托车辆信息库的以图搜车功能,研判出此黑色大众轿车分别悬挂车牌粤LU***3、粤LW***5在东莞活动,均为套牌。同时通过车辆号牌查询,一辆白色大众宝来轿车也悬挂粤LU***3车牌在东莞活动,通过驾驶员面部信息初步判断两辆车为同一伙嫌疑人驾驶,将多起案件进行串并案处理。东莞公安根据大数据挖掘出的黑色大众朗逸和白色大众宝来轿车出行规律,提前布控,将三名犯罪嫌疑人抓获。

四、结语

近年来,东莞市公安局按照公安部和广东省公安厅智慧新警务改革的部署,安全保障水平显著提高。公安信息化建设是一个随着技术进步、业务优化,不断发展的长期的、渐进的工程,东莞市公安局将继续全力推进科技信息化建设和应用,提升一线民警在实战过程中的获得感,提升公安工作效能,筑牢东莞市公共安全“科技护城墙”。

猜你喜欢
信息库东莞市海量
一种傅里叶域海量数据高速谱聚类方法
东莞市耐斯机械制造有限公司
东莞市耐斯机械制造有限公司
“莞香杯”第四届东莞市诗歌大赛启幕
东莞市耐撕机械制造有限公司
海量快递垃圾正在“围城”——“绿色快递”势在必行
借助BIM构建动态造价信息库的新思路
基于普元EOS平台的信息库的设计与实现
一个图形所蕴含的“海量”巧题
一种海量卫星导航轨迹点地图匹配方法