警用勤务系统中海量GIS数据处理优化与实践

向谭先,艾珂

(1．重庆数字城市科技有限公司,重庆 400020; 2．重庆市地理信息云服务企业工程技术研究中心,重庆 400020; 3．重庆市公安局交通巡逻警察总队,重庆 400074)

警用勤务系统中海量GIS数据处理优化与实践

向谭先1,2∗,艾珂3

(1．重庆数字城市科技有限公司,重庆 400020; 2．重庆市地理信息云服务企业工程技术研究中心,重庆 400020; 3．重庆市公安局交通巡逻警察总队,重庆 400074)

随着空间位置的警用勤务考核业务需求的深入应用,传统的通过空间轨迹的历史数据进行查询、分析、统计已经无法满足当前的业务要求。传统方案存在占用磁盘空间大、冗余数据多、查询效率低等问题。故此,引入MapReduce大数据的处理办法,针对需要勤务统计的内容、方式进行实时规约、映射,并存储规约结果,再结合信度校验机制,为勤务统计提供更直接准确的数据来源。新方法极大地提高了查询效率,并使用合理的数据失效机制,减少了硬盘存储空间的占用和数据冗余。

MapReduce模式;PGIS;信度校验机制;勤务考核

1　引 言

随着基于地理信息的警用业务需求的深入扩展,公安部从2003年起开始建设警用地理信息系统(Police Geographic Information System)。PGIS通过GPS定位技术,使相关单位可以对所有安装有GPS终端设备的警车进行实时监控管理,主要应用功能包括车辆显示、车辆实时跟踪、车辆查询与定位、历史轨迹查询、车辆控制等;PGIS为各种警情统计、分析提供了依据,从而为各种决策提供强有力的辅助支持。

在交巡警的业务需求中,需要对警员、警务车辆定位信息集成和上图管理应用,实现勤务查看、动态定位预警、历史轨迹分析、勤务车辆驻点安排及脱岗报警、勤务车辆流动巡逻跨界报警、勤务考核查询统计等功能。PGIS提供的空间轨迹的历史数据,已经无法满足以上业务提出的查询、分析、统计的实时性要求。

本文引入大数据的处理办法MapReduce来对需要进行勤务统计的内容进行实时规约、映射。实时将规约结果存储起来,统计时只需查询事先已经计算好的结果,而非计算车辆的历史轨迹。在此基础上使用信度值校验机制解决GPS信号飘点的误差,并使用数据失效机制来降低磁盘存储的压力,从而很好地满足了勤务统计的实时性要求,同时减少了磁盘的负荷。

2　业务分析及优化

2．1业务分析

按照重庆市公安局交通巡逻警察总队移动警务管理业务部门的要求,需要开发警员和警车信息的上图应用,实现勤务查看、动态定位预警、历史轨迹分析、勤务考核查询统计等功能。

勤务考核主要包含两种业务数据:警车GPS位置信息、勤务区域范围信息。勤务区域分为警车驻点区域和警车巡逻区域,对应勤务区域的是驻点警车和巡逻警车。业务部门会考核在规定时间段内考核车辆是否在驻点区域之内以及在规定时段内考核车辆是否在执行巡查任务等。

勤务考核部分着重关注下列几种情况:警车在线情况统计、警车离线情况统计、驻点警车迟到情况统计、驻点警车跨界情况统计、巡逻警车长时间未移动情况统计、巡逻警车跨界情况统计。

2．2传统解决方案

通过分析功能概况可以发现,若要完成各种情况的勤务统计,至少需要几个基础条件,如图1所示:

(1)警车GPS历史信息表,用于存储不同时态时的位置信息,各项统计都需要依赖此表。

(2)驻点区域表,用于存储驻点区域的范围及驻点时段等信息,警车驻点需要依赖此表。

(3)巡逻区域表,用于存储巡逻区域的范围及巡逻时段等信息,警车巡逻需要依赖此表。

(4)区域和警车信息的关联表,用于存储驻点及巡逻车辆所在的勤务考核区域。

其中,警车GPS历史信息表受到一些因素的制约。首先,由于勤务统计时间跨度大(如:考核单位要统计某车去年的离线情况),所以需要保存所有的历史轨迹信息。其次,由于警车的数量多、位置信息更新频率高(如:警车位置信息2 s更新1次,每车每天需要存储43 200条数据,业务单位的400辆车每天将存储1 728万,一年则需要存储63亿条数据。结合第一点,如果要统计几年前的数据,则需要从数百亿条数据中进行查询处理。),所以数据库查询效率将会很低。随着警车GPS历史信息表的增大,还需要解决海量数据的故障迁移、查询优化、存储等引申出来的若干问题。

图1　传统数据模型设计

2．3创新解决方案

在传统解决方案中,问题聚焦在警车GPS历史信息表中海量数据的存储增长过快和查询效率太低上面。按照上述设计思想,不仅不能删除数据、查询效率还会随着存储的GPS数据量增加而快速下降。在大数据处理时代的今天,有必要引入业界更有效率的解决方案来解决现有突出的问题。

(1)MapReduce模式

MapReduce是Google定义的一套并行程序设计模式(parallel programming paradigm),由两名Google的研究员Jeffrey Dean和Sanjay Ghemawat在2004年时提出的,并广泛应用在分布Grep、每台机器的词矢量、反向索引构建、Web连接图反转、Web访问日志分析、分布排序、文档聚类等应用中。MapReduce实现以后,它甚至被用来重新生成Google的整个索引,并取代老的Ad Hoc程序去更新索引。

MapReduce的设计思想是把耗时运算进行拆分和预处理,称之为映射(Map),然后在需要使用时对预处理结果进行运算,称为规约(Reduce)。而传统的GPS历史信息数据存储量巨大,查询效率低下,若在存储GPS定位信息之前进行预判断和预处理,将会减少数据的存储量,提高系统的查询效率。为了实现勤务统计信息的预处理,首先需要抽象(Abstract)待统计的对象(Object)及其行为(Behavior),然后根据设备实时的位置(GPS)信息进行运算和持久化。当用户进行勤务统计和考核时,系统直接对预处理信息进行计算并返回结果。

分析2．1中勤务考核关注的内容可以抽象出:设备和位置、区域、时间几类对象。然后把每次变化转换成一种事件。事件类型有:0:在线;1:离线;2:未越界; 3:越界;4:运动;5:停留;6:区域暂停;7:区域无车辆; 8:非统计时段;

系统在后台实时地对变化进行运算,并把相关结果进行持久化,形成勤务区域事件表,包括勤务区域、区域类型、车辆信息、事件信息、发生时间。实际的统计则是根据勤务区域事件表来得出结果,如图2所示。

图2　基于MapReduce处理的数据模型

在系统运行环境中,采用MapReduce预处理方法,平均每天每辆警车产生5条左右的事件数据,相比每2 s存储一次的每天43 200条数据,数据对磁盘开销大为减少,如表1所示。使用传统的方法进行月度或者年度统计,需要从上亿甚至更多条记录中进行反复多次的查询。而在新方法中只需要在10 w级别数据量中进行查询和统计,效率大大提高。

数据产生情况对比　表1

(2)信度校验机制

在GPS设备信息的实际应用过程中会出现位置偏移的情况,这主要是由于GPS卫星信号受到干扰(隧道无信号、高楼遮挡等原因)。这些误差会降低勤务考核的准确性,系统采用对每条GPS信号进行多次信度验证的方法,只有通过信度检验的信号才被保留下来参与后续的运算。

信度值校验机制解决GPS信号飘点的机制如下:根据车辆的历史轨迹,可以得到车辆某两个GPS信号采集的时间间隔2 s内的位移s1,s2,s3,s4…sn…,vni表示车辆的该时间段的平均移动速度,记某点的信度值是Fn,表示该点是飘点的可信度,由该点前后的5个位置来决定。+

式中fni表示的是第i个点的位移数据si对第n个点的位移数据sn可信度的影响:

当某点的信度值Fn≥80%时认为该点是飘点。系统自动将飘点数据删除,用以提高统计的准确性。

3　结 语

文章首先提出在警用勤务应用中,按照传统的设计模式来实现将会带来的问题,然后引入大数据的处理办法(MapReduce)作为解决方案,并使用信度校验机制去除飘点数据。通过对数据进行预处理得到勤务考勤感兴趣的结果,并将结果持久化用来支持实际的查询或统计。此模式在一定程度上增加了系统的复杂程度,却避免了GPS数据无限制的增长,提高了查询效率,通过降低用户操作的等待时间来提高用户体验。

[1] 苏韦．基于MapReduce模式的时空数据组织和查询方法研究[D]．桂林:桂林理工大学,2014．

[2] 屈芳,马旭玲,罗林明．调查问卷的信度分析及其影响因素研究[J]．继续教育,2015,29(1)．

[3] 李艳芳,王生．基于PGIS平台的新型自动化勤务管理系统的设计与实现[J]．警察技术,2011(3)．

[4] 张翠峰,匡志威,陈丽琼．地理空间信息数据在PGIS中的应用[J]．城市勘测,2012(5):25～27．

[5] 方吉祥．基于GIS的城市交通管理系统的研究[J]．大众科技,2006:116～117．

[6] 殷磊．基于GPS车辆监控调度系统研究与实现[D]．南京:南京理工大学,2011．

The Optimization and Implementation of Mass GIS Data’s Application in Police Service System

Xiang Tanxian1,2,Ai Ke3

(1．Chongqing Cybercity Sci-tech Co．,Ltd,Chongqing 400020,China; 2．Chongqing Enterprise Engineering Technology Research Center on Geographic Information Cloud Service,Chongqing 400020,China; 3．Chongqing Public Security Bureau police corps,Chongqing 400074,China)

With the utilization of the spatial position’s service examination needs,the traditional scheme by querying,analyzing and tabulating the historical data of space trajectory have been unable to meet current business requirements．There are some problems exist in traditional scheme:take up disk space,redundant data and low query efficiency,etc．Therefore,the introduction of MapReduce:large data processing scheme could have real-time specification and map for the content and method that need service statistics,and then store protocol result．At the same time,combining with reliability verification mechanism could provide more direct and accurate source of data for statistical service．The new scheme greatly improves the query efficiency,and uses reasonable data failure mechanism．Because of which can largely reduce the occupancy of hard disk storage space and data redundancy．

MapReduce pattern;PGIS;reliability verification mechanism;service examination

1672-8262(2016)01-65-03

P208．1

B

∗2015—09—25

向谭先(1989—),男,助理工程师,主要从事软件工程及3S技术应用研究。

重庆市科技人才培养计划项目(cstc2013kjrc-tdsj40001);智慧重庆空间信息服务云计算平台开发项目(cstc2014yykfB40004)。

本项目获得2015年度测绘科技进步奖二等奖。