智能交通大数据车辆实时稽查布控系统探究

摘  要：为应对海量车流量下的实时车辆稽查布控需求，哈尔滨市智能交通平台下的大数据车辆实时稽查系统，采用大数据Hadoop、HBase等实时采集、存储全市各道路卡口电子警察拍摄上传的通行车辆的车辆图片等通行信息，实时监控全市各道路通行车辆，并对城市黑名单车辆进行稽查布控。系统对HBase表进行预分区式优化配置，解决了数据插入的热点插入问题;对表的RowKey进行优化设计，解决了数据范围检索与定位检索性能兼顾的需求。

关键词：大数据;智慧城市;HBase;Spark;ArcGIS;Flex;电子警察;稽查布控

中图分类号：TP311.13;U495      文献标识码：A 文章编号：2096-4706（2020）07-0039-03

Research on Real-time Inspection and Control System for Big Data Vehicles

in Intelligent Transportation

QIN Zhaojing

（Sealand Securities Co.，Ltd.，Nanning  530028，China）

Abstract：In order to meet the demand of real-time vehicle inspection and control under the massive traffic flow，the big data vehicle real-time inspection system under Harbin intelligent transportation platform adopts big data Hadoop，HBase and other real-time collection and storage of the traffic information such as the vehicle pictures taken and uploaded by the citys road checkpoint electronic police，real-time monitoring of the citys road vehicles，and the citys black list vehicles for inspection and control. The system pre-partition the HBase table to optimize the configuration，solve the hot insertion problem of data insertion;optimize the RowKey of the table to solve the performance requirements of data range retrieval and location retrieval.

Keywords：big data;smart city;HBase;Spark;ArcGIS;Flex;e-police;audit and control

0  引  言

隨着城市的快速发展，哈尔滨市的道路卡口数量、车流量暴增。人工稽查布控方式、传统技术的自动化稽查布控系统已无法应对海量车流量下的车辆实时稽查布控需求。因此，本文为哈尔滨市交警支队设计、实现了一套基于大数据技术的车辆实时稽查布控智能交通系统。传统技术的车辆稽查布控系统，数据存储采用关系型数据库Oracle、MySQL。关系型数据库存储容量低、无法横向扩展、插入速度慢，无法应对数据量大、数据快速增长的卡口图片数据插入需求。作者曾参与设计哈尔滨市大数据车辆实时稽查布控系统，采用大数据平台及HBase数据库实时存储城市各卡口数据。同时根据HBase数据库引擎的存储、查询特点，对HBase表模型做了优化配置，解决了卡口数据的插入热点问题;对通行车辆数据信息表的主键Key做了优化设计，实现了通行车辆数据的实时检索需求。

1  系统架构分析

系统分为四层：数据采集层、大数据存储层、业务处理层、展示层。

1.1  数据采集层

利用FTP文件服务器实时接收道路各个卡口电子警察摄像机拍摄上传的车辆通行图片信息。实时解析FTP文件服务器中的车辆通行图片信息并存储到数据层提供的数据库。

1.2  大数据存储层

大数据存储层采用HBase存储车辆的通行图片、文本信息。由于HBase数据库为分布式数据库，并且有自己的数据缓存层，数据插入过程中，数据直接缓存在缓存层，没有立即写入文件，待到缓存层数据达到一定阈值后才批量持久化写入到文件中，因此数据插入时间短、效率高，既能实现数据插入速度快、延时低，又能实现多台设备同时并发插入。而HBase分布式集群的集群节点，可横向扩展，当车辆图片信息快速增长，集群容量支撑不下时，再增加节点数量，即可扩展集群容量。

1.3  业务处理层

业务处理层采用Java Spring Boot框架。该层读取要稽查的黑名单车辆库的车辆信息，去匹配HBase数据库中的通行的车辆信息，若匹配上即是发现要稽查的车辆，则立即发出稽查告警警情通知稽查人员。

1.4  展示层

展示层采用ArcGIS for Flex的前端技术框架，在城市地图上，展示城市各道路的卡口GIS地理位置信息、要稽查的黑名单车辆信息、各卡口通行车辆清单，以及车辆的行车轨迹。系统架构图如图1所示。

，TTL=>‘2592000‘}

，{SPLITS=>[‘001|，002|，003|，004|， 005|，006|

，007|，008|，009|，010|]}

RowKey結构为partionId|carId。其中，partionId的计算公式为partionId=（hash（carId））/resplitNums。resplitNums为表的预分期数，carId为车牌号。

要发挥出HBase表高并发低延时插入，以及海量数据存储的功能，此处需要做如下设计：

HBase表插入的热点问题会导致分布式存储退化为集中式存储。HBase表的region接收待插入的RowKey数据的逻辑是，只接收值处于该region设定的[startRowKey，endRowKey]范围内的RowKey数据的插入。而默认的region的接收范围为[startRowKey，正无穷大]。因此在startRowKey以后增长的数据都会一直落入默认的region，导致所有数据插入压力落在集群的一个region上，这样不但这个region插入性能会低下，最重要的是其他节点的region没能被使用来分摊数据存储任务，导致分布式存储退化为集中式存储。要避免这个问题，需要对车辆通行信息表进行预分区。并且预分区要结合数据增长速度来考虑预分区数量。预分区数评估公式为：预分区数=全年数据量/单个region存储数据量。

车辆通行信息表，预分区后，要求车辆通行记录要能均匀插入各个region，同时检索的时候，又能快速检索出指定车辆的通行记录。这就需要设计车辆通行信息表的RowKey时候要做专门的设计。设计方式就是设置RowKey的格式为分区号加车牌号。通过分区号，保证RowKey能均匀分到各个region。通过车牌号，来保证在检索稽查黑名单车辆是否有通行记录时候，用黑名单车辆的车牌号可以在HBase的车辆通行信息表中快速地定位检索。

3.3  业务层与展示层核心分析

业务层与展示层的关键设计在于，业务层、展示层采用了前后端分离架构。业务层只为展示层提供展示数据，展示的具体工作由展示层负责，实现了业务与展示的解耦。

4  结  论

人工稽查布控与传统车辆稽查布控系统都无法解决当今城市车流量巨大、增长速度快的背景下的车辆稽查布控问题。大数据车辆稽查布控很好地解决了这一突出问题。本文创新点如下：

（1）采用大数据技术来解决传统稽查布控系统无法应对的海量数据的车辆稽查布控问题。

（2）在大数据HBase表存储数据时做了优化设计，采用预分区方法解决稽查布控系统中车辆通行表的热点插入问题。保障HBase分布式数据库发挥出分布式的特性。

（3）在大数据HBase表检索数据时做了优化设计，对RowKey做了专门分区优化设计，保障了要插入的车辆通行数据既能均匀分布又能快速检索。

参考文献：

[1] 牛启航.大数据技术在智能交通管理中的运用 [J].汽车实用技术，2020（4）：222-223+239.

[2] 白建峰.大数据时代城市智能交通网络系统发展可行性研究 [J].通讯世界，2020，27（1）：157-158.

[3] 张黄慧.大数据技术在智能交通中的应用 [J].电子技术与软件工程，2020（1）：131-132.

[4] 李雅妮.大数据在城市智能交通系统中的应用 [J].电子世界，2019（20）：174-175.

[5] 魏巍.大数据技术在智能交通中的应用分析 [J].工程技术研究，2019，4（20）：116-117.

作者简介：覃召敬（1988.03—），男，汉族，广西贵港人，工程师，本科，曾负责哈尔滨市智能交通管控平台和合肥市智能交通管控平台的设计实现，主要研究方向：大数据、云计算、人工智能等在智慧城市、智能交通、数字金融等行业的应用。