大型警务数据处理系统中的数据分流平台设计

宋华+罗兴宇+闫会峰

摘 要： 以往为大型警务数据处理系统设计的数据分流平台处于持续开发阶段，其分流速率、分流准确度和分流效果均不佳。因此，设计新型大型警务数据处理系统数据分流平台，其核心设备是ULV处理器。大型警务处理系统拥有三个层次的数据流，平台的ULV处理器使用物理层硬件对三个层次的数据流进行硬件分流，并利用已写入哈希映射函数分流方案的网络服务处理器，对硬件分流结果进行软件分流，给出第一、二层次数据流的分流结果。第三层次数据流经由协议分流进行硬、软件分流结果的细化和修正，以获取其最终分流结果。经实验结果分析可知，所设计的平台具有较高的分流速率和分流准确度，分流效果好。

关键词： ULV处理器； 数据分流平台； 警务数据处理系统； 数据分流方案

中图分类号： TN911?34； TP393 文献标识码： A 文章编号： 1004?373X（2017）08?0033?03

Design of data distribution platform in large?scale police data processing system

SONG Hua1， LUO Xingyu2， YAN Huifeng2

（1. Chongqing Police College， Chongqing 401331， China；

2. College of Mobile Telecommunications， Chongqing University of Posts and Telecom， Chongqing 401520， China）

Abstract： As the previous data distribution platform for large?scale police data processing system is still at the development stage， and its data distribution efficiency， accuracy and effect are poor， a new data distribution platform for large?scale police data processing system was designed， whose core equipment is the ULV processor. The police data processing system has three levels of data streams. The ULV processor of the platform uses the physical hardware to distribute the data streams in three levels. The Web services processor written in Hash mapping function distribution scheme is adopted to distribute the result of the distribution hardware by software. The distribution results of the data streams in the first and second levels are given. The data stream in the third level is refined and corrected according to the protocol to acquire final distribution results. The analysis of the experiment result shows that the designed platform has high efficiency， high accuracy and good effect of distribution.

Keywords： ULV processor； data distribution platform； police data processing system； data distribution scheme

0 引 言

大型警務数据处理系统是一种能够在内部进行警务工作协调的应用系统，对公安机关意义重大。2013年，随着大数据时代的悄然来临，公安机关产生的数据量不断攀升，大型警务数据处理系统的处理能力也随之下降，为此，一些科研人员在大型警务数据处理系统中加入数据分流平台，以合理分配数据流量、提升系统处理能力[1?3]。以往为大型警务数据处理系统设计出的数据分流平台通常处于持续开发阶段，故不具备较高的分流速率和分流准确度，分流效果自然不好，因此，为大型警务数据处理系统设计一种新型的数据分流平台。

1 大型警务数据处理系统中数据流层次的划分

在公安机关中，大型警务数据处理系统的不同输入模块将会产生多种类型的数据流，对这些数据流的分层处理是提高数据分流平台分流速率和分流准确度的前提条件。因而，在数据分流平台开始进行分流工作前，需要先对大型警务数据处理系统数据流的层次进行合理划分。对大型警务数据处理系统数据流层次的划分依据 “由上至下、逻辑细化”的原理，如图1所示。

由图1可知，大型警务处理系统的数据流共被划分为三个层次。第一层次包含综合部门、调度部门和人事部门产生的数据流，这一层次中的数据流较为笼统，数据分流工作的进行相对容易；第二层次包含档案部门、考核部门和后勤部门，这一层次中的数据流细化程度较高，但数据的类型和结构也较为明显，数据分流工作难度中等；第三层次包含行动部分、医务部门和消防部门，这一层次中的数据流不仅细化程度较高、私密性较强，而且数据的类型繁多、结构复杂，数据分流工作难度较大。

根据以上分析不难看出，能够对第三层次中的数据流提供精准、高效分流工作的大型警务数据处理系统数据分流平台，一定能够满足第一、二层次中数据流对分流工作的需求。因此，大型警务数据处理系统要求所设计的数据分流平台在拥有强大的数据分类和存储性能的同时，也应具有较强的数据流控制能力和抵御网络入侵能力。

2 大型警务数据处理系统中的数据分流平台设计

2.1 数据分流平台分流方案设计

在大型警务数据处理系统中[2，4]，数据分流平台的工作实质是：依据合理的分流方案[5]，将第1节中给出的三个层次数据流以低于100 Mb/s的通信速率，准确分配到大型警务数据处理系统的数据检测平台中。由此可知，分流方案直接决定了数据分流平台的分流效果，是平台的重点设计对象。

所设计的数据分流平台使用哈希算法中的哈希映射函数设计分流方案。在大型警务数据处理系统的三个数据流层次中，传输控制协议（Transmission Control Protocol，TCP）和用户数据报协议（User Datagram Protocol，UDP）的数据类型占据了较大的比例。据不完全统计，TCP和UDP类型的数据占据总数据量的比例分别高达38%和42%。为此，平台将使用哈希映射函数把三个层次数据流中的数据类型分为TCP流、UDP流和其他流，随后将其依照由低到高的数据流层次分配到数据检测平台的相应位置。

在哈希映射函数中，将大型警务处理系统中TCP流、UDP流和其他流分别设为，，，三者均为48阶可编程函数，则有：

式中：，分别表示TCP流、UDP流中的数据；上、下角标均代表数据阶数；表示其他流中的数据。

那么，、和的相互关系可表示为：

2.2 分流处理器设计

分流处理器是实现分流方案的媒介，也是所设计的大型警务数据处理系统数据分流平台的核心设备，平台选用的分流处理器是超低电压版本（Ultra Low Voltage，ULV）处理器，平台对大型警务数据处理系统中三个层次数据流的分流工作均将通过这一设备进行实现。

ULV处理器是一种能耗极低、携带方便且具有超强抗入侵能力的多核处理器，其处理效率和运算精度均很高，并支持数据堆砌处理，适合进行复杂、海量的数据分流工作，图2、图3分别是ULV处理器的硬件结构和分流原理。

由图2、图3可知，ULV处理器的硬件结构分为功能硬件和基础硬件。功能硬件包括存储器、显示器和复杂可编程逻辑器件，基础硬件包括物理层、网络服务处理器和外设部件互连标准总线。上述硬件将依次对ULV处理器的硬件分流、软件分流和协议分流进行实现。

3 实验结果分析

在此将通过实验对本文设计的大型警务数据处理系统数据分流平台的分流速率、分流准确度和分流效果进行验证，实验现场如图4所示。

实验在某公安机关的大型警务数据处理系统中依次安装本文平台、单片机数据分流平台和嵌入式数据分流平台，并对系统进行初始化，给予系统64 b，512 b和1 518 b三种数据流。实验中，三个平台的分流速率对比情况如表1所示。

由表1可知，三个平台在大型警务数据处理系统中进行64 b数据流的分流工作时，均具有较高的分流速率。但随着数据流位数的增加，单片机数据分流平台和嵌入式数据分流平台的分流速率均出现了大幅度下降情况，而本文平台在实验中始終具有较高的分流速率。

为了准确描述三个平台的分流准确度，对大型警务数据处理系统中输入和输出的数据流数量进行了统计，二者数量越接近，被成功分流的数据流就越多，平台的分流准确度就越高，如表2所示。

由表2可明显看出，在安装本文平台的大型警务数据处理系统中，系统输出数据流和输入数据流的数量最为接近。上述结果说明，本文平台具有较高的分流准确度。

数据分流平台的分流效果取决于公安机关对平台的使用好感度，为此，在实验结束后对平台使用者进行了问卷调查，并总结出使用者对三个平台的使用好感度，如图5所示。

由图5可知，使用者对本文平台的使用好感度处于图中最高位置，其范围为[0.92，0.99]。使用者对单片机数据分流平台和嵌入式数据分流平台的使用好感度范围分别为[0.80，0.90]和[0.77，0.90]。上述结果说明，本文平台具有较好的分流效果。

4 结 论

为了合理分配数据流量、提升大型警务数据处理系统的处理能力，本文设计新型的大型警务数据处理系统数据分流平台，为公安机关提供更为高效、精准的数据分流工作。本文平台使用ULV处理器对大型警务数据处理系统的数据流进行硬件分流、软件分流和协议分流。经实验结果分析可知，本文平台具有较高的分流速率和分流准确度，并且分流效果较好。

参考文献

[1] 崔向前.论公安院校教师素养与高等警务人才人文素养培育[J].河南教育学院学报（哲学社会科学版），2014，33（6）：42?45.

[2] 姜明月.云计算平台下的大数据分流系统的设计与优化[J].现代电子技术，2016，39（2）：28?32.

[3] 席兵，韩盈盈.GPRS网络Gb/Gn接口数据过滤与分流的实现[J].广东通信技术，2014，34（7）：11?14.

[4] 齐斐.数据交换在警务综合信息系统中的应用[J].甘肃科技纵横，2014，43（11）：37?39.

[5] 成国营，王艳.无线传感器网络中多移动Agent协同控制数据分流方法[J].计算机应用，2015，35（4）：910?915.

[6] 王欣，周晓梅.云计算环境下大数据合理分流技术研究与仿真[J].计算机仿真，2016，33（3）：292?295.