网络赌博实时甄别一体化大数据平台建设

◆蔡昆 陈凯

网络赌博实时甄别一体化大数据平台建设

◆蔡昆 陈凯

（重庆科技学院智能技术与工程学院 重庆 400000）

目前，网络赌博犯罪模式变化多端，证据往往难以追踪和提取，不但需要侦查人员具备高超的信息刑侦手段，而且需要在海量的数据中提取有用信息，耗费大量时间与人力。机器学习方法是一套基于数据的特征提取方法，在分类识别和预测拟合中被广泛运用。基于此，本文结合重庆科技学院智能计算与模式识别团队搭建的网络赌博实时甄别一体化大数据平台，从总体架构、功能架构、技术结构等探讨大数据平台的建设。

网络赌博；数据集成；自助研判；大数据平台

赌博会造成严重的后果，它借用网络正在无休止地在网络传播，无论什么年龄什么层次的人群都会接触到，加上监管难度大，网络赌博已经危害到了整个社会的和谐。

本平台意在为公安办公人员，肃清涉案资金来源及流向，通过自然人日常行为交易数据集成，设定模型进行研判，对可疑犯罪嫌疑人进行预警，辅助公安机关对案件的研判处理。对已经犯案的人员进行智能研判，对可能在未来犯案的人员进行预警，对“家族”集群式犯案团伙进行连根拔起。避免更多的无辜群众的利益受到损伤，树立良好的社会风气，有利于社会发展，维护社会和谐稳定。有利于在网络赌博活动高度集团化，分支机构和代理人员众多的情况下，精准合理确定打击范围。

1 面临问题

目前，网络赌博犯罪模式变化多端，证据往往难以追踪和提取，不但需要侦查人员具备高超的信息刑侦手段，而且需要在海量的数据中提取有用信息，耗费大量时间与人力。当前，在研判网络赌博案件中，在对数据的集中、融合及联动研判方面面临以下困难。

1.1 信息系统数据集中困难

信息数据是网络赌博案件研判的核心，是完成案件研判、行为人分析的基础与根基。

目前，网络赌博案件的原始数据，在公安机关的调度收集下已达到一定规模，较为丰富，但仍未打通各数据集合的数据库。例如，某案件需要分析该嫌疑人银行卡交易数据，支付宝消费数据，淘宝消费数据。该嫌疑人涉及数据将会集合存储。同时该嫌疑人涉及的犯罪团伙涉案人员数据又将进行二次存储。因此这样的数据，将不再能够实现大数据分析能力。

1.2 信息系统数据融合困难

受信息源不同及网络赌博案件特征的影响，原始数据数据量大，数据特征复杂，实时性强，难以建立适用的数学模型，不同数据的存储格式不尽相同，业务对不同数据的采集、治理、分析等相关需求也不相同。这就使得庞大的数据集难以实现互相融合，成为无效数据。网络赌博实时甄别一体化大数据平台在底层架构时就将数据进行统一规范，引入研判专家经验数据仓库，将特定犯罪模式由思维化转变为程序化，这将使得原本表面毫无关联的数据交织出潜在关联。

1.3 信息系统联动控制困难

在系统联动控制层面，现有系统大都采用传统架构模式，缺点是支持功能单一、数据处理效率低下、联动性差、功能分支孤岛效应较为明显。系统之间数据共享能力较薄弱，无法进行拓展运用；数据价值多限于单一案件，而对其他案件的借鉴意义不大。数据中心可对采集到的信息数据进行汇聚和分析，但是就数据的分析、各业务系统之间的联动控制层面而言，系统之间数据的横向纵向联动控制效果并不佳。这将导致案件的最终判定依旧是依靠经验丰富的研判人员，并未实现真正意义上的信息自主化。

2 网络赌博实时甄别一体化大数据平台建设

网络赌博实时甄别一体化大数据平台的价值，主要体现在对来自银行、淘宝、拼多多、公安机关等多源信息，进行数据标准化、统一化管理，在进行联动分析处理时实现共治与共享，减少单个信息源孤岛。同时，平台价值还体现在，克服单个行为人信息源孤独分散、信息离散化导致的数据约束、联动分析的困难。为了充分发挥大数据在现代化网络赌博案件侦破的优势，对平台架构的合理性、实用性、稳定性、时效性、安全性应着重考虑。本文，以大数据智能控制一体化平台及其体系架构[1]的建设为例，对网络赌博实时甄别一体化大数据平台架构、功能、技术架构等进行分析。

2.1 总体架构

当前，网络赌博甄别与预防案件种类繁多，且目前国内类似案件侦查大都为人工拉网式排查，效率普遍较低，偶有的信息化处理也大都为关键词锁定。案件涉及数据包含结构化、非结构化、时序等不同类型数据，对数据的采集、治理、分析、共享等的需求均有较高要求。本文搭建的一体化大数据平台首先应具备对不同类型数据的存储能力，其次是治理、服务和应用的能力。网络赌博实时甄别一体化大数据平台，由基础层设备（物理存储设备、私有云、虚拟化等）、计算机存储资源池（Hadoop、MySQL、图数据库等）、公共服务层（数控平台、系统管理、通用计算与调度等）、数据中心（大数据信息资源池、数据自助分析服务模块、数据治理服务模块）、安全平台、研判平台、可视化平台、应用层（个人轨迹追踪、异常转账预警、境外IP预警等）等构成，总体架构如图1所示。

图1 网络赌博实时甄别一体化大数据平台总体架构

基础设施层为业务层提供数据存储服务，网络通讯服务及实时数据导入服务。在基础设施层之上，构建基础数据平台层，提供Hadoop技术的大数据并行计算及流式计算，包括对结构化数据、非结构化数据、数据仓库的存储及调度。在基础数据平台层之上，构建公共基础服务，结合当下主流大数据技术，提供数据混合存储管理，统一调度管理，并发限流管理等功能。

数据中心，作为网络赌博实时甄别一体化大数据平台的核心，由大数据信息资源湖、数据自主分析模块服务模块、数据修整服务模块组成，为数据的储存、分析、共享、计算、特征提取等提供了服务与基础。可视化平台基于数据中心，对预处理及初步分析后的数据进行信息可视化展示，为应用层的具体业务进行数据准备。

2.2 功能架构

网络赌博实时甄别一体化大数据平台的功能架构采用分层模式，主要由基础设备、平台层、应用层等构成，如图2所示。

基础资源层的功能主要包括系统服务器、虚拟化资源、研判专家资源、第三方授权数据等。数据存储将会实现对结构化数据、非结构化数据、实时动态数据、经验仓库数据进行低成本存储，满足操作人员及项目需求，进行高性能访问，将各数据单元进行关联，克服信息孤岛的闭塞困难。平台层的主要功能包括数据治理服务、大数据湖服务、可视化开发服务等，通过对平台的集中统一化管理、数据规范、统一认证等基础服务能力，实现平台整体服务的协同性，削弱以往信息孤岛现象。在应用层的功能主要包括，面向业务需求，具备信息可视化与支撑犯罪场景的数据挖掘工作能力。实现对指定犯罪人员的用户画像、犯罪模式特征分析、嫌疑人生活图谱、资金流向追踪等应用业务提供计算结果。

图2 网络赌博实时甄别一体化大数据平台功能架构

2.3 技术架构

网络赌博实时甄别一体化大数据平台的技术架构可分为数据集、数据存储、数据分析与数据业务应用、业务应用及安全控制（图3）。

图3 网络赌博实时甄别一体化大数据平台技术架构

首先，在数据收集阶段，平台将多渠道多类型数据源进行收集，根据各类数据的不同特性及后续实际使用需求，采取不同的方式进行存储，包含数字、字符、语句、音频、视频、IP等行为人所产生的数据源。其中“破案人员”的三方信息包含，后续研判的特定阈值及固定化模式程序文件。在数据分析阶段，通过特定的数据分析工具（pandas、jieba、numpy等）及方法（PCA、聚类、关联度等），进行数据的整理及挖掘。将处理后的数据进行归类存档，构建时序、语义、经验、特殊值等仓库，供平台可视化展示及后续自主研判使用。在数据中心中，采用流式计算及批量计算等模式，对处理后的数据构建犯罪用户画像数据集。并利用深度学习与机器学习的方法对处理后数据集进行建模仿真。应用层包含了业务所需的犯罪模式特征、行为人时空刻画、网络赌博预警、嫌疑人生活图谱等具体功能。在整套流程中，分别对应用、数据、操作、设备及系统，设置了对应的安全平台，用以提升系统稳定性。

3 结语

在公安机关信息化破案中，网络赌博实时甄别一体化大数据平台建设，有助于克服现有模式下的数据集中、系统拓展、数据共享、信息孤岛等困难，可为智慧预警、自主决策、数据可视化、关联性分析等业务提供数据及计算服务。目前，重庆科技学院智能计算与模式识别团队对网络赌博实时甄别一体化大数据平台的建设仍在不断推进和完善。在平台建设中，要考虑各数据类型存在潜在关联与区别，也要结合实际情况对数据进行现实感情赋值，不能用纯粹的理论知识来进行判案决策，团队将进一步打造和完善符合监控网络涉赌的一体化大数据平台，以推进相关项目落地，为破获网络化犯罪等方面革新。

[1]郭亦文，耿林霄，胡勇，等.大数据智能控制一体化平台及其体系架构[J].热力发电，2019，48（09）：22-27.

2021年重庆市研究生科研创新项目“基于多源信息集成模型的网络赌博侦防研究”（CYS21506），蔡昆；重庆科技学院研究生创新训练项目“基于多源信息集成模型的网络赌博侦防研究”（YKJCX2020805），蔡昆；重庆科技学院“基于集成学习的信用卡欺诈检测方法研究”（YKJCX2020803）陈凯