面向公共安全的多源异构数据结构化提取关键技术研究

夏 明，刘川杰，王 奇

（1.四川九洲投资控股集团有限公司，四川 绵阳 621000；2.成都九洲电子信息系统股份有限公司，四川 成都 610041）

1 现状趋势分析

习近平总书记在全国公安工作会议上指出，要把人工智能作为推动公安工作创新发展的大引擎、培育战斗力生成新的增长点，全面助推公安工作质量变革、效率变革、动力变革[1]。近年来，部、省、市、县四级公安机关，网安、技侦、刑侦、情报、科信等各个警种，都根据业务需要和实战需求有针对性地开展了大数据应用平台建设，大数据平台已发展成为全国规模最大、覆盖最广、应用最多的行业应用系统。在公安部警务信息化总体部署中，也要求各地加快推进大数据应用系统建设，提升警务大数据汇集融合力度，推进公安机关信息化作战的能力和水平。

随着我国公安信息化的深入发展，全国多地市州已开始进行“智慧公安/智慧警务”探索，以天网视频监控、交通出行、网络社交、通信等为信息来源，开展调度指挥信息化系统建设工作。但在实际部署过程中，由于收集信息中存在大量音、视、图、文等非结构化信息，难以对决策指挥调度提供结构化信息支撑。为此，提出以人工智能处理技术为抓手、以实战应用服务为目标，推进公安行业多源异构数据的智慧处理水平，提升公安业务科技服务水平，

以数据智能分析为核心有力支撑公安行业的业务智能化转型。

2 多源异构数据结构化提取关键技术研究

2.1 图像信息结构化提取关键技术研究

为实现人、车、物等目标对象的检测识别，实现人员管控、区域活动安保、重要通道管控等功能，本文以重点监控人员、车辆、危险物品等图片信息为研究对象，开展基于深度学习的图像信息结构化提取关键技术研究[2-5]。

（1）基于Yolov5深度神经网络模型的目标检测技术。针对警情预兆识别、多圈层安保预警、重大活动安保、群体性事件预警等应用场景，提出采用Yolov5深度神经网络模型，以采集的行人场景图像数据作为输入，智能分析采集图像中所包含的具体事物，并将这些事物的所属类别以及在图像中的位置进行标注，进而实现目标对象检测。

（2）基于FaceNet 人脸识别深度神经网络模型的行人身份识别技术。在重点人员区域专题图生成、重点人物管控预警、重点群体动向关注等应用场景中，为实现人员异常轨迹查询、重大活动安保、多维度身份布控等功能，提供精准身份识别和验证能力，利用FaceNet 深度神经网络模型对采集图像中的人脸信息进行识别，并将识别到的人脸特征与数据库中存储的人脸特征进行对比分析，从而判断出该人员的身份信息。

（3）基于ResNet18神经网络模型的车辆全特征识别技术。提出基于ResNet18神经网络模型，通过识别引擎检测到车辆，并进行车身颜色、车型、品牌、型号、车牌号等全特征识别，实现车辆图像智能分析，为智能搜车、按车型布控、高危车辆预警研判等业务场景实现提供车辆全特征识别能力。

2.2 视频信息结构化提取关键技术研究

面向区域安保、群体性事件预警处置等应用场景，针对大规模群体聚集等复杂场景下视频监控信息，为实现多圈层安保预警、人员异常轨迹查询、重点群体动向关注等功能，提出以智慧视频分析为基础，重点开展视频信息结构化提取关键技术研究[2-5]。

（1）基于RecurrentYolo 模型的行人单镜追踪技术。为实时获取目标人物的移动轨迹信息，项目利用长短时记忆（LSTM）将YOLO 深度卷积神经网络扩展到时空域，利用回归直接预测卷积层和递归单元的跟踪位置；基于使用YOLO 检测器的跟踪检测方法，以45帧/秒的速度实时处理图像，并收集丰富和健壮的视觉特征，最终输出精准的目标位置信息，实现人员异常轨迹查询、重点人员区域专题生成等功能。

（2）基于AMOC 神经网络模型的行人跨镜追踪技术。利用AMOC 神经网络模型，提取和采集视频序列图像的特征，同时提取运动光流的运动特征，采用分类损失和对比损失来进行模型训练，通过融合运动信息的序列图像特征来提高行人跨境追踪的准确度，便于对特定人物进行跟踪布控。

2.3 文本信息结构化提取关键技术研究

对采集到的声音、文本等警务数据信息，利用深度神经网络模型进行分析，通过文字识别提取其中的事件信息，重点开展文本信息结构化提取关键技术研究[2-5]，实现警情预兆识别、预警预测等场景应用。

（1）基于EAST 深度神经模型的自然场景文字识别技术。该方法结合上下文的图像编码方法，利用CNN从底层像素中获得高层视觉特征，并利用CNN 局部感知特性建立起高层特征与底层像素的位置关系，然后捕获图像全局信息，并基于ARSG 的文字解码方法，同时完成字符定位和文字识别功能，为平台多维度身份布控、无感盘查预警等业务场景提供技术支撑。

（2）基于TextRNN+Attention 神经网络模型的的文本信息结构化表达与理解技术。文本信息结构化以公安信息学为基础，以自然语言方式录入计算机不能识别的文字、图案等安保数据，根据公安信息学环境，使用自然语言处理、机器学习等技术，转化为可存储、查询、统计、分析和挖掘的数据结构。采用TextRNN+Attention神经网络模型同时读取非结构化图片文字与结构化文本文字作为输入，同时完成非结构化图片文字的结构化转换，以及对结构化文本文字进行智能化地语义理解，为线索分析、群体性事件预警等功能实现提供语义理解和意图分析支持。

3 行业应用分析

围绕公安行业应用大数据元素的流动，通过对源数据，特征数据和决策数据进行多模态信息融合、结构化提取、分析处理，增加数据分析维度，提升算法模型的实战性和准确性。本文提出多源异构数据智慧驱动的平台架构[6-8]，为公安警情预警、人员管控、风险感知等业务提供数据支撑。

首先利用深度神经网络结构与多级特征，智能化提取非结构化数据并识别、输出、转换成能被计算机认知的结构化信息，实现目标对象的精准检测识别与定位：针对图像非结构化信息，采用FaceNet 深度神经网络，将非结构化的人脸特征信息转换为结构化的数据结构，精准识别人脸面部特征，并将识别的特征与数据库进行对比，确认其身份信息；结合ResNet18 与Yolov3 神经网络模型，智能识别非结构化车辆图像，实现基于图像信息的车辆全特征识别。采用RecurrentYOLO 深度神经网络模型，利用最新的LSTM 构造，解决非结构化流式数据的特征提取、分析与识别问题。采用EAST 深度神经网络模型，通过建立低层文字特征与高层文字特征之间的映射关系，实现在自然环境下精准的文字识别功能，将非结构化文字信息转换为结构化数据结构；采用TextRNN+Attention 的神经网络模型结构，实现对结构化文本信息的智能化分类与理解，解决非结构化文字信息无法被计算机录入、存储于利用的问题。

通过验证可实现天网覆盖情况下，活动频繁的前科人员、重点人员、关注人员、车辆等目标任务的检测、识别和追踪，实现了活动区域、重点防范区域的研判、提前预警、重点地段巡逻等相关防范工作，覆盖地级市的全省地域。同时，通过实时采集、存储和分析音、视、图、文等海量多源异构信息，自动抓拍、自动识别、自动比对、自动报警、实时提醒、自动存储、自动归档等大量的自动和实时功能，实现了人、物的24小时不间断监测、监控和预判。着实提高了民警在案件侦察、找人找物、治安管控、秩序维护等方面的工作效率，真正做到了为基层减负、减压。

4 结束语

为解决面向公共安全、公安领域多源异构数据结构化提取问题，本文重点阐述了图像、视频和文字等多种非结构化数据提取关键技术，并给出一个针对公安业务实战应用解决方案。依托大数据为基石、人工智能技术为手段，构建城市公共安全大数据智慧驱动平台是解决城市公共安全问题的重要抓手。本文以深度神经网络、自然语言处理等人工智能技术，以数据智能驱动为引擎融合公共安全场景应用，为城市公共安全管理提供了技术支撑。